Schnittstelle und Schaltungsanordnung insbesondere für holografische Kodiereinheiten oder holografische Wiedergabeeinrichtungen

Die Erfindung betrifft eine Schnittstelle und Schaltungsanordnung, wobei digitale Büddaten an eine holografische Kodiereinheit oder an eine holografische Wiedergabeeinrichtung, welche eine holografische Kodiereinheit beinhaltet, übertragen werden. Die Bilddaten sind aus digitalen Videosequenzen generiert. Aus den übertragenen Daten werden in weiterer Folge von einer Kodiereinheit komplexe Hologrammwerte generiert und/oder die Pixelwerte für eine holografische Wiedergabeeinrichtung kodiert. Eine Kodiereinheit ist beispielsweise eine dedizierte Recheneinheit.

Bei einem herkömmlichen 2D-Monitor werden die gerenderten Bilddaten über eine Schnittstelle an den Monitor übertragen und das Bild in den entsprechenden Pixelwerten dargestellt. Im Gegensatz zu herkömmlichen 2D-Monitoren sind holografische Wiedergabeeinrichtungen dadurch charakterisiert, dass sich moduliertes interferenzfähiges Licht im Raum vor den Augen eines Betrachters als eine durch die Amplituden- und/oder Phasenwerte steuerbare Lichtwellenfront zur Rekonstruktion einer dreidimensionalen Szene ausbreitet. Dabei bewirkt das Ansteuern eines Lichtmodulatormittels mit den Hologrammwerten von Videohologrammen, dass das ausgehende, in Pixeln modulierte Wellenfeld durch Interferenzen in den Raum die gewünschte dreidimensionale Szene rekonstruiert.

Einer für diese Erfindung bevorzugten holografischen Wiedergabeeinrichtung liegt im Wesentlichen folgendes Prinzip zugrunde: In mindestens ein Lichtmodulatormittel wird eine in Objektpunkte zerlegte Szene als Gesamthologramm kodiert. Die Szene ist als Rekonstruktion von einem Sichtbarkeitsbereich aus zu sehen, der innerhalb eines Periodizitätsintervalls der Rekonstruierten des Videohologramms liegt. Zu jedem zu rekonstruierenden Objektpunkt der Szene wird ein Subhologramm definiert. Das Gesamthologramm wird aus einer überlagerung von Subhologrammen gebildet. Dabei wird im Wesentlichen das Prinzip verfolgt, vorrangig jene Wellenfront, die ein

Objekt aussenden würde, in ein oder mehrere Sichtbarkeitsbereiche zu rekonstruieren.

Im Detail liegt einer derartigen Einrichtung das Prinzip zugrunde, dass die Rekonstruktion eines einzelnen Objektpunkts jeweils nur ein Subhologramm als

Teilmenge des am Lichtmodulatormittel kodierten Gesamthologramms erfordert.

Die holografische Wiedergabeeinrichtung enthält wenigstens ein Bildschirmmitte!.

Dabei wird als Biidschirmmittel entweder der Lichtmodulator selbst bezeichnet, in dem das Hologramm einer Szene kodiert ist, oder ein optisches Element - beispielsweise Linse oder Spiegel -, auf das ein im Lichtmodulator kodiertes Hologramm oder eine im

Lichtmodulator kodierte Wellenfront einer Szene abgebildet wird.

Die Festlegung des Bildschirmmitteis und die zugehörigen Prinzipien zur Rekonstruktion der Szene in den Sichtbarkeitsbereich sind durch Dokumente des Anmelders beschrieben. in den Dokumenten WO 2004/044659 sowie WO 2006/027228 ist das Bildschirmmittel der Lichtmodulator selbst. Im Dokument WO 200611976O ₁ "Projektionsvorrichtung und Verfahren zur holografischen Rekonstruktion von Szenen", ist das Bildschirmmittei ein optisches Element, auf das ein im Lichtmodulator kodiertes Hologramm abgebildet wird. In DE 10 2006 004 300, "Projektionsvorrichtung zur holografischen Rekonstruktion von Szenen", ist das Bildschirmmittel ein optisches Element, auf das eine im Lichtmodulator kodierte Wellenfront der Szene abgebildet wird.

Ein "Sichtbarkeitsbereich" ist ein begrenzter Bereich, durch welchen der Betrachter die gesamte rekonstruierte Szene ansehen kann, innerhalb des Sichtbarkeitsbereichs überlagern sich Wellenfelder so zu einer Weilenfront, dass die rekonstruierte Szene für den Betrachter sichtbar wird. Der Sichtbarkeitsbereich befindet sich auf den oder nahe den Augen des Betrachters. Der Sichtbarkeitsbereich kann in die Richtungen X, Y und Z bewegt werden und wird mit bekannten Positionserkennungs- beziehungsweise Nachführeinrichtungen der aktuellen Betrachterposition nachgeführt. Es ist möglich, für jeden Betrachter zwei Sichtbarkeitsbereiche zu verwenden, nämlich einen für jedes Auge. Andere Ausgestaltungen von Sichtbarkeitsbereichen sind ebenfalls möglich. Es ist ferner möglich, Videohoiogramme so zu kodieren, dass für

den Betrachter einzelne Objekte oder die ganze Szene scheinbar hinter dem Lichtmodulator liegen.

WO/2006/066906 des Anmelders beschreibt ein Verfahren zum Berechnen von Videohologrammen. Es basiert im Wesentlichen darauf, eine Zerlegung der Szene in

Ebenenschnitten parallel zur Ebene eines Lichtmoduiators durchzuführen, alle

Ebenenschnitte in einen Sichtbarkeitsbereich zu transformieren und dort aufzusummieren. Anschließend werden die summierten Ergebnisse in die

Hologrammebene, in welcher auch der Lichtmodulator liegt, zurück transformiert und so die komplexen Hologrammwerte des Videohologramms ermittelt.

DE 10 2006 042 324 des Anmelders beschreibt ein Verfahren zum Generieren von Videohologrammen in Echtzeit. Es nützt das Prinzip, dass die Rekonstruktion eines einzelnen Objektpunkts nur ein Subhologramm als Teilmenge des auf dem Lichtmodulator kodierten Gesamthologramms erfordert. Es ist dadurch charakterisiert, dass für jeden Objektpunkt die Beiträge der Subhologramme aus wenigstens einer Look-Up-Tabelle bestimmbar sind und die Subhologramme zu einem Gesamthologramm zur Rekonstruktion der gesamten Szene überlagert werden.

Darüber hinaus sind im Bereich der Holografie eine Vielzahl weiterer Verfahren und Einrichtungen bekannt, die jedoch von den oben genannten Prinzipien abweichen. Beispielsweise beschreibt US 4 109 996 A ein Verfahren zur Generierung eines künstlichen Hologramms sowie US 2005/ 0286101 A1 einen holografischen Projektor.

US 6 621 605 B1 beschreibt ein computerunterstütztes Verfahren und eine Einrichtung zur Wiederherstellung dreidimensionaler Bilder und erwähnt eine Schnittestelle zur Datenübertragung. Die dreidimensionalen Bilder werden in eine Vielzahl zweidimensionaler Schnittbilder aufgetrennt. Diese Daten der zweidimensionalen Schnittbilder werden gemeinsam mit der Farbinformation an eine Anzeigeeinrichtung übertragen, welche die zweidimensionalen Bilder sequentiell darbietet, um für den Betrachter ein scheinbar dreidimensionales Sehen zu gewährleisten. In diesem Sinne ist auch der Begriff Wiederherstellung (orig. Restoration) interpretierbar. Als Nachteil ist ersichtlich, dass es sich bei den

zweidimensionalen Daten auch Bildanteile beinhaltet sind, die für den Betrachter nicht sichtbar sind. Es werden somit mehr Daten als erforderlich übertragen. Im übrigen wäre eine auch im Sinne der Sichtbarkeit optimierte Datenmenge immer noch groß, beziehungsweise größer als erforderlich.

US 2006/0187297 A1 beschreibt holografisches 3D-Fernsehen bzw. Television. Ein dreidimensionales Televisionssystem erfasst eine bewegliche 3D-Szene, wandelt diese Anhand von 3D-Graphikmethoden um, überträgt diese Daten, und konvertiert schließlich diese Daten unter Verwendung effizienter Algorithmen in holografische Signale, um die holografische Darbietung zu erzielen. Die genannten übertragenen Daten umfassen eine Konvertierung der 3D-Szene in ein Drahtgittermodell (orig. wire- mesh model). Ais Nachteil wird dabei eine viel größere Datenmenge als erforderlich übertragen.

Es ist die Aufgabe der Erfindung, die Datenmenge, die an eine Kodiereinheit zu übertragen ist, zu minimieren. Insbesondere bei einer Videosequenz soll gewährleistet sein, dass eine minimale Datenmenge übertragen wird.

Im Weiteren steht die Aufgabe zugrunde, jeweils für bestimmte Betrachterpositionen angepasste Daten zu übertragen, wobei auch hier eine minimale Datenmenge gewährleistet sein soll. Diese Daten sollen derart beschaffen sein, das die Kodiereinheit mit minimalem Rechenaufwand die komplexen Hologrammwerte generiert und/oder die Pixelwerte für eine holografische Wiedergabeeinrichtung kodiert. Damit soll ebenso die Verzögerungszeit zwischen Signalgenerierung und der holografischen Wiedergabe verringert werden.

Der Grundgedanke der Erfindung definiert eine Schnittstelle und eine Schaltungsanordnung, welche für holografische Kodiereinheiten erforderlich sind, um komplexe Hologrammwerte zu generieren und/oder die Pixelwerte für eine holografische Wiedergabeeinrichtung zu kodieren.

Erfindungsgemäß ist die Schnittstelle dadurch gekennzeichnet, dass sie die Tiefenmap als Tiefeninformation und davon separat die Farbmap als Farbinformation von rasterisierten Bilddaten über übertragungsmittel und Kommunikationsprotokolle

übermittelt. Der Schaltungsanordnung iiegt der analoge Gedanke zugrunde. Die separate übertragung erfolgt beispielsweise räumlich getrennt auf verschiedenen übertragungsmitteln. Es ist auch möglich, die gleichen übertragungsmittel zu verwenden und durch zeitliches Multiplexing eine separierte übertragung zu implementieren. In beiden Fällen ist auch die Verwendung unterschiedlicher Kommunikationsprotokolle möglich.

Die sogenannte Tiefenmap umfasst die Tiefen Information eines gerasterten Bildes Analog umfasst die sogenannte Farbmap, beziehungsweise Colourmap, die Farbinformation, die sich ebenso auf ein gerastertes Bild bezieht. Ein Bild ist dabei beispielsweise ein Teilbild einer Videosequenz. Die Daten werden beispielsweise vom Speicher einer Graphikkarte bezogen, nämlich die Farbmaps aus dem sogenannten Framebuffer sowie die Tiefenmaps aus dem so genanten Z-Buffer der Graphikkarte. Alternativ werden diese Daten aus dedizierten Speichereinrichtungen oder Bus- Systemen oder von weiteren Systemen bezogen, welche den hard- bzw. softwaremäßigen Zugang auf diese Daten erlauben.

Bei der übertragung der Tiefen- und Farbinformationen werden verschiedene Prinzipien verfolgt, die nachfolgend zusammenfassend aufgelistet werden.

In einer ersten Ausführungsform der Erfindung werden eine standardisiert festgelegte Tiefenmap und eine standardisiert festgelegte Farbmap übertragen. Diese Maps resultieren beispielsweise aus einer speziell festgelegten Ansicht beziehungsweise einer festgelegten Betrachterposition. Eine derart ausgezeichnete Ansicht ist beispielsweise so festgelegt, dass sich die Betrachterposition in einem vorgegebenen Abstand mittig vor dem Displayschirm befindet. Die Betrachterposition ist dabei generell durch die Position seiner Pupillen festgelegt.

In einer bevorzugten Ausführungsform werden für jeden Betrachter die zur Position seiner Pupillen gehörigen Tiefenmaps übermittelt. Es werden also zwei Tiefenmaps pro Betrachter übermittelt, nämlich eine Tiefenmap pro Auge. Alternativ dazu ist es möglich, nur die zur Position einer Pupille gehörigen Tiefenmap zu übertragen,

insbesondere wenn die zweite Ansicht aus dieser einen Tiefenmap abgeleitet werden kann.

Diese Ausführungsformen werden analog auf die Farbmaps übertragen. in einer bevorzugten Ausführungsform zu den Farbmaps werden für jeden Betrachter die zur Position seiner Pupülen gehörigen Farbmaps übermittelt. Es werden also zwei Farbmaps pro Betrachter übermittelt. Alternativ dazu ist es möglich, nur die zur Position einer Pupille gehörigen Farbmap zu übermitteln und diese Farbmap auch für die zweite Pupüle zu verwenden, da in der Regel die bei der Generierung der H o log ramm werte resultierenden Farbverfäfschungen vernachlässigt werden können. Es ist ebenso denkbar eine Farbmap für einen anderen Betrachter zu verwenden, wenn die resultierenden Farbverfälschungen vernachlässigt oder bewusst akzeptiert werden können.

Nachfolgend werden bevorzugte Möglichkeiten für die Datenquelle, den Datenempfänger, die übertragungsmittel und die Kommunikationsprotokolle aufgelistet. Die Datenquelle der Schnittstelle umfasst beispielsweise den Speicher einer Graphikkarte oder eine oder mehrere Anschlüsse eines Graphiksystems von einem PC, einer Workstation, einem CD- oder DVD-Player. Besonders bevorzugt werden die Daten von einem oder mehreren Datenservern bereitgestellt und vorzugsweise über mehrere parallele übertragungsmittel übertragen. Eine weitere bevorzugte Datenquelle Hegt durch PC!-Express („Peripheral Component Interconnect Express) vor, welche eine Verbindung zu Speicherbereichen eines Graphiksystems zur Verfügung stellt und das Auslesen der Tiefen- und Farbmap erlaubt. Als Datenquelle sind auch weitere und künftige Bussysteme denkbar, welche den Zugriff auf Speicherbereiche ermöglichen und das Auslesen der Tiefen- und Farbmap ermöglicht.

Ein Kommunikationsprotokoll umfasst beispielsweise Kabel, Satellit, Internet, WLAN, Ethernet, IEEE 802.11 , Digital Visual Interface DVI oder andere geeignete derzeit verfügbare oder zukünftige Protokolle. Die Protokolle folgen in der Regal Industriestandards oder einschlägigen Empfehlungen. Beispielsweise sind dem Digital Visual Interface DVI die Standards der DDWG Digital Working Group zugrunde gelegt.

In einer besonders bevorzugten Ausführungsform der erfindungsgemäßen Schnittstelle umfasst die Datenquelle zwei DVi-Ausgänge um die Tiefenmap und die Farbmap erfindungsgemäß separiert, aber gleichzeitig übertragen zu können.

Als Datenempfänger sind besonders externe holografische Kodiereinheiten oder holografische Wiedergabeeinrichtungen, welche eine Kodiereinheit beinhalten, bevorzugt vorgesehen. Besonders bevorzugte Kodiereinheiten werden in den nachfolgenden Ausführungsbeispielen zusammengefasst. Eine Kodiereinheit umfasst ebenso dedizierte Recheneinheiten, beispielsweise CPU, GPU oder speziell geschaffene Prozessoren. Aus den von den Kodiereinheiten verwendeten Verfahren ist ersichtlich, dass eine durch die Tiefenmap repräsentierte Szene den erforderlichen Rechenaufwand der Kodiereinheit verringert. Bei minimaler Datenmenge liegen der Kodiereinheit mit der Tiefen- und Farbmap alle erforderlichen Informationen vor. Anhand der Tiefenmap ist bereits die Ansicht, Sichtbarkeit oder dergleichen bestimmt, so dass von der Kodiereinheit diese Operationen nicht mehr ermittelt werden müssen.

Die erfindungsgemäße Schnittstelle und Schaltungsanordnung erlauben eine einfache und wirtschaftliche übertragung von Biiddaten, aus denen Videohologramme generiert werden können. Dabei wird der Rechenaufwand für die Kodiereinheit minimiert. Die Erfindung erlaubt überdies die lokale und globale Vernetzung der Systeme im Bereich der digitalen Videoholografie.

Eine erste bevorzugte Ausführungsform wird nachfolgend für einen Betrachter erläutert. Für diesen Betrachter werden von der Schnittstelle beispielsweise die zur Position seiner Pupillen gehörigen Tiefenmaps an die Kodiereinheit übermittelt. Es werden also zwei Tiefenmaps übermittelt. Das gleiche gilt hier für die Farbmaps. Es werden für den Betrachter die zur Position seiner Pupillen gehörigen Farbmaps übermittelt. Es werden also zwei Farbmaps übermittelt. Die genannten Daten werden von einem Datenserver bezogen und über das DVi-Protokoll an die Kodiereinheit übertragen. Die Tiefen information und die Farbinformation werden über je ein DVI- Kabel separiert übertragen. Dabei wird hier jedoch das gleiche Kommunikationsprotokoll verwendet.

Eine Kodiereinheit als Datenempfänger basiert auf dem in DE 10 2006 042 324 beschriebenen Verfahren zum Generieren von Videohologrammen für eine holografische Wiedergabeeinrichtung, wobei die Wiedergabeeinrichtung mindestens ein Lichtmodulatormittel umfasst, in welches eine in Objektpunkte zerlegte Szene als Gesamthologramm kodiert wird und als Rekonstruktion von einem Sichtbarkeitsbereich aus zu sehen ist, der innerhalb eines Periodizitätsintervalls der Rekonstruierten des Videohologramms liegt, wobei der Sichtbarkeitsbereich zusammen mit jedem zu rekonstruierenden Objektpunkt der Szene ein Subhologramm definiert und das Gesamthoiogramm aus einer überlagerung von Subhologrammen gebildet wird, und von der Kodiereinheit für jeden Objektpunkt der Tiefenmap die Beiträge der Subhologramme an der gesamten Rekonstruktion der Szene aus wenigstens einer Look-Up-Tabeile bestimmbar sind. Wie aus dem Verfahren ersichtlich, wird der Berechnungsaufwand der Kodiereinheit vermindert, da die Tiefeninformation der Objektpunkte direkt aus der von der erfindungsgemäßen Schnittstelle übertragenen Tiefenmap ausgelesen werden kann. Anhand dieser Information sind die Beiträge des zugehörigen Subhologramms aus wenigstens einer Look-Up-Tabelle bestimmbar. Das Gesamthologramm kann in Echtzeit erstellt werden.

Die zweite bevorzugte Ausführungsform wird nachfolgend zur Vereinfachung ebenfalls für einen Betrachter erläutert. Für diesen Betrachter wird von der Schnittstelle analog dem oben genannten Beispiel die zur Position seiner Pupillen gehörigen Tiefenmaps an die Kodiereinheit übermittelt. Es werden also zwei Tiefenmaps übermittelt. Es wird jedoch nur eine einzige, also die zur Position einer einzigen Pupille gehörige Farbmap übermittelt. Die Daten werden vom Speicher einer Graphikkarte bezogen, nämlich die Farbmaps aus dem sogenannten Framebuffer sowie die Tiefenmaps aus dem sogenanten Z-Buffer der Graphikkarte. Tiefen- und Farbmaps werden getrennt übermittelt, beispielsweise über Ethernet. Bei Kodiereinheiten, welche die Hologrammwerte für die zweite Pupille auch aus der Tiefeninformation für erste Pupille bestimmen, kann auf die übertragung der zweiten Tiefenmap verzichtet werdan. Als Datenempfänger ist eine weitere, besonders bevorzugte Kodiereinheit vorgesehen, welcher das Verfahren zur Generierung von Videohologrammen gemäß WO/2006/036906 zugrunde liegt. Eine derartige Kodiereinheit führt anhand einer

durch die Tiefenmap repräsentierten Szene computergestützt die nachfolgenden Schritte durch:

• aus jedem Objektdatensatz jeder tomographischen Szeneschnittfläche wird ein Beugungsbild in Form einer separaten zweidimensionalen Verteilung von Wellenfeldern für eine Betrachterebene mit einem endlichen Abstand parallel zu den Schnittebenen berechnet, wobei die Wellenfelder aller Schnitte für mindestens einen gemeinsamen Sichtbarkeitsbereich berechnet werden

• die berechneten Verteilungen aller Schnittebenen werden zur Beschreibung eines gemeinsamen Wellenfeldes für den Sichtbarkeitsbereich in einem zur Betrachterebene referenzierteπ Datensatz addiert und

• der Referenzdatensatz zum Erzeugen eines Hologrammdatensatzes für ein gemeinsames Computer generiertes Hologramm der Szene wird in eine von der Referenzebene endlich entfernte, parallele Hoiogrammebene transformiert, wobei in der Hologrammebene das Lichtmoduiatormittel liegt.

Der Begriff "Transformation" ist so weit auszulegen, dass er jede mathematische oder rechnerische Technik einschließt, die einer Transformation gleichkommt oder diese annähert. Transformationen im mathematischen Sinne sind lediglich Annäherungen physikalischer Prozesse, die genauer durch die Maxwellschen Wellenausbreitungsgleichungen beschrieben werden. Transformationen wie etwa Fresneltransformationen oder die spezielle Gruppe von Transformationen, die als Fouriertransformationen bekannt sind, beschreiben Annäherungen zweiter Ordnung. Transformationen führen in der Regel auf algebraische und nicht differentielle Beschreibungen und können folglich rechentechnisch effizient und performant gehandhabt werden. überdies können sie präzise als optischen Systeme modelliert werden.

Die genannten Ausführungsformen können selbstverständlich für mehrere Betrachter wahlweise kombiniert werden. Insbesondere gilt dies für die übertragung der Tiefen- und Farbmaps, das heißt, ob für die Betrachter wahlweise eine oder zwei Tiefen- bzw. Farmaps übertragen werden.

In Fig. 1 beschreibt ein drittes Ausführungsbeispiel die Schaltungsanordnung zwischen einer Grafikkarte und einer dedizierten Recheneinheit, in der die Kodiereinheit implementiert ist. Die Kodiereinheit (HEU) implementiert beispielsweise eines der oben genannten Verfahren. Die Recheneinheit für die Kodiereinheit (HEU) ist ein Grafikprozessor GPU. Dieser kann in das Grafiksystem einer Grafikkarte eingebunden sein oder auch räumlich getrennt sein. Die getrennte Darstellung in der Figur dient der vereinfachten Anschauung. Die Datenquelle ist der Framebuffer (FB) und der z-Buffer (ZB) einer 3D-Rendering-Graphikpipeline (3D-RGP). Aus dem Framebuffer (FB) wird die Farbmap und aus dem z-Buffer (ZB) die Tiefenmap gelesen. Framebuffer und z-Buffer sind in der Regel getrennte Speicher. Bei einem gemeinsamen Speicher ist die Unterscheidung zwischen Framebuffer und z-Buffer durch Konventionen festgelegt. Zwischen Datenquelle und Datenempfänger sind als Datenleitungen sogenannte Lanes (L1 , L2,...) implementiert, wenigstens eine Lane (L1 ) für die Tiefenmap und wenigstens eine Lane (L2) für die Farbmap um, wie von der Erfindung vorgesehen, die separierte übertragung der Tiefen- und Farbmaps zu ermöglichen. Steht beispielsweise nur eine Datenleitung zur Verfügung, so werden die Tiefen- um Farbmaps durch zeitliches Multiplexing übertragen.