Abbildunqsvorrichtunq und Abbildungsverfahren mit elektronischer Verzeichnungskorrektur

Die vorliegende Erfindung betrifft eine Abbildungsvorrichtung mit einer Steuereinrichtung, einem Bilderzeugungsmodul, das unter Steuerung der Steuereinrichtung auf der Basis vorgegebener

Bilddaten ein zweidimensionales Bild erzeugt, und einer dem Bilderzeugungsmodul nachgeordneten Abbildungsoptik, die das Bild so abbildet, das es von einem Benutzer wahrnehmbar ist, wobei die Steuereinrichtung eine Ansteuereinheit und eine Korrektureinheit umfaßt und die Korrektureinheit die vorgegebenen Bilddaten so vorverzeichnet, daß eine durch die Abbildungsoptik bedingte nicht-lineare Verzeichnung kompensiert wird, und die

Ansteuereinheit das Bilderzeugungsmodul mit den vorverzeichneten Bilddaten ansteuert.

Bei solchen Abbildungsvorrichtungen, die häufig als HMD-Vorrichtungen ausgebildet sind, werden zur Durchführung der Vorverzeichnung alle Bilddaten eines Bildes in einen Bildspeicher geschrieben. Dann wird die gewünschte elektronische Vorverzeichnung an den Bilddaten durchgeführt. Danach können die vorverzeichneten Bilddaten zur Ansteuerung des Bilderzeugungsmoduls eingesetzt werden. Aufgrund der Korrektur an dem gesamten Bild kommt es nachteilig zu hohen Latenzzeiten. Dies ist insbesondere bei Echtzeitanwendungen störend, wenn die HMD-Vorrichtung beispielsweise so ausgebildet ist, daß der die HMD- Vorrichtung tragenden Benutzer das abgebildete Bild in überlagerung mit der Umgebung dargeboten bekommt. Femer ist die Elektronik zur Vorverzeichnung der Bilddaten kompliziert und häufig auch kostenintensiv.

Ausgehend hiervon ist es Aufgabe der Erfindung, eine Abbildungsvorrichtung der eingangs genannten Art so weiterzubilden, daß die Vorverzeichnung der Bilddaten schnell und kostengünstig durchführbar ist. Ferner soll ein entsprechendes Abbildungsverfahren bereitgestellt werden.

Die Aufgabe wird bei der Abbildungsvorrichtung der eingangs genannten Art dadurch gelöst, daß die Abbildungsoptik so korrigiert ist, daß bei der Abbildung in einer ersten Richtung im

abgebildeten zweidimensionalen Bild die erzeugte Verzeichnung kleiner ist als eine vorbestimmte Restverzeichnung und in einer zweiten Richtung im abgebildeten Bild die nichtlineare Verzeichnung, die größer als die vorbestimmte Restverzeichnung ist, erzeugt wird, und daß die Korrektureinheit die vorgegebenen Bilddaten derart vorverzeichnet, daß nur entlang der zweiten Richtung die nicht-lineare Verzeichnung kompensiert wird.

Mit diesem Vorgehen ist es möglich, die optische Korrektur (Korrektur für die Verzeichnung in einer ersten Richtung) und die elektronische Korrektur (Vorverzerrung der Bilddaten) so zu kombinieren, daß eine ausgezeichnete Abbildungsqualität erreicht wird. Ferner kann die Elektronik deutlich einfacher ausgebildet werden, da nur entlang der zweiten Richtung die nichtlineare Verzeichnung kompensiert wird.

Das Bilderzeugungsmodul kann ein bildgebendes Element mit in Zeilen und Spalten angeordneten, individuell ansteuerbaren Pixeln aufweisen, wobei die erste Richtung der Spaltenrichtung und die zweite Richtung der Zeilenrichtung entspricht. Natürlich kann alternativ die erste Richtung der Zeilenrichtung und dann die zweite Richtung der Spaltenrichtung entsprechen. Die Pixel sind bevorzugt in einem Rechteck angeordnet, so daß das bildgebende Element einen rechteckigen Bildbereich aufweist. Die Korrektureinheit kann die vorgegebenen Bilddaten zeilenweise (wenn die zweite Richtung der Zeilenrichtung entspricht) bzw. spaltenweise (wenn die zweite Richtung der Spaltenrichtung entspricht) derart vorverzeichnen, daß ein Bilddatenwert einer Zeile bzw. einer Spalte nur in derselben Zeile bzw. Spalte transformiert wird. Dies führt zu dem Vorteil, daß auch nur Bilddaten derselben Zeile bzw. derselben Spalte bekannt sein müssen, um die gewünschte Transformation bzw. Vorverzeichnung durchzuführen. Es muß somit nicht mehr das gesamte Bild in einen Bildspeicher eingelesen werden. Es reicht aus, wenn das Bild zeilenweise in einen Zeilenspeicher eingelesen wird, in dem die Vorverzerrung durchgeführt wird. Dies ist insbesondere auch deshalb von Vorteil, da die Bilddaten häufig zeilenweise von einer Bilddatenquelle zur Verfügung gestellt werden.

Ferner kann die Korrektureinheit einen Bilddatenwert einer Zeile bzw. einer Spalte nur mit Bilddaten derselben Zeile bzw. Spalte wichten. Dies wird häufig deshalb durchgeführt, da die transformierten Bilddatenwerte in der Zeile bzw. Spalte nicht mehr genau auf dem einzelnen ansteuerbaren Pixel des bildgebenden Elementes liegen. In diesem Fall wird eine Wichtung oder Interpolation derart durchgeführt, daß die Bilddatenwerte berechnet werden, die an den Pixelpositionen des bildgebenden Elementes vorliegen. Nachdem die Wichtung nur mit Bilddaten derselben Zeile bzw. derselben Spalte durchgeführt wird, kann auch dies mit hoher Geschwindigkeit durchgeführt werden, wodurch die Latenzzeit verringert werden kann.

Die Vorrichtung kann insbesondere eine Bilddatenquelle aufweisen, die die vorgegebenen Bilddaten Zeilen- bzw. spaltenweise bereitstellt.

Ferner kann die Korrektureinheit die Bilddaten so vorverzeichnen, daß die vorgegebenen Bilddaten entlang der ersten Richtung im abgebildeten Bild entlang einer Geraden abgebildet werden. Damit wird vorteilhaft erreicht, daß die Bildinformationen, die ursprünglich entlang einer

Geraden im Bild vorliegen, auch im verzeichneten Bild entlang einer Geraden dargestellt werden. Dies führt dann zwar dazu, daß das Verhältnis der beiden Richtungen im ursprünglichen Bild und im abgebildeten Bild nicht mehr übereinstimmen. Dieser Unterschied ist jedoch optisch deutlich geringer störend als ein abgebildetes Bild, bei dem Bildinformation, die ursprünglicher Weise auf einer Geraden liegen, nicht mehr auf einer Geraden liegend dargestellt werden.

Die Vorrichtung kann insbesondere als HMD-Vorrichtung (Head-Mounted-Display-Vorrichtung) ausgebildet werden. Dabei kann sie insbesondere noch die notwendigen Halte- bzw. Befestigungsmittel aufweisen, um die HMD-Vorrichtung am Kopf eines Benutzers befestigen zu können. Die HMD-Vorrichtung kann insbesondere so ausgebildet sein, daß ein die HMD- Vorrichtung tragender Benutzer nur das durch die HMD-Vorrichtung abgebildete Bild wahrnehmen kann. Es ist natürlich auch möglich, daß der Benutzer das abgebildete Bild in überlagerung mit der Umgebung wahrnehmen kann.

Insbesondere kann das Bilderzeugungsmodul ein selbstleuchtendes, bilderzeugendes Element aufweisen. Es ist auch möglich, daß das Bilderzeugungsmodul ein nicht-selbstleuchtendes bilderzeugendes Element aufweist. In diesem Fall umfaßt das Bilderzeugungsmodul noch eine Lichtquelle und gegebenenfalls eine Beleuchtungsoptik, um das bilderzeugende Modul mit dem Licht der Lichtquelle beaufschlagen zu können.

Das Bilderzeugungsmodul kann so ausgebildet sein, daß ein- oder mehrfarbige zweidimensionale Bilder erzeugt werden können.

Insbesondere kann die Abbildungsoptik das Bild als virtuelles Bild abbilden, das ein Benutzer dann wahrnehmen kann.

Das bildgebende Element des Bilderzeugungsmoduls kann mehr Pixel aufweisen, als zur Bilderzeugung (ohne Verzerrungskorrektur) benötigt werden. Dies kann vorteilhaft sein, wenn vorverzerrte Bilddaten nicht mehr im ursprünglichen Bildbereich des bildgebenden Elementes liegen, aber durch die zusätzlichen Pixel dargestellt werden können.

- A -

Die Aufgabe wird ferner gelöst durch ein Abbildungsverfahren, bei dem auf der Basis vorgegebener Bilddaten ein zweidimensionales Bild erzeugt und mittels einer Abbildungsoptik so abgebildet wird, daß es von einem Benutzer wahrnehmbar ist, wobei die Bilddaten so vorverzeichnet werden, daß eine durch die Abbildungsoptik bedingte nicht-lineare Verzeichnung kompensiert wird, wobei die Abbildungsoptik so korrigiert wird, daß bei der Abbildung in einer ersten Richtung im abgebildeten zweidimensionalen Bild die erzeugte Verzeichnung kleiner ist als eine vorbestimmte Restverzeichnung und in einer zweiten Richtung im abgebildeten Bild die nicht-lineare Verzeichnung erzeugt wird, und wobei die vorgegebenen Bilddaten derart vorverzeichnet werden, daß nur entlang der zweiten Richtung die nicht-lineare Verzeichnung kompensiert wird.

Mit diesem Verfahren ist es möglich, eine ausgezeichnete Abbildungsqualität bereitzustellen, wobei die Anforderungen an die elektronische Vorverzeichnung gering sind.

Insbesondere kann bei dem Verfahren zur Erzeugung des zweidimensionalen Bildes ein bildgebendes Element mit in Zeilen und Spalten angeordneten, individuell ansteuerbaren Pixeln verwendet werden, wobei die erste Richtung der Spalten- oder Zeilenrichtung und die zweite Richtung dann der Zeilen- bzw. Spaltenrichtung entspricht. Mit solchen bildgebenden Elementen lassen sich ausgezeichnete Bilder erzeugen, insbesondere auch hochaufgelöste Bilder.

Bei dem Verfahren können die vorgegebenen Bilddaten Zeilen- bzw. spaltenweise derart vorverzeichnet werden, daß ein Bilddatenwert einer Zeile bzw. Spalte nur in derselben Zeile bzw. Spalte transformiert wird. Dies erleichtert die durchzuführenden Rechnungen für die Transformation.

Ferner kann bei dem Verfahren ein Bilddatenwert einer Zeile bzw. Spalte nur mit Bilddaten derselben Zeile bzw. Spalte gewichtet bzw. interpoliert werden. Eine solche Wichtung wird insbesondere dann durchgeführt, wenn die transformierten Bilddaten einer Zeile nicht genau auf den den Pixeln des bildgebenden Elementes entsprechenden Positionen zu liegen kommen. Es werden dann für die den Pixeln entsprechenden Positionen entsprechende gewichtete Werte ermittelt.

Bei dem Verfahren werden die vorgegebenen Bilddaten insbesondere Zeilen- bzw. spaltenweise bereitgestellt, wobei die Zeilen- bzw. Spaltenrichtung bevorzugt der zweiten Richtung im abgebildeten Bild entspricht. Somit kann die erforderliche Vorverzeichnung äußerst schnell elektronisch durchgeführt werden.

Insbesondere können die Bilddaten so vorverzeichnet werden, daß die vorgegebenen Bilddaten entlang der ersten Richtung im abgebildeten Bild entlang einer Geraden abgebildet werden. Dies führt dann zwar häufig zu einer änderung der Seitenverhältnisse zwischen dem ursprünglichen Bild und dem verzerrten Bild, diese änderung ist jedoch optisch weniger auffällig als eine Verzeichnung, bei der Bildinformationen, die ursprünglich auf einer Geraden liegen, nun nicht mehr auf der Geraden liegend dargestellt werden.

Bei dem Verfahren wird das Bild insbesondere als virtuelles Bild abgebildet. Dies wird häufig für HMD-Vorrichtungen durchgeführt.

Die erfindungsgemäße Vorrichtung kann insbesondere so ausgebildet werden, daß mit ihr das oben beschriebene Verfahren sowie die angegebenen Weiterbildungen des oben beschriebenen Verfahrens ausgeführt werden können.

Die Erfindung wird nachfolgend unter Bezugnahme auf die Zeichnung beispielhalber noch näher erläutert. Es zeigen:

Fig. 1 eine schematische Ansicht einer ersten Ausführungsform der erfindungsgemäßen

Abbildungsvorrichtung;

Fig. 2 eine Ansicht des bildgebenden Elements 8 des Bilderzeugungsmoduls 5 von Fig. 1 zur Erläuterung der Verzeichnung der Abbildungsoptik 6;

Fig. 3 eine Ansicht des bildgebenden Elements 8 des Bilderzeugungsmoduls 5 von Fig. 1 zur Erläuterung der Vorverzeichnung durch die Korrektureinheit 2;

Fig. 4 eine Ansicht des bildgebenden Elements 8 des Bilderzeugungsmoduls 5 von Fig. 1 zur Erläuterung der Vorverzeichnung durch die Korrektureinheit 2 und

Fig. 5 eine Ansicht des bildgebenden Elements 8 des Bilderzeugungsmoduls 5 von Fig. 1 zur Erläuterung der Vorverzeichnung durch die Korrektureinheit 2.

Bei der in Fig. 1 gezeigten Ausführungsform umfaßt die Abbildungsvorrichtung eine Bilddatenquelle 1 , die Daten zur Bilderzeugung bereitstellt, der eine Korrektureinheit 2 und eine Ansteuereinheit 3 nachgeordnet sind, die zusammen eine Steuereinrichtung 4 bilden. Die Steuereinrichtung 4 steuert das Bilderzeugungsmodul 5 auf der Basis der Bilddaten der Bilddatenquelle 1 an. Das Bilderzeugungsmodul 5 kann beispielsweise ein selbstleuchtendes

Display (z.B. ein OLED) oder ein nicht selbstleuchtendes Display (z.B. LCoS , LCD oder eine Kippspiegelmatrix) zusammen mit einer nicht dargestellten Lichtquelle umfassen.

Das von dem Bilderzeugungsmodul 5 erzeugte Bild wird mittels einer Abbildungsoptik 6 so auf eine Projektionsfläche abgebildet, daß das abgebildete Bild von einem Benutzer wahrnehmbar ist. Bei der Projektionsfläche kann es sich beispielsweise um eine Leinwand handeln, auf der das Bild als reales Bild abgebildet wird. Der Benutzer kann das Bild auf der Leinwand betrachten.

Alternativ ist es möglich, daß die Projektionsfläche so zu verstehen ist, daß es sich beispielsweise um das Auge eines Benutzers handelt. In diesem Fall erzeugt die Abbildungsoptik ein virtuelles Bild, das der Benutzer mit seinem Auge wahrnehmen kann. In diesem Fall ist die Abbildungsvorrichtung beispielsweise als HMD (Head Mounted Display)- Vorrichtung ausgebildet, die der Benutzer auf dem Kopf trägt. Gerade bei HMD-Vorrichtungen besteht die Schwierigkeit, eine unverzerrte Abbildung zu realisieren, da aufgrund der räumlichen Gegebenheiten die Abbildungsoptik 6 häufig als außeraxiale und/oder nicht rotationssymmetrische Abbildungsoptik ausgebildet werden muß, wie in Fig. 1 schematisch dargestellt ist.

Bei der erfindungsgemäßen Abbildungsvorrichtung wird diese Schwierigkeit derart gelöst, daß die Abbildungsoptik 6 so ausgebildet ist, daß sie das abgebildete Bild in einer ersten Richtung ohne Verzeichnungen bzw. mit maximal einer vorgegebenen Restverzeichnung (z.B. < 1 %) abbildet. Die Abbildungsoptik 6 ist somit für die Abbildung in dieser Richtung korrigiert. In einer dazu verschiedenen zweiten Richtung (bevorzugt senkrecht dazu) erzeugt die Abbildungsoptik 6 jedoch eine nicht-lineare Verzeichnung.

Diese nicht-lineare Verzeichnung wird mittels der Steuereinrichtung 4 dadurch kompensiert, daß die Bilddaten der Bilddatenquelle 1 entsprechend vorverzerrt bzw. -verzeichnet werden. Die Vorverzerrung ist dabei so gewählt, daß sie genau die durch die Abbildung mittels der Abbildungsoptik 6 bedingte Verzerrung bzw. Verzeichnung kompensiert.

Bei der Abbildungsvorrichtung gemäß Fig. 1 wird somit die Verzeichnung bei der Abbildung mittels der Abbildungsoptik 6 in einer ersten Richtung im abgebildeten Bild nur optisch korrigiert (mittels der entsprechend ausgelegten Abbildungsoptik 6) und in einer dazu verschiedenen zweiten Richtung nur elektronisch (mittels der Steuereinrichtung 4) kompensiert.

In Fig. 2 ist schematisch ein bilderzeugendes Element 8 (das z.B. ein OLED-Display sein kann) des Bilderzeugungsmoduls 5 gezeigt. Das bilderzeugende Element 8 ist rechteckig ausgebildet

und weist (nicht gezeigt) in der ersten Richtung (y-Richtung) und der zweiten Richtung (x- Richtung) angeordnete und voneinander unabhängig ansteuerbare Pixel auf. Mit jedem Pixel kann ein Bildpunkt des Bildes erzeugt werden, das mittels der Abbildungsoptik 6 abgebildet wird.

Aufgrund der beschriebenen Abbildungseigenschaften der Abbildungsoptik 6 tritt in x-Richtung eine nicht-lineare Verzeichnung auf, während in y-Richtung keine Verzeichnung (bzw. maximal 1%) erzeugt wird. Zur Vereinfachung der Darstellung ist in Fig. 2 nur die Abbildung der Kontur (also der ursprünglichen Rechteckform) des bilderzeugenden Elementes 8 gestrichelt dargestellt.

In Fig. 3 ist wiederum das bilderzeugende Element 8 dargestellt. Ferner ist gestrichelt eingezeichnet, wie die Korrektureinheit 2 die von der Bilddatenquelle 1 kommenden Bilddaten vorverzerren muß, damit aufgrund der bei der Abbildung mittels der Abbildungsoptik 6 auftretenden nicht-linearen Verzerrung in x-Richtung die rechteckige Außenkontur des Bilderzeugungselementes 8 für den Benutzer als rechteckige Form (also ohne Verzeichnung in x-Richtung) wahrnehmbar wäre.

Da die nicht-lineare Verzeichnung nur in x-Richtung und somit in Zeilenrichtung auftritt, und die Bilddaten durch die Bilddatenquelle in der Regel zeilenförmig zur Verfügung gestellt wird, wird hier der Vorteil erreicht, daß die Vorverzerrung mittels der elektronischen Korrektureinheit 2 auch zeilenförmig durchgeführt werden kann. Damit kann eine äußerst schnelle Korrektur mit geringer Latenzzeit durchgeführt werden. Bei bisher bekannten Verfahren war es stets notwendig, das gesamte Bild erst in einen Bildspeicher einzulesen und dann an dem gesamten Bild die entsprechenden Korrekturen durchzuführen, was zu einer hohen Latenzzeit führt.

Aufgrund der hier beschriebenen zeilenförmigen Korrektur ist es auch möglich, die Korrektureinheit 2 durch eine einfache und damit in der Regel auch noch kostengünstige Elektronik zu realisieren.

Bei der in Fig. 3 gezeigten Darstellung ist erkennbar, daß Teile der vorverzerrten Bilddaten außerhalb des Bereiches des bildgebendes Elementes 8 liegen. Sofern das bildgebende Element 8 neben seiner rechteckigen Struktur nicht noch zusätzliche Pixel aufweist, werden diese neben der rechteckigen Struktur des bildgebenden Elementes 8 liegenden vorverzerrten Bilddaten nicht dargestellt, so daß es zu einem gewissen Informationsverlust im Bild kommt.

Um diesen Informationsverlust möglichst gering zu halten, kann, wie in Fig. 4 angedeutet ist, die Korrektur so durchgeführt werden, daß die vorverzerrten Bilddaten besser in den Bereich des

bildgebenden Elementes 8 eingepaßt werden. In diesem Fall wurden die vorverzerrten Bilddaten etwas in Zeilenrichtung (x-Richtung) nach rechts versetzt. Die Bereiche, die zwischen den vorverzerrten Bilddaten und dem rechten bzw. linken Rand des bildgebenden Elements 8 liegen (Bereiche 10 bis 12 in Fig. 3 und 4) werden bevorzugt mit der Bildinformation „dunkel" belegt. Diese Bereiche werden dann schwarz bzw. dunkel dargestellt. Gleiches gilt für den Bereich 9 in Fig. 3.

Natürlich kann auch ein bildgebendes Element 8 verwendet werden, dessen Bildbereich größer ist als der in Fig. 3 dargestellte Bereich. Dann liegen die vorverzerrten Bilddaten, die in Fig.3 links neben dem eingezeichneten rechteckigen Bereich sind, auf Pixeln des bildgebenden Elementes 8 mit dem größeren Bildbereich und können somit auch dargestellt werden.

Es ist ferner möglich, die Vorverzerrung in x-Richtung so durchzuführen (Fig. 5), daß die Bilddaten in Zeilenrichtung so komprimiert werden, daß alle Bilddaten in den Bereich des bildgebenden Elementes 8 eingepaßt werden. Auch hier werden wiederum die Bereiche zwischen den vorverzerrten Bilddaten und dem bildgebenden Element 8 (Bereiche 13, 14 und 15) mit der Bildinformation „dunkel" belegt.

Insbesondere kann die Komprimierung in Zeilenrichtung so durchgeführt werden, daß die Bilddaten, die im ursprünglichen Bild (also das Bild, das von der Bilddatenquelle 1 als Bilddaten bereitgestellt wird) in einer der y-Richtung entsprechenden Richtung nebeneinander liegen, auch bei der Abbildung mittels der Abbildungsoptik 6 wiederum entlang einer Geraden in y-Richtung nebeneinander liegen. In diesem Fall ist das Verhältnis der Größe des Bildes in x- und y-Richtung für die ursprünglichen Bilddaten verschieden zu dem Verhältnis für die tatsächliche Abbildung. Dies fällt jedoch einem Benutzer optisch weniger auf als eine

Verzerrung, bei der die Bildinformation, die ursprünglich entlang der y-Richtung angeordnet ist, im abgebildeten Bild nicht mehr entlang einer Geraden angeordnet ist.

Die nicht-lineare Funktion, mit der die Korrektureinheit die Bilddaten in x-Richtung vorverzerrt, kann beispielsweise aus dem Optikdesign der Abbildungsoptik 6 abgeleitet werden. Diese

Funktion kann natürlich optimiert werden. Insbesondere ist es auch möglich, die notwendige nicht-lineare Funktion empirisch zu ermitteln. Sofern aufgrund der Vorverzerrung mittels der

Korrektureinheit 2 die Bilddaten nicht mehr genau auf ein Pixel des bildgebenden Elementes 8 treffen, kann die Bildinformation am Ort des Pixels beispielsweise durch Interpolation ermittelt werden. Bevorzugt werden dabei nur Bilddaten der entsprechenden Bildzeile verwendet.

Die Korrektureinheit 2 kann nicht nur einzelne Bildzeilen nacheinander verarbeiten. Es ist natürlich auch möglich, daß die Korrektureinheit 2 mehrere Bildzeilen gleichzeitig aufnimmt und

verarbeitet, wodurch auch eine verbleibende Restverzeichnung in y-Richtung korrigiert werden kann.

Die Vorverzerrung kann bei mehrfarbigen Bildern für jeden Farbkanal separat durchgeführt werden. In diesem Fall kann bei der Vorverzerrung noch die chromatisch Queraberration berücksichtigt werden, wenn diese nicht durch die Abbildungsoptik 6 ausreichend gut kompensiert wird. Die Steuereinrichtung 4 kann digitale und/oder analoge Bilddaten verarbeiten. Dazu können, je nach Notwendigkeit, A/D-Wandler und/oder D/A-Wandler vorgesehen sein.