NASKE, Ivo-Henning (Rademacher Kamp 5, Kakenstorf, 21255, DE)
NASKE, Valerie, Antonia (Rademacher Kamp 5, Kakenstorf, 21255, DE)
KAMINS-NASKE, Sigrid (Rademacher Kamp 5, Kakenstorf, 21255, DE)
NASKE, Ivo-Henning (Rademacher Kamp 5, Kakenstorf, 21255, DE)
NASKE, Valerie, Antonia (Rademacher Kamp 5, Kakenstorf, 21255, DE)
Ansprüche
1. Verfahren zur Erzeugung von dreidimensionalen Bildern zur Wiedergabe auf einem autostereoskopischen Display oder einer autostereoskopischen Leinwand, mit einer vorgebbaren Anzahl N > 2 von Perspektiven, aus zugeführten Bildern mit einer Anzahl M von Perspektiven, wobei M < N ist und wobei N - M Zwischenperspektiven durch Synthese von Bildpunkten in der Weise erzeugt werden, dass mindestens ein Bildpunkt einer Zwischenperspektive, der auf dem Display oder der Leinwand zur Wiedergabe der betreffenden Zwischenperspektive nicht darge- stellt werden muss, nicht synthetisiert wird.
2. Verfahren nach Anspruch 1 , bei dem die Bildpunkte einer Zwischenperspektive nicht einzeln adressiert, sondern direkt auf dem Display bzw. der Leinwand erzeugt werden.
3. Verfahren nach Anspruch 1 , bei dem die zugeführten Bilder M = 2 Perspektiven in Form eines linken und eines rechten Bildes aufweisen.
4. Verfahren nach Anspruch 1 , bei dem in einer Analysephase zu jedem Bildpunkt B(i, j) eines zugeführten Bildes einer ersten, insbesondere linken Perspektive ein korrespondierender Bildpunkt B(i", j') in einem zugeführten Bild einer zweiten, insbesondere rechten Perspektive gesucht wird.
5. Verfahren nach Anspruch 4, bei dem in einer Synthesephase die N - M Zwischenperspektiven durch eine virtuelle Kamerafahrt entlang der Stereobasis zwischen einem Bildpunkt B(i, j) eines zugeführten Bildes der ersten Perspektive und dem korrespondierender Bildpunkt B(i', j") eines zugeführten Bildes der zweiten Perspektive synthetisiert werden.
6. Verfahren nach Anspruch 5, bei dem zur Erzeugung von N - 2 (M = 2)Zwischenperspektiven αι < Stützstellen mit: 0 < α k < 1 für k = 1 ,...N - 2, gewählt werden, an denen die Bildpunkte B(i, j(αι < )) zu einem Zwischenperspektive zusammengefasst werden.
7. Vorrichtung zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche, mit einer Analyseeinheit (12) zur Korrespondenzanalyse zwischen Bildpunkten B(i, j) eines zugeführten Bildes einer ersten, insbesondere linken Perspektive und Bildpunkten B(ϊ, j ) in einem zugeführten Bild einer zweiten, insbesondere rech- ten Perspektive, sowie einer Bildsyntheseeinheit (15) zur Erzeugung mindestens einer Zwischenperspektive durch Synthese von Bildpunkten in der Weise, dass mindestens ein Bildpunkt der mindestens einen Zwischenperspektive, der auf dem Display oder der Leinwand zur Wiedergabe der betreffenden Zwischenperspektive nicht dargestellt werden muss, nicht synthetisiert wird.
8. Vorrichtung nach Anspruch 7, bei der die Analyseeinheit (12) zu jedem Bildpunkt B(i, j) eines zugeführten Bildes einer ersten Perspektive einen Indikator Verdeckung(i , j) und einen Zeiger Wohin(i, j) erzeugt, wobei der Indikator Verdeckung(i , j) angibt, ob es für den Bildpunkt B(i, j) im zugeführten Bild der ersten Perspektive einen korrespondierenden Bildpunkt B(i, j') im zugeführten Bild einer zweiten Perspektive gibt, ob dieser sich in einer Rechtsverdeckung befindet, oder ob sich vor diesem Bildpunkt B(i, j) in dem Bild der zweiten Perspektive eine Linksverdeckung befindet, und wobei der Zeiger Wohin(i, j) = j' ist, wenn der Indikator Verdeckuns(i , j) = 0 ist.
9. Vorrichtung zur Wiedergabe von dreidimensionalen, insbesondere pseudoholographischen Bildern, insbesondere in Form eines autostereoskopi sehen Mehr- betrachter-Visualisierungssystems (Multiview-System), mit einer Vorrichtung nach einem der Ansprüche 6 bis 8 und einem autostereoskopischen Display (3) oder einer autostereoskopischen Leinwand. |
Verfahren und Vorrichtung zur pseudoholographischen Bilderzeugung
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erzeugung von dreidimensionalen Bildern mit mehr als zwei Perspektiven (wie z.B. pseudoholographischen Bildern), insbesondere zur Widergabe mit einem autostereoskopi- schen Display oder einer autostereoskopischen Leinwand, aus zugeführten Bildern mit insbesondere nur zwei Perspektiven, wie z.B. aus einem linken und einem rechten Bildkanal. Die Erfindung betrifft ferner eine Vorrichtung zur Erzeugung und Wiedergabe von dreidimensionalen Bildern mit mehr als zwei Perspektiven, insbesondere in Form eines autostereoskopischen Mehrbetrachter-Visualisierungssystems (Multiview-System).
Autostereoskopische Visualisierungssysteme sollen es einem oder mehreren Betrachtern, die sich vor einem autostereoskopischen Display oder einer autostereoskopischen Leinwand befinden, ermöglichen, ein dreidimensionales Bild ohne Sehhilfen wie z.B. rot/blau-Brillen, Shutter- oder Polarisationsbrillen etc. betrachten zu können. Zu diesem Zweck dienen z.B. Parallaxen- Barriere-Systeme oder Lentikularlinsen-Systeme, die auf das Display aufgesetzt werden. Da sich gemäß Figur 10 der oder die Betrachter B1...Bn jedoch in verschiedenen Winkeln relativ zu einer Richtung senkrecht zum Display oder der Leinwand DA befinden können, müssen stets mehr als zwei Perspektiven erzeugt und dem jeweiligen linken bzw. rechten Auge zugeführt werden, um in allen solchen Positionen S1 bis Sn bzw. allen Betrachtern B1 bis Bn einen möglichst natürlichen dreidimensionalen Bildeindruck zu ermöglichen. Diese Systeme werden deshalb auch als Mehrbetrachter- oder Multiview-Systeme bezeichnet.
Ein Problem hierbei besteht jedoch darin, dass insbesondere bei einer größeren Anzahl von erzeugten Perspektiven die Hardware-Kapazitäten des betreffenden Visualisierungssystems und insbesondere der erforderliche Speicherplatzbedarf sehr hoch werden.
Eine Aufgabe, die der Erfindung zu Grunde liegt, besteht darin, ein Verfahren
und eine Vorrichtung zur Erzeugung von dreidimensionalen (insbesondere bewegten) Bildern mit mehr als zwei Perspektiven (wie z.B. pseudoholographischen Bildern) aus zugeführten Bildern mit insbesondere nur zwei Perspektiven, wie z.B. aus einem linken und einem rechten Bildkanal, zu schaffen, mit dem/der eine relativ große Anzahl von solchen Perspektiven bei gleichzeitig relativ geringem Speicherplatzbedarf synthetisiert werden kann.
Weiterhin soll eine Vorrichtung zur Erzeugung und Wiedergabe von dreidimensionalen (insbesondere bewegten) Bildern mit mehr als zwei Perspektiven, insbe- sondere in Form eines autostereoskopischen Mehrbetrachter- Visualisierungssystems (Multiview-System) geschaffen werden, bei der/dem insbesondere auch bei einer relativ großen Anzahl von wiedergegebenen Perspektiven die Anforderungen an die Hardware und insbesondere der Speicherplatzbedarf relativ gering sind und die Vorrichtung somit relativ kostengünstig realisiert werden kann.
Die Aufgabe wird mit einem Verfahren gemäß Anspruch 1 und einer Vorrichtung gemäß Anspruch 7 bzw. einem Mehrbetrachter-Visualisierungssystem gemäß Anspruch 9 gelöst.
Ein Vorteil diese Lösungen besteht darin, dass die Anzahl der zu erzeugenden Perspektiven von einem Benutzer weitgehend frei gewählt werden kann.
Die Unteransprüche haben vorteilhafte Weiterbildungen der Erfindung zum Inhalt.
Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung von beispielhaften und bevorzugten Ausführungsformen der Erfindung anhand der Zeichnung. Es zeigt:
Fig. 1 ein schematisches Blockschaltbild eines Multiview-Systems mit einer erfindungsgemäßen Vorrichtung zur Erzeugung von 3D Bildern mit einer Mehrzahl von Perspektiven;
Fig. 2 eine schematische Darstellung verschiedener Korrespondenzen bzw. einer Rechts- und einer Linksverdeckung zwischen einem linken Bild, ei-
nem rechten Bild und sechs Zwischenbildern (Zwischenperspektiven);
Fig. 3 ein Flussdiagramm des Ablaufs einer ersten Ausführungsform eines erfindungsgemäßen Verfahrens zur Erzeugung von dreidimensionalen Bildern; Fig. 4 ein Flussdiagramm des Ablaufs einer zweiten Ausführungsform eines erfindungsgemäßen Verfahrens zur Erzeugung von dreidimensionalen Bildern;
Fig. 5 eine schematische Darstellung der Korrespondenzen sowie der Rechtsund Linksverdeckung aus Figur 2 für einen ersten Synthesefall; Fig. 6 eine schematische Darstellung der Korrespondenzen sowie der Rechtsund Linksverdeckung aus Figur 2 für einen zweiten Synthesefall;
Fig. 7 eine schematische Darstellung der Korrespondenzen sowie der Rechtsund Linksverdeckung aus Figur 2 für einen dritten Synthesefall;
Fig. 8 eine schematische Darstellung einer Matrixschaltung zur Ansteuerung jeder Linse einer Adapterscheibe über einem Pixel oder Subpixel eines
Displays;
Fig. 9 eine schematische Darstellung eines Displays mit Bereichen zur zweidimensionalen bzw. dreidimensionalen Darstellung von Bildern; und
Fig. 10 eine schematische Darstellung der Positionen und Betrachtungswinkel verschiedener Betrachter in mehreren Sehzonen eines Multiview-
Displays.
Wie bereits eingangs erwähnt wurde, werden bei einem autostereoskopischen Mehrbetrachter-Visualisierungssystem vor einem autostereoskopischen Display DA (Multiview-Display) bzw. einer autostereoskopischen Leinwand gemäß Figur 10 mehrere Sehzonen S1 ,... Sn erzeugt, in denen ein Betrachter B1 ,...Bn jeweils ein optimales dreidimensionales Bild betrachten kann.
Zu diesem Zweck wird eine Anzahl N (N > 2) von Perspektiven des darzustellen- den Bildes so vermischt (im Folgenden als Verkämmung bezeichnet), dass das autostereoskopische Display sie auf Grund seiner zu Grunde liegenden Optik für jeden Betrachter B1 ,...Bn wieder so aufteilt, dass jedes Auge jedes Betrachters B1 ,...Bn in jeder Sehzone S1 ,..Sn eine unterschiedliche Perspektive sieht und damit der dreidimensionale Bildeindruck bei den Betrachtern erzeugt wird.
Folglich muss also aus im Allgemeinen nur zwei zugeführten Bild-Perspektiven, dass heißt einem linken und einem rechten Bild, eine vorgegebene Anzahl von Zwischenperspektiven erzeugt und so verkämmt werden, dass diese durch das Visualisierungssystem bzw. Display korrekt verarbeitet und wiedergegeben werden.
Die Anzahl und Lage der Sehzonen S1 ,...Sn, die erzeugt werden können, ist dabei von der Anzahl N der dargestellten und verkämmten Perspektiven abhängig. Je mehr Perspektiven zur Verfügung stehen, desto breiter werden die Sehzonen, und desto weiter werden die übergangszonen zwischen zwei Sehzonen an die linke und rechte Seite des Gesamt-Betrachtungsbereiches vor dem Display DA gedrängt.
Bewegt sich jedoch ein Betrachter B1 ,..Bn vor dem Display DA (oder der Leinwand) von einer Sehzone Sx in eine benachbarte Sehzone Sx+1 , so wandert für ihn ein Unschärfestreifen durch das Bild.
Es wird deshalb angestrebt, eine möglichst große Anzahl N von Perspektiven zur Verfügung zu haben. Dabei ergab sich bisher allerdings das Problem, dass mit zunehmender Anzahl von Perspektiven die Anforderungen an die Hardware und insbesondere die Speicherkapazität des betreffenden Visualisierungssystems stark anstiegen, so dass deshalb nur eine begrenzte Anzahl von Perspektiven erzeugt bzw. dargestellt werden konnte.
Mit der Erfindung wird nun ein Verfahren und eine Vorrichtung zur Erzeugung von dreidimensionalen Bildern mit einer Mehrzahl von verkämmten Perspektiven aus zugeführten Bildern insbesondere nur zweier Perspektiven geschaffen, bei dem/der die darzustellenden Bildpunkte einer frei wählbaren Anzahl von Zwi- schenperspektiven effizient in der Weise erzeugt werden, dass im wesentlichen immer nur diejenigen Bildpunkte eines Zwischenbildes (d.h. einer Zwischenperspektive) synthetisiert werden, die auch tatsächlich auf dem Multiview- Display zur Wiedergabe der betreffenden Zwischenperspektive angezeigt werden müssen. Umgekehrt wird also mindestens einer der Bildpunkte eines Zwischenbildes
(d.h. einer Zwischenperspektive), der zur Wiedergabe des betreffenden Zwischenbildes (d.h. der Zwischenperspektive) nicht angezeigt werden muss (d.h. nicht benötigt wird), nicht synthetisiert, wobei zur Einsparung von Speicherplatzbedarf und Hardwareressourcen natürlich vorzugsweise möglichst viele oder alle solche nicht benötigten Bildpunkte nicht synthetisiert werden.
Dabei werden die Bildpunkte nicht einzeln adressiert, sondern die Bildpunkte werden direkt auf dem Display erzeugt, so dass zu keinem Zeitpunkt die Zwi- schenbilder als solche tatsächlich vorhanden sind und somit auch nicht gespei- chert werden müssen.
Bei dem erfindungsgemäßen Verfahren hat der Betrachter vorzugsweise die Möglichkeit, zunächst eine beliebige Anzahl N (N > 2) von Perspektiven zu wählen, die auf dem Display oder der Leinwand dargestellt werden sollen. Weiterhin sei davon ausgegangen, dass sich in einem Bildspeicher jedoch nur eine Anzahl M von (zugeführten) Perspektiven befindet, so dass also eine Anzahl N-M von Zwischenbildern bzw. Zwischenperspektiven synthetisiert werden muss.
Zur Vereinfachung der weiteren Erläuterungen sei von dem im Allgemeinen übli- chen Fall ausgegangen, dass nur zwei Perspektiven M, nämlich ein linkes und ein rechtes zugeführtes Bild, in dem Bildspeicher (oder einem Speicher für linke bzw. rechte Bilder) vorhanden sind. Das erfindungsgemäße Verfahren kann aber natürlich auch bei mehr als zwei zugeführten Perspektiven (M > 2) zur Erzeugung der erforderlichen Anzahl N-M von Zwischenbildern bzw. Zwischenperspektiven ver- wendet werden. In diesem Fall wird das erfindungsgemäße Verfahren vorzugsweise auf die äußerste linke und die äußerste rechte zugeführte Perspektive angewendet, während die dazwischen liegenden, zugeführten Perspektiven (Zwischenbilder) als Stützbilder verwendet werden.
Das erfindungsgemäße Verfahren zur Erzeugung der Zwischenbilder (bzw. Zwischenperspektiven) umfasst eine Korrespondenz- Analysephase und eine Zwischenbild- (bzw. Zwischenperspektiven-) Synthesephase. In der Analysephase wird zu jedem Bildpunkt B(i, j) im zugeführten linken Bild versucht, einen korrespondierenden Bildpunkt B(ϊ, j') im zugeführten rechten Bild zu finden (die
Begriffe "Zwischenbilder" und "Zwischenperspektiven" werden in dieser Beschreibung synonym verwendet).
Der Index i bzw. i' bezeichnet dabei die Nummer einer Zeile (Zeilenindex), und der Index j bzw. j' die Nummer einer Spalte (Spaltenindex) eines Bildes. Zur Vereinfachung der Erläuterungen sei im Folgenden angenommen, dass stets i = ϊ ist. Dies ist zulässig, wenn sich die Bilder in der Stereo- Normalform befinden, die ggf. durch eine entsprechende Vorverarbeitung oder Transformation der zugeführten Bilder erreicht werden kann.
Wenn die Korrespondenz B(i, j) -> B(i, j") bekannt und korrekt ist, können in der Synthesephase alle Zwischenbilder (Zwischenperspektiven) durch eine virtuelle Kamerafahrt auf der Stereobasis vom linken Bild zum rechten Bild (oder in umgekehrter Richtung) exakt erzeugt bzw. synthetisiert werden.
Ist dabei: j(α) := (1 - α) * j + α * j' für 0 <= α <= 1 , so wird:
B(i, j(α)) := B(i, j) für θ <= α <= 1 gesetzt.
Das heißt insbesondere, dass
B(i, J(O)) = B(i, j) und B(i, j(1 )) = B(i, j')
ist, da B(i, j 1 ) der zu B(i, j) korrespondierende Bildpunkt ist.
Wandert α von 0 bis 1 , so wandert B(i, j) auf seiner virtuellen Kamerafahrt von B(i, j) nach B(i, j') zu seinem korrespondierenden Bildpunkt.
Sofern N-2 Zwischenbilder erzeugt werden sollen (d.h. M = 2), wählt man ec k Stützstellen mit
0 < α k < 1 für k = 1 ,...N-2,
an denen die BHdpunkte B(i, j(ακ)) zu einem Zwischenbild zusammengefasst werden. Dabei wird vorzugsweise ocι< := k/(N-1 ) äquidistant gesetzt.
Rechte Verdeckungen sind nun solche Bildpunkte B(i, j), die sich nur im linken Bild befinden und die für das rechte Auge verdeckt sind. Für diese Bildpunkte gibt es keine Korrespondenz im rechten Bild. Auf einer virtuellen Kamerafahrt vom linken Bild zum rechten Bild müssen diese Bildpunkte sukzessiv entfernt werden. Dabei beginnt man am rechten Rand der Rechtsverdeckung.
In entsprechender Weise gilt, dass linke Verdeckungen solche Bildpunkte B(i", j') sind, die sich nur im rechten Bild befinden und die für das linke Auge verdeckt sind. Für diese Bildpunkte gibt es keine Korrespondenz im linken Bild. Auf einer virtuellen Kamerafahrt vom linken Bild zum rechten Bild müssen diese Bildpunkte sukzessiv eingefügt werden. Dabei beginnt man am rechten Rand der Linksverdeckung.
Figur 1 zeigt ein schematisches Blockschaltbild eines Multiview-Systems mit einer erfindungsgemäßen Vorrichtung 100 zur Erzeugung von dreidimensionalen Bildern mit mehr als zwei Perspektiven. Die Vorrichtung 100 ist über einen ersten Eingang mit einem linken Kanal 1 zur Zuführung von linken (bewegten oder Stand-) Bildern und über einen zweiten Eingang mit einem rechten Kanal 2 zu Zuführung von rechten (bewegten oder Stand-) Bildern, das heißt also zwei Perspektiven eines dreidimensionalen Bildes, verbunden. Ein anzusteuerndes autostereoskopi- sches Multiview- Display 3 ist mit einem Ausgang der Vorrichtung 100 verbunden.
Die Vorrichtung 100 umfasst im Wesentlichen einen ersten Bildspeicher 10 für minderstens ein linkes Bild und einen zweiten Bildspeicher 11 für mindestens ein rechtes Bild, die jeweils mit dem betreffenden ersten bzw. zweiten Eingang der Vorrichtung 100 verbunden sind. Die in dem ersten und zweiten Bildspeicher 10, 11 gespeicherten Bilder werden einer Analyseeinheit 12 zur Korrespondenzanalyse zugeführt. Ein erster Ausgang der Analyseeinheit 12 ist mit einer ersten Speichereinheit 13 für einen mit der Analyseeinheit 12 erzeugten Indikator "Verde-
ckunsO, j)" verbunden, während ein zweiter Ausgang der Analyseeinheit 12 mit einer zweiten Speichereinheit 14 für einen mit der Analyseeinheit 12 erzeugten Zeiger "Wohin(i, j)" verbunden ist.
Der in der ersten Speichereinheit 13 gespeicherte Indikator VerdeckungO, j) wird einem ersten Eingang einer Bildsyntheseeinheit 15 zugeführt, während der in der zweiten Speichereinheit 14 gespeicherte Zeiger Wohinfi, j) einem zweiten Eingang der Bildsyntheseeinheit 15 zugeführt wird. An einem dritten Eingang der Bildsyntheseeinheit 15 liegt ferner ein linkes Bild aus dem ersten Bildspeicher 10 an, während einem vierten Eingang der Bildsyntheseeinheit 15 ein rechtes Bild aus dem zweiten Bildspeicher 11 zugeführt wird. über einen Ausgang der Bildsyntheseeinheit 15 werden die linken und rechten Bilder und die synthetisierten Zwischenbilder bzw. Zwischenperspektiven schließlich dem autostereoskopischen Multiview-Display 3 zur Wiedergabe zugeführt.
Die Vorrichtung 100 weist vorzugsweise auch einen Speicher 31 für eine Matrix R(i, j) und/oder R(i, jr) von Perspektiven auf, die im Falle von R(i, j) für jeden Pixel oder Subpixel (j) und im Falle von R(i, jr) für jeden Subpixel (jr) in jeder Zeile (i) des angeschlossenen Displays 3 in Abhängigkeit von dessen optischen Eigenschaften angibt, welche Perspektive (das heißt zugeführtes (linkes oder rechtes) Bild oder eine der synthetisierten Zwischenperspektiven) von dem jeweiligen Pixel bzw. Subpixel anzuzeigen ist. Die Matrix R(i, j) bzw. R(i, jr) wird entweder einmal vor der ersten Anwendung des Displays 3 mit den erfindungsgemäßen Verfahren (Figuren 3A, 3B; 4A, 4B) berechnet und in dem Speicher 31 ge- speichert, oder, wenn sie in dem Display 3 gespeichert ist, aus dem Display 3 in den Speicher 31 übertragen, oder auf andere Weise der Vorrichtung 100 zugeführt. Die Matrix kann in bekannter Weise für ein anzuwendendes autostereosko- pisches Display 3 ermittelt werden, oder sie wird vom Hersteller des Displays zur Verfügung gestellt.
Bei der im Folgenden beschriebenen ersten Ausführungsform des erfindungsgemäßen Verfahrens gemäß dem in den Figuren 3A und 3B gezeigten Flussdiagramm stellt jedes Zwischenbild eine der Zwischenperspektiven dar.
Zur Beschleunigung der Synthese der Zwischenbilder werden nicht verwendete Bildpunkte einer jeden Zwischenperspektive gar nicht erst synthetisiert. Hierzu wird wie folgt vorgegangen, wobei insbesondere diese erste Ausführungsform des Verfahrens auf Pixel-Ebene oder auf Subpixel-Ebene ausgeführt werden kann:
Für jeden Pixel/Subpixel P(i, I) auf dem Display 3 ist auf Grund der oben genannten Matrix bekannt, aus welcher Perspektive R (i, I) (0 <= R(i, I) <= N-1 ) der Bildpunkt stammen muss, der dort dargestellt werden soll.
Es wird daher festgelegt:
Für alle Spalten j aus dem Bildbereich und k = 1 ,...N-1 , für die es eine Korrespondenz im rechten Bild gibt, berechne I := (1 - αι<) • j + o* • j' und setze P(i, I) := B(i, j), wenn k = R(i, I).
Für die linken und rechten Verdeckungen, bei denen sich keine Korrespondenzen B(i, j) -> B(i, j') finden lassen, wird in der folgenden Weise vorgegangen:
Eine Rechtsverdeckung, die im linken Bild vorhanden ist und rechts nicht, wird auf der virtuellen Kamerafahrt von links nach rechts immer mehr ausgeblendet. Dabei wandert die Ausblendung vom rechten Ausblendungsrand nach links. Für jede Perspektive ist nun bekannt, wie lang der noch darzustellende Verdeckungsstreifen in der Zeile ist. Es ist weiterhin bekannt, wohin dieser Streifen in der Perspektive k abgebildet wird. Somit kann für alle diese Pixel geprüft werden, ob dort k = R(i, I) ist. Nur diese Bildpunkte werden bei P(i, I) eingefügt.
Sinngemäß wird so auch für Linksverdeckungen vorgegangen.
Es wird also für jede Zeile i des Bildes das erfindungsgemäße Verfahren gemäß dem in den Figuren 3A und 3B gezeigten Flussdiagramm (erste Ausführungsform der Erfindung) wie folgt ausgeführt:
Nach dem Start des Verfahrens (das auf Pixel-Ebene oder auf Subpixel-Ebene ausgeführt werden kann) wird mit einem ersten Schritt S1 ein Zeiger j zur Be-
Zeichnung eines Pixels bzw. Subpixels (Spaltenindex) auf O gesetzt.
Anschließend beginnt mit Schritt S2 eine Schleife über alle Pixel bzw. Subpixel j einer Zeile i, für die das Verfahren gerade durchgeführt wird, zu laufen. Sofern gemäß der Abfrage mit Schritt S2 j größer ist als die Anzahl der Pixel bzw. Subpixel pro Zeile, wird das Verfahren mit Schritt S3 fortgesetzt, mit dem Rechtsverdeckungen aufgefüllt werden. Anschließend werden gemäß Schritt S4 Linksverdeckungen aufgefüllt und das Verfahren schließlich mit Schritt S5 für die aktuelle Zeile beendet und gegebenenfalls für eine nächste Zeile erneut mit "Start" be- gönnen.
Wenn die Abfrage mit Schritt S3 jedoch mit "nein" beantwortet wird, wird mit Schritt S6 für den Pixel bzw. Subpixel j die Perspektive R(i, j) aus dem Speicher 31 geholt, die auf diesem Pixel bzw. Subpixel angezeigt werden muss.
Ist gemäß der Abfrage mit Schritt S7 diese Perspektive R(i, j) = 0, so wird gemäß Schritt S8 der Pixel bzw. Subpixel vom linken Bild geholt. Anschließend wird mit Schritt S9 der Spaltenindex j um 1 inkrementiert, zu Schritt S2 zurückgesprungen und der Ablauf wiederholt.
Wird jedoch die Abfrage mit Schritt S7 mit "nein" unbeantwortet, so wird mit Schritt S10 abgefragt, ob die Perspektive R(i, j) = N- 1 ist. Wenn dies der Fall ist, wird gemäß Schritt S11 der Pixel bzw. Subpixel aus dem rechten Bild geholt. Außerdem wird wiederum gemäß Schritt S9 der Spaltenindex j um 1 inkrementiert, zu Schritt S2 zurückgesprungenen und der Ablauf wiederholt.
Wenn hingegen der Schritt S10 mit "nein" beantwortet wird, so wird mit Schritt S12 abgefragt, ob der Indikator Verdeckuns(i , j) = 0 (s.u.) ist. Wenn dies nicht der Fall ist, erfolgt ein Rücksprung zu Schritt S9, mit dem der Spaltenindex j um 1 inkrementiert wird, sowie eine Wiederholung des Ablaufes mit Schritt S2.
Wenn der Indikator Verdeckunζ(i , j) = 0 ist (das heißt es existiert im rechten Bild ein zu einem Bildpunkt im linken Bild korrespondierender Bildpunkt) so wird mit Schritt S13 k = 0 gesetzt und mit Schritt S14 abgefragt, ob k >= N-1 ist. Wenn dies
der Fall ist, erfolgt ein Rücksprung zu Schritt S9, mit dem wiederum der Spaltenindex j um 1 inkrementiert wird, sowie eine Wiederholung des Ablaufes mit Schritt S2.
Wenn die Abfrage mit Schritt S14 jedoch mit "nein" beantwortet wird, wird gemäß Schritt S15 I := (1 - αι<) • j + ct k • j' gesetzt und mit Schritt S16 abgefragt, ob k = R(i, I) ist. Wenn dies nicht der Fall ist, wird gemäß Schritt S18 k um 1 inkrementiert.
Wenn die Abfrage gemäß Schritt S16 jedoch mit "ja" beantwortet wird, wird gemäß Schritt S17 zunächst der Pixel bzw. Subpixel mit P(i, I) := B(i, j) geholt und dann mit Schritt S18 fortgefahren. Im Anschluss an Schritt S18 erfolgt ein Rücksprung zu Schritt S14 und eine Wiederholung des Ablaufes mit diesem Schritt S14.
Bei einer zweiten Ausführungsform der Erfindung (Figuren 4A, 4B) stellt wiederum jedes Zwischenbild eine Perspektive dar. Hierbei wird jedoch für jeden Dis- playpixel/Display-Subpixel zurückgerechnet, aus welcher Perspektive und durch welche Verschiebung er sich ergibt.
Im Detail wird wie folgt vorgegangen:
Die Bilder seien wiederum in der Stereo- Normalform gegeben, so dass jede Zeile im linken Bild mit der entsprechenden Zeile im rechten Bild korrespondiert. Dies kann ggf. wiederum durch vorgeschaltete Transformationen erreicht werden.
Ferner sei die Zeile i fest gegeben.
Zu jedem Bildpunkt B(i, j) im linken Bild wird mit der Analyseeinheit 12 ein Indikator Verdeckung(i , j) und ein Zeiger Wohinfi, j) erzeugt.
Der Indikator Verdeckυns(i , j) gibt an, ob es für den Bildpunkt B(i, j) im linken Bild einen korrespondierenden Bildpunkt B(i, j') im rechten Bild gibt, ob dieser sich in einer Rechtsverdeckung befindet, oder ob sich vor diesem Bildpunkt B(i, j) im rechten Bild eine Linksverdeckung befindet. Somit werden die Werte der Ver-
deckunsfi, j) mit der Analyseeinheit 12 wie folgt definiert:
1 , wenn sich vor Wohinfi, j) eine Linksverdeckung befindet, Verdeckungfi, j) = 0, wenn es eine Korrespondenz im rechten Bild gibt, -1 , wenn sich der Bildpunkt B(i, j) in einer Rechtsverdeckung befindet.
Für den Zeiger Wohinfi, j) ist Wohinfi, J) = J', wenn Verdeckungfi , j) = 0 ist, sonst ist Wohinfi, j) Undefiniert.
In Figur 2 sind die oben definierten Werte der Verdeckungfi, j), sowie die verschiedenen Möglichkeiten einer Korrespondenz bzw. einer Rechtsverdeckung RV und einer Linksverdeckung LV für acht Perspektiven, nämlich ein linkes Bild LB, ein erstes bis sechstes Zwischenbild ZB1 ,...ZB6 und ein rechtes Bild RB darge- stellt.
Für jede Zeile i des Bildes wird das erfindungsgemäße Verfahren gemäß dem in den Figuren 4A und 4B gezeigten Flussdiagramm (zweite Ausführungsform der Erfindung) wie folgt durchgeführt:
Nach dem Start des Verfahrens werden in einem Schritt S1 ein Zeiger jr zur Bezeichnung eines Subpixels und ein Zeiger jl zur Bezeichnung eines Pixels jeweils auf 0 gesetzt. Ferner wird in einem Schritt S1a der Zeiger jl solange um 1 inkre- mentiert, bis der Indikator Verdeckυnζfi, j) größer gleich 0 geworden ist (eine entsprechende Abfrage ist als Bestandteil des Schrittes S1a anzusehen).
Wenn dies der Fall ist, beginnt mit einem Schritt S2 eine Schleife über alle Subpi- xel jr der Zeile i (für die das Verfahren gerade durchgeführt wird) zu laufen. Der Pixel(i, jr) ist dabei der zum Subpixel jr gehörende Pixel, wobei sich ein Pixel in bekannter Weise aus den drei Subpixeln R, G, B zusammensetzt.
Sofern gemäß der Abfrage mit Schritt S2 jr größer ist als die Anzahl der Subpixel pro Zeile ist, wird das Verfahren mit Schritt S7 für die aktuelle Zeile i beendet und ggf. für eine nächste Zeile erneut mit "Start" begonnen. Andernfalls wird
gemäß Schritt S3 für jr die Perspektive R(i, jr) aus dem Speicher 31 geholt, die auf diesem Subpixel jr angezeigt werden muss.
Ist gemäß der Abfrage mit Schritt S4 diese Perspektive "R(i, jr) = 0" ("ja"), so wird gemäß Schritt S8 der Subpixel aus dem linken Bild geholt. Außerdem wird dann gemäß Schritt S10 jr um 1 inkrementiert und zu Schritt S2 zurückgesprungen und der Ablauf damit wiederholt.
Wird jedoch die Abfrage mit Schritt S4 mit "nein" beantwortet (d.h. R(i, jr) ist ungleich 0), so wird mit Schritt S5 abgefragt, ob die Perspektive "R(i, jr) = N - 1" (N = Anzahl der Perspektiven) ist. Wenn dies der Fall ist, wird gemäß Schritt S9 der Subpixel aus dem rechten Bild geholt. Außerdem wird dann gemäß Schritt S10 jr um 1 inkrementiert und zu Schritt S2 zurückgesprungen und der Ablauf damit wiederholt.
Wird hingegen der Schritt S5 mit "nein" beantwortet (d.h. R(i, jr) ist ungleich N - 1 ), so beginnt mit Schritt S6 der eigentliche Suchvorgang mit der Definition "oben = false" und "unten = false".
Wird die Abfrage gemäß Schritt S11 "oben = false oder unten = false" mit "ja" beantwortet, so ist der Subpixel noch nicht von oben bzw. unten eingegrenzt, und es ist gemäß der Schritte S12 bis S17 weiter zu suchen. Wird hingegen Schritt S11 mit "nein" beantwortet, so ist der Subpixel eingegrenzt und kann gemäß Schritt S18 aus dem linken oder rechten Bild geholt werden. Für diesen Schritt S18 sind vier Fälle zu unterscheiden:
Fall 1 : j_oben - j_unten <= 1 und Wohinfi, jjoben) - Wohin(i, j_unten) < = 1 :
In diesem Fall gibt es eine eindeutige Korrespondenz, und der Subpixel kann vom linken Bild geholt werden. Dieser Fall ist schematisch in Figur 5 dargestellt. Hier muß ein Bildpunkt aus dem linken Bild gewählt werden, der sich im Zwischenbild (Zwischenperspektive) ZB2 aus j_unten und j_oben ergibt.
Fall 2: j_oben - j_unten > 1 und Wohinfi, jjoben) - Wohin(i, jjunten) < = 1 :
In diesem Fall liegt eine Rechtsverdeckung vor, und es kann der Subpixel vom linken Bild geholt werden. Dieser Fall ist schematisch in Figur 6 dargestellt.
Fall 3: j_oben - j_unten <= 1 und Wohinfi, j_oben) - Wohin(i, j_υnten) > 1 :
In diesem Fall liegt eine Linksverdeckung vor, und es kann der Subpixel vom rechten Bild geholt werden. Dieser Fall ist schematisch in Figur 7 dargestellt.
Fall 4: j_oben - j_unten > 1 und Wohinfi, jjoben) - Wohinfi, j_unten) > 1 :
Dieser Fall ist in der Realität nicht zulässig, da in einem gleichen Bereich nicht gleichzeitig eine Rechts- und eine Linksverdeckung vorliegen kann.
Im Anschluss an diesen Schritt S18 wird wiederum gemäß Figur 4A und Schritt S10 jr um 1 inkrementiert, zu Schritt S2 zurückgesprungen und der Ablauf damit wiederholt.
Wird hingegen die Abfrage gemäß Schritt S11 mit "ja" beantwortet, so wird ge- maß Schritt S12 eine neue Position "jl_PositionNeu" berechnet. Ferner wird in Abhängigkeit von der Perspektive R(i, jr) berechnet, wohin der Bildpunkt B(i, jl) abgebildet werden würde.
Ist gemäß der Abfrage mit Schritt S13 diese neue Position jLPositionNeu = Pi- xel(i, jr), so ist der abgebildete Bildpunkt gefunden. Gemäß Schritt S15 wird dann "oben = true", "unten = true", "j_oben_= jl" und "j_unten = jl" gesetzt und der Subpixel über die mit "nein" zu beantwortende Abfrage gemäß Schritt S11 gemäß dem Schritt S18 und den oben erläuterten vier Fällen geholt.
Wird jedoch die Abfrage mit Schritt S13 mit "nein" beantwortet und ist gemäß der Abfrage mit Schritt S14 die neue Position "jLPositionNeu > Pixel(i, jr)" ("ja"), so befindet sich diese oberhalb vom Pixel(i, jr). Es wird nun gemäß Schritt S16 "oben = true" und "j_oben = jl" gesetzt und jl um 1 dekrementiert. Weiterhin wird (im Flussdiagramm als Bestandteil von Schritt S16 anzusehen) geprüft, ob der Indika-
tor Verdeckun$(i , j) größer oder gleich 0 ist. Wenn dies nicht der Fall ist, wird jl so lange dekrementiert, bis dies der Fall ist.
Wird die Abfrage gemäß Schritt S14 jedoch mit "nein" beantwortet, so befindet sich die neue Position unterhalb vom Pixel(i, jr). Es wird nun gemäß Schritt S17 "unten = true" und "j_unten = jl" gesetzt und jl um 1 inkrementiert. Ferner wird (im Flussdiagramm als Bestandteil von Schritt S17 anzusehen) geprüft, ob der Indikator VerdeckungO , j) größer oder gleich 0 ist. Wenn dies nicht der Fall ist, wird jl so lange inkrementiert, bis dies der Fall ist.
Im Anschluss an die Schritte S15, S16 bzw. S17 erfolgt jeweils ein Rücksprung zum Schritt S11 und eine Fortsetzung der Schleife mit einer erneuten Abfrage, ob "oben = false oder unten = false" ist.
Abwandlungen des oben beschriebenen Verfahrens können sich durch andere Optimierungsstrategien ergeben, indem der Pixel jl nicht vom vorherigen Subpixel jr, sondern z.B. aus der vorherigen Zeile genommen wird, in der der Pixel jl gespeichert wurde. Dadurch können ggf. einige Schritte zum optimalen Pixel jl eliminiert werden.
Es wäre z.B. auch möglich, den Indikator Verdeckung und den Zeiger Wohin zu einem Feld zusammenzufassen. In diesem Fall wird bei einer Rechtsverdeckung z.B. Wohinfi, j) := -1 gesetzt. Dies zeigt an, dass es keine Korrespondenz gibt. Der Fall einer Linksverdeckung kann dann daran erkannt werden, dass Wohin(i, jjoben) - Wohin(i, j_unten) > 1 ist.
Mit dem erfindungsgemäßen Verfahren kann eine große Anzahl N von Perspektiven, z.B. N = 1024 oder 2048 gewählt werden, so dass sich völlig neue Möglichkeiten bei der 3D-Visualisierung von Bildern ergeben.
Dabei hat sich gezeigt, dass mit zunehmender Anzahl N von Perspektiven die Bilder immer klarer und die übergangszonen zwischen den Sehzonen immer schmaler werden.
Man könnte zwar vermuten, dass die Bildqualität sinkt, da für jede einzelne Perspektive immer weniger Bildpunkte zur Verfügung stehen. Dies ist jedoch nicht der Fall, da die Anzahl der für das einzelne Auge eines Betrachters sichtbaren Bildpunkte von der Größe der Subpixel und der Größe und Brennweite der Lenti- kularlinsen oder Parallaxenbarriere abhängen. Man sieht dort dann zwar mehr Perspektiven. Diese sind aber konsistenter, da der Abstand auf der Stereobasis geringer ist.
Ein pseudoholographischer Effekt ergibt sich, wenn die Stereobasis zwischen dem linken und dem rechten Bild besonders groß ist (z.B. 80 - 90 cm). In diesem Fall wandert der Betrachter länger durch die verschiedenen Sehzonen und hat so einen mehr holographischen Eindruck des „Herumgehens" um das Objekt.
Die hier beschriebenen Verfahren sind sowohl auf autostereoskopischen Displays als auch auf autostereoskopische Adapterscheiben auf der Basis von Linsen oder Parallaxen-Barrieresystemen anwendbar.
Ferner ist es möglich, den Schritt der Korrespondenzanalyse nicht am Ort der Darstellung der Bilder, sondern z.B. am Ort der Aufnahme der Bilder durchzufüh- ren und mit einem Datenkompressionsverfahren (z.B. MPEG-4) mit den beiden Stereobildern an den Ort der Darstellung zu übertragen.
Des Weiteren besteht die Möglichkeit, dass die Korrespondenzanalyse durch Transformation einer mitübertragenen Tiefenkarte der Stereobilder erzeugt wird.
Die erfindungsgemäßen Verfahren werden vorzugsweise mit Hilfe eines Computerprogramms ausgeführt.
Die Realisierung der erfindungsgemäßen Verfahren ist z.B. gemäß Figur 8 mit einer Mehrzahl von Linsen L (insbesondere Nanolinsen in Liquid-Lense- Technologie) vorteilhaft möglich, die über jeweils einem Pixel (RGB-Farbe) oder einem Subpixel (nur R- oder G- oder B-Farbe) eines Displays angeordnet sind. Die Linsen L werden dabei jeweils einzeln elektronisch mittels horizontaler Matrixlei- tungen HM und vertikaler Matrixleitungen VM so angesteuert, dass nur diejenigen
Bildpunkte des darunterliegenden Displays aktiviert bzw. erzeugt werden, die auch tatsächlich auf dem Display zur Darstellung des betreffenden synthetisierten Zwischenbildes angezeigt werden müssen.
Da jedes Pixel individuell ansteuerbar ist, können damit gemäß Figur 9 auch einzelne Bereiche des Displays DA in einen 3D-Modus geschaltet werden, während andere Bereiche nur ein 2D-BiId darstellen. Hierzu wird zeilen- und spaltensequentiell für jeden Bildpunkt der An- oder Abschaltimpuls zugeführt. Nur wenn bei einer Linse der horizontale und vertikale Impuls gleichzeitig anliegen, wird die Linse an- oder ausgeschaltet.