Die Erfindung betrifft ein Verfahren zur Aufnahme eines dreidimensionalen Abbilds einer Szene gemäß dem Patentanspruch 1 .

Bei aus dem Stand der Technik bekannten Methoden besteht das Problem, dass in Bereichen der Szene, die im jeweils aufgenommenen Bild bei einer bestimmten Beleuchtung homogen erscheinen, ein Stereo-Matching nicht möglich ist. Dies führt dazu, dass in größeren Bereichen der Szene keine Zuordnung zwischen einzelnen Punkten möglich ist, was insgesamt die Genauigkeit des dreidimensionalen Abbilds verschlechtert. Aufgabe der Erfindung ist es daher, ein Verfahren bereitzustellen, bei dem die Szene in höherer Auflösung dargestellt werden kann.

Die Erfindung löst diese Aufgabe mit den Merkmalen des Patentanspruchs 1 . Die Erfindung sieht vor

- eine Vielzahl von Bildaufnahmeeinheiten mit gemeinsamem überlappendem Aufnahmebereich, sowie

- eine Beleuchtungsanordnung, mit der eine Vielzahl von unterschiedlichen Lichtkonfigurationen zur Beleuchtung des gemeinsamen Aufnahmebereichs der Bildaufnahmeeinheiten erstellbar ist,

- wobei mit jeder der Bildaufnahmeeinheiten jeweils zumindest ein Bild des gemeinsamen Aufnahmebereichs für jeweils eine Anzahl der Lichtkonfigurationen erstellt wird,

- wobei für jede Bildaufnahmeeinheit jeweils ein, gegebenenfalls mehrkanaliges, Merkmalsbild erstellt wird, indem die von dieser Bildaufnahmeeinheit erstellten Bilder nach einer vorgegebenen Funktion kombiniert werden,

- wobei durch Korrespondenzanalyse für eine Anzahl von Referenzpunkten, insbesondere für Punkte des überlappenden Aufnahmebereichs, in einem der Merkmalsbilder jeweils der lageentsprechende Punkt in zumindest einem anderen Merkmalbild ermittelt wird, und

- wobei aufgrund der Disparität zwischen den miteinander korrespondierenden Punkte in den einzelnen Merkmalsbildern die dreidimensionale Lage des in den Punkten abgebildeten Raumpunkts ermittelt wird.

Durch diese Maßnahmen können mehr signifikante Strukturen in größeren Bereichen der Szene ermittelt werden, sodass insgesamt mehr korrespondierende Punkte in den Bildern aufgefunden werden können. Dadurch können dreidimensionale Abbilder mit höherer Genauigkeit und Vollständigkeit erstellt werden. Um signifikante Strukturen besser hervorheben zu können, kann vorgesehen sein, dass die Merkmalsbilder für jede der Bildaufnahmeeinheiten erstellt werden, indem für eine Anzahl von Bildpunkten der einzelnen Bilder jeweils derselben Bildaufnahmeeinheit, insbesondere für alle Bildpunkte,

- Intensitätswerte einander lageentsprechender Bildpunkte aus allen Bildern der jeweiligen Bildaufnahmeeinheit, gegebenenfalls auch die Intensitätswerte in der Umgebung der jeweiligen Bildpunkte, für die Bestimmung des zumindest einen Merkmalswertes herangezogen werden und dieser dem lageentsprechenden Punkt im Merkmalsbild zugeordnet wird, wobei insbesondere

- für jeden der Bildpunkte jeweils nach einer vorgegebenen Vorschrift aus den Intensitätswerten lageentsprechender Bildpunkte, gegebenenfalls aus deren jeweiligen Umgebungen, jeweils Texturinformation und/oder die Richtung der Flächennormale ermittelt wird.

Um die Erstellung unterschiedlicher Beleuchtungskonfigurationen bei gleichzeitig einfachem Aufbau zu ermöglichen, kann vorgesehen sein, dass für jede Lichtkonfiguration jeweils eine dieser Konfiguration zugeordnete Anzahl von Lichtquellen aktiviert wird, wobei für jede Lichtkonfiguration eine eigene Lichtquelle verwendet wird.

Eine zuverlässige Schätzung kann erzielt werden, indem für jede Lichtkonfiguration und für jede Bildaufnahmeeinheit jeweils ein Bild erstellt wird.

Eine vorteilhafte Heranziehung der Oberflächennormale zur Verbesserung des Stereo- Matchings sowie zur verbesserten Hervorhebung von signifikanten Strukturen kann so sehr effizient und exakt vorgenommen werden, indem für jede der Lichtkonfigurationen jeweils die Richtung, in der das Licht auf die Szene trifft bekannt ist, und dass für jede der Bildaufnahmeeinheiten jeweils die relative Lage und Ausrichtung zur Szene bekannt ist, und

dass aufgrund der relativen Lage der Lichteinfallrichtung zur Lage und Ausrichtung der Kamera die Oberflächennormalen in jedem Punkt ermittelt wird, wobei die Oberflächennormale als Merkmalswert dem jeweiligen Merkmalsbild zugeordnet wird und/oder dem jeweiligen Raumpunkt nach dessen Ermittlung zugeordnet wird.

Um vorteilhafte Merkmalsbilder zu erhalten, die gegenüber einzelnen Variationen, die durch unterschiedliche Beleuchtung verursacht wurden, stabil sind, kann vorgesehen sein, dass zur Erstellung der Merkmalsbilder jeweils pixelweise ein Merkmalswert ermittelt wird, der sich aus den Intensitätswerten der Bilder im lageentsprechenden Pixel ergibt, wobei der Merkmalswert vorzugsweise als gewichtete Summe der Intensitätswerte ermittelt wird, insbesondere

a) wobei sich die Gewichte, mit denen die Intensitätswerte gewichtet werden, aus den einzelnen Intensitätswerten selbst ergeben, und/oder Intensitätswerte, die näher beim Mittelwert liegen stärker gewichtet werden, oder

b) wobei als Merkmalswert der Median herangezogen wird, oder ein Mittelwert aus einer Menge von Intensitätswerten herangezogen wird, bei der eine Anzahl der größten oder kleinsten Intensitätswerte ausgeschlossen wird.

Zur Erhöhung der Erkennungsgenauigkeit kann vorgesehen sein, dass auf die Bilder vor der Erstellung des Merkmalsbilds ein Filter angewendet wird und bei der Erstellung des Merkmalsbilds anstelle der aufgenommenen Intensitätswerte solche Intensitätswerte herangezogen werden, die sich nach Anwendung des Filters ergeben. Dies ist insbesondere bei der Verwendung von Kantenfiltern oder ähnlichen Filtern besonders vorteilhaft möglich.

Um vorteilhafte Merkmalsbilder mit hohem Kontrast zu erhalten, kann vorgesehen sein, dass bei der Erstellung eines Merkmalsbilds pixelweise ein Merkmalswert ermittelt wird, indem

eine gewichtete Summe der Intensitätswerte der lageentsprechenden Pixel der Bilder ermittelt wird, wobei jeder der Intensitätswerte mit einem Gewichtswert gewichtet wird, der dem Kontrast des jeweiligen Bilds innerhalb einer Umgebung um das Pixel oder einem davon abgeleiteten Wert entspricht,

wobei der Kontrastwert insbesondere ermittelt wird, als

a) Differenz zwischen maximalem und minimalem Intensitätswert innerhalb der Umgebung,

b) maximale Differenz zwischen dem Intensitätswert des Pixels und einem Pixel innerhalb seiner Umgebung,

c) Varianz der Intensitätswerte innerhalb der Umgebung.

Eine bevorzugte Ausführungsform der Erfindung ist in den folgenden Zeichnungsfiguren näher dargestellt. Fig. 1 zeigt eine Anordnung zur Aufnahme eines dreidimensionalen Abbilds einer, insbesondere statischen, Szene. Fig. 2 zeigt die Erstellung der Merkmalsbilder aus den einzelnen Bildern. Fig. 3 zeigt eine konkrete Vorgehensweise zur Erstellung eines Merkmalsvektors aus für einen Bildpunkt. Fig. 4 zeigt schematisch die Suche korrespondierender Punkte in Merkmalsbildern.

In Fig. 1 ist eine Anordnung zur Aufnahme eines dreidimensionalen Abbilds einer statischen Szene 3 dargestellt. Diese Anordnung stellt eine bevorzugte Ausführungsform der Erfindung dar und umfasst zwei Bildaufnahmeeinheiten 21 , 22 in Form von Digitalkameras. Diese Bildaufnahmeeinheiten 21 , 22 weisen jeweils einen Aufnahmebereich 210, 220 auf, wobei diese beiden Aufnahmebereiche 210, 220 einen gemeinsamen Überlappungsbereich 200 aufweisen.

Darüber hinaus verfügt die in Fig. 1 dargestellte Anordnung über eine Beleuchtungsanordnung mit drei Lichtquellen 1 1 , 12, 13, die die Szene 3 aus unterschiedlichen Richtungen beleuchten. Mit diesen Lichtquellen 1 1 , 12, 13 können unterschiedliche Lichtkonfigurationen erstellt werden, wobei im vorliegenden Ausführungsbeispiel drei Lichtkonfigurationen vorhanden sind, bei der jeweils eine der Lichtquellen 1 1 , 12, 13 aktiviert ist, während die übrigen Lichtquellen 1 1 , 12, 13 inaktiv sind. Insgesamt ist es jedoch keineswegs erforderlich, dass jeder Lichtkonfiguration jeweils genau eine Lichtquelle 1 1 , 12, 13 oder genau eine bestimmte Anzahl von Lichtquellen 1 1 , 12, 13 zugeordnet ist, die bei allen übrigen Lichtkonfigurationen inaktiv geschaltet sind. Es ist vielmehr ausreichend, dass sich jede Lichtkonfiguration von jeder anderen Lichtkonfiguration dadurch unterscheidet, dass unterschiedliche Lichtquellen 1 1 , 12, 13 jeweils aktiviert werden. Die Lichtquellen 1 1 , 12, 13 werden typischerweise durch eine Steuereinheit angesteuert, die die Lichtquellen 1 1 , 12, 13 derart aktiviert, dass jeweils eine ihr vorgegebene Lichtkonfiguration erstellt wird.

Grundsätzlich ist es bei allen Ausführungsbeispielen der Erfindung vorteilhaft, wenn die einzelnen Lichtquellen 1 1 , 12, 13 die Szene 3 von unterschiedlichen Richtungen her beleuchten, da Oberflächenbereiche der Szene 3 typischerweise aus unterschiedlichen Beleuchtungsrichtungen unterschiedlich strukturiert erscheinen, sodass allfällige oberflächliche Strukturen auf der Oberfläche der Szene 3 bei zumindest einer Lichtkonfigurationen erscheinen.

In Fig. 2 werden die einzelnen von den Bildaufnahmeeinheiten 21 , 22 erstellten Bilder 41 1 , 412, 413; 421 , 422, 423 dargestellt. Das mit dem Bezugszeichen 41 1 versehene Bild wird von der ersten Bildaufnahmeeinheit 21 bei Beleuchtung mit der ersten Lichtquelle 1 1 erstellt. Das mit dem Bezugszeichen 412 versehene Bild wird von der ersten Bildaufnahmeeinheit 21 bei Beleuchtung mit der zweiten Lichtquelle 12 erstellt. Das mit dem Bezugszeichen 413 versehene Bild wird von der ersten Bildaufnahmeeinheit 21 bei Beleuchtung mit der dritten Lichtquelle 13 erstellt. Das mit dem Bezugszeichen 421 versehene Bild wird von der zweiten Bildaufnahmeeinheit 22 bei Beleuchtung mit der ersten Lichtquelle 1 1 erstellt. Das mit dem Bezugszeichen 422 versehene Bild wird von der zweiten Bildaufnahmeeinheit 22 bei Beleuchtung mit der zweiten Lichtquelle 12 erstellt. Das mit dem Bezugszeichen 423 versehene Bild wird von der zweiten Bildaufnahmeeinheit 22 bei Beleuchtung mit der dritten Lichtquelle 13 erstellt.

Durch diese Maßnahme wird erreicht, dass für jede Lichtkonfiguration, im vorliegenden Fall bei Aktivierung jeder Lichtquelle, und für jede Bildaufnahmeeinheit 21 , 22 jeweils separat ein Bild 41 1 , 412, 413; 421 , 422, 423 vorliegt.

Im Allgemeinen ist es nicht erforderlich, für jede beliebige Kombination einer Lichtkonfiguration und einer Bildaufnahmeeinheit 21 , 22 jeweils ein separates Bild 41 1 , 412, 413; 421 , 422, 423 zu erstellen. Vielmehr kann es auch ausreichen, dass für eine Anzahl von Lichtkombinationen mit der ersten Bildaufnahmeeinheit 21 Bilder erstellt werden und für eine nicht notwendigerweise idente Anzahl und Menge von Lichtkonfigurationen mit der zweiten Bildaufnahmeeinheit 22 jeweils Bilder erstellt werden.

Aus den jeweils mit derselben Bildaufnahmeeinheit 21 , 22 erstellten Bildern 41 1 , 412, 413; 421 , 422, 423 werden Merkmalsbilder 51 , 52 erstellt. In dieser bevorzugten Ausführungsform der Erfindung ist die Größe der mit der ersten Bildaufnahmeeinheit 21 erstellten einzelnen Bilder 41 1 , 412, 413 jeweils gleich, sodass einzelne Pixel in den einzelnen Bildern 41 1 , 412, 413 einander lageentsprechend zugeordnet werden können. Dasselbe gilt auch für die von der zweiten Bildaufnahmeeinheit 22 erstellten Bilder 421 , 422, 423. Darüber hinaus ist es auch möglich, dass die erste und zweite Bildaufnahmeeinheit 21 , 22 Bilder von gleicher Größe erstellen.

Die Bilder 41 1 , 412, 413; 421 , 422, 423, die von jeweils einer Bildaufnahmeeinheit 21 , 22 erstellt wurden, werden jeweils zu einem Bildstapel 410, 420 zusammengefasst. Innerhalb des ersten Bildstapels 410 wird aus den von der ersten Bildaufnahmeeinheit 21 erstellten Bildern 41 1 , 412, 413 ein erstes Merkmalsbild 51 erstellt. Innerhalb des zweiten Bildstapels 420 wird aus den von der zweiten Bildaufnahmeeinheit 22 erstellten Bildern 421 , 422, 423 ein zweites Merkmalsbild 52 erstellt.

Die Bilder 41 1 , 412, 413; 421 , 422, 423 aus einem Bildstapel 410, 420 können bei der Erstellung des jeweiligen Merkmalsbilds 51 , 52 auf unterschiedliche Weise überlagert werden. Ein diesbezüglich vorteilhaftes Vorgehen ist in Fig. 3 näher dargestellt. Für die Bildung der Intensitätswerte des Merkmalsbilds können pixelweise akkumulierte Intensitätswerte der Bilder 41 1 , 412, 413 herangezogen werden.

Typischerweise kann das Vorhandensein bestimmter Strukturen innerhalb eines Bildes 41 1 , 412, 413; 421 , 422, 423 einfach anhand der in der jeweiligen Umgebung eines Bildpunktes vorhandenen Intensitätswerte einfach festgestellt werden. So ist es beispielsweise möglich, innerhalb der jeweiligen Umgebung Texturinformationen wie beispielsweise das Vorhandensein oder die Richtung von Kanten festzustellen. Darüber hinaus ist es auch möglich, lokale Gradienten zu ermitteln, um auf diese Weise die Richtung einer Oberflächennormale des aufgenommenen Teils der Oberfläche der Szene 3 zu ermitteln. Die Merkmalsbilder 51 , 52 des jeweiligen Bildstapels 410, 420 für die einzelnen Bildaufnahmeeinheiten 21 , 22 können erstellt werden, indem für eine Anzahl von Bildpunkten der einzelnen Bilder 41 1 , 412, 413; 421 , 422, 423 aus dem Bildstapel dieser Bildaufnahmeeinheit 21 , 22 bildpunktweise Merkmale anhand vorgegebener Vorschriften ermittelt werden. Intensitätswerte einander lageentsprechender Punkte aus allen Bildern 41 1 , 412, 413; 421 , 422, 423 des jeweiligen Bildstapels 410, 420 sowie gegebenenfalls auch die Intensitätswerte aus der Umgebung der jeweiligen Bildpunkte werden für die Bestimmung des jeweiligen Merkmalswerts herangezogen und dieser Merkmalswert wird dem lageentsprechenden Punkt des Merkmalsbilds 51 , 52 zugeordnet.

Wie in Fig. 3 dargestellt, wird in den einzelnen zueinander lageentsprechenden Punkten 41 1 , 412, 413 jeweils innerhalb der Umgebung ein Merkmalswert errechnet. Dieser wird anschließend für die lageentsprechenden Punkte über die einzelnen Bilder 41 1 , 412, 413 akkumuliert und im jeweiligen Merkmalsbild 51 abgespeichert. Im vorliegenden Fall umfasst das jeweilige Merkmalsbild 51 zwei Merkmalsbildkanäle 51 1 , 512. Auf diese Weise werden im vorliegenden Ausführungsbeispiel zwei unterschiedliche Merkmale ermittelt und diese Merkmale werden in den beiden unterschiedlichen Kanälen des Merkmalsbilds 51 abgespeichert.

In Fig. 4 sind einzelne auf der Oberfläche der Szene aufgenommene Punkte dargestellt, in denen oberflächliche Strukturen in den Merkmalsbildern 51 , 52 detektiert wurden. Bei den hier dargestellten Punkten handelt es sich lediglich um eine Auswahl von miteinander korrelierenden Punktepaaren in den unterschiedlichen Merkmalsbildern, die zur vereinfachten Darstellung der Korrespondenzanalyse ausgewählt werden. Grundsätzlich ist es möglich, für alle Punkte des überlappenden Aufnahmebereichs des ersten Merkmalsbilds jeweils einen korrespondierenden Punkt im zweiten Merkmalsbild zu ermitteln.

Durch Korrespondenzanalyse wird für die so aufgefundenen Referenzpunkte 61 1 , 612, 613, 614 im ersten Merkmalsbild 51 jeweils ein korrespondierender Punkt 621 , 622, 623, 624 im zweiten Merkmalsbild 52 aufgefunden, es werden Punktpaare umfassend je einen Referenzpunkt 61 1 , 612, 613, 614 sowie den ihm jeweils zugeordneten Punkt erstellt.

In einem abschließenden Schritt kann für jedes derart aufgefundene Punktepaar aufgrund der Disparität zwischen den beiden miteinander korrespondierenden Punkten 61 1 , 612, 613, 614; 621 , 622, 623, 624 in den einzelnen Merkmalsbildern 51 , 52 die dreidimensionale Lage der in den Punkten 61 1 , 612, 613, 614; 621 , 622, 623, 624 der Punktpaare abgebildeten Raumpunkte der Szene 3 ermittelt werden.

Ferner ist es auch möglich, dass für jede der Lichtkonfigurationen jeweils die Richtung, in der das Licht auf die Szene trifft, bekannt ist und dass auch für jede der Bildaufnahmeeinheiten 21 , 22 jeweils die relative Lage und Ausrichtung zu den Lichtkonfigurationen bzw Lichtquellen 1 1 , 12, 13 oder zur Szene 3 bekannt ist. Aufgrund dieser relativen Lage der Lichteinfallrichtung zur Lage und Ausrichtung der Bildaufnahmeeinheiten 21 , 22 können die Oberflächennormalen in dem jeweiligen Punkt ermittelt werden, in dem jeweils der der Flächennormale entsprechende Merkmalswert des Merkmalsbilds herangezogen wird. Die Oberflächennormale wird dem jeweiligen Merkmalsbild 51 , 52 als Merkmalswert zugeordnet.

In einer bevorzugten Ausführungsform der Erfindung können die Merkmalswerte der Merkmalsbilder pixelweise ermittelt werden, indem für jedes Pixel die Intensitätswerte aus allen zur Verfügung stehenden Bildern 41 1 , 412, 413, 421 , 422, 423 jeweils im lageentsprechenden Pixel herangezogen werden und nach einer vorgegebenen Vorschrift der jeweilige Merkmalswert aus den Intensitätswerten ermittelt wird. So lässt sich beispielsweise der Merkmalswert als gewichteter Mittelwert der Intensitätswerte ermitteln. Die Intensitätswerte können dabei umso stärker gewichtet werden, je näher sie sich beim Mittelwert der Intensitätswerte befinden.

Alternativ kann als Merkmalswert auch der Median der Intensitätswerte herangezogen werden. Alternativ besteht auch die Möglichkeit, dass der Merkmalswert aus den wertmäßig mittleren Intensitätswerten durch Mittelwertbildung ermittelt wird. So ist es beispielsweise möglich, die n größten und die n kleinsten Werte aus der Menge der Intensitätswerte zu entfernen und aus den verbleibenden Intensitätswerten den Mittelwert zu bilden und als Merkmalswert heranzuziehen.

Hierbei besteht auch die Möglichkeit, anstelle der aufgenommenen Bilder abgeleitete Bilder gleicher Größe mit abgeleiteten Intensitätswerten zu verwenden, die durch Anwendung eines Filters auf die ursprünglich aufgenommenen Bilder erstellt wurden. So können beispielsweise Kantenfilter auf die ursprünglich aufgenommenen Bilder angewendet werden, um strukturelle Merkmale besonders gut hervorzuheben. Bei der Erstellung des Merkmalsbilds werden anstelle der ursprünglich aufgenommenen Bilder solche Bilder und deren Intensitätswerte herangezogen, die sich nach Anwendung des Filters ergeben.

Darüber hinaus besteht in einer alternativen Ausführungsform der Erfindung die Möglichkeit, nicht bloß den Intensitätswert des jeweiligen Pixels heranzuziehen, sondern die Pixel innerhalb einer vorgegebenen Umgebung zu betrachten und für die Umgebung des jeweiligen Pixels den Kontrast zu ermitteln. Unter allen lageentsprechenden Pixeln in den Bildern 41 1 , 412, 413, 421 , 422, 423 wird der jeweilige Intensitätswert mit einem Gewichtswert gewichtet, der dem ermittelten Kontrast entspricht oder von diesem abgeleitet ist.

Die Berechnung der Kontraststärke für eine Umgebung rund um ein Pixel kann auf unterschiedliche Weise berechnet werden, wobei auch die Größe der jeweiligen Umgebung auf unterschiedliche Weise festgelegt werden kann. Als mögliche Methoden zur Bestimmung des Kontrastes kommen in Frage:

a) die Differenz zwischen maximalem und minimalem Intensitätswert innerhalb der Umgebung,

b) die maximale Differenz zwischen dem Intensitätswert des Pixels und einem Pixel innerhalb seiner Umgebung,

c) die Varianz der Intensitätswerte innerhalb der Umgebung.

Selbstverständlich ist es im Rahmen der Erfindung auch möglich, eine Anzahl von Pixeln mit dem größten Kontrast zu verwenden und den Intensitätswerten dieser Pixel den Mittelwert zu bilden.