Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR DETERMINING DISTANCE INFORMATION FROM AN IMAGE OF A SPATIAL REGION
Document Type and Number:
WIPO Patent Application WO/2019/121729
Kind Code:
A1
Abstract:
The invention relates to a method (100) and to a device (10) for determining distance information from an imaging of a spatial region (18). The method comprises the following steps: arranging a first (12), a second (14) and a third imaging unit (16) in a defined capturing geometry (20), in which the imaging units (12, 14, 16) span an isosceles triangle; defining a disparity region (56) having a number of discrete disparities; imaging the spatial region (18), a first image (40) being captured by means of the first imaging unit (12), a second image (42) being captured by means of the second imaging unit (14) and a third image (44) being captured by means of the third imaging unit (16); determining first similarity values (66) for at least one pixel (54) of the first image (40) for all discrete disparities in a defined disparity region (56) along a first epipolar line (50) in the second image (42), which first epipolar line is associated with the pixel; determining second similarity values (68) for the at least one pixel (54) of the first image (40) for all discrete disparities in the defined disparity region (56) along a second epipolar line (52) in the third image (44), which second epipolar line is associated with the pixel (54). The method also comprises: linking the first similarity values (66) to the second similarity values (68); determining a common disparity between the first, second and third images (40, 42, 44) for the at least one pixel (54) on the basis of the linked similarity values (70); and determining a distance to a spatial region point for the at least one pixel (54) from the common disparity and the defined capturing geometry (20).

Inventors:
HAUSSMANN, Joerg (Felix-Wankel-Strasse 2, Ostfildern, 73760, DE)
Application Number:
EP2018/085562
Publication Date:
June 27, 2019
Filing Date:
December 18, 2018
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
PILZ GMBH & CO. KG (Felix-Wankel-Str. 2, Ostfildern, 73760, DE)
International Classes:
G01C11/30; F16P3/14; G01C3/14; G06T7/593
Domestic Patent References:
WO2007107214A22007-09-27
Foreign References:
US20160309134A12016-10-20
Other References:
None
Attorney, Agent or Firm:
WITTE, WELLER & PARTNERPATENTANWÄLTE MBB (Postfach 10 54 62, Stuttgart, 70047, DE)
Download PDF:
Claims:
Patentansprüche

1. Verfahren (100) zum Bestimmen von Entfernungsinformationen aus einer Abbil- dung eines Raumbereichs (18), mit den Schritten:

Anordnen einer ersten (12), zweiten (14) und dritten bildgebenden Einheit (16) in einer definierten Aufnahmegeometrie (20), bei der die bildgebenden Einheiten (12, 14, 16) ein gleichschenkliges Dreieck aufspannen;

Definieren eines Disparitätsbereichs (56) mit einer Anzahl diskreter Dispari- täten;

Abbilden des Raumbereichs (18), wobei ein erstes Bild (40) mit der ersten bildgebenden Einheit (12), ein zweites Bild (42) mit der zweiten bildgeben- den Einheit (14) und ein drittes Bild (44) mit der dritten bildgebenden Ein- heit (16) aufgenommen wird;

Bestimmen von ersten Ähnlichkeitswerten (66) für mindestens ein Pixel (54) des ersten Bilds (40) für alle diskreten Disparitäten in einem definierten Disparitätsbereich (56) entlang einer dem Pixel zugehörigen ersten epipola- ren Linie (50) in dem zweiten Bild (42);

Bestimmen von zweiten Ähnlichkeitswerten (68) für das zumindest eine Pixel (54) des ersten Bilds (40) für alle diskreten Disparitäten in dem defi nierten Disparitätsbereich (56) entlang einer dem Pixel (54) zugehörigen zweiten epipolaren Linie (52) in dem dritten Bild (44);

Verknüpfen der ersten Ähnlichkeitswerte (66) mit den zweiten Ähnlich- keitswerten (68); Bestimmen einer gemeinsamen Disparität zwischen dem ersten, zweiten und dritten Bild (40, 42, 44) für das zumindest eine Pixel (54) anhand der verknüpften Ähnlichkeitswerte (70); und

Bestimmen einer Entfernung zu einem Raumbereichspunkt für das zumin- dest eine Pixel (54) aus der gemeinsamen Disparität und der definierten Aufnahmegeometrie (20).

2. Verfahren nach Anspruch 1 , wobei in der definierten Aufnahmegeometrie (20) die bildgebenden Einheiten (12, 14, 16) ein gleichschenkliges, rechtwinkliges Dreieck aufspannen.

3. Verfahren nach einem der Ansprüche 1 oder 2, wobei die ersten Ähnlichkeitswerte (66) gebildet werden, indem das zumindest eine Pixel (54) des ersten Bilds (40) und dessen Umgebung mit jedem Pixel und dessen Umgebung innerhalb des de- finierten Disparitätsbereichs (56) entlang der ersten epipolaren Linie (50) im zwei- ten Bild (42) verglichen wird, und wobei die zweiten Ähnlichkeitswerte gebildet werden, indem das zumindest eine Pixel (54) des ersten Bilds (40) und dessen Umgebung mit jedem Pixel und dessen Umgebung innerhalb des definierten Dis- paritätsbereichs (56) entlang der zweiten epipolaren Linie (52) im dritten Bild (44) verglichen wird.

4. Verfahren nach Anspruch 3, wobei zum Vergleich des zumindest einen Pixels (54) und dessen Umgebung mit jedem Pixel und dessen Umgebung entlang der ersten und zweiten epipolaren Linie (50, 52) die Summe absoluter oder quadratischer Dif- ferenzen gebildet wird.

5. Verfahren nach einem der Ansprüche 1 bis 4, wobei die ersten Ähnlichkeitswerte (66) und die zweiten Ähnlichkeitswerte (68) addiert werden.

6. Verfahren nach einem der Ansprüche 1 bis 5, wobei das Bestimmen der gemein- samen Disparität für das zumindest eine Pixel (54) eine Extremwertsuche in den verknüpften Ähnlichkeitswerten (70) beinhaltet, insbesondere eine Suche nach ei- nem Minimum.

7. Verfahren nach einem der Ansprüche 1 bis 6, wobei das erste, zweite und dritte Bild (40, 42, 44) so zueinander transformiert werden, dass sich die erste epipolare Linie (50) entlang einer ersten Achse und die zweite epipolare Linie (52) entlang einer zweiten zur ersten epipolaren Linie senkrechten Achse erstreckt.

8. Verfahren nach Anspruch 7, wobei das erste, zweite und dritte Bild (40, 42, 44) je eine gleiche Anzahl an Pixelzeilen (46) und eine gleiche Anzahl an Pixelspalten (48) aufweist, wobei sich die erste epipolare Linie (50) entlang einer Pixelzeile im zweiten Bild (42) erstreckt, die mit der Pixelzeile des ersten Bilds (40) korrespon- diert, in der sich das zumindest eine Pixel (54) befindet, und wobei sich die zweite epipolare Linie (52) entlang einer Pixelspalte im dritten Bild (44) erstreckt, die mit der Pixelspalte des ersten Bilds (40) korrespondiert, in der sich das zumindest eine Pixel (54) befindet.

9. Verfahren nach einem der Ansprüche 1 bis 8, wobei für alle Pixel des ersten Bilds (40) je eine gemeinsame Disparität bestimmt wird.

10. Verfahren nach einem der Ansprüche 1 bis 8, wobei nur für eine definierte Anzahl an Pixeln des ersten Bilds (40) je eine gemeinsame Disparität bestimmt wird.

1 1. Verfahren nach einem der Ansprüche 1 bis 10, wobei das Verfahren ferner um- fasst:

Bestimmen von dritten Ähnlichkeitswerten für mindestens ein weiteres Pixel (54‘) des zweiten Bilds (42) für alle diskreten Disparitäten in einem definier- ten Disparitätsbereich (56) entlang einer dem weiteren Pixel (54‘) zugehöri- gen ersten epipolaren Linie (50) in dem ersten Bild (40); Bestimmen von vierten Ähnlichkeitswerten für das zumindest eine weitere Pixel (54‘) des zweiten Bilds (42) für alle diskreten Disparitäten in dem defi nierten Disparitätsbereich (56) entlang einer dem weiteren Pixel (54‘) zuge- hörigen zweiten epipolaren Linie (52) in dem dritten Bild (44);

Bestimmen einer weiteren Entfernungsinformation aus den dritten und vierten Ähnlichkeitswerten.

12. Vorrichtung (10) zum Bestimmen von Entfernungsinformationen aus einer Abbil- dung eines Raumbereichs (18), umfassend: eine erste bildgebende Einheit (12) zum Aufnehmen eines ersten Bilds (40) des Raumbereichs (18), eine zweite bildgebende Einheit (14) zum Aufnehmen eines zweiten Bilds (42) des Raumbereichs (18) und eine dritte bildgebende Einheit (16) zum Aufnehmen eines dritten Bilds (44) des Raumbereichs (18), wobei die erste, zweite und dritte bildgebende Einheit (12, 14, 16) in einer definierten Aufnahme- geometrie (20) angeordnet sind, bei der die bildgebenden Einheiten (12, 14, 16) ein gleichschenkliges Dreieck aufspannen, sowie eine Bildverarbeitungseinheit (26), die dazu eingerichtet ist, innerhalb eines definierten Disparitätsbereichs (56) mit einer Anzahl diskreter Disparitäten erste (66) und zweite Ähnlichkeitswerte (68) für zumindest ein Pixel (54) des ersten Bilds (40) zu bestimmen, wobei die Bildverarbeitungseinheit (26) dazu eingerichtet ist, die ersten Ähnlich- keitswerte (66) für das zumindest eine Pixel (54) für alle diskreten Disparitäten in dem definierten Disparitätsbereich (56) entlang einer dem Pixel (54) zugehörigen ersten epipolaren Linie (50) in dem zweiten Bild (42) zu bestimmen und die zwei- ten Ähnlichkeitswerte (68) für das zumindest eine Pixel (54) für alle diskreten Dis- paritäten in dem definierten Disparitätsbereich (56) entlang einer dem Pixel (54) zugehörigen zweiten epipolaren Linie (52) in dem dritten Bild (44) zu bestimmen, wobei die Bildverarbeitungseinheit (26) ferner dazu eingerichtet ist, die ersten Ähnlichkeitswerte (66) mit den zweiten Ähnlichkeitswerten (68) zu verknüpfen, ei- ne gemeinsame Disparität für das zumindest eine Pixel (54) zwischen dem ersten, zweiten und dritten Bild (40, 42, 44) anhand der verknüpften Ähnlichkeitswerte (70) zu bestimmen, sowie eine Entfernung zu einem Raumbereichspunkt für das zu- mindest eine Pixel (54) aus der gemeinsamen Disparität und der definierten Auf- nahmegeometrie (20) zu ermitteln.

13. Vorrichtung nach Anspruch 12, wobei die Bildverarbeitungseinheit (26) ein FPGA ist.

14. Vorrichtung nach einem der Ansprüche 12 oder 13, wobei die Vorrichtung ferner eine Auswerteeinheit aufweist, die dazu eingerichtet ist, eine Szenenanalyse durchzuführen, um anhand der Entfernung zu dem Raumbereichspunkt Fremdob- jekte in einem Gefahrenbereich einer technischen Anlage (72) zu detektieren, so- wie Mittel, die eingerichtet sind, die technische Anlage (72) in einen gefahrlosen Zustand zu überführen, wenn die Auswerteeinheit ein Fremdobjekt detektiert.

15. Vorrichtung nach einem der Ansprüche 12 bis 14, wobei die erste, zweite und

dritte bildgebende Einheit (12, 14, 16) in einem gemeinsamen Gehäuse (28) an- geordnet sind.

16. Verwendung der Vorrichtung nach einem der Ansprüche 12 bis 15 zum Absichern eines Gefahrenbereichs (78) einer technischen Anlage (72), wobei die Vorrichtung eingerichtet ist, anhand einer Szenenanalyse Fremdobjekte in dem Gefahrenbe- reich zu detektieren und die technische Anlage (72) in einen gefahrlosen Zustand zu überführen.

17. Computerprogramm, umfassend Befehle, die bewirken, dass die Vorrichtung nach einem der Ansprüche 12 bis 15 die Verfahrensschritte nach einem der Ansprüche 1 bis 11 ausführt.

Description:
Verfahren zum Bestimmen von Entfernunqsinformation aus einer Abbildung eines Raum- bereichs

[0001] Die vorliegende Erfindung betrifft ein Verfahren zum Bestimmen von Entfernungsinforma- tionen aus einer Abbildung eines Raumbereichs sowie eine entsprechende Vorrichtung hierfür. Ferner betrifft die Erfindung die Verwendung einer solchen Vorrichtung zum Absichern eines Gefahrenbereiches einer technischen Anlage.

[0002] Es ist bekannt, anhand von zueinander versetzten Aufnahmen eines Raumbereichs

Entfernungsinformationen von Objekten in dem Raumbereich zu bestimmen. Der Versatz (Disparität) zwischen den Projektionen eines Objekts in den versetzten Aufnahmen ist abhängig von der Entfernung des Objekts zu den abbildenden Einheiten, so dass bei ei- nem bekannten Versatz mittels Triangulation unter Heranziehung der Aufnahmegeometrie die Entfernung zu einem Objekt bestimmt werden kann. [0003] Um den Versatz zu bestimmen, müssen in den zueinander versetzten Aufnahmen korrespondierende Elemente gefunden werden. Diesen Vorgang bezeichnet man als Korrespondenzanalyse. Während das Auffinden von korrespondierenden Elementen in verschiedenen Bildern für den Menschen einfach ist, stellt dies für den Computer eine große Herausforderung dar. Prinzipbedingt können daher Zuordnungsfehler auftreten, die schlussendlich zu falsch vermessenen Entfernungen führen.

[0004] Bei Standardstereosystemen, d.h. Systemen, bei denen ein in der Regel mit zwei Senso- ren aufgenommenes Stereobild betrachtet wird, versucht man die Zuordnungsprobleme zwischen dem linken und dem rechten Bild mit aufwendigen Algorithmen zur Korrespon- denzanalyse in den Griff zu bekommen. Trotz aller Anstrengungen können jedoch Zuord- nungsprobleme nicht ganz ausgeschlossen bzw. zuverlässig auf ein tolerierbares Maß reduziert werden. Es ist daher gerade bei kritischen Anwendungen, bei denen eine Entfer- nung zumindest in einem definierten Bereich zuverlässig erkannt werden muss, notwen- dig, ergänzende Maßnahmen zu treffen, um die gemessene Entfernung zu verifizieren.

[0005] Eine Möglichkeit die Zuordnungsqualität zu verbessern, ist das Hinzuziehen eines

weiteren Sensors, mit dessen Hilfe ein weiteres Stereopaar gebildet wird, um eine ergän- zende Entfernungsmessung durchzuführen. Die ermittelten Entfernungswerte beider Stereopaare werden im Anschluss dazu benutzt, die Ergebnisse des jeweils anderen Stereopaars zu überprüfen. Auf diese Weise wird versucht, die Zuordnungsprobleme insgesamt zu verringern. Wenn die ermittelten Entfernungswerte gleich sind, kann ange- nommen werden, dass die Entfernung korrekt ist. Weichen die Ergebnisse jedoch vonei- nander ab, muss in einem aufwendigen Entscheidungsprozess entweder die Vorrangig- keit eines der Ergebnisse ermittelt werden oder aber bestimmt werden, dass beide Ergebnisse zu verwerfen sind. Beides verlangt eine Nachbearbeitung der Ergebnisse, welche die Komplexität der Auswertesoftware deutlich steigert.

[0006] Es ist daher eine Aufgabe der vorliegenden Erfindung, ein Verfahren sowie eine ent- sprechende Vorrichtung anzugeben, die eine treffsichere Disparitätsfindung ermöglichen, sich einfach und effizient implementieren lassen und eine aufwendige Nachbearbeitung nicht erforderlich machen. [0007] Gelöst wird diese Aufgabe durch ein Verfahren zum Bestimmen von Entfernungsinforma- tionen aus einer Abbildung eines Raumbereichs, mit den Schritten:

Anordnen einer ersten, zweiten und dritten bildgebenden Einheit in einer definier- ten Aufnahmegeometrie, bei der die bildgebenden Einheiten ein gleichschenkliges Dreieck aufspannen;

Definieren eines Disparitätsbereichs mit einer Anzahl diskreter Disparitäten;

Abbilden des Raumbereichs, wobei ein erstes Bild mit der ersten bildgebenden Einheit, ein zweites Bild mit der zweiten bildgebenden Einheit und ein drittes Bild mit der dritten bildgebenden Einheit aufgenommen wird;

Bestimmen von ersten Ähnlichkeitswerten für mindestens ein Pixel des ersten Bilds für alle diskreten Disparitäten in einem definierten Disparitätsbereich entlang einer dem Pixel zugehörigen ersten epipolaren Linie in dem zweiten Bild;

Bestimmen von zweiten Ähnlichkeitswerten für das zumindest eine Pixel des ersten Bilds für alle diskreten Disparitäten in dem definierten Disparitätsbereich entlang einer dem Pixel zugehörigen zweiten epipolaren Linie in dem dritten Bild;

Verknüpfen der ersten Ähnlichkeitswerte mit den zweiten Ähnlichkeitswerten;

Bestimmen einer gemeinsamen Disparität zwischen dem ersten, zweiten und dritten Bild für das zumindest eine Pixel anhand der verknüpften Ähnlichkeitswerte; und

Bestimmen einer Entfernung zu einem Raumbereichspunkt für das zumindest eine Pixel aus der gemeinsamen Disparität und der definierten Aufnahmegeometrie.

[0008] Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird die Aufgabe durch eine

Vorrichtung zum Bestimmen von Entfernungsinformation aus einer Abbildung eines Raumbereichs gelöst, umfassend eine erste bildgebende Einheit zum Aufnehmen eines ersten Bilds des Raumbereichs, eine zweite bildgebende Einheit zum Aufnehmen eines zweiten Bilds des Raumbereichs und eine dritte bildgebende Einheit zum Aufnehmen eines dritten Bilds des Raumbereichs, wobei die erste, zweite und dritte bildgebende Ein- heit in einer definierten Aufnahmegeometrie angeordnet sind, bei der die bildgebenden Einheiten ein gleichschenkliges Dreieck aufspannen, sowie eine Bildverarbeitungseinheit, die dazu eingerichtet ist, innerhalb eines definierten Disparitätsbereichs mit einer Anzahl diskreter Disparitäten erste und zweite Ähnlichkeitswerte für zumindest ein Pixel des ers- ten Bilds zu bestimmen, wobei die Bildverarbeitungseinheit dazu eingerichtet ist, die ers- ten Ähnlichkeitswerte für das zumindest eine Pixel für alle diskreten Disparitäten in dem definierten Disparitätsbereich entlang einer dem Pixel zugehörigen ersten epipolaren Linie in dem zweiten Bild zu bestimmen und die zweiten Ähnlichkeitswerte für das zumindest eine Pixel für alle diskreten Disparitäten in dem definierten Disparitätsbereich entlang ei- ner dem Pixel zugehörigen zweiten epipolaren Linie in dem dritten Bild zu bestimmen, wo bei die Bildverarbeitungseinheit ferner dazu eingerichtet ist, die ersten Ähnlichkeitswerte mit den zweiten Ähnlichkeitswerten zu verknüpfen, eine gemeinsame Disparität für das zumindest eine Pixel zwischen dem ersten, zweiten und dritten Bild anhand der verknüpf- ten Ähnlichkeitswerte zu bestimmen, sowie eine Entfernung zu einem Raumbereichspunkt für das zumindest eine Pixel aus der gemeinsamen Disparität und der definierten Auf- nahmegeometrie zu ermitteln.

[0009] Es ist somit eine Idee der vorliegenden Erfindung, Entfernungsinformationen für einen

Raumbereich anhand drei bildgebender Einheiten zu bestimmen. Anstelle jedoch zwei Stereokorrespondenzanalysen für zwei realisierbare Stereopaare durchzuführen, wird eine erweiterte Korrespondenzanalyse durchgeführt, bei der vorab die in Frage kommen- den Ähnlichkeitsmaße aus den Bildpaaren miteinander verknüpft und gemeinsam ausge- wertet werden. Es werden somit nicht zwei Entfernungsmessungen durchgeführt, deren Ergebnisse im Anschluss fusioniert und verglichen werden, sondern nur eine Entfer- nungsmessung, welche jedoch die Information der bildgebenden Einheiten kombiniert und gleichermaßen berücksichtigt.

[0010] Dies ist aufgrund einer geeigneten Epipolargeometrie möglich. Die bildgebenden

Einheiten sind hierzu in einer definierten Aufnahmegeometrie angeordnet, bei der zwei benachbarte bildgebende Einheiten je ein Bildpaar in Epipolargeometrie erzeugen und gleiche Objektentfernungen in allen Bildpaaren zu denselben Disparitäten führen. Insbe- sondere sind die Abstände (Basisweiten) zwischen der ersten und der zweiten sowie zwischen der ersten und der dritten bildgebenden Einheit gleich groß, sodass die bildge- benden Einheiten ein gleichschenkliges (im Spezialfall gleichseitiges) Dreieck aufspan- nen. Die aufgenommenen Bilder stehen dann in einem Verhältnis zueinander, welches eine einfache Verknüpfung der Informationen aller bildgebenden Einheiten ermöglicht. Mit anderen Worten wird bereits bei der Korrespondenzanalyse auf einen vergrößerten Informationsraum zurückgegriffen, der sich aus einer Verknüpfung der Ähnlichkeitsmaße der einzelnen Bildpaare ergibt.

[0011] Wie bei bekannten Verfahren mit drei bildgebenden Einheiten werden zumindest zwei

Datensätze mit Ähnlichkeitswerten für zwei Stereobildpaare erzeugt. Anschließend erfolgt eine Disparitätsfindung jedoch nicht separat für jeden einzelnen Datensatz, sondern innerhalb einer Verknüpfung beider Datensätze. Die Verknüpfung selbst kann dabei auf- grund der geeigneten Epipolargeometrie, welche aus der speziellen Aufnahmegeometrie hervorgeht, auf einfache Weise mittels einer einfachen arithmetischen Operation erfolgen.

[0012] Durch die zusätzliche Verknüpfung der Ähnlichkeitswerte vor der Korrespondenzanalyse wird ein zusätzlicher Verknüpfungsschritt und damit ein weiterer Rechenschritt für die Korrespondenzanalyse benötigt. Es hat sich jedoch gezeigt, dass der zusätzliche Ver- knüpfungsschritt einfacher implementiert werden kann als eine komplexe Nachbereitung. Da es sich bei der Verknüpfung vorzugsweise um eine einfache Operation handelt, die auf alle Ähnlichkeitswerte gleichmäßig angewandt wird, lässt sich dieser zusätzliche Rechenschritt einfacher rechentechnisch umsetzen als eine Nachbearbeitung zweier separat ermittelter Entfernungsinformationen mit einer Vielzahl von Vergleichs- und Entscheidungsschritten. Die Implementierung kann so insgesamt vereinfacht werden.

[0013] Das neue Verfahren ermöglicht somit eine gute Zuordnungsqualität bei überschaubarer

Komplexität. Die eingangs genannte Aufgabe ist damit vollständig gelöst. [0014] In einer bevorzugten Ausgestaltung spannen die bildgebenden Einheiten in der definierten Aufnahmegeometrie ein gleichschenkliges, rechtwinkliges Dreieck auf.

[0015] Die Anordnung in einem rechtwinkligen Dreieck, wobei eine bildgebende Einheit in der

Spitze des Dreiecks und die beiden weiteren bildgebenden Einheiten am Ende der gleich langen Schenkel angeordnet sind, ist besonders vorteilhaft, da sich die Verknüpfung der Ähnlichkeitswerte bei dieser Anordnung weiter vereinfachen lässt. Eine erweiterte Korres- pondenzanalyse kann dann besonders einfach realisiert werden, da die Epipolarlinien senkrecht zueinander verlaufen und vorzugsweise auch senkrecht zu den jeweiligen Bildkanten sind.

[0016] In einer weiteren Ausgestaltung werden die ersten Ähnlichkeitswerte gebildet, indem das zumindest eine Pixel des ersten Bilds und dessen Umgebung mit jedem Pixel und dessen Umgebung innerhalb des definierten Disparitätsbereichs entlang der ersten epipolaren Linie in dem zweiten Bild verglichen wird, und wobei die zweiten Ähnlichkeitswerte gebildet werden, indem das zumindest eine Pixel des ersten Bilds und dessen Umgebung mit jedem Pixel in dessen Umgebung innerhalb des definierten Disparitätsbereichs entlang der zweiten epipolaren Linie im dritten Bild verglichen wird.

[0017] In dieser Ausgestaltung wird eine lokale Aggregation zur Bestimmung der Ähnlichkeits- werte durchgeführt. Auf diese Weise wird eine zuverlässige Korrespondenzanalyse möglich, wobei sich die resultierenden Ähnlichkeitswerte einfach verknüpfen lassen. Besonders bevorzugt wird zum Vergleich des zumindest einen Pixels und dessen Umge- bung mit jedem Pixel und dessen Umgebung entlang der ersten und zweiten epipolaren Linie die Summe absoluter oder quadratischer Differenzen gebildet.

[0018] In einer weiteren Ausgestaltung werden die ersten Ähnlichkeitswerte mit den zweiten

Ähnlichkeitswerten addiert.

[0019] In dieser Ausgestaltung erfolgt die Verknüpfung durch einfaches Addieren der ersten und zweiten Ähnlichkeitswerte. Mit anderen Worten werden die Ähnlichkeitswerte, die in einem definierten Disparitätsbereich für eine definierte Anzahl von diskreten Disparitäten für einen Pixel aus dem ersten Bild in Bezug auf das zweite Bild ermittelt worden sind, jeweils mit den Werten addiert, die für die gleichen Disparitäten für ein Pixel in Bezug auf das dritte Bild bestimmt worden sind. Die Addition ist eine einfache arithmetische Operati- on, die schnell und ressourcenschonend implementiert werden kann. Die Ausgestaltung trägt somit zu einer besonders effizienten Implementierung des Verfahrens bei.

[0020] In einer weiteren Ausgestaltung umfasst das Bestimmen der gemeinsamen Disparität für das zumindest eine Pixel eine Extremwertsuche in den verknüpften Ähnlichkeitswerten, insbesondere eine Suche nach einem Minimum.

[0021] In dieser Ausgestaltung erfolgt die Bestimmung der Disparität anhand einer

Extremwertsuche innerhalb der verknüpften Ähnlichkeitswerte. Es kann somit für die Bestimmung der Disparität aus den verknüpften Ähnlichkeitswerten auf dieselbe Vorge- hensweise zurückgegriffen werden, die auch bei bekannten Stereokorrespondenzanaly- sen angewandt wird. Die Implementierung des neuen Verfahrens kann so besonders einfach erfolgen, da auf bestehende Algorithmen zurückgegriffen werden kann.

[0022] In einer weiteren Ausgestaltung werden das erste, zweite und dritte Bild so zueinander transformiert, dass sich die erste epipolare Linie entlang einer ersten Achse und die zweite epipolare Linie entlang einer zweiten zur ersten epipolaren Linie senkrechten Achse erstreckt.

[0023] In dieser Ausgestaltung wird die mit der definierten Aufnahmegeometrie bevorzugte

Ausrichtung der Bilder zueinander weiter optimiert. Besonders bevorzugt weist das erste, zweite und dritte Bild je eine gleiche Anzahl an Pixelzeilen und eine gleiche Anzahl an Pixelspalten auf, wobei sich die erste epipolare Linie entlang einer Pixelzeile im zweiten Bild erstreckt, die mit der Pixelzeile des ersten Bilds korrespondiert, in der sich das zumindest eine Pixel befindet, und wobei sich die zweite epipolare Linie entlang einer Pixelspalte im dritten Bild erstreckt, die mit der Pixelspalte des ersten Bilds korrespon- diert, in der sich der zumindest eine Pixel befindet. In dieser Ausgestaltung können die Bilder vorteilhaft zeilen- und spaltenweise verarbeitet werden, wodurch eine einfache und effiziente Bildverarbeitung möglich ist. [0024] In einer weiteren Ausgestaltung wird für alle Pixel des ersten Bilds je eine gemeinsame Disparität bestimmt. Alternativ kann eine gemeinsame Disparität auch nur für eine defi nierte Anzahl an Pixeln des ersten Bilds bestimmt werden. Während die eine Ausgestal- tung die größtmögliche Auflösung einer Tiefenkarte ermöglicht, kann in der anderen Ausgestaltung die Tiefenwertbestimmung auf nur relevante Bereiche eines Bilds einge- grenzt werden, wodurch eine schnellere Berechnung von nur relevanten Bereichen möglich ist.

[0025] In einer weiteren Ausgestaltung umfasst das Verfahren ferner, das Bestimmen von dritten

Ähnlichkeitswerten für mindestens ein weiteres Pixel des zweiten Bilds für alle diskreten Disparitäten in einem definierten Disparitätsbereich entlang einer dem weiteren Pixel zugehörigen ersten epipolaren Linie in dem ersten Bild, das Bestimmen von vierten Ähnlichkeitswerten für das zumindest eine weitere Pixel des zweiten Bilds für alle diskre- ten Disparitäten in dem definierten Disparitätsbereich entlang einer dem weiteren Pixel zugehörigen zweiten epipolaren Linie in dem dritten Bild sowie das Bestimmen einer weiteren Entfernungsinformation aus den dritten und vierten Ähnlichkeitswerten.

[0026] In dieser Ausgestaltung wird somit mindestens eine weitere Entfernungsinformation

ermittelt, indem eines der anderen beiden Bilder als Referenzbild herangezogen wird, wobei ausgehend von dem neuen Referenzbild dritte und vierte Ähnlichkeitswerte ermit- telt und zur Bestimmung einer weiteren Entfernungsinformation verwendet werden. Das Bestimmen der weiteren Entfernungsinformation kann ebenfalls eine Verknüpfung der dritten und vierten Ähnlichkeitswerte und das Bestimmen einer weiteren gemeinsamen Disparität beinhalten. Alternativ kann aus den dritten und vierten Ähnlichkeitswerten die weitere Entfernungsinformation auch auf herkömmliche Weise bestimmt werden. So können nicht nur redundante Entfernungsinformationen bestimmt werden, sondern auch die Diversität des Verfahrens gesteigert werden. Insgesamt ermöglicht die Ausgestaltung, dass die Plausibilität der ermittelten Entfernungsinformationen auf einfache Weise über- prüft werden kann. Es versteht sich, dass eine weitere Steigerung der Qualität dadurch erreicht werden kann, dass jedes der Bilder der ersten, zweiten und dritten bildgebenden Einheit als Referenzbild herangezogen wird. [0027] Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweiligen angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rah- men der vorliegenden Erfindung zu verlassen.

[0028] Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden in der nachfolgenden Beschreibung näher erläutert. Es zeigen:

Fig. 1 eine schematische Darstellung eines Ausführungsbeispiels der neuen Vorrichtung,

Fig. 2 ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung in einer perspekti- vischen Darstellung,

Fig. 3 ein Blockdiagramm eines Ausführungsbeispiels des neuen Verfahrens,

Fig. 4 eine schematische Darstellung von drei Abbildungen der ersten, zweiten und

dritten bildgebenden Einheit,

Fig. 5 erste und zweite Ähnlichkeitswerte in einer Diagrammdarstellung,

Fig. 6 verknüpfte Ähnlichkeitswerte in einer Diagrammdarstellung, und

Fig. 7 ein mögliches Anwendungsszenario eines Ausführungsbeispiels der neuen

Vorrichtung und des neuen Verfahrens.

[0029] In der Fig. 1 ist ein Ausführungsbeispiel der neuen Vorrichtung in seiner Gesamtheit mit der Bezugsziffer 10 bezeichnet.

[0030] Die Vorrichtung 10 umfasst in diesem Ausführungsbeispiel drei bildgebende Einheiten 12,

14, 16, die dazu ausgebildet sind, je ein Bild eines vor den Einheiten liegenden Raumbe- reichs 18 aufzunehmen. Die bildgebenden Einheiten 12, 14, 16 sind vorzugsweise digitale Kameraeinheiten mit je einer Optik, die den Raumbereich 18 auf einen Bildsensor der Kameraeinheit abbildet. Jeder Raumpunkt im Raumbereich 18 wird dabei eindeutig einem Pixel des Bildsensors zugeordnet. Die bildgebenden Einheiten 12, 14, 16 können kom- plette, eigenständige funktionsfähige Kameras sein, oder aber eine kombinierte Einheit, bei der einzelne Teile der bildgebenden Einheiten gemeinsam genutzt werden, so dass es sich dann im Wesentlichen um drei getrennte Bildsensoren, ggf. mit jeweils zugehöriger Optik, handelt.

[0031] Die drei bildgebenden Einheiten 12, 14, 16 sind in einer definierten Aufnahmegeometrie

20 angeordnet, die hier durch die gestrichelten Linien dargestellt ist. In der definierten Aufnahmegeometrie 20 bildet eine der bildgebenden Einheiten 12 eine zentrale Einheit, von der die anderen beiden bildgebenden Einheiten 14, 16 in einem gleichen Abstand angeordnet sind. Die bildgebenden Einheiten 12, 14, 16 spannen somit ein gleichschenk- liges Dreieck auf, wobei die bildgebenden Einheiten die Eckpunkte dieses Dreiecks bilden.

[0032] Besonders bevorzugt spannen die bildgebenden Einheiten 12, 14, 16 ein rechtwinkliges, gleichschenkliges Dreieck auf. Die zentralen bildgebenden Einheit 12 sitzt in der Spitze und die beiden weiteren bildgebenden Einheiten 14, 16 sind in den jeweils verbleibenden Ecken des Dreiecks angeordnet. Die Schenkel des Dreiecks schließen einen Winkel von 90° ein.

[0033] Aus den zueinander versetzten Aufnahmen des Raumbereichs 18, die von den

bildgebenden Einheiten 12, 14, 16 bereitgestellt werden, können Entfernungsinformatio- nen von Objekten 22, 24 in dem Raumbereich 18 bestimmt werden, da der Versatz zwischen den Projektionen der Objekte 22, 24 in den versetzten Aufnahmen abhängig von der Entfernung der Objekte 22, 24 zu den bildgebenden Einheiten 12, 14, 16 ist. Mittels Triangulation kann unter Heranziehung der Aufnahmegeometrie 20 aus dem bekannten Versatz die Entfernung zu den Objekten 22, 24 bestimmt werden. Neben der reinen Entfernung zu einem Objekt 22, 24 kann darüber hinaus auch ohne weitere Sensoren die relative Position der Objekte 22, 24 zueinander bestimmt werden [0034] Die Verarbeitung der Aufnahmen der bildgebenden Einheiten 12, 14, 16 erfolgt in dem hier dargestellten Ausführungsbeispiel durch eine Bildverarbeitungseinheit 26. Die Bild verarbeitungseinheit 26 ermittelt aus den Aufnahmen die Entfernungsinformationen zu den einzelnen Objekten 22, 24, die sich im Raumbereich 18 befinden. Hierfür bildet die Bildverarbeitungseinheit 26 aus den Aufnahmen der drei bildgebenden Einheiten 12, 14, 16 mindestens zwei Bildpaare und ermittelt für jedes Paar einen Satz Ähnlichkeitswerte. Aufgrund der speziellen Anordnung der bildgebenden Einheiten 12, 14, 16 können die Ähnlichkeitswerte der Bildpaare unmittelbar miteinander verknüpft werden, wodurch eine gemeinsame Auswertung der Ähnlichkeitswerte möglich ist, die im Folgenden noch näher erläutert wird.

[0035] Die gemeinsame Auswertung der Ähnlichkeitswerte ermöglicht eine treffsichere Dispari- tätsfindung, wobei eine aufwendige Nachbearbeitung entfallen kann. Das Verfahren ist somit im Wesentlichen ein einstufiges Verfahren, wobei eine erweiterte Korrespon- denzanalyse, welche die Informationen mehrerer Sensoren berücksichtigen kann, einge- setzt wird. Gegenüber einem zweistufigen Verfahren mit zweifacher Entfernungsbestim- mung und anschließender Plausibilitätskontrolle kann die softwaretechnische Implemen- tierung vereinfacht werden, wodurch insbesondere die Portierbarkeit auf Architekturen erleichtert wird, die für eine lineare Abarbeitung ohne viele Kontrollstrukturen ausgelegt sind, wie beispielsweise ein FPGA.

[0036] Die Bildverarbeitungseinheit 26 ist daher in einer bevorzugten Ausgestaltung als FPGA ausgebildet und zusammen mit den bildgebenden Einheiten 12, 14, 16 in einem Gehäuse 28 integriert. Es versteht sich, dass die Bildverarbeitungseinheit 26 in einem anderen Ausführungsbeispiel auch außerhalb des Gehäuses 28 als separate Einheit angeordnet sein kann.

[0037] Fig. 2 zeigt ein Ausführungsbeispiel der erfindungsgemäßen Vorrichtung in einer

perspektivischen Darstellung, insbesondere die Integration der drei bildgebenden Einhei- ten 12, 14, 16 und ggf. der Bildverarbeitungseinheit 26 in einem gemeinsamen Gehäuse 28. Gleiche Bezugszeichen bezeichnen hier gleiche Teile wie zuvor in Bezug auf Fig. 1. [0038] Die Vorrichtung 10 ist in einem Gehäuse 28 integriert und hier über ein Montageteil 30 an einer Wand, einem Mast oder dergleichen montierbar. Eine Grundfläche 32 der Vorrich- tung, die dem überwachenden Raumbereich (hier nicht dargestellt) zugewandt ist, weist drei Öffnungen 34a, 34b, 34c auf, hinter denen die drei bildgebenden Einheiten 12, 14, 16 innerhalb des Gehäuses 28 platziert sind. Die Optiken der bildgebenden Einheiten 12, 14, 16 befinden sich unmittelbar hinter den zentralen Eintrittsöffnungen 36a, 36b, 36c.

[0039] Die Verbindungslinien 38 durch die Eintrittsöffnungen 36 bilden ein gleichschenkliges

Dreieck in der Grundfläche 32, welches die definierte Aufnahmegeometrie 20 darstellt.

Der Abstand von der ersten bildgebenden Einheit 12 zur zweiten bildgebenden Einheit 14 ist somit gleich dem Abstand der ersten bildgebenden Einheit 12 zur dritten bildgebenden Einheit 16. Vorzugsweise ist, wie hier dargestellt, die definierte Aufnahmegeometrie 20 zudem ein rechtwinkliges, gleichschenkliges Dreieck, d.h. der Winkel, den die Geraden im Punkt der Austrittsöffnung 36a einschließen, ist ein 90°-Winkel.

[0040] Fig. 3 zeigt ein Blockdiagramm eines Ausführungsbeispiels des neuen Verfahrens. Das

Verfahren ist in seiner Gesamtheit hier mit der Bezugsziffer 100 bezeichnet.

[0041] In einem ersten Schritt 102 werden eine erste, zweite und dritte bildgebende Einheit in einer definierten Aufnahmegeometrie angeordnet, bei der die bildgebenden Einheiten ein gleichschenkliges Dreieck aufspannen. Dieser Schritt kann zusätzlich eine Kalibrierung der bildgebenden Einheiten beinhalten.

[0042] In einem nächsten Schritt 104 wird ein Disparitätsbereich mit einer Anzahl diskreter

Disparitäten bestimmt. Der Disparitätsbereich gibt den Bereich möglicher Disparitäten zwischen zwei Bildpaaren an. Der Disparitätsbereich kann durch eine minimale und eine maximale Disparität angegeben werden, wobei die diskreten Disparitäten entsprechende Zwischenwerte mit einem definierten Abstand zueinander sind. Wenn beispielsweise die minimale Disparität null ist und die maximale Disparität zehn Pixel, umfasst der Dispari- tätsbereich bei einem bevorzugten definierten Abstand von einem Pixel alle Pixel zwi- schen der minimalen und maximalen Disparität. [0043] I m Schritt 106 wird der Raumbereich abgebildet, wobei ein erstes Bild mit der ersten bildgebenden Einheit, ein zweites Bild mit der zweiten bildgebenden Einheit und ein drittes Bild mit der dritten bildgebenden Einheit aufgenommen wird. Beim Abbilden wird jeder Punkt im Raumbereich eindeutig einem Pixel der Bildsensoren der ersten, zweiten und dritten bildgebenden Einheit zugeordnet. Es liegen somit zu einem definierten Zeit- punkt drei zueinander versetzte Einzelbilder des Raumbereichs vor. Der Schritt kann zusätzlich eine Rektifizierung der Aufnahmen beinhalten.

[0044] Im Schritt 108 werden erste Ähnlichkeitswerte für einen Pixel des ersten Bilds für alle diskreten Disparitäten im definierten Disparitätsbereich entlang einer dem Pixel zugehöri- gen ersten epipolaren Linie in dem zweiten Bild bestimmt. In diesem Schritt findet somit ein Vergleich zwischen dem ersten und dem zweiten Bild statt. Es wird dabei die Ähnlich- keit eines Pixels in Bezug auf dasselbe Pixel im zweiten Bild sowie alle weiteren Pixel ausgehend von demselben Pixel im gesamten Disparitätsbereich bestimmt. Aufgrund der Epipolargeometrie kann ein korrespondierendes Pixel nur entlang der epipolaren Linie auftreten, so dass sich die Suche auf diesen Bereich beschränkt. Die ersten Ähnlichkeits- werte enthalten für einen Bezugspixel im ersten Bild für alle diskreten Disparitäten einen Ähnlichkeitswert, der die Ähnlichkeit des Bezugspixels mit dem jeweiligen Pixel im zwei- ten Bild im Abstand der diskreten Disparität beschreibt.

[0045] Mit anderen Worten wird zunächst die Ähnlichkeit des Pixels des ersten Bilds mit dem korrespondierenden Pixel des zweiten Bilds bestimmt. Anschließend wird die Ähnlichkeit des ersten Pixels mit dem benachbarten Pixel des korrespondierenden Pixels bestimmt. Dieser Vorgang wird fortgesetzt, bis für alle diskreten Disparitäten bis zur maximal mögli- chen Disparität Ähnlichkeitswerte bestimmt worden sind.

[0046] Bevorzugt werden beim Bestimmen der Ähnlichkeitswerte nicht nur die einzelnen Pixel miteinander verglichen, um deren Ähnlichkeit zu bestimmen, sondern jeweils die nähere Umgebung des Pixels betrachtet. Es handelt sich somit bevorzugt um ein klassisches Blockmatching-Verfahren, bei dem für jede mögliche Disparität beispielsweise in 7x7- Fenstern zwischen dem ersten Bild und dem zweiten Bild die Summe der absoluten (SAD-Werte) oder quadratische (SSD-Werte) Differenzen berechnet werden. Diese Werte sind ein Maß für die Ähnlichkeit der betrachteten Fensterausschnitte. Je ähnlicher sich die Fensterausschnitte sind, umso kleiner ist der Ähnlichkeitswert. Der kleinste mögliche

Ähnlichkeitswert ist in diesem Fall null und repräsentiert identische Fensterausschnitte.

[0047] Im Schritt 110 werden zweite Ähnlichkeitswerte bestimmt, indem der Vorgang gemäß

Schritt 108 auf das weitere Bildpaar angewandt wird. Die Ähnlichkeitswerte sind somit beispielsweise ebenfalls SAD- oder SSD-Werte, die für jede mögliche Disparität zwischen dem ersten Bild und dem dritten Bild berechnet werden. Die zweiten Ähnlichkeitswerte können nach den ersten Ähnlichkeitswerten bestimmt werden, oder aber parallel mit diesen.

[0048] Sind die ersten und zweiten Ähnlichkeitswerte bestimmt, werden diese im Schritt 112 geeignet miteinander verknüpft. Hierbei kann es sich um eine einfache arithmetische Operation handeln, die auf die ersten und zweiten Ähnlichkeitswerte derselben Disparität angewandt wird. Vorzugsweise werden die korrespondierenden Ähnlichkeitswerte addiert, um verknüpfte Ähnlichkeitswerte zu erhalten. Es versteht sich, dass normalerweise nicht ganzzahlige Disparitäten verwendet werden, sondern Subpixeldisparitäten herangezogen werden.

[0049] Nach der Verknüpfung der Ähnlichkeitswerte erfolgt die Disparitätsfindung. Die

Disparitätsfindung umfasst die Suche nach einem Minimum in den verknüpften Ähnlich- keitswerten. Da es einen oder mehrere kleinste Werte geben kann, wird vorzugsweise nicht nur der kleinste Wert gesucht, sondern die Stelle, an der ein eindeutiges Minimum vorliegt. Zum Auffinden einer solchen Stelle kann bspw. ein Schwellwert relativ zum kleinsten Wert verwendet werden. Ist der kleinste Wert 1000 und die Schwelle 20 %, werden alle Werte unter 1200 ermittelt. Hierbei dürfen auch zwei Werte unter dieser Schwelle liegen, sofern diese nebeneinanderliegen. Kann diese Bedingung nicht erfüllt werden, ist keine Zuordnung möglich.

[0050] Da die Ähnlichkeitswerte des ersten und des zweiten und des ersten und des dritten Bilds aufgrund der definierten Aufnahmegeometrie bei gleichen Objektentfernungen zu densel- ben Disparitäten führen sollten, wird im Schritt 114 anhand der verknüpften Ähnlichkeits- werte folglich eine gemeinsame Disparität zwischen dem ersten, zweiten und dritten Bild für das zumindest eine Pixel bestimmt.

[0051] Im Schritt 116 erfolgt anschließend die Entfernungsbestimmung für das zumindest eine

Pixel anhand der gemeinsamen Disparität. Hierbei wird mittels Triangulation aus der bekannten Aufnahmegeometrie sowie der gemeinsamen Disparität in an sich bekannter Weise die Entfernung berechnet.

[0052] Es versteht sich, dass das vorstehend aufgeführte Verfahren nicht nur für ein einzelnes

Pixel des Bilds angewandt werden kann, sondern für jedes Pixel eine entsprechende Entfernungsinformation bestimmt werden kann. Darüber hinaus ist es denkbar, dass eine Entfernungsinformation auch nur für einen definierten Pixelbereich des ersten Bilds bestimmt wird, um die Auswertung auf einen relevanten Bereich zu beschränken.

[0053] Die Schritte 108 bis 1 16 werden folglich für jeden weiteren bzw. jeden weiteren relevanten

Pixel des ersten Bilds wiederholt, bis für alle relevanten Pixel eine entsprechende Entfer- nungsinformation bestimmt worden ist.

[0054] Es versteht sich, dass das Verfahren neben den hier dargestellten Schritten weitere Vor- und Nachbereitungsschritte umfassen kann. Ebenso müssen die Schritte nicht sequenziell ausgeführt werden. In bevorzugten Ausführungsbeispielen werden einige Schritte, wie beispielsweise das Bestimmen der ersten und zweiten Ähnlichkeitswerte, parallel ausge- führt. Darüber hinaus ist es denkbar, dass nicht Einzelbilder aufgenommen werden, sondern auch kontinuierliche Bildfolgen berücksichtigt werden, aus denen konkrete Einzelbilder extrahiert werden.

[0055] In Fig. 4 ist exemplarisch ein erstes, zweites und drittes Bild 40, 42, 44 dargestellt. Das erste Bild 40 entspricht einer Aufnahme der ersten bildgebenden Einheit 12, das zweite Bild 42 entspricht einer zeitgleichen Aufnahme mit der zweiten bildgebenden Einheit 14 und das dritte Bild 44 entspricht einer weiteren zeitgleichen Aufnahme mit der dritten bildgebenden Einheit 16. Alle drei Bilder zeigen eine Aufnahme desselben Raumbereichs, in dem ein Objekt angeordnet ist, das hier exemplarisch durch die drei Schrägstrichte„III“ angedeutet ist.

[0056] Jedes Bild 40, 42, 44 entspricht einer Pixelmatrix mit einer Vielzahl von Pixelzeilen 46 und einer Vielzahl von Pixelspalten 48. In dem hier dargestellten bevorzugten Ausführungs- beispiel haben die Bildsensoren der bildgebenden Einheiten 12, 14, 16 dieselbe Auflö- sung und eine identische Einteilung in Pixelspalten und -zeilen. Das erste, zweite und drit- te Bild 40, 42, 44 haben somit eine gleiche Anzahl an Pixelzeilen 46 und Pixelspalten 48.

[0057] Jeder Punkt des Raumbereichs ist einem Pixel der Pixelmatrix zugeordnet und

unverdeckte Raumbereichspunkte werden auf der Pixelmatrix abgebildet. Da die bildge benden Einheiten zueinander versetzt sind, kann derselbe Punkt des Raumbereichs auf dem ersten, zweiten und dritten Bild 40, 42, 44 auf unterschiedliche Pixel der jeweiligen Pixelmatrix abgebildet werden.

[0058] Mit den Bezugsziffern 50 und 52 sind hier epipolare Linien bezeichnet, die sich aufgrund der definierten Aufnahmegeometrie ergeben. Zusätzlich zu der physikalischen Ausrich- tung der drei bildgebenden Einheiten können dabei weitere Kalibrierungsschritte notwen- dig sein, insbesondere eine Rektifizierung der Aufnahme, um die gewünschte Epipolar- geometrie zu erhalten. In dem bevorzugten Ausführungsbeispiel verläuft nach der Aus- richtung die erste epipolare Linie 50 senkrecht zur zweiten epipolaren Linie 52.

[0059] Die Aufgabe der Korrespondenzanalyse ist es, für die Pixel des ersten Bilds 40

entsprechende Korrespondenzen in dem zweiten und dritten Bild 42, 44 zu finden, um daraus anschließend die Disparität von abgebildeten Objekten in den Bildern zu bestim- men. Exemplarisch wird dies im Folgenden anhand des Pixels 54 des ersten Bilds 40 gezeigt.

[0060] Eine Korrespondenz zum Pixel 54 muss aufgrund der Epipolargeometrie im zweiten Bild

42 auf der epipolaren Linie 50 liegen. Ebenso muss eine Korrespondenz zu dem Pixel 54 im dritten Bild 44 auf der zweiten epipolaren Linie 52 liegen. Betrachtet werden dabei vorzugsweise nicht alle Pixel entlang der epipolaren Linie 50, 52, sondern nur diejenigen innerhalb eines definierten Disparitätsbereichs 56.

[0061] Der Disparitätsbereich 56 erstreckt sich hier von einem dem Pixel 54 in dem zweiten und dritten Bild jeweils korrespondierenden Pixel 58 entlang der ersten bzw. zweiten epipola- ren Linie 50, 52 und wird von einer maximalen Disparität 60 begrenzt. Die Suche nach möglichen Korrespondenzen wird auf den definierten Disparitätsbereich 56 beschränkt. In dem hier dargestellten bevorzugten Ausführungsbeispiel beschreibt jeder Pixel innerhalb des Disparitätsbereichs 56 eine mögliche diskrete Disparität. Für die Suche nach Korres- pondenzen wird demnach ausgehend von dem korrespondierenden Pixel 58 entlang der ersten bzw. zweiten epipolaren Linie 50, 52 jedes Pixel im Disparitätsbereich 56 bis zur maximalen Disparität 60 mit dem Bezugspixel 54 verglichen. Vorzugsweise werden nicht nur die jeweiligen Pixel selbst betrachtet, sondern auch deren Umgebung mit einbezogen. Mit anderen Worten wird bevorzugt ein sog. Blockmatching-Verfahren durchgeführt.

[0062] Aus dem hier dargestellten Beispiel wird ersichtlich, dass beim Vergleichen des ersten

Bilds 40 mit dem zweiten Bild 42 für den Pixel 54 drei Pixel 62a, 62b, 62c innerhalb des Disparitätsbereichs 56 dieselben Ähnlichkeitsmaße liefern. Die Suche innerhalb des Disparitätsbereichs 56 nach Korrespondenzen ist in diesem Fall somit nicht eindeutig.

[0063] Die Suche nach Korrespondenzen im ersten 40 und im dritten Bild 44 hingegen liefert ein eindeutiges Ergebnis. Für den Pixel 54 entlang der zweiten epipolaren Linie 52 im dritten Bild 44 findet sich nur eine mögliche Korrespondenz 64. Mit anderen Worten, während für Pixel 54 eine Korrespondenzanalyse mit dem zweiten Bild 42 zu Zuordnungsproblemen führen würde, würde eine Korrespondenzanalyse zwischen dem ersten Bild 40 und dem dritten Bild 44 eine eindeutige Lösung liefern.

[0064] Das erfindungsgemäße Verfahren sieht nun vor, die Ähnlichkeitswerte, die im

Zusammenhang mit der Suche nach Korrespondenzen in dem ersten, zweiten und dritten Bild 40, 42, 44 ermittelt worden sind, zu verknüpfen, bevor die Ähnlichkeitswerte weiter ausgewertet werden. Die Verknüpfung der Ähnlichkeitswerte wird im Folgenden anhand der Fig. 5 und 6 näher erläutert. [0065] In der Fig. 5 sind in einem ersten und in einem zweiten Diagramm erste und zweite

Ähnlichkeitswerte 66, 68 aufgetragen, die bei der Suche nach möglichen Korresponden- zen im zweiten und dritten Bild 42, 44 für ein Pixel 54 des ersten Bilds 40 ermittelt worden sind. In dem oberen Diagramm sind die Ähnlichkeitsmaße für ein Pixel 54 entlang der ersten epipolaren Linie 50 aufgetragen und im unteren Diagramm sind die Ähnlichkeits- maße für dasselbe Pixel 54 entlang der zweiten epipolaren Linie 52 aufgetragen. Insge- samt wurden hier für zweiunddreißig diskrete Disparitäten Ähnlichkeitswerte entlang der x-Achse aufgetragen. Je geringer der jeweilige Wert ist, um so ähnlicher sind sich das erste Pixel 54 und das betrachtete Pixel. Gemäß dem Beispiel aus Fig. 4 sind im oberen Diagramm drei Minima ersichtlich. Mit anderen Worten sind für drei konkrete Disparitäten die Ähnlichkeitsmaße zwischen den betrachteten Pixeln am kleinsten. Eine eindeutige Bestimmung der Disparität aus diesen Ähnlichkeitswerten ist daher nicht möglich. Im unteren Diagramm 68 hingegen findet sich genau ein Minimum, d.h. für eine konkrete Disparität ist die Ähnlichkeit zwischen den betrachteten Pixeln am kleinsten.

[0066] Das erfindungsgemäße Verfahren sieht nun vor, die ersten Ähnlichkeitswerte 66 und die zweiten Ähnlichkeitswerte 68 miteinander zu verknüpfen, so dass bereits vor einer Extremwertsuche die Ähnlichkeitswerte 66, 68 zusammengeführt werden. Ein Beispiel hierfür ist in der Fig. 6 dargestellt.

[0067] Fig. 6 zeigt zu den in Fig. 5 dargestellten Ähnlichkeitswerten die verknüpften

Ähnlichkeitswerte 70. Die Verknüpfung ist hier durch eine einfache Addition der zuvor aus den Bildpaaren ermittelten ersten und zweiten Ähnlichkeitswerte 66, 68 erfolgt. Hierdurch werden Extremwerte deutlicher hervorgehoben, da für dieselbe Information eine größere Informationsbasis gegeben ist. Wie aus Fig. 6 ersichtlich, besitzen die verknüpften Ähnlichkeitswerte nur an einer konkreten Position ein eindeutiges Minimum. Das erfin- dungsgemäße Verfahren ist somit in der Lage, bei ausreichend ausgeprägten Strukturen im Bild nahezu unabhängig von deren Orientierung eindeutige und korrekte Entfernungs- informationen für diese Strukturen zu ermitteln.

[0068] Fig. 7 zeigt abschließend ein mögliches Anwendungsszenario eines Ausführungsbeispiels der neuen Vorrichtung und des neuen Verfahrens. [0069] In der Fig. 7 wird eine erfindungsgemäße Vorrichtung 10 zur Absicherung einer tech- nischen Anlage 72 verwendet. Die technische Anlage 72 ist hier durch einen industriellen Roboter 74 angedeutet. Der Roboter 74 weist einen Manipulator 76 auf, der sich frei im Raum bewegen kann und dessen Bewegungsbereich einen Gefahrenbereich 78 der technischen Anlage 72 definiert. Innerhalb des Gefahrenbereichs 78 kann die Bewegung des Manipulators 76 für einen Bediener 80 eine Gefahr darstellen, so dass bei einem Zutritt in den Gefahrenbereich 78 der technischen Anlage 72 diese in einen für den Bediener 80 gefahrlosen Zustand überführt werden muss.

[0070] Die Vorrichtung ist in diesem Ausführungsbeispiel oberhalb der technischen Anlage 72, beispielsweise an der Decke einer Montagehalle, platziert, so dass die bildgebenden Einheiten 12, 14, 16 den Raumbereich um die technische Anlage 72 abbilden können.

[0071] In der zuvor beschriebenen Weise kann die Vorrichtung 10 für den Raumbereich

Entfernungsinformation bestimmen. Dabei können bestimmte Bereiche, wie hier der Bewegungsbereich 78, von der Bestimmung der Entfernungsinformation ausgespart werden. Sobald ein Bediener in den Raumbereich um die technische Anlage 72 eintritt, ändert sich die von der Vorrichtung 10 ermittelten Entfernungsinformationen für diesen Bereich. Indem die Vorrichtung 10 kontinuierlich Entfernungsinformationen bestimmt und entsprechende Veränderung registriert, kann eine Person oder ein Gegenstand im Raumbereich detektiert werden.

[0072] Die Vorrichtung 10 kann somit anhand der ermittelten Entfernungsinformationen das

Eintreten einer Person in den Raumbereich signalisieren und beispielsweise über eine mit der Vorrichtung 10 verbundenen Sicherheitseinrichtung (hier nicht dargestellt) das Über- führen der technischen Anlage in einen gefahrlosen Zustand herbeiführen. Die Sicher- heitseinrichtung kann beispielsweise ein gewöhnliches Sicherheitsschaltgerät oder aber eine sichere Steuerung sein, die dazu eingerichtet ist, in an sich bekannter Weise einen sicheren Zustand herbeizuführen, beispielsweise indem die technische Anlage 72 abge- schaltet wird. [0073] Vorzugsweise ermöglicht das neue Verfahren, dass die Vorrichtung samt

Bildverarbeitungseinrichtung in einem Gehäuse integriert werden kann, so dass die Vorrichtung als sicherer Sensor unmittelbar mit einer Sicherheitseinrichtung zusammen- wirken kann. Dies ist möglich, da sich das neue Verfahren bevorzugt auf eine für lineare Abläufe spezialisierte Hardware portieren lässt.