Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Gewinnen eines

Abstandsbildes. Abstandsbilder codieren im Gegensatz zu konventionellen Bildern, die Grauwerte oder Farben der Oberfläche codieren, die Entfernung der Punkte der Oberfläche der Szene (Objektpunkte oder Hintergrundpunkte) vom Sensor (im Allgemeinen einer Kamera) oder die Höhe dieser Punkte relativ zu einer Ebene. Die Bildpunkte eines Abstands- bildes enthalten also eine Entfemungsinformation (z.B. Abstand oder Höhe) des jeweils zugehörigen abgebildeten Objektpunktes. Es handelt sich um ein klassisches Computer- Vision Problem; technische Anwendungen finden sich u.a. in Maschinenbau, Robotik einschließlich Servicerobotik, Elektronik-Produktion, Archäologie, Bekleidungsindustrie, Biometrie, Medizin und Reverse Engineering.

Die Erfindung wird angewandt auf Szenen mit unterschiedlichsten

Oberflächencharakteristiken, auch gemischt, von voll diffus (Lambert' sehe Reflexion), über matt, schwach glänzend (z.B. Papier), glänzend (z.B. metallisch glänzend in verschiedenen Rauigkeitstufen), bis teilspiegelnd. Kenntnis der bidirektionalen

Reflexionsverteilungsfünktion, BRDF (Bidirectional Reflectance Distribution Function), wird nicht als bekannt vorausgesetzt.

Die in der vorliegenden Anmeldung beschriebenen Verfahren und Anordnungen betreffen die Triangulation mit Stereo -Kameras zur Gewinnung eines Abstandsbildes. Bei Stereoverfahren sind systembedingt aus verschiedener Position aufgenommene Bilder gegeneinander örtlich unterschiedlich verschoben und/oder verzerrt, worin letztlich die zu findende

Abstandsinformation steckt. Bei Stereo- Verfahren ist nun das schwierigste Problem die Herstellung der Korrespondenz der Bildpunkte, d.h. die Zuordnung der Bildpunkte der einen Kamera zu denen der anderen Kamera. Ist die Korrespondenz bekannt, so kann bei bekannter Aufnahmegeometrie über Triangulation ein Abstandsbild berechnet werden.

Die Triangulation ist bekannter Stand der Technik, zur Korrespondenzfindung gibt es eine ausführliche, alte und neue Literatur, die Korrespondenzfindung ist in zahlreichen

Anwendungen bis heute nicht zufriedenstellend gelöst. Die Beschreibung zu dieser Erfindung konzentriert sich auf Maßnahmen zur Vereinfachung der Korrespondenzfindung. Im Gegensatz zu natürlichen Szenen, die typischerweise bei kleinen Konvergenzwinkeln aufgenommen werden und die daher großteils, abgesehen von Glanzstellen mit geringer Oberflächenkrümmung, annähernd gleiche Grauwerte oder Farbwerte aufweisen für den gleichen, von beiden Kameras sichtbaren Szenenpunkt, ist für technische Anwendungen die Korrespondenzfindung erschwert durch die folgenden Effekte: a) Bei konventionellem Stereo kann gerade bei Industrieszenen die Darstellung von

Objektpartien in den beiden Kameras sehr unterschiedlich sein. Dieser Effekt ist abhängig von der Oberflächen-Neigung und den speziell in Industrieszenen oft stark variierenden

Reflexionseigenschaften (einschließlich Farbe, Bedruckung, Rauigkeit, Verschmutzung, Bearbeitungsspuren ..) am jeweiligen Objektpunkt. Die Neigungsabhängigkeit ist besonders stark bei Anwendungen mit glänzenden Objekten oder grob bearbeiteten metallischen Oberflächen. b) Die Objektpartien, die nur von einer Kamera gesehen werden, von der anderen nicht, können bei Industrieszenen (kleine Kamera-Objekt Abstände und damit große

Konvergenzwinkel) sehr groß sein. Bei der Korrespondenz- Suche können daher Partien, die in einer Kamera sichtbar, in der anderen aber durch Objekte verdeckt sind, leicht

fälschlicherweise ähnlichen sichtbaren Partien dieser anderen Kamera zugewiesen werden. c) Konventionelles Stereo wird durch Schlagschattenbildung wesentlich erschwert, wenn die Schlagschatten in den beiden Kamerabildem unterschiedliche Formen aufweisen; auch dieser Effekt tritt bei Industrieszenen mit ihren typisch großen Konvergenzwinkeln gehäuft auf.

Um die Korrespondenzfindung zu erleichtern, sind verschiedene Verfahren bekannt, die auf strukturiertem Licht basieren.

Das in DE 10 2006 001 634 B3 vorgestellte Verfahren basiert auf strukturiertem Licht mit einem Zufallsmuster; der Effekt a) im Wesentlichen eliminiert. Dies wird erreicht durch für jede Kamera mindestens zwei Bildaufnahmen mit unterschiedlichen Beleuchtungen, von denen mindestens eine ein Zufalls- oder Pseudo-Zufallsmuster ist, und pixelweises Dividieren der beiden Bilder für jede Kamera. Das Verhältnis (Quotient) von zwei gemessenen

Helligkeitswerten ist für jeden von beiden Kameras sichtbaren Objektpunkt nur durch die Projektion bestimmt und unabhängig von der Farbe, der Helligkeit, der Oberflächenrauigkeit und der Oberflächenneigung und auch unabhängig vom Betrachtungswinkel, und damit für beide Kameras gleich.

Nachteilig an diesem Verfahren ist, dass je Kamera mindestens zwei Bilder (in der Praxis oft drei) aufgenommen werden müssen und, vor allem, dass eine spezielle Projektionseinrichtung erforderlich ist, die in der Lage ist, mindestens zwei verschiedene Beleuchtungen zu realisieren, von denen mindestens eine ein Zufalls- oder Pseudo-Zufallsmuster ist. Andere Verfahren, die auf strukturiertem Licht basieren, benötigen ebenso eine sehr spezielle Projektionseinrichtung und zumeist noch mehr Bildaufnahmen als in der o.g. Patentschrift.

In US 7 623 701 B2 werden mit einer Punkt lichtquelle Bildaufhahmen gemacht, und zwar eine erste Bildaufhahme in einer ersten Kameraposition und eine zweite Bildaufnahme mit mechanisch vertauschter Position von Kamera und Punktlichtquelle. (Um die Ergebnisse zu verbessern, wird das Gleiche nochmal mit um 90 Grad verdrehten Positionen realisiert). Bei Vertauschen von Sender und Empfänger bleibt nach dem Helmholtzschen Gesetz die BRDF erhalten. Ein Nachteil einer solchen Anordnung ist der mechanische Aufwand und insbesondere der Zeitaufwand für das Vertauschen (Kamera und Punktlichtquelle sind auf einer Dreheinrichtung montiert).

Leider weisen bei solchen, auf Austausch von Beleuchtungs- und Betrachtungswinkel beruhenden Verfahren die beiden Bilder am gleichen Objektpunkt nicht immer die gleiche Helligkeit auf; Gleichheit gilt nicht für Oberflächen mit Lambert' scher Reflexion. (Wieso, wird hier eingehender weiter unten in Abschnitt A) erläutert.) Dies geht aus vielen

Veröffentlichungen zu dem Thema nicht hervor.

Der beim o.g. Patent erforderliche Zeitaufwand wird nach US 7 769 205 B2 dadurch vermieden, dass die Punktlichtquelle über einen halbdurchlässigen Spiegel in den

Betrachtungsstrahlengang eingeblendet wird, so dass sich die Lichtquelle virtuell auf der optischen Achse (idealerweise im Projektionszentrum) der Kamera befindet. Nachteilig ist hier der optisch-technische Aufwand. Ersatzweise werden nach Fig. 3B dieser Patentschrift, anstelle einer Einspiegelungseinrichtung, in Richtung der Verbindungslinie zwischen den Kameras, beidseitig, symmetrisch, nah an den Kameras befindliche Beleuchtungen verwendet, was den optisch-technischen Aufwand verringert. Nach US 7 574 067 B2 werden anstelle symmetrisch in Richtung der optischen Achse positionierter Lichtquellen, einseitig, nahe an den Kameras befindliche Beleuchtungen vorgeschlagen, und zwar nicht entlang, sondern senkrecht zur Verbindungslinie der beiden Kameras verschoben. Die Verschiebung ist allerdings aus Sicht der hier vorliegenden Anmeldung bei einer der beiden Kameras in die falsche Richtung realisiert: Würde man stattdessen eine der Beleuchtungen auf der gegenüberliegenden Seite platzieren, wäre die Gleichheit der Grauwerte für denselben Szenepunkt besser erfüllt. Die genauere Erklärung dafür ergibt sich weiter unten bei der Beschreibung der hier vorgeschlagenen Lösung (Abschnitt Dl).

Die US 5 933 240 betrifft die Bestimmung des Abstandes einer ebenen, spiegelnden

Oberfläche. Es wird kein Höhenbild erzeugt. Es wird die Position des Spiegelbildes einer Punktlichtquelle vermessen. Auch hier wird die Punktlichtquelle mittels halbdurchlässigem Spiegel in den Betrachtungsstrahlengang eingeblendet. Ersatzweise wird (nach Fig. 3) mit seitlich, entlang der Verbindungslinie der beiden Kameras, in einem möglichst kleinen Abstand k von den Kameras positionierten Punktlichtquellen gearbeitet, wobei k für beide Seiten exakt gleich sein muss. Es wird allerdings aufgezeigt, diese letztgenannte Technik nur bei spiegelnden Ebenen funktioniert, die parallel zur Verbindungslinie der Kameras liegen, denn bei schräg zur Verbindungslinie der Kameras liegender Spiegelebene entstehen systematische Messfehler. Nach Ansicht des Erfinders der hier vorgestellten Erfindung liegt das daran, dass das Augenmerk auf dem o.g. Abstand k entlang der o.g. Verbindungslinie liegt, und nicht auf dem hier weiter unten eingeführten Winkel w (siehe ab Fig. 3,4,12). Außerdem gelten die in US 5 933 240 zu findenden Überlegungen nur für spiegelnde, ebene Oberflächen und nicht wie hier für praktisch beliebige Szenen.

In US 2015/0281676 Al wird für allgemeine 3D-Szenenerfassung mittels Helmholtz- Reziprozität mit möglichst nah an den Kameras montierten Punktlichtquellen gearbeitet, wobei zum Zweck der Vereinfachung der Korrespondenzfindung der Abstrahlwinkel der Lichtquellen klein gegen den Erfassungswinkel der Kameras ist. ("light cone defined by the solid angle at the apex at the Illumination unit" [0035]). Die Lösungen, die das Helmholtz-Gesetz nutzbar machen, arbeiten entweder mit Punktlichtquellen oder nahezu punktförmigen Lichtquellen, die sich entweder reell oder virtuell in der optischen Achse der der aufhehmenden Kamera Cl gegenüber liegenden Kamera C2 liegen, oder sie arbeiten ersatzweise mit Punktlichtquellen oder nahezu punktförmigen Lichtquellen, die sich in unmittelbarer Nähe von C2 befinden - und

entsprechend umgekehrt. Es ist richtig, dass die Gleichheit der Grauwerte für den gleichen Szenepunkt umso besser erfüllt ist, je näher diese Lichtquellen bei den Kameras liegen. Für glänzende Oberflächenbereiche haben diese Anordnungen jedoch den Nachteil, dass an Punkten starken Unterschiedes zwischen Beleuchtungs- und Betrachtungswinkel nahezu kein Licht zur aufnehmenden Kamera gelangt. Siehe dazu auch weiter unten Text zu Fig. 7.

Zudem gilt: Diese Lösungen haben den Nachteil, dass sie für Lambert' sehe oder nahezu Lambert’ sehe Reflexion nicht funktionieren können. Dies geht aus vielen Veröffentlichungen zum Thema nicht klar hervor; meist wird nur der Fall teilweise oder hauptsächlich spiegelnder Oberflächen behandelt. Bei Lambert’ scher Reflexion gilt nämlich, dass der

Helligkeitseindruck vom Beleuchtungswinkel und nicht vom Betrachtungswinkel abhängt (Begründung siehe Abschnitt A) ). Vertauscht man also Beleuchtungs- und

Betrachtungswinkel an einer Stelle mit ungleichem Beleuchtungs- und Betrachtungswinkel, so erhält man hier einen unterschiedlichen Helligkeitseindruck.

Die auf strukturiertem Licht basierenden Ansätze sind also technisch aufwendig, die bekannten, auf der Helmholtz-Reziprozität basierenden Ansätze funktionieren bei glänzenden Oberflächenbereichen an Stellen eines größeren Unterschiedes zwischen Beleuchtungs- und Betrachtungswinkel nicht wirklich, und sie funktionieren nicht bei Lambert’ scher oder nahezu Lambert’ scher Reflexion.

Der Erfindung liegt die Aufgabe zugrunde, diese Nachteile zumindest teilweise zu vermeiden.

Die Aufgabe wird erfindungsgemäß gelöst durch Verfahren und Vorrichtungen mit den Merkmalen der beigefugten unabhängigen Patentansprüche. Bevorzugte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den beigefügten abhängigen

Patentansprüchen und der nachfolgenden Beschreibung mit zugehörigen Zeichnungen. Die Figuren sind als nicht maßstäbliche Prinzipdarstellungen zu verstehen. Am Ende der Beschreibung findet sich eine Zusammenstellung von hier verwendeten Bezugszeichen und Begriffen.

Die folgenden Betrachtungen beziehen sich, wenn nichts Weiteres erwähnt, auf jeweils nur ein einzelnes Stereo-Kamerapaar. Pro Kamerapaar kann ein eigenes Abstandsbild erstellt werden, mehrere Abstandsbilder können mit bekannten Methoden zu einem gemeinsamen Abstandsbild fusioniert werden, wodurch eine Genauigkeitserhöhung und/oder eine

Auswertebereichs- Vergrößerung ("Stitching") erreicht wird. Anordnungen mit mehreren Kamerapaaren werden weiter unten diskutiert.

Die Erfindung betrifft sowohl Grauwertbild-Kameras als auch Farbkameras. Um die Beschreibung einfacher und verständlicher zu machen, wird in den Beispielen zunächst von Grauwertbild-Kameras ausgegangen, die Verallgemeinerung auf Farbkameras wird am Ende angegeben.

I

Zur Lösung der o.g. Aufgabe wird eine Beleuchtungs- und Kameraanordnung zur Erstellung eines Abstandsbildes im Arbeitsraum einer Szene mit zumindest teilweise nicht

vollspiegelnden Oberflächen vorgeschlagen, mit mindestens einem Paar von Kameras in Stereo- Anordnung, jedes Kamerapaar eine Kamera Cl und eine Kamera C2 und

mindestens einen Beleuchtungssatz umfassend, wobei jeder Beleuchtungssatz eine

Beleuchtung Ll und eine Beleuchtung L2 umfasst, wobei Ll sich aus Beleuchtungspunkten LP1 zusammensetzt und L2 sich aus

Beleuchtungspunkten LP2 zusammensetzt, wobei mit Cl ein Bild mit Beleuchtung L2 bei deaktivierter Beleuchtung Ll aufgenommen werden kann und mit C2 ein Bild mit Beleuchtung Ll bei deaktivierter Beleuchtung L2 aufgenommen werden kann, dadurch gekennzeichnet, dass die Beleuchtungen so gestaltet und angeordnet sind, dass für mindestens zwei vorgegebene Flächenelemente, die sich in jeweils einem vorgegebenen Punkt Q im Arbeitsraum der Szene mit vorgegebener Normalen N befinden, gilt: Ein Strahl von einem Beleuchtungspunkt LP1 wird an dem Flächenelement in Punkt Q mit erstem Einfallswinkel und gleichem erstem Ausfallswinkel bezüglich der Normalen N zu C2 reflektiert, und ein Strahl von einem Beleuchtungspunkt LP2 wird an demselben

Flächenelement in Punkt Q mit einem zweiten Einfallswinkel und gleichem zweiten

Ausfallswinkel bezüglich der Normalen N zu C 1 reflektiert, wobei mindestens zwei dieser Beleuchtungspunkte LP1 voneinander entfernt sind mit mindestens 1/15 des Abstandes der Projektionszentren von Cl und C2, und mindestens zwei dieser Beleuchtungspunkte LP2 voneinander entfernt sind mit mindestens 1/15 des Abstandes der Projektionszentren von Cl und C2.

Verschiedene Beleuchtungssätze können Teile von Beleuchtungen gemeinsam haben.

Je schmaler die Reflexionskeulen, desto dichter sollten die Punkte Q gewählt werden.

Nach Anspruch 2 wird unter Verwendung der Anordnung Anspruch 1 zur Erstellung eines Abstandsbildes mit Cl ein Bild mit Beleuchtung L2 bei deaktivierter Beleuchtung Ll aufgenommen und mit C2 ein Bild mit Beleuchtung Ll bei deaktivierter Beleuchtung L2 aufgenommen, wobei auf Basis der aufgenommenen Bilder mittels eines

Korrespondenzfindungsverfahrens Korrespondenzen hergestellt werden und aufgrund der hergestellten Korrespondenzen mittels eines Triangulationsverfahrens das Abstandsbild berechnet wird.

Deaktivierte Beleuchtung bedeutet dabei typischerweise, dass die betreffende Beleuchtung ausgeschaltet ist, sie kann aber auch nur insoweit betreibbar bzw. betrieben sein, z.B.

heruntergedimmt, dass sie keinen oder kaum Einfluss auf die Bildinhalte hat.

Nach Anspruch 3 wird ein Verfahren gemäß Anspruch 2 vorgeschlagen mit für zumindest ein Kamerapaar mehreren Beleuchtungssätzen, wobei mit jedem der Beleuchtungssätze jeweils mit Cl ein Bild mit Beleuchtungssatz L2 aufgenommen wird und mit C2 ein Bild mit Beleuchtungssatz Ll. Beim Vorgehen nach Anspruch 3 entsteht also für jeden Beleuchtungssatz ein Bildpaar von Cl und C2. Die sattsam veröffentlichten Methoden der Korrespondenzfindung arbeiten an der Basis entweder mit einem Vergleich der Grauwerte einzelner Pixel oder mit einem Vergleich kleiner Bildausschnitte. Die Korrespondenzfindung kann hier, ausgehend von bekannten Verfahren, insofern modifiziert werden, als die Vergleiche für jeden Beleuchtungssatz realisiert werden und jeweils das bessere Vergleichsergebnis ausgewählt wird.

Nach Verfahrensanspruch 4 wird, basierend auf einem der vorgenannten

Verfahrensansprüche, zusätzlich mit Cl und mit C2 ein Bild mit einer weiteren Beleuchtung LX aufgenommen.

Nach Anspruch 5 gilt, auf Basis von Anspruch 4, LX = Ll oder LX = L2, also LX ist die Beleuchtung Ll, oder LX ist die Beleuchtung L2.

Mit Anspruch 6 wird eine Anordnung zur Realisierung von Anspruch 4 beansprucht.

Mit Anspruch 7 wird eine Anordnung zur Realisierung von Anspruch 5 beansprucht.

Anspruch 8, nach einem der vorgenannten Vorrichtungsansprüche, ist dadurch

gekennzeichnet, dass sich Ll und L2 für zumindest einen Beleuchtungssatz zumindest näherungsweise auf Geraden befinden, die durch die Projektionszentren von Cl bzw. C2 verlaufen und senkrecht zur Verbindungslinie von Cl und C2 ausgerichtet sind und zumindest näherungsweise zur Hauptebene der Szene parallel, wobei als Hauptebene eine Ebene bezeichnet wird, die so positioniert und geneigt ist, dass der maximale Abstand

auszuwertender Szenenpunkte von dieser Ebene minimal ist.

A) Vorbemerkungen und Feststellungen im Zusammenhang mit der Helmholtz- Reziprozität.

Die BRDF (Bidirectional Reflectance Distribution Function) beschreibt das

Reflexionsverhalten an Oberflächen eines Materials und liefert für jeden austretenden Lichtstrahl das Verhältnis von Strahlungsdichte und Bestrahlungsstärke. Die BRDF kann komplizierte Formen annehmen.

Bei zumindest teilweise spiegelnder Reflexion wird die BRDF durch eine sogenannte Reflexionskeule (symmetrisch um den Totalreflexionswinkel, Einfallswinkel =

Ausfallswinkel) gut angenähert; sie nimmt je nach Oberflächenbeschaffenheit

unterschiedliche Breite an.

Grundsätzlich ist die Helmholtz-Reziprozität erfüllt, die besagt, dass das Verhältnis von Strahlungsdichte und Bestrahlungsstärke vorwärts wie rückwärts identisch ist. Werden Lichtquelle und Betrachter vertauscht, so bleibt die BRDF unverändert. Hier wird ein perfekter Austausch von Betrachtungs- und Beobachtungswinkel gegenüber der

Oberflächennormalen vorausgesetzt, im Folgenden kurz "Winkeltausch". Dieses Gesetz gilt unabhängig von der Oberflächencharakteristik. Es folgt allerdings nicht in jedem Fall daraus, dass bei Vertauschung von Lichtquelle und Kamera in der Kamera jedesmal die gleiche Helligkeit entsteht. Bei Lambert'scher Reflexion gilt nämlich, dass der Helligkeitseindruck vom Beleuchtungswinkel und nicht vom Betrachtungswinkel abhängt. Vertauscht man also Beleuchtungs- und Betrachtungswinkel an einer Stelle mit ungleichem Beleuchtungs- und Betrachtungswinkel, so erhält man hier einen unterschiedlichen Helligkeitseindruck. Das ändert nichts an der Gültigkeit des Helmholtz-Gesetzes. Entscheidend für den

Helligkeitseindruck ist nämlich nicht die Strahlungsdichte, sondern die Leuchtdichte, und diese ist bei gleicher Strahlungsdichte vom Abstrahlwinkel abhängig. Bei Lambert' scher Reflexion nimmt einerseits die Reflexionskeule eine Kreisform an, wobei der Kreis senkrecht auf der Oberfläche steht, woraus sich eine cos- Abhängigkeit vom Abstrahlwinkel ergibt, andererseits ist aber auch die Leuchtdichte bei gleicher Strahldichte mit cos-Gesetz vom Abstrahlwinkel abhängig, wobei sich beide Effekte kompensieren. Daraus resultiert, dass bei Lambert'scher Reflexion der Helligkeitseindruck unabhängig vom Betrachtungswinkel ist.

Im Folgenden wird die folgende Bedingung als Glanzbedingung bezeichnet: Wenn ein Strahl von einem Beleuchtungspunkt LP1 an dem Flächenelement in Punkt Q mit erstem

Einfallswinkel und gleichem erstem Ausfallswinkel bezüglich der Normalen N zu C2 reflektiert wird, wird auch ein Strahl von einem Beleuchtungspunkt LP2 an demselben Flächenelement in Punkt Q mit einem zweiten Einfallswinkel und gleichem zweiten

Ausfallswinkel bezüglich der Normalen N zu C 1 reflektiert. Siehe hierzu Anspruch 1. Die Bedingung heißt Glanzbedingung, weil sich eine Punktlichtquelle auf einer glänzenden Ebene an nur einem Punkt in einem bestimmten Winkel, und zwar mit Einfallswinkel =

Ausfallswinkel (Glanzwinkel) spiegelt. Zur Veranschaulichung wird die Situation in Fig. 2a dargestellt. Erster Einfallswinkel und erster Ausfallswinkel sind hierbei gleich und in Fig. 2a mit gl bezeichnet. Zweiter Einfallswinkel und zweiter Ausfallswinkel sind gleich und in Fig. 2a mit g2 bezeichnet. Zur Verdeutlichung: Wenn auf einer rauen Oberfläche, also bei gestreuter Reflexion, ein Strahl an einem Punkt mit ungleichem Einfallswinkel und

Ausfallswinkel zu einer Kamera gestreut wird, ist das kein Glanzwinkel. Sind bei dieser gestreuten Reflexion an dem Punkt Einfallswinkel von Lichtquelle und Ausfallswinkel zur Kamera gleich, dann wird dieser Winkel Glanzwinkel genannt, wenn auch die Oberfläche nicht glänzt.

Der eingezeichnete Winkel w wird weiter unten bei Fig. 12 erläutert.

Die Bedingung ist nach dem im Folgenden beschriebenen Vorgehen über einen größeren auszuwertenden Szenenbereich und Neigungsbereich zumindest näherungsweise erfüllbar. Man beachte hierbei:„Wenn,... dann.. das heißt nicht, dass überall im Szenenbereich Licht im Glanzwinkel von Ll zu C2 reflektiert wird - oder umgekehrt.

Erfüllung der Glanzbedingung bedeutet nicht unbedingt Erfüllung der Helmholtz- Reziprozität, denn hier findet nicht unbedingt ein Austausch von Beleuchtungs- und

Betrachtungswinkel statt.

Die Glanzbedingung ist mit der erfindungsgemäßen Beleuchtungsanordnung an den in den Ansprüchen gewählten Punkten Q erfüllt, an anderen Punkten muss sie nicht unbedingt erfüllt sein. Bei geeigneter Verteilung (am einfachsten: die Punkte homogen über mögliche Positionen und Oberflächennormalen verteilen) kann man erreichen, dass die Glanzbedingung überall im interessierenden Parameterraum (Ort-Oberflächenneigung) zumindest

näherungsweise erfüllt ist.

Die Bedingung von Anspruch 1, dass mindestens zwei der Beleuchtungspunkte LP1 voneinander entfernt sind mit mindestens 1/15 des Abstandes der Projektionszentren von Cl und C2, ist in Fig. 2b veranschaulicht, mit Beleuchtungen Ll und L2, an deren unterem Ende mit je einem dicken Balken die Leuchtflächen dargestellt werden. Es sind in der Figur für Ll als Beleuchtungspunkte die zwei am weitesten voneinander entfernten Punkte gewählt; sie liegen im Abstand d voneinander entfernt. D ist der Abstand der Projektionszentren der Kameras. Es muss hier also gelten d > D/15.

Bevorzugt, aber nicht notwendigerweise gilt die Bedingung d > D/15 nur für solche

Beleuchtungspunktepaare derselben Beleuchtung im Abstand d, bei denen die zugehörigen Flächenelemente örtlich nicht zu weit auseinander liegen und nicht zu verschiedene

Normalenvektoren haben (empfohlene Werte: Ortsunterschied < 1/3 des Arbeitsraums der Szene in der am weitesten ausgedehnten Dimension des Arbeitsraums, Richtungsunterschied < 30 Grad). Dann funktioniert die weiter unten beschriebene Erweiterung von

Reflexionskeule zu effektiver Reflexionskeule besser.

Um die weiter unten gezeigten Figuren 3,4, 7 - 15 nicht unnötig zu verkomplizieren, werden dort nur Beleuchtungspunkte und nicht ganze Beleuchtungen eingezeichnet. Die letztgenannte Bedingung d > D/15 wird erst wichtig, sobald man dann konstruktiv die Beleuchtungen aus Beleuchtungspunkten zusammensetzt.

B) Ausgangspunkt: Beleuchtung reell oder virtuell im Projektionszentrum der gegenüberliegenden Kamera.

Fig. 1 zeigt eine abzutastende Szene 1, vereinfacht als Grundebene 4 mit darauf liegendem Quader mit unebener Oberfläche dargestellt. Der auszuwertende Szenenbereich ist darin begrenzt (nicht eingezeichnet).

Die Beleuchtungen Ll und L2, hier Punktlichtquellen, sind schematisch durch

Glühlampensymbole dargestellt, die sich nach klassischem Ansatz im Zentrum von Cl bzw. C2 befinden. Hier kann im ganzen Szenenbereich die Helmholtz-Reziprozität ausgenutzt werden. Und es gilt auch überall im Szenenbereich die Glanzbedingung, denn WENN

Strahlen von Oberflächenelementen von Ll auf einem Oberflächenpunkt P im Glanzwinkel zu C2 reflektiert werden, werden umgekehrt auch Strahlen von Oberflächenelementen von L2 an demselben Oberflächenpunkt P im Glanzwinkel zu Cl reflektiert. Fig. 2 zeigt eine - nach der hier vorgeschlagenen Vorgehens weise - falsche (obwohl gefällige, symmetrische) Anordnung der Beleuchtungen. Strahlen von Ll landen im

Glanzwinkel in C2, aber Strahlen von L2 weitab von Cl .

Fig. 3 und 4 zeigen eine - nach der hier vorgeschlagenen Vorgehens weise - richtige

Anordnung der Beleuchtungen für einen speziellen Punkt P der Objektoberfläche: WENN Strahlen von einem Beleuchtungspunkt LP1 im Glanzwinkel in C2 landen, landen Strahlen von einem Beleuchtungspunkt LP2 in Cl. Der dort eingezeichnete Winkel w wird weiter unten bei Fig. 12 erläutert.

Im Folgenden wird mit Fig. 5 und 6 die grundsätzliche Funktionsweise beim klassischen Ansatz veranschaulicht.

In Fig. 5 betrachten wir einen Objektpunkt P. Wie mit Pfeilen angedeutet, werde er von L2 beleuchtet. Das von L2 ausgehende Licht wird am Punkt P reflektiert. Die umgekehrte Situation zeigt Fig. 6. Die Reflexionscharakteristik wird mit der Reflexionskeule 2 repräsentiert. Beleuchtungs- und Betrachtungswinkel sind jedesmal unterschiedlich, dennoch ist der Helligkeitseindruck bei Cl und C2 gleich (hier: keine Lambert’sche Reflexion):

Entsprechend der Blendenöffnung von Cl wird in Fig. 5 ein Anteil 3 aus der Reflexionskeule herausgeschnitten. Dieser Anteil landet im Objektiv von Cl . In Fig. 6 wird der Punkt P von Ll beleuchtet. Das von Ll ausgehende Licht wird am Punkt P reflektiert, entsprechend der Blendenöffnung von C2 wird ein Anteil 3 aus der Reflexionskeule herausgeschnitten. Dieser Anteil 3 landet im Objektiv von C2.

Auch wenn die Blendenöffnungen der beiden Kameras gleich sind, werden am Punkt P bei unterschiedlicher Entfernung zu Cl und C2 leicht unterschiedlich breite Bereiche aus den Reflexionskeulen herausgeschnitten. Dieser Effekt ist vemachlässigbar, denn mit in Fig. 5 kleiner werdendem Abstand von P zu Cl (Ausschnitt größer) wird der Abstand von P zu Ll größer, wodurch der Licht- Ausschnitt von L2, der von einem Flächenelement bei P herausgeschnitten wird, kleiner wird. Das kompensiert sich gegenseitig näherungsweise. Eine Höhenvariation (und damit Verkürzung oder Verlängerung beider Abstände) von P spielt dabei keine Rolle, denn bei der Korrespondenzfindung geht es ja nur um einen Vergleich der Grauwerte, nicht um deren absolute Werte. C) Ein Nachteil des klassischen Ansatzes.

Für Oberflächenbereiche mit sehr schmaler Reflexionskeule haben die klassischen

Anordnungen jedoch den Nachteil, dass an sehr zahlreichen Punkten das Licht nicht im Glanzwinkel zur aufnehmenden Kamera gelangt. Dies wird mit Fig. 7 veranschaulicht, wo im Vergleich zu Fig. 6 bei schmaler Reflexionskeule kein Licht zur Kamera C2 gelangt. Meist ist in solchen Situationen noch eine kleine Resthelligkeit festzustellen, diese dürfte aufgrund von Fremdlicht, indirektem Licht oder einer noch zusätzlich vorliegenden, schwachen diffusen Reflexion zustande kommen. Jedenfalls sind die beiden Bilder in Cl und C2 für eine

Korrespondenzfindung kaum geeignet. Oder beide Bilder sind an solchen Objektbereichen schlichtweg schwarz, was die Korrespondenzfindung dort völlig unmöglich macht.

D) Vermeidung des Nachteils nach Anspruch 1 bis 3

Dieser Nachteil wird durch die erfindungsgemäße Positionierung, Gestaltung und Form der Beleuchtungen und Bildaufhahmen beseitigt.

Nach klassischem Urteil müssen sich die Beleuchtungen als Punktlichtquellen reell oder virtuell im Projektionszentrum der betreffenden Kamera befinden, oder ersatzweise als punktförmige oder kleinflächige Beleuchtungen in unmittelbarer Nähe der Projektionszentren. Im Gegensatz zu dieser Lehre sind hier die Beleuchtungen in einer speziellen, unten beschriebenen Weise über einen größeren Raum verteilt.

Der Helmholtz’sche Winkeltausch ist dabei im Allgemeinen nicht für alle Punkte P und alle Oberflächenneigungen überall anwendbar, dafür sind die Bilder aber auch bei schmalen Reflexionskeulen im Gegensatz zu bekannten Anordnungen in einem großen Szenenbereich und in einem großen Winkelbereich der Oberflächennormalen auswertbar.

Die Beleuchtungen können dabei großflächig sein oder aus jeweils mehreren diskreten Beleuchtungselementen bestehen - oder beides.

Man vergleiche hierzu die Figur 1 mit den Figuren 3 und 4. Durch Superposition der

Beleuchtungsanordnung Fig. 3 und Fig. 4 erreicht man die Auswertbarkeit in einem größeren Winkelbereich. Dies gilt dies auch für einen größeren Positionsbereich in der Szene. Im Unterschied zu Fig. 3 ist bei Fig. 4 das Oberflächenelement nach außen geneigt. Dadurch soll verdeutlicht werden, dass mit einer Mehrzahl, einen größeren Raum einnehmenden

Beleuchtungskomponenten die Auswertbarkeit in einem größeren Winke lbereich erreichbar ist.

Nach klassischem Urteil müssen die Beleuchtungen in den Projektionszentren der Kameras liegen oder ersatzweise möglichst nah daran und näherungsweise punktförmig sein. Die Auswertung ist unter diesen Bedingungen bei schmalen Reflexionskeulen nach Erfahrungen des Erfinders jedoch problematisch; die Beleuchtungen müssen eine gewisse

Mindestausdehnung haben, wobei die Oberflächenelemente in Ll bzw. L2 mit mindestens 1/15 des Abstandes der Projektionszentren von Cl und C2 voneinander entfernt sein müssen, vorzugsweise sogar 1/10, und bevorzugt in 2 Dimensionen. Grundsätzlich können die zur Abstandsbetrachtung herangezogenen Oberflächenelemente verschiedenen

Beleuchtungssätzen angehören. Mit mehr ausgedehnten Beleuchtungen werden die effektiven Reflexionskeulen breiter, was die oben angesprochenen Nachteile der rein materialbezogen (d.h. bei Beleuchtung mit einem einzelnen Strahl geltenden) schmalen Reflexionskeulen entschärft, s.a. Fig. 7. Fig. 8 zeigt vergleichend links eine rein materialbezogene, d.h. bei Beleuchtung mit einem einzelnen Strahl (Punktlichtquelle) geltende Reflexionskeule (hier kurz Reflexionskeule) und rechts für das gleiche Material eine breitere, effektive

Reflexionskeule, wie sie sich bei Beleuchtung mit einer flächig ausgedehnten Beleuchtung ergibt.

Im Folgenden werden zunächst Konstruktionsregeln beschrieben, wie Beleuchtungspunkte positioniert werden können, um, ausgehend von einer gedachten Position der

Beleuchtungspunkte in den Projektionszentren der Kameras, die Glanzbedingung herzustellen oder beizubehalten, vorzugsweise für einen zentral gelegenen Szenenpunkt. Durch gedankliche Überlagerung solcher Beleuchtungspunkte ergeben sich damit erfindungsgemäße Beleuchtungs-Formen und -Fagen. Anschließend werden einige Beispiele solcher

erfindungsgemäßen Beleuchtungs-Formen und Beleuchtungslagen angegeben.

Dl) Konstruktionshinweise

Bezeichnungen:

FP1 = Beleuchtungspunkte zu Fl, FP2 = Beleuchtungspunkte zu F2. Beleuchtungspunkte sind Punkte, aus denen die Beleuchtungen konstruktiv zusammengesetzt werden.

Gefunden werden können die folgenden Lösungen dadurch, dass man gedanklich, ausgehend von LP1 im Projektionszentrum von Cl und LP2 in Projektionszentrum von C2, für einen Punkt Q entweder beide Beleuchtungspunkte oder einen Beleuchtungspunkt mit einer Kamera (Ll mit C2 oder L2 mit Cl) oder beide Kameras derart bewegt, dass sich die Glanzbedingung einstellt. Oder, falls die Glanzbedingung schon bei Lage von LP1 und LP2 in den

Projektionszentren gegeben ist, dass die Glanzbedingung erhalten bleibt. Vorteilhafterweise, aber nicht notwendigerweise, wählt man die Position und die Richtung der

Oberflächennormalen der Punkte Q gleichmäßig im Arbeitsraum verteilt Dann sind auch die Abweichungen von den idealen Reflexionsbedingungen gleichmäßig und symmetrisch über den Arbeitsraum verteilt.

Die folgenden Beispiele Fig. 9 bis 15 liefern eine allgemeine Lehre für dieses Vorgehen. In diesen Figuren ist die Glanzbedingung schon bei Lage von LP1 und LP2 in den

Projektionszentren gegeben, die Glanzbedingung wird hier also nicht durch die Bewegung erst hergestellt, sondern die Beleuchtungspunkte werden so bewegt, dass die Glanzbedingung erhalten bleibt.

In Fig. 9 befinden sich LP1 und LP2 gedacht im Zentrum von Cl bzw. C2. Man stelle sich nun vor, dass sich die Beleuchtungspunkte in symmetrischer Weise von dort fortbewegen, und zwar symmetrisch bezüglich der Blickrichtung der betreffenden Kamera, im konkreten Beispiel bewegt sich LP1 in Kamera-Blickrichtung von Cl nach rechts - das ist in Richtung zum Betrachter der Figur - und LP2 in Kamera-Blickrichtung von C2 nach links, - das ist ebenso in Richtung des Betrachters der Figur! ("unten-oben" s. Figur, wobei hier die einander zugewandten Seiten der Kameras als oben gelten.) Beide Beleuchtungspunkte werden also in Richtung des Betrachters der Figur bewegt, wobei der Betrag des (hier nicht eingezeichneten) Drehwinkels um den Punkt Q gleich ist. Das Ergebnis ist die Situation in Fig. 10: Beide Beleuchtungspunkte LP1 und LP2 befinden sich neben den Kameras, beide zum Betrachter der Figur hin, unter Beibehaltung der Glanzbedingung an einem Punkt in der Nähe von Q (leicht in Richtung zum Betrachter der Figur verschoben, daher nicht eingezeichnet), bei gleicher Oberflächenneigung. Die Bedingungen lt. Anspruch 1 gelten dann für diesen Punkt. Ein der Glanzbedingung genügendes Ergebnis erhält man aus Symmetriegründen genauso, wenn man dementsprechend nicht die Beleuchtungspunkte, sondern die Kameras bewegt.

Anmerkung: Vergleicht man die Figuren 5 und 6 mit der Fig. 1 der oben erwähnten US 7 574 067 B2, so erkennt man, dass dort die Anordnung der Punktlichtquellen ungünstig ist: Würde man stattdessen eine der Beleuchtungen auf der gegenüberliegenden Seite platzieren, wären die beiden Bilder für den gleichen Szenepunkt ähnlicher. Im Sinne der hier vorliegenden Erfindung ist die Anordnung nach US 7 574 067 B2 falsch.

In den folgenden Figuren 11 bis 17 wird jeweils die Ausgangssituation einer gedachten Bewegung mit durchgezogenen Linien gekennzeichnet, und die nach symmetrischer

Bewegung sich ergebenden Änderungen gestrichelt dargestellt.

In Fig. 11 wurden die Beleuchtungspunkte ausgehend von der Situation Fig. 10 um die optische Achse der Kameras gedreht, in Blickrichtung gesehen jeweils rechts herum in einem Drehwinkel von 90 Grad. Das funktioniert bei allen Drehwinkeln.

Gemäß Fig. 12 kann man die prinzipiell gleiche Anordnung erreichen, indem man, ausgehend von der Situation Fig. 9, LP1 und C2 symmetrisch jeweils um den Winkel w um den Punkt Q nach unten ("unten-oben" s. Figur, wobei hier die einander zugewandten Seiten der Kameras als oben gelten) dreht.

Das Ganze funktioniert gemäß Fig. 13 auch bei flachen Beleuchtungs- und

Betrachtungswinkeln.

Fig. 14 und 15 zeigen die Situation analog zu Fig. 9 und 12, wo LP1 und C2 in die gleiche Richtung verschoben werden, indem ausgehend von Situation Fig. 9 LP1 in Blickrichtung von Cl gesehen nach rechts verschoben wurde und C2 in Blickrichtung von C2 gesehen nach rechts - und zwar jeweils mit dem gleichen Drehwinkelbetrag w.

Aus den Beispielen ist eine Lehre zum Erreichen der Glanzbedingung ersichtlich an einem Punkt Q: - LP1 und LP2 in gegensätzliche Richtung verschieben, gesehen in Kamerarichtung, mit gleichem Betrag des sich ergebenden Drehwinkels um den Punkt Q, wobei die einander zugewandten Seiten der Kameras als oben gelten (s. Fig. 9); daraus ergeben sich die

Richtungen "nach links“, "rechts“, ""oben", "unten".

- LP1 und LP2 drehen in gleicher Drehrichtung um Cl bzw. C2, gesehen in Kamera- Blickrichtung.

- LP1/C2 (oder LP2/C1) in gleicher Richtung verschieben, gesehen in Kamerarichtung, mit gleichem Betrag des sich ergebenden Drehwinkels um den Punkt Q, wobei die einander zugewandten Seiten der Kameras als oben gelten (s. Fig. 9); daraus ergeben sich die

Richtungen "nach links“, "rechts“, ""oben", "unten".

Und ohne Figur, aufgrund von Symmetrieüberlegungen:

- Cl und C2 entsprechend in gegensätzliche Richtung verschieben, gesehen in

Kamerarichtung, wobei die einander zugewandten Seiten der Kameras als oben gelten.

- Cl und C2 entsprechend drehen in gleicher Drehrichtung um LP1 bzw. LP2, gesehen in Kamera-Blickrichtung.

Danach können die Beleuchtungspunkte entlang der Strahlen zum Punkt Q, siehe z.B. 11 und 12 in den Figuren 3,4,11, prinzipiell verschoben werden, denn dadurch ändert sich nichts an den Beleuchtungsrichtungen, allerdings kann sich dadurch bei kleinen Entfernungen die Beleuchtungsstärke bzw. die Leuchtdichte merklich verändern.

D2) Beispiele

Durch Superposition von jeweils mehreren Beleuchtungspunkten LP1 und LP2 nach den o.g. Vorschriften erhält man erfindungsgemäße Beleuchtungen Ll bzw. L2.

Fig. 16 zeigt eine solche Anordnung in perspektivischer Darstellung. In Fig. 16 ist bei den Lampen mit den parallelen Strichen nur sehr grob angedeutet, dass die Haupt-Leuchtrichtung der Lampen durchaus unterschiedlich sein kann, und zwar vorteilhaft einfach in Richtung Szene. Auf die Haupt-Leuchtrichtung aus Sicht der Lampen kommt es nicht an, sondern auf die Richtung, mit der die Strahlen in der Szene auf die Oberfläche auftreffen, was sich letztlich aus der Position der diskreten Beleuchtungselemente bzw. der Oberflächenelemente der flächigen Beleuchtungen ergibt (vgl. Ende des vorigen Abschnitts). In den Figuren 17 und 18 sind schematisch gezeichnet Beispiele in Draufsicht gezeigt, in Fig. 17 mit großflächigen Beleuchtungen, in Fig. 18 mit mehreren diskreten

Beleuchtungselementen, letztere symbolisch mit Lampensymbolen dargestellt. Das Schema Fig. l7a entspricht dem Beispiel Fig. 16. Natürlich kann man auch großflächige

Beleuchtungen mit diskreten Beleuchtungselementen kombinieren. Mit Varianten Fig. l7d und l8a wird gezeigt, dass man eine großflächige Lampe bzw. ein diskretes

Beleuchtungselement auch zweifach nutzen kann. Eine Anordnung nach Fig. l7e ist günstig, wenn die Kameras schräg auf die unter den Lampen befindliche Szene blicken.

Je nach Anwendungsfall kann man eine passende Konfiguration nach den hier beschriebenen Konstruktionsvorschriften realisieren. So zeigt z.B. Fig. 19 eine Anwendung der Anordnung nach Fig. l7b für die 3D-Szenenerfassung eines Fahrzeugs 8: unterhalb der Frontscheinwerfer oder zusätzlich angebrachter Beleuchtungen Ll und L2 befinden sich die Kameras Cl und C2. Natürlich kann so nur der Bereich ausgewertet werden, der sowohl mit Ll als auch mit L2 abgedeckt wird. Entsprechend den obigen Überlegungen können sich die Kameras auch oberhalb der Lampen befinden oder auch seitlich (beide links oder beide rechts der Lampen); Ll und L2 können aus mehreren diskreten Beleuchtungen bestehen, auch können mehrere solche Kameraanordnungen verwendet werden, um eine genauere Auswertung zu erreichen.

Bei umfangreichen Szenen mit großem Oberflächen-Neigungsbereich kann das Vorgehen nach Anspruch 3 von Vorteil sein. In Lig. 20 wird in Draufsicht ein Beispiel angegeben, mit i=l..l, j=l..2. Durch die Vorgehensweise werden neigungs- und auch ortsspezifisch optimale Beleuchtungskonstellationen realisiert, was die Korrespondenzfindung erleichtert.

IL

Nach Ansprüchen 4 - 7 kann man auch den Fall von Oberflächenpartien mit Lambert'scher Reflexion bzw. nahezu Lambert'scher Reflexion bearbeiten. Wie oben begründet, ist bei Lambert'scher Reflexion der Helligkeitseindruck nur von der Beleuchtungsrichtung, aber nicht von der Betrachtungsrichtung abhängig. Für diesen Fall werden die beiden Bilder von Cl und C2 mit der gleichen Beleuchtung aufgenommen. Diese Beleuchtung kann eine separat realisierte Beleuchtung sein (Ansprüche 4 und 6); elegant ist die Verwendung der ohnehin vorhandenen Beleuchtungen Ll oder L2 (Ansprüche 5 und 7). Für Oberflächenpartien mit Lambert'scher Reflexion wird nach den Ansprüchen 6 und 8 wahlweise das Cl-Bild, aufgenommen mit L2, verglichen mit dem C2-Bild, aufgenommen mit L2 - oder es wird das Cl-Bild, aufgenommen mit Ll, verglichen mit dem C2-Bild, aufgenommen mit Ll. Dies ist möglich ohne zusätzlichen apparativen Aufwand. Im praktischen Betrieb werden alle vier Bilder ohne zusätzlichen Zeitaufwand aufgenommen, denn die Parallelisierung der

Bildaufnahme von 2 Kameras (bei gleicher Beleuchtung) ist Stand der Technik. Für den Zusatz nach den Ansprüchen 5 und 7 ist für die Bildaufnahme also keine zusätzliche Zeit erforderlich.

Die zahlreichen veröffentlichten Methoden der Korrespondenzfindung arbeiten an der Basis entweder mit einem - im weitesten Sinne - Vergleich der Grauwerte einzelner Pixel oder mit einem Vergleich kleiner Bildausschnitte. Erfindungsgemäß werden hier jeweils zwei solche Vergleiche (je nach Grundverfahren Bildpunkt- oder Bildausschnitt) realisiert, und zwar 1) Vergleich des C1-F2 Bilds mit dem C2-F1 Bild (für den Fall überwiegend glänzender Oberfläche) und 2) Vergleich des Cl-Fl Bilds mit dem C2-F1 Bild (für den Fall

Famberfscher Oberfläche); von diesen beiden Vergleichen wird jeweils das bessere

Vergleichsergebnis ausgewählt, wobei sich anbietet, bezüglich dieser Auswahl Glänzend vs. Fambert einen "Smoothness Constraint" zu realisieren. Natürlich kann hier bei 2) wahlweise oder zusätzlich das C1-F2 Bild mit dem C2-F2 Bild verglichen werden.

III.

Nach Anspruch 8 befinden sich Fl und F2 für zumindest einen Beleuchtungssatz zumindest näherungsweise auf einer Geraden, die durch die Projektionszentren von Cl bzw. C2 verlaufen und die senkrecht zur Verbindungslinie von Cl und C2 ausgerichtet sind und zur Hauptebene der Szene parallel, wobei als Hauptebene eine Ebene bezeichnet wird, die durch das Zentrum des auszuwertenden Szenenbereichs geht und so geneigt ist, dass der maximale Abstand auszuwertender Szenenpunkte von dieser Ebene minimal ist. Typischerweise ist die Hauptebene parallel mit der in Fig. 1 eingezeichneten Grundebene 4.

Eine solche Anordnung wird in Fig. 18b gezeigt. Vorteile:

Durch die erfindungsgemäßen Lösungen werden die oben geschilderten Probleme gelöst.

Mit den erfindungsgemäßen Beleuchtungen ist erreichbar, dass auch über den ganzen Szenenbereich Grauwerte der Bilder von Cl und C2 für gleiche Szenenpunkte zumindest ungefähr gleich sind.

Die das Helmholtz-Gesetz nutzenden klassischen Verfahren basieren auf dem Austausch von Beleuchtungs- und Betrachtungswinkel (kurz Winkeltausch), dabei müssen sich die

Lichtquellen idealerweise reell oder virtuell im Projektionszentrum der Kameras befinden, was entsprechend mehreren bekannten Vorschlägen mit einer aufwendigen Anordnung mit halbdurchlässigen Spiegeln gelöst wird. Näherungsweise können sich nach bekannten Vorschlägen die Lichtquellen in direkter Nähe der Projektionszentren befinden. Bei den mit der vorliegenden Erfindung vorgeschlagenen Verfahren und Anordnungen können sich die Beleuchtungen durchaus weitab der Projektionszentren befinden. Dabei findet i.A. kein direkter Helmholtz'scher Winkeltausch statt, Einfallswinkel und Ausfallswinkel werden jedoch von Bildaufhahme mit Cl zu Bildaufhahme mit C2 so geändert, dass sich hier zwar (im Gegensatz zum Helmholtz-Gesetz) das Verhältnis der Lichtstärke Beleuchtung zu Betrachtung stark verändern kann, aber andererseits das Verhältnis der

Betrachtungslichtstärken Cl zu C2 tendenziell erhalten bleibt, und darauf kommt es hier an. Das Verhältnis der Betrachtungslichtstärke gesehen in Cl und beleuchtet mit L2, zur Betrachtungslichtstärke gesehen in C2 und beleuchtet mit Ll bleibt tendenziell erhalten. Dies gilt auch außerhalb der Punkte Q, wo die Glanzbedingung nicht erfüllt sein muss, sich also Einfallswinkel und Ausfallswinkel unterscheiden können.

Dies wird mit den Figuren 21 und 22 veranschaulicht: In beiden Figuren wird die Situation vor einer gedachten Bewegung (s. Konstruktionsvorschriften) mit durchgezogenen Strichen gezeichnet und nach der Bewegung mit gestrichelten Linien. Einfallswinkel und

Ausfallswinkel sind deutlich unterschiedlich. In Fig. 22 sind im Vergleich zu Fig. 21 an den durchgezogenen Linien Einfalls- und Ausfallswinkel vertauscht, es gilt dort also die

Helmholtz-Reziprozität, daher sind hier die beiden Reflexionskeulen gleich groß gezeichnet. In Fig. 21 wird der Effekt der Bewegung von Ll gezeigt: Durch eine Drehung des Beleuchtungswinkels von Ll nach rechts wird die Reflexionskeule um den gleichen Betrag nach links gedreht. Dadurch wird von C2 weniger Licht aus der Reflexionskeule

herausgeschnitten. In Lig. 22 wird der Effekt der lt. Konstruktionsvorschriften zugehörigen Bewegung von L2 gezeigt: Durch eine Drehung des Beleuchtungswinkels L2 ebenso nach rechts wird die Reflexionskeule um den gleichen Betrag nach links (!) gedreht. Dadurch wird ebenso von C 1 weniger Licht aus der Reflexionskeule herausgeschnitten. In beiden Kameras erscheint also der betrachtete Punkt P nach der (gedachten) Bewegung dunkler, und nur diese Bedingung ist für eine zuverlässige Stereoanalyse wichtig, ein Helmholtz'scher Winke ltausch ist nicht unbedingt erforderlich!

Randbemerkung: Drehung jedesmal in die gleiche Richtung hier übrigens gegen die Intuition, siehe hierzu auch die gemäß der o.g. US 7 574 067 B2 vorgeschlagene, im Sinne der hier vorliegenden Erfindung falschen Anordnung (mit nach klassischem Vorgehen Lichtquellen ganz in der Nähe der Kamerazentren).

Dass Grauwerte der Bilder von Cl und C2 für gleiche Szenenpunkte über die ganze Szene zumindest ungefähr gleich sind, ist ein ganz besonderer Vorteil auch deshalb, weil die obige Betrachtung auch für lokal spiegelnde Glanzstellen gilt. Bei konventionellem Stereo, also Beleuchtung aus irgendeiner Raumrichtung, sind lokale Glanzstellen äußerst störend. Sie entstehen ja dort, wo "Einfallswinkel von Beleuchtung = Ausfallswinkel zu Kamera" gilt, bei einer einzigen Beleuchtungsrichtung, für beide Kameras - außer in speziellen symmetrischen Situationen - an einem Szenenpunkt nur entweder für die eine oder für die andere Kamera. Daher sind lokale Glanzstellen in der einen Kamera bei konventionellem Stereo so gut wie nie identisch mit lokalen Glanzstellen in der anderen Kamera, und das erschwert die

Stereoauswertung bei konventioneller Anordnung ganz erheblich.

Bei dem hier vorgestellten Verfahren hingegen sind lokale Glanzstellen systembedingt in beiden Bildern gleich oder fast gleich. Da sie zudem naturgemäß einen hohen Kontrast aufweisen, ermöglichen sie eine besonders zuverlässige Korrespondenzfindung auch gerade an den ansonsten problematischen Stellen. Ein gravierender Nachteil des konventionellen Stereo wird also durch die hier vorgestellte Beleuchtungsanordnung und Vorgehensweise in einen wichtigen Vorteil verwandelt. Dies gilt überraschenderweise, obwohl echte

Spiegelbilder von Punktlichtquellen an etwas verschobenen Punkten auftauchen können. Für Szenenbereiche mit Struktur (Objektkanten, sich lokal ändernde Oberflächenneigungen, stark strukturierte oder gekrümmte Oberflächenbereiche wie Welligkeiten, Wölbungen,

Helligkeitsunterschiede durch Bedruckung, Verschmutzung, variierende

Reflexionseigenschaften durch Bearbeitungsspuren, etc.) ist die Korrespondenzfindung nach dem vorgestellten Verfahren auch an Stellen nur näherungsweise erfüllter Glanzbedingung wesentlich erleichtert. Gerade bei solchen Szenen treten die Glanzstellen, obwohl je nach Szenepunkt kein perfekter Winkeltausch stattfindet, in den beiden Bildern an denselben Oberflächenstellen auf, und zwar im Gegensatz zu den klassischen Verfahren, in einem größeren Szenenbereich und Winkelbereich der Oberflächennormalen - ein wesentlicher Vorteil des hier vorgestellten Ansatzes.

Durch erfindungsgemäßes Vorgehen können zahlreiche solche (hier!) hilfreiche Glanzstellen hervorgerufen werden und durch Vorgehen nach Anspruch 3 auch leicht in Cl und C2 einander zugeordnet werden.

Mit der Vorgehensweise nach Ansprüchen 4 bis 7 wird erreicht, dass mit derselben

Einrichtung und ohne zusätzlichen apparativen Aufwand und ohne zusätzlichen Zeitaufwand bei der Bildaufnahme auch der Fall Lambert'scher Oberflächenreflexion behandelt wird, auch wenn unbekannt ist, ob und an welchen Stellen Lambert'sche Oberflächenreflexion vorliegt.

Nach Anspruch 8 befinden sich Ll und L2 zumindest näherungsweise auf Geraden, die durch die Projektionszentren von Cl bzw. C2 verlaufen und senkrecht zur Verbindungslinie von Cl und C2 ausgerichtet sind und zumindest näherungsweise zur Hauptebene der Szene parallel, wobei als Hauptebene eine Ebene bezeichnet wird, die durch das Zentrum des

auszuwertenden Szenenbereichs geht und so geneigt ist, dass der maximale Abstand auszuwertender Szenenpunkte von dieser Ebene minimal ist.

Diese Anordnung hat den Vorteil, dass mit der hier vorgestellten Erfindung die Lösung die oben unter "Effekt b)" und„Effekt c)“ angesprochenen Probleme wesentlich erleichtert wird: Szenenpartien, die von einer ersten Kamera eingesehen werden, von der zweiten aber nicht, befinden sich bei einer Anordnung nach Anspruch 8 im Dunkeln (Schlagschatten). Dies wird mit Fig. 23 der Einfachheit halber veranschaulicht anhand der klassischen Situation mit im Projektionszentrum der Kamera liegenden Beleuchtungen; die Überlegung aber gilt ähnlich, wenn sich die Beleuchtungen auf der in Anspruch 8 beschriebenen Geraden befinden. Bei Beleuchtung mit Ll sind von C2 aus die Schlagschattenbereiche S einsehbar. Der Sichtbarkeitsbereich von Cl jedoch umfasst genau diese Bereiche exakt abgegrenzt gerade NICHT, da die Schlagschatten über eine Beleuchtung aus genau der Betrachtungsrichtung von Cl zustande kommen. In Fig. 23 ist der schematisch ein Grauwertverlauf dargestellt, wie er aus Sicht von C2 zustande kommt. Die Schlagschattenbereiche aus Sicht von C2 bei Beleuchtung mit Ll sind über unkritische Schwellwertverfahren vorab erkennbar und können bei der Korrespondenz- Suche von vomeherein ausgeklammert werden; dasselbe gilt umgekehrt für die Schlagschattenbereiche aus Sicht von Cl bei Beleuchtung mit L2.

Bei anderen erfindungsgemäßen Beleuchtungen, die nicht der in Anspruch 8 beschriebenen Anordnung entsprechen, gelangt auch Licht in den oben bezeichneten Schattenbereich hinein. Dieses Problem wird durch Anspruch 8 gelöst. Danach befinden sich Ll und L2 für zumindest einen Beleuchtungssatz zumindest näherungsweise auf Geraden, die durch die Projektionszentren von Cl bzw. C2 verlaufen und senkrecht zur Verbindungslinie von Cl und C2 ausgerichtet sind und zumindest näherungsweise zur Hauptebene der Szene parallel, wobei als Hauptebene eine Ebene bezeichnet wird, die so positioniert und geneigt ist, dass der maximale Abstand auszuwertender Szenenpunkte von dieser Ebene minimal ist.

In der mit Fig. 23 dargestellten Situation ist die Oberfläche irgendwie strukturiert (angedeutet durch den gezeichneten„wilden“ Helligkeitsverlauf); aufgrund der Strukturierung können die Korrespondenzen Cl mit C2 unter Weglassen der Schattenbereiche von C2 hergestellt werden, und entsprechend umgekehrt. Bei homogenen Oberflächen jedoch ist es zwar einfach, in C2 den Schattenbereich zu erkennen und demzufolge auszulassen, doch kann es bei homogenen Oberflächen schwierig werden, in Cl die zugehörigen Grenzen zu finden.

Dies gilt für homogene Oberflächen natürlich umgekehrt genauso für die Grenzfindung in C2 für in Cl sichtbare Schattenbereiche. In der Praxis sind die Kanten meist irgendwie geformt (schwache Rundungen, Fasen), woraus sich an diesen Stellen kleine Helligkeitsänderungen ergeben, was man bei homogenen Oberflächen als Hinweis für diese Grenzen in Cl verwenden kann. Mit zusätzlichen, gegenüber den Beleuchtungen nach Anspruch 8 leicht nach außen (in den Figuren etwas links von Cl und etwas rechts von C2) ragenden

Beleuchtungen kann man erreichen, dass die Schlagschattengrenzen auf der Gegenseite (in Cl im Beispiel Fig. 23) bei homogenen Oberflächen zwar nur andeutungsweise, aber zuverlässig erkennbar sind, unabhängig von der Kantenform. Dies müssen keine extra Beleuchtungen sein, es genügt erfahrungsgemäß auch eine kleine Ausdehnung der Beleuchtungen nach Anspruch 8 in die o.g. Richtungen. Mit einer kleinen Ausdehnung befinden sich nach wie vor Ll und L2 näherungsweise auf den in Anspruch 8 genannten Geraden.

Bekannte, auf strukturiertem Licht basierende Methoden arbeiten mit einem einzelnen Projektionsgerät. Das heißt, auch sie leiden darunter, dass, wie in Fig. 7 veranschaulicht, bei schmalen Reflexionskeulen und größerem Unterschied zwischen Beleuchtungs- und

Betrachtungswinkel nur wenig oder gar kein Licht zum Empfänger gelangt. Man muss das Problem durch entsprechend energiereiche Lichtquellen entschärfen, was zu Problemen der Arbeitssicherheit führen kann. Bei dem hier präsentierten Vorschlag wird aufgrund der Verteilung der Lichtquellen über einen größeren Raum dieses Problem entschärft.

Sonstiges:

Mehrere Kamerapaare:

Mit mehreren Kamerapaaren können, wie oben erwähnt, mehrere Abstandsbilder erzeugt und dann fusioniert werden. Dabei kann auch eine Kamera für mehrere Kamerapaare eingesetzt werden. Im Beispiel Fig. 24 (Ansicht von oben auf die Szene) handelt es sich um vier

Kameras 11 bis 14 (Richtung Szene - also vom Betrachter weg - geneigt) und bis zu sechs Paare 21 bis 26. Die Beleuchtungen sind gegenüber dem Zentrum versetzt gemäß den oben aufgeführten Konstruktionsregeln.

Farbe:

Die geschilderten Verfahren und Anordnungen funktionieren ebenso mit Farbkameras. Statt bei der Korrespondenz- Suche einzelne Grauwerte oder Inhalte von Grauwertfenstem zu vergleichen, braucht man nur die Farbwerte oder Inhalte von Farbwertfenstem zu vergleichen, z.B. die Rot-Grün-Blau Werte. Bei bunten Szenen wird dadurch die Auswertung gegenüber reiner Intensitätsauswertung vereinfacht und das Ergebnis verbessert.

Technische Maßnahmen: Die beiden Bildaufnahmen (einerseits Cl mit L2, andererseits C2 mit Ll) sind irgendwie voneinander zu trennen. Dies kann auf verschiedene Weise geschehen. Bei zeitlicher

Trennung werden die beiden Bilder (kurz) hintereinander aufgenommen, wobei jeweils L2 bzw. Ll eingeschaltet ist. Dies ist mit heutiger Bildaufnahmetechnik auch bei sehr kurzen Zeitdifferenzen kein Problem. Man kann die Aufnahmen auch echt gleichzeitig realisieren und anderweitig trennen, z.B. spektral oder über Polarisierung.

Es sollte dafür gesorgt werden, dass Fremdlicht entweder abgeschottet wird, oder dass die Auswertung auf kleine Wellenlängenbereiche beschränkt wird, in denen Ll und L2 arbeiten, so dass das Fremdlicht vernachlässigt werden kann. Auch ist es möglich, zunächst je ein Bild mit nur Fremdlicht aufzunehmen und dieses Bild vor der Bildauswertung abzuziehen. Diese Methoden sind in der industriellen Bildverarbeitung bekannt und verbreitet. Für Szenen mit sehr hoher Dynamik ist die Verwendung von HDR ("high dynamic range")-Kameras angezeigt.

Die Bildauswertung kann in einer von den Kameras getrennten Auswerteeinheit wie einem PC stattfinden oder aber in einer der beiden Kameras ("intelligente Kameras") oder in einer Auswerteeinheit, an die lediglich die Bildsensoren angeschlossen sind.

Schlussbemerkungen:

Die Bedingungen nach Anspruch 1 sind natürlich aus fertigungstechnischen und

montagetechnischen Gründen an den Rändern der Beleuchtungen nicht immer ganz exakt erfüllbar; so kann es z.B. schon durch ein geringfügiges Verrutschen einer Beleuchtung passieren, dass ein Beleuchtungsstrahl vom Rand von Ll bei C2 landet, aber umgekehrt nicht ein Beleuchtungsstrahl vom Rand von L2 bei Cl. Gegen solche Situationen sind die hier vorgestellten Verfahren tolerant, die in Anspruch 1 formulierten Bedingungen gelten dann als trotzdem gegeben.

Die Kalibrierung von Stereokameras ist ein in der Literatur ausführlich und ausreichend behandeltes Thema und wird daher hier nicht beschrieben. Eine geometrische Kalibrierung der Lichtquellen hat sich bei den hier vorgeschlagenen Anordnungen als überflüssig erwiesen, es sind lediglich die hier beschriebenen Montagevorschriften einzuhalten. Eine

Helligkeitskalibrierung ist auf naheliegende, einfache Weise realisierbar: Lampenhelligkeit und/oder Kameraverstärkungen werden praktischerweise so eingestellt, dass ein zentral gelegener Szenenpunkt in beiden Kameras möglichst gleich hell erscheint. Man geht am besten so vor, dass anhand einer Lambert'schen Oberfläche zunächst bei gleichbleibender Beleuchtung die beiden Kameras abgeglichen werden und anschließend anhand einer glänzenden Oberfläche paarweise die Beleuchtungen. Danach kann man noch durch Bewegen der Oberfläche(n) eine ortsspezifische Normierung für die Bildauswertung realisieren.

Bildaufnahme und/oder Auswertung können im Stilstand oder in Bewegung (Kamera oder Szene) stattfinden. Ein Beispiel veränderlicher Szenen ist die Sicherheitsüberwachung im Arbeitsraum eines konventionellen oder kooperativen Roboters.

Bezugszeichen und Begriffe:

1 Szene

Arbeitsraum der Szene: hier befinden sich die Punkte auf Oberfläche in der Szene, von der ein Abstandsbild erstellt werden soll.

Hauptebene der Szene: Nur verwendet in Anspruch 8, siehe dort.

2 Reflexionskeule

Für einen gegebenen Einfallswinkel rein materialbezogen, d.h. bei Beleuchtung mit einem einzelnen Strahl (Punkt lichtquelle) geltende Reflexionskeule. Die breitere, effektive

Reflexionskeule ergibt sich bei einer flächig ausgedehnten Beleuchtung.

3 Ausschnitt aus Reflexionskeule

4 Grundebene der Szene

8 Fahrzeug (nur Fig. 19) 11-14 Kameras von Kamerapaaren (nur Lig. 24)

21-26 Kamerapaare (nur Lig. 24)

S: Schlagschatten

P: Punkt auf Oberfläche in der Szene, von der ein Abstandsbild erstellt werden soll.

Q: Frei gewählter Punkt im Arbeitsraum, mit einem Oberflächenelement mit frei gewählter Normale N

L: Beleuchtung allgemein

Ll,L2: Beleuchtungen

Cl,C2: Kameras

Zentrum einer Kamera: kurz für Projektionszentrum der Kamera.

Zu Diskreten Beleuchtungselementen und Beleuchtungssätzen:

Die Beleuchtungen Ll und L2 können großflächig sein oder aus jeweils mehreren diskreten Beleuchtungselementen bestehen - oder beides.

Ein Beleuchtungssatz besteht aus Beleuchtung Ll und Beleuchtung L2.

Verschiedene Beleuchtungssätze können Teile von Beleuchtungen gemeinsam haben.

LP1, LP2 Beleuchtungspunkte: ein leuchtender Punkt von Ll bzw. L2

11, 12: Geraden durch Q und LP1 bzw. LP2