Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
DEVICE AND METHOD FOR CALIBRATING A LIGHT PROJECTOR
Document Type and Number:
WIPO Patent Application WO/2021/191121
Kind Code:
A1
Abstract:
A device and a method for calibrating a light projector (1) with adaptable luminous elements (3) arranged in an image plane (2), comprising a camera (4) and a control unit (5) connected to the light projector (1) and the camera (4), wherein the light projector (1) is configured to project in temporal succession at least two test images (6, 6') with at least two comparison structures (9, 9') from the image plane (2) to an arbitrarily extending projection surface (7), the camera (4) is a depth camera configured to record at least two camera images of a recording surface (8) in a manner substantially synchronized temporally with the light projector (1), and to detect the three-dimensional position data of the comparison structures (9, 9') in the camera images, and the control unit (5) is configured to determine the position and orientation of the light projector (1), and to calculate the translational displacement and rotational twist between camera (4) and projector (1).

Inventors:
HÖDLMOSER MICHAEL (AT)
SEITNER FLORIAN (AT)
FISCHER ROBERT (AT)
NEZVEDA MATEJ (AT)
Application Number:
PCT/EP2021/057206
Publication Date:
September 30, 2021
Filing Date:
March 22, 2021
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
EMOTION3D GMBH (AT)
International Classes:
B60Q1/08; B60Q1/14; G01M11/06; G06T7/80
Foreign References:
DE102018204424B32019-08-08
Attorney, Agent or Firm:
PUCHBERGER & PARTNER PATENTANWÄLTE (AT)
Download PDF:
Claims:
Patentansprüche

1. Vorrichtung zur Kalibrierung eines Lichtprojektors (1) mit adaptierbaren, in einer Bildebene (2) angeordneten Leuchtelementen (3), umfassend a. eine Kamera (4), b. eine mit dem Lichtprojektor (1) und der Kamera (4) verbundene Steuereinheit (5), und c. eine mit der Steuereinheit (5) verbundene Speichereinheit (10), dadurch gekennzeichnet, dass d. der Lichtprojektor (1 ) dazu ausgebildet ist, in zeitlicher Abfolge zumindest zwei Testbilder (6, 6‘) mit zumindest zwei Vergleichsstrukturen (9, 9‘) von der Bildebene (2) in eine beliebig verlaufende Projektionsfläche (7) zu projizieren, e. die Kamera (4) eine Tiefenkamera ist, die dazu ausgebildet ist, i. zeitlich im Wesentlichen mit dem Lichtprojektor (1) synchronisiert zumindest zwei Kamerabilder einer Aufnahmefläche (8) aufzunehmen, welche die Projektionsfläche (7) im Wesentlichen umfasst, ii. in den Kamerabildern die dreidimensionalen Positionsdaten der zumindest zwei Vergleichsstrukturen (9, 9‘) zu detektieren, f. die Steuereinheit (5) dazu ausgebildet ist, i. aus den dreidimensionalen Positionsdaten der Vergleichsstrukturen (9, 9‘) die Position und Orientierung des Lichtprojektors (1) zu bestimmen, und ii. die translatorische Verschiebung und rotatorische Verdrehung zwischen Kamera (4) und Projektor (1) zu berechnen.

2. Vorrichtung nach Anspruch 1 , dadurch gekennzeichnet, dass die Steuereinheit (5) dazu ausgebildet ist, die translatorische Verschiebung und rotatorische Verdrehung zwischen Kamera (4) und Lichtprojektor (1) durch Justierung des Lichtprojektors auszugleichen.

3. Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Steuereinheit (5) dazu ausgebildet ist, die Leuchtelemente (3) des Lichtprojektors (1) im laufenden Betrieb derart anzusteuern, dass die translatorische Verschiebung und rotatorische Verdrehung zwischen Kamera (4) und Lichtprojektor (1) ausgeglichen wird.

4. Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Lichtprojektor (1) ein adaptiver Scheinwerfer eines Fahrzeugs ist.

5. Vorrichtung nach Anspruch 1 oder 4, dadurch gekennzeichnet, dass die Kamera (4) eine Stereokamera, Time-of-Flight (TOF)-Kamera, LiDAR oder dergleichen ist.

6. Verfahren zur Kalibrierung eines Lichtprojektors (1) mit adaptierbaren, in einer Bildebene (2) angeordneten Leuchtelementen (3), dadurch gekennzeichnet, dass a. der Lichtprojektor (1) in zeitlicher Abfolge zumindest zwei Testbilder (6, 6‘) mit zumindest zwei Vergleichsstrukturen (9, 9‘) in eine beliebig verlaufende Projektionsfläche (7) projiziert, b. eine als Tiefenkamera ausgebildete Kamera (4) i. zeitlich im Wesentlichen mit dem Lichtprojektor (1) synchronisiert zumindest zwei Kamerabilder einer Aufnahmefläche (8), welche die Projektionsfläche (7) im Wesentlichen umfasst, aufnimmt, ii. in den Kamerabildern die dreidimensionalen Positionsdaten der zumindest zwei Vergleichsstrukturen (9, 9‘) detektiert, c. eine Steuereinheit (5) i. aus den dreidimensionalen Positionsdaten der Vergleichsstrukturen (9, 9‘) die Position und Orientierung des Lichtprojektors (1) bestimmt, und ii. die translatorische Verschiebung und rotatorische Verdrehung zwischen Kamera (4) und Projektor (1) berechnet.

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Steuereinheit (5) die translatorische Verschiebung und rotatorische Verdrehung zwischen Kamera (4) und Lichtprojektor (1) durch Justierung des Lichtprojektors ausgleicht.

8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass Steuereinheit (5) die Leuchtelemente (3) des Lichtprojektors (1) im laufenden Betrieb derart ansteuert, dass die translatorische Verschiebung und rotatorische Verdrehung zwischen Kamera (4) und Lichtprojektor (1) ausgeglichen werden.

9. Computerlesbares Speichermedium, umfassend Anweisungen, die eine elektronische Steuereinheit (7) zur Ausführung eines Verfahrens nach einem der Ansprüche 6 bis 8 veranlassen.

Description:
Vorrichtung und Verfahren zur Kalibrierung eines Lichtprojektors

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Kalibrierung eines Lichtprojektors.

Fahrzeuge besitzen heutzutage Frontleuchten, welche adaptiv eine Szene ausleuchten bzw. komplexe Projektionsmuster in die Szene projizieren können. Dies ermöglicht es z.B. bei entgegenkommenden Fahrzeugen partiell abzublenden, um die Insassen dieser Fahrzeuge nicht zu blenden oder das Projizieren von Informationen vor Fußgängern oder anderen Verkehrsteilnehmern.

Um entsprechende Beleuchtungsstrategien umsetzen zu können, werden normalerweise mittels einer Kamera für diese Beleuchtungsstrategie relevante Objekte erkannt und basierend auf deren 2D Position im Kamerabild die Beleuchtung adaptiert. Der genaue Zusammenhang zwischen dem im Kamerabild erkannten 2D Objekt und der am Lichtprojektor verwendeten Lichtmuster (2D Array mit Intensitätswerten, welche die Beleuchtungsintensität für jedes Element des Lichtprojektors festlegt) wird aktuell empirisch ermittelt und ist entsprechend ungenau.

Dies macht es aktuell unmöglich, Bereiche in einer Szene mittels adaptiver Frontleuchte hochpräzise und qualitativ hochwertig auszuleuchten (z.B. für gezieltes Ab-/Aufblenden, Projizieren von Information an bestimmte Stellen in einer 3D Szene). Speziell auf größere Entfernungen wirkt sich diese Ungenauigkeit entsprechend höher aus, wodurch der Einsatz von adaptiven Beleuchtungsstrategien aktuell zumeist auf wenige und sehr grobe Lichtmuster beschränkt ist. Die Verwendung von feinen Lichtmustern (z.B. für das gezieltes Projizieren von Warnungen und Hinweisen in der Nähe von Fußgängern; für das Abblenden/Verringern der Beleuchtungsintensität für stark reflektierende Verkehrszeichen; für das Hinweisen von gefährdeten Verkehrsteilnehmern durch „Anblitzen“) kann aktuell in der Praxis nicht zufriedenstellend umgesetzt werden kann.

Darüber hinaus können über die Zeit mechanische Beanspruchungen (z.B. Erschütterungen) zu einer Fehlpositionierung oder Verstellung der Frontleuchten gegenüber der Kamera führen. Dies wird vom Fahrer zumeist nicht erkannt und auch vom Fahrzeug nicht gemeldet, führt aber zu einer entsprechend verringerten Beleuchtungsqualität der Szene (z.B. Blenden von entgegenkommenden oder vorausfahrenden Verkehrsteilnehmern durch die adaptive Beleuchtung).

Bekannte Kalibrierungsverfahren zielen zumeist auf eine initiale Grobkalibrierung der Beleuchtung (in der Fertigung) und dem manuellen Erkennen von Fehljustierungen ab. Auch nach Erkennen einer Fehljustierung werden Nachjustierungen grob, manuell und in Fachwerkstätten durchgeführt, wobei Kamera und Projektor anhand von vorgegebenen Testmustern in einer kontrollierten Umgebung zueinander kalibriert werden. Bei beiden Verfahren, Initialkalibrierung und Nachjustierung, wird kein Wert auf eine dreidimensionale Kalibrierung gelegt.

Diese und andere Probleme werden erfindungsgemäß durch eine Vorrichtung und ein Verfahren nach den unabhängigen Ansprüchen gelöst.

Eine erfindungsgemäße Vorrichtung umfasst einen Lichtprojektor mit adaptierbaren, in einer Bildebene angeordneten Leuchtelementen. Dabei kann es sich um einen adaptiven Scheinwerfer eines Fahrzeugs, beispielsweise eines Autos handeln, der mit selektiv aktivierbaren LED-Leuchtelementen oder dergleichen ausgestattet ist, die es erlauben, ein beliebiges optisches Muster in eine Projektionsfläche zu projizieren. Die Projektionsfläche kann sich beispielsweise auf einer Straße, einem Gebäude oder auf einem anderen Verkehrsteilnehmer befinden. Die Projektionsfläche muss nicht eben oder homogen sein, sondern kann eine beliebige dreidimensionale Form haben.

Ferner ist eine Kamera vorgesehen, die dazu ausgebildet ist, eine Aufnahmefläche aufzunehmen. Dabei kann es sich beispielsweise um eine in einem Fahrzeug fest eingebaute Fahrzeugkamera handeln, die etwa im oberen Bereich der Frontscheibe oder im vorderen Bereich der Fahrzeugfront, beispielsweise im Bereich der Scheinwerfer des Fahrzeugs, angeordnet ist.

Die ungefähre örtliche Korrelation, d.h. die 3D-Rotation und 3D-Translation, zwischen dem Lichtprojektor und der Kamera kann als Initialwert vorab bekannt sein, nicht zuletzt, um eine Überlappung der Projektionsfläche mit der Aufnahmefläche sicherzustellen. Dies ist aber nicht zwingend erforderlich.

Die Kamera ist erfindungsgemäß als Tiefenkamera, beispielsweise Stereokamera, Time-of-Flight (TOF)-Kamera, LiDAR oder dergleichen, ausgebildet. Es kann sich auch um eine Kameraanordnung, also mehrere miteinander verbundene Kameras handeln, die jeweils ein zweidimensionales Bild aus einem anderen Blickwinkel aufnehmen. Dadurch können zu jedem Punkt des Kamerabilds dessen dreidimensionale Positionsdaten in Bezug auf ein internes Koordinatensystem bestimmt werden.

Erfindungsgemäß sind sowohl der Lichtprojektor, als auch die Kamera mit einer elektronischen Steuereinheit bzw. Datenverarbeitungseinheit verbunden. Die Steuereinheit kann als Mikrocontroller oder Mikrocomputer ausgebildet sein und eine zentrale Verarbeitungseinheit (CPU) umfassen. Die Steuereinheit ist mit einer Speichereinheit verbunden, beispielsweise in Form eines flüchtigen Halbleiterspeichers (RAM), einen nichtflüchtigen Halbleiterspeichers (ROM, SSD-Festplatte), eines magnetischen Speichers (Festplatte) und/oder eines optischen Speichers (CD-ROM). Ferner umfasst die Steuereinheit Schnittstelleneinheiten (Ethernet, USB) und dergleichen. Die Bestandteile derartiger elektronischer Komponenten sind dem Fachmann grundsätzlich bekannt. Erfindungsgemäß ist der der Lichtprojektor dazu ausgebildet, in zeitlicher Abfolge zumindest zwei Testbilder mit zumindest zwei Vergleichsstrukturen von der Bildebene in eine beliebig verlaufende Projektionsfläche zu projizieren. Die Bildebene ist dabei jene Ebene, in der die Leuchtelemente des Lichtprojektors angeordnet sind.

Bei den Vergleichsstrukturen kann es sich vorzugsweise um visuell prägnante Strukturen (Marker) handeln, die von der Kamera leicht erkennbar sind, und zwar auch dann, wenn die Projektionsfläche stark inhomogen und nicht eben verläuft. Im Falle eines Scheinwerfers als Projektor kann es sich zum Beispiel um gleichmäßig verteilte Kreise bzw. Projektionen von Kreisen handeln, die durch Auftreffen der Lichtstrahlen auf der Projektionsfläche entstehen. Zur Vereinfachung der Detektion von korrelierenden Vergleichsstrukturen in zumindest zwei Kamerabildern kann der Projektor zum Beispiel dazu ausgebildet sein, in zeitlich definierten Abständen Testbilder mit unterschiedlichen Vergleichsstrukturen, oder aber auch farblich oder geometrisch unterschiedlich ausgeprägte Vergleichsstrukturen zu erzeugen.

Die beiden zeitlich hintereinander ausgesendeten Testbilder müssen zumindest partiell identisch sein, sodass auch die darauf verwendeten Vergleichsstrukturen identisch sind. Dies erleichtert die Erkennung der Vergleichsstrukturen in beiden Testbildern auch bei stark verzerrten Aufnahmebildern.

Das Projizieren der Testbilder erfolgt, während sich der Abstand zwischen dem Lichtprojektor und der Projektionsfläche ändert, also vorzugsweise bei einem sich bewegenden Fahrzeug. Es kann aber auch vorgesehen sein, dass das Fahrzeug still steht und sich die Projektionsfläche bewegt, beispielsweise in einer Testumgebung.

Die Kamera ist dazu ausgebildet, zeitlich im Wesentlichen mit dem Lichtprojektor synchronisiert zumindest zwei Kamerabilder einer Aufnahmefläche aufzunehmen, welche die Projektionsfläche im Wesentlichen umfasst. Die Aufnahmefläche befindet sich dabei in einem Abstand vor dem Lichtprojektor und umfasst die Projektionsfläche im Wesentlichen. Mit anderen Worten, die Projektionsfläche ist im Wesentlichen ein Teil der Aufnahmefläche, sodass die Kamera das gesamte projizierte Bild aufnehmen kann. Auch die Aufnahmefläche muss nicht eben sein, sondern kann beliebig strukturiert sein. Die Kamera ist ferner dazu ausgebildet, in den zumindest zwei aufgenommenen Kamerabildern die dreidimensionalen Positionsdaten der zumindest zwei Vergleichsstrukturen zu detektieren. Die Kamera liefert also zumindest vier dreidimensionale Koordinaten, nämlich die Koordinaten von jeweils zwei erkannten Vergleichsstrukturen zu zwei unterschiedlichen Zeitpunkten.

Die Steuereinheit ist erfindungsgemäß dazu ausgebildet, aus den zumindest vier detektierten dreidimensionalen Positionsdaten der Vergleichsstrukturen die Position und Orientierung des Lichtprojektors zu bestimmen. Dies kann dadurch erfolgen, dass die Steuereinheit zwei Lichtstrahlen rekonstruiert, die durch ein und dieselbe Vergleichsstruktur, aber zu unterschiedlichen Zeitpunkten, verlaufen. Der Schnittpunkt der beiden Lichtstrahlen ergibt die Position des Lichtprojektors.

Die Steuereinheit ist ferner dazu ausgebildet, die translatorische Verschiebung zwischen Kamera und Projektor zu berechnen. Ferner kann die Steuereinheit auch dazu ausgebildet sein, die rotatorische Verdrehung zwischen Kamera und Projektor zu berechnen. Eine rotatorische Verdrehung zwischen Kamera und Projektor kann in diesem Zusammenhang eine Verdrehung um eine im dreidimensionalen Raum beliebig angeordnete Rotationsachse sein, beispielsweise um eine vertikal oder horizontal verlaufende Drehachse. Die Erfindung betrifft insbesondere auch ein Fahrzeug mit einer erfindungsgemäßen Vorrichtung. In diesem Fall kann die Steuereinheit dazu ausgebildet sein, eine relative Verdrehung zwischen Kamera und Projektor um eine Längsachse (Rollachse oder Wankachse) oder eine beliebig verlaufende Querachse (Nickachse oder Gierachse) des Fahrzeugs festzustellen. Dabei kann eine relative Verdrehung auch dann festgestellt werden, wenn die Lage der Kamera bzw. des Projektors für sich gesehen relativ zum Fahrzeug unverändert ist.

Die Steuereinheit kann auch dazu ausgebildet sein, durch Vergleich der ermittelten Koordinaten des Lichtprojektors mit einer vorab hinterlegten Initialposition die translatorische Verschiebung zwischen Kamera und Projektor relativ zu einer Initialposition zu berechnen. Ferner kann die Steuereinheit auch dazu ausgebildet sein, durch Vergleich der ermittelten Koordinaten des Lichtprojektors mit einer vorab hinterlegten Initialorientierung die rotatorische Verdrehung relativ zu einer Initialrotation zu berechnen. Mit anderen Worten, durch Aussenden von zwei Testbildern auf eine Projektionsfläche, die sich gegenüber dem internen Koordinatensystem der Kamera bewegen, und Detektion der Position von Vergleichsstrukturen auf der Projektionsfläche kann die Steuereinheit die Position des aussendenden Lichtprojektors rekonstruieren.

Unter der Annahme, dass für jede der identifizierten Vergleichsstrukturen die Projektionsgerade durch die zumindest zwei zeitlich hintereinander aufgenommenen 3D Punkte verläuft, entspricht der Schnittpunkt der Projektionsgeraden genau dem Zentrum des Lichtprojektors. Nachdem die 3D Punkte im Koordinatensystem der Kameraeinheit beschrieben sind, ist automatisch auch der Schnittpunkt und somit auch das Zentrum des Lichtprojektors im gleichen Koordinatensystem beschrieben. Dementsprechend kann danach auch die relative Orientierung, beschrieben durch eine Rotation und eine Translation, zwischen der Kamera und dem Lichtprojektor bestimmt werden.

Durch Vergleich dieser berechneten Position kann ein intern hinterlegter initialer Positionszusammenhang zwischen dem Lichtprojektor und der Kamera korrigiert werden. Ist noch kein initialer Positionszusammenhang verfügbar, kann die eruierte translatorische Verschiebung zwischen Kamera und Projektor als initialer Positionszusammenhang festgelegt werden. Ferner kann auch eine initial gespeicherte Verdrehung zwischen Lichtprojektor und Kamera durch Feststellung der tatsächlichen Verdrehung anhand der aufgenommenen Kamerabilder korrigiert werden. Ist noch keine initiale Verdrehung verfügbar, kann die eruierte rotatorische Verdrehung zwischen Kamera und Projektor als initiale Verdrehung festgelegt werden. Die Steuereinheit kann die ermittelte translatorische Verschiebung und die rotatorische Verdrehung in der Speichereinheit für die spätere Verwendung abspeichern.

Die Steuereinheit kann erfindungsgemäß dazu ausgebildet sein, die translatorische Verschiebung und/oder rotatorische Verdrehung zwischen Lichtprojektor und Kamera durch mechanische Justierung des Lichtprojektors oder der Leuchtelemente auszugleichen. Die Steuereinheit kann auch derart ausgebildet sein, dass sie die Leuchtelemente des Lichtprojektors im laufenden Betrieb derart ansteuert, dass die translatorische Verschiebung und/oder rotatorische Verdrehung zwischen Lichtprojektor und Kamera ohne mechanische Justierung ausgeglichen werden.

Die erfindungsgemäße Vorrichtung kann dazu ausgeführt sein, diese Schritte im laufenden Betrieb des Fahrzeugs durchzuführen, also während sich das Fahrzeug fortbewegt. Die aufgenommenen zumindest zwei Kamerabilder unterscheiden sich dann durch ihre aufgenommenen Positionsdaten der einzelnen Bildpunkte, und gegebenenfalls auch in den optischen Details selbst.

Eine derartige erfindungsgemäße Vorrichtung erlaubt in der Praxis vielfältige vorteilhafte Anwendungen. So kann eine Kalibrierung des Lichtprojektors nicht nur in einer Testumgebung, sondern jederzeit im laufenden Betrieb erfolgen. Veränderungen der Orientierung zwischen dem Lichtprojektor und der Kamera können im laufenden Betrieb erkannt und kompensiert werden. Ferner können adaptive Beleuchtungsmuster eindeutig in den 3D-Raum projiziert werden, indem die zu sendenden Bildmuster anhand der detektierten und gespeicherten Positionskorrelation derart angepasst werden, dass Verschiebung und Verdrehung korrigiert werden. Somit können auch bei einem verdrehten und verschobenen Lichtprojektor im Wesentlichen korrekte Projektionen von gewünschten Bildmustern erreicht werden. Insbesondere kann bei einer erfindungsgemäßen Vorrichtung durch die Feststellung der Korrelation zwischen dem Lichtprojektor und der Kamera eindeutig bestimmt werden, welche Leuchtelemente im Lichtprojektor aktiviert werden müssen, um einen Projektionsstrahl zu einer 3D- Position eines bestimmten Objekts zu senden und dieses zu beleuchten; dieses Wissen kann für gezielte Beleuchtungsstrategien eingesetzt werden.

Die Erfindung umfasst ferner ein Verfahren zur Kalibrierung eines Lichtprojektors mit adaptierbaren, in einer Bildebene angeordneten Leuchtelementen, wobei der Lichtprojektor in zeitlicher Abfolge zumindest zwei Testbilder mit zumindest zwei Vergleichsstrukturen in eine beliebig verlaufende Projektionsfläche projiziert, eine als Tiefenkamera ausgebildete Kamera zeitlich im Wesentlichen mit dem Lichtprojektor synchronisiert zumindest zwei Kamerabilder einer Aufnahmefläche, welche die Projektionsfläche im Wesentlichen umfasst, aufnimmt, in den Kamerabildern die dreidimensionalen Positionsdaten der zumindest zwei Vergleichsstrukturen detektiert, eine Steuereinheit aus den dreidimensionalen Positionsdaten der Vergleichsstrukturen die Position und Orientierung des Lichtprojektors bestimmt, und, gegebenenfalls durch Vergleich der Position und Orientierung des Lichtprojektors mit einer vorab hinterlegten Initialposition und Initialorientierung, die translatorische Verschiebung und rotatorische Verdrehung zwischen Kamera und Projektor berechnet.

Erfindungsgemäß kann vorgesehen sein, dass die Steuereinheit die translatorische Verschiebung und rotatorische Verdrehung zwischen Kamera und Lichtprojektor durch Justierung des Lichtprojektors ausgleicht.

Erfindungsgemäß kann vorgesehen sein, dass die Steuereinheit die Leuchtelemente des Lichtprojektors im laufenden Betrieb derart ansteuert, dass die translatorische Verschiebung und rotatorische Verdrehung zwischen Kamera und Lichtprojektor ausgeglichen werden.

Die Erfindung umfasst ferner ein computerlesbares Speichermedium, umfassend Anweisungen, die eine elektronische Steuereinheit zur Ausführung eines erfindungsgemäßen Verfahrens veranlassen.

Weitere erfindungsgemäße Merkmale ergeben sich aus den Ansprüchen, den Ausführungsbeispielen und den Figuren.

Die Erfindung wird im Folgenden an Hand eines exemplarischen, nicht ausschließlichen Ausführungsbeispiels erläutert.

Fig. 1 zeigt eine schematische Darstellung einer Ausführungsform einer erfindungsgemäßen Vorrichtung in einem Fahrzeug;

Fig. 2 zeigt eine schematische Darstellung des örtlichen Zusammenhangs zwischen den projizierten und aufgenommenen Bildern. Fig. 1 zeigt eine schematische Darstellung einer Ausführungsform einer erfindungsgemäßen Vorrichtung in einem Fahrzeug. Die Vorrichtung umfasst einen Lichtprojektor 1 mit in einer Bildebene 2 angeordneten Leuchtelementen 3, beispielsweise LEDs oder Laserlichtquellen. Der Lichtprojektor 1 strahlt ein Testbild 6 auf eine Projektionsfläche 7, in diesem Fall die vor ihm liegende Landschaft, beispielsweise Fläuserfronten oder dergleichen. Das Testbild 6 kann auch als einzelner Laserstrahl oder dergleichen ausgebildet sein.

Eine Kamera 4 befindet sich ebenfalls am Fahrzeug und ist auf die Projektionsfläche 7 gerichtet. Die Kamera 4 nimmt eine Aufnahmefläche 8 auf, welche die Projektionsfläche 7 in diesem Beispiel gänzlich umfasst. Somit kann die Kamera 4 das vom Lichtprojektor 1 projizierte Testbild 6 zur Gänze aufnehmen. Während die Bildebene 2 in der Regel eben ist, handelt es sich bei der Aufnahmefläche 8 und bei der Projektionsfläche 7 um beliebig gekrümmte Flächen, beispielsweise Gebäudefassaden oder dergleichen.

Die Kamera 4 ist in diesem Ausführungsbeispiel als Stereokamera mit zwei Einzelkameras ausgebildet, das heißt, sie ist in der Lage, zu jedem aufgenommenen Kamerabild (oder detektierten Laserimpuls) die dreidimensionalen Positionsdaten der empfangenen Bildpunkte zu ermitteln. Dabei werden die Positionsdaten in Bezug auf ein internes Koordinatensystem der Kamera 4 aufgenommen. Beispielsweise kann die Kamera 4 zwei als Stereokamera mit zwei nebeneinander angeordneten Einzelkameras ausgebildet sein, wobei aus den Daten der beiden Einzelkameras die 3D- Positionsdaten berechnet werden.

Der Lichtprojektor 1 und die Kamera 4 sind mit einer elektronischen Steuereinheit 5, beispielsweise eines Bordcomputers, verbunden, der mit einer elektronischen Speichereinheit 10 in Verbindung steht. Die Steuereinheit 5 kennt das interne Koordinatensystem der Kamera 4 und des Lichtprojektors 1 und kann optional auch deren initiale Relationen zueinander kennen. Das heißt die Steuereinheit kennt optional sowohl den dreidimensionalen Abstand als auch die Rotation zwischen Kamera 4 und Lichtprojektor 1. Im Betrieb sendet die Steuereinheit 5 dem Lichtprojektor 1 den Befehl zum Aussenden eines Testbilds 6 in die Projektionsfläche 7, und, in Synchronität dazu, der Kamera 4 den Befehl zur Aufnahme eines Kamerabilds von der Aufnahmefläche 8.

Fig. 2 zeigt eine schematische Darstellung des örtlichen Zusammenhangs zwischen den von einem Lichtprojektor 1 (Symbol Z3) projizierten und den von der Kamera 4 aufgenommenen Bildern. In dieser Darstellung ist die Kamera 4 durch eine Stereokamera mit zwei nebeneinander angeordneten Einzelkameras Z1 , Z2 gebildet.

Um die vom Lichtprojektor 1 ausgesandten Lichtstrahlen rekonstruieren zu können, ist es notwendig, den Zusammenhang zwischen Lichtprojektor 1 und Projektionsfläche 7 zu verändern. Dies kann einerseits durch Bewegung der Projektionsfläche 7, andererseits aber auch durch Bewegung des Lichtprojektors 1 erfolgen, wobei die relative Positionierung zwischen Lichtprojektor 1 und Kamera 4 gleich bleibt.

Eine Bewegung der Projektionsfläche 7 in Kombination mit der Bewegung des Lichtprojektors 1 kann in der Praxis zum Beispiel durch ein fahrendes Auto erreicht werden, an dem das System montiert ist. Es werden dann zu unterschiedlichen Zeitpunkten unterschiedliche 3D Punkte der auftreffenden Lichtstrahlen rekonstruiert. Dabei ist es notwendig, dass sich der Ursprung des jeweiligen Koordinatensystems für die Rekonstruktion der Punkte nicht ändert. Dies wird erreicht, indem die jeweiligen 3D Koordinaten nicht in ein globales Koordinatensystem zusammengeführt werden. Vielmehr befinden sich die rekonstruierten Punkte in lokalen, aber gleichen Koordinatensystemen. Der Ursprung des Koordinatensystems liegt im Kamerazentrum der linken Kamera Z1. Die in diesem Koordinatensystem berechnete, relative Orientierung der Kamera zum Lichtprojektor 1 ist gleich R0 und TO.

Der Lichtprojektor Z3 projiziert zum Zeitpunkt t1 ein erstes Testbild 6 in die Projektionsfläche 7, und zum Zeitpunkt t2 ein zweites Testbild 6‘. Die Testbilder 6, 6‘ umfassen jeweils identische Vergleichsstrukturen 9, 9‘, beispielsweise in Form von markanten Fadenkreuzen oder dergleichen. In der Zwischenzeit hat sich der Abstand zwischen der Projektionsfläche 7 und dem Lichtprojektor 1 erhöht, sodass sich die Positionen P1 und P6 der Vergleichsstrukturen 9, 9‘ verändert haben. Die Lichtstrahlen treffen dabei im laufenden Betrieb auf beliebige Oberflächen, wobei die beleuchteten Punkte in beiden Einzelkameras Z1 , Z2 der Kamera 4 detektiert werden. Aus den Einzelbildern kann die 3D Position jedes Punktes, der am ausgesandten Lichtstrahl liegt, berechnet werden.

Die Kamera 4 ermittelt durch zeitlich synchronisierte Aufnahme der Aufnahmeflächen 8 die Ortskoordinaten der Punkte P1 zum Zeitpunkt t1 und P6 zum Zeitpunkt t2. Bei P1 und P6 handelt es sich um dieselbe Vergleichsstruktur, die zu unterschiedlichen Zeiten projiziert wird, während sich das Fahrzeug in Bewegung befindet.

Die Koordinaten der linken Stereokamera Z1 sind bekannt und bilden in diesem Ausführungsbeispiel den Ursprung des internen Koordinatensystems (0, 0, 0); die Koordinaten der rechten Stereokamera sind in diesem Koordinatensystem ebenfalls bekannt als (Z2 X , Z2 y , Z2 z ). Die Koordinaten des Lichtprojektors 1 , angegeben als (Z3 X , Z3 y , Z3 z ), sind hier nicht mit Sicherheit bekannt, sondern werden durch die Steuereinheit 5 berechnet. Ziel des Verfahrens ist es, die schematisch angedeutete Translation TO und Rotation R0, also den geometrischen Zusammenhang, zwischen dem Lichtprojektor und der Kamera zu ermitteln.

Aus den von der linken Kamera ermittelten Koordinaten der Vergleichsstruktur zum Zeitpunkt t1 und t2, nämlich (p11 und p6i), und den von der rechten Kamera ermittelten Koordinaten der Vergleichsstruktur zum Zeitpunkt t1 und t2, nämlich (p1 2 und p6 2 ), berechnet die Steuereinheit 5 den Verlauf des durch die Punkte P1 und P6 laufenden Lichtstrahls.

Durch die Generierung von mehreren, unterschiedlichen Lichtstrahlen, die vom Lichtprojektor 1 ausgesandt werden, kann das Zentrum des Lichtprojektors 1 durch den Schnittpunkt dieser Lichtstrahlen eruiert werden. In der Praxis muss sichergestellt werden, dass zwischen den unterschiedlichen ausgesandten Lichtstrahlen in den Einzelkameras Z1 , Z2 (die als unterschiedliche Punkte in den Kamerabildern auftreten) unterschieden werden kann da die eindeutige Zuordnung von auftreffenden Lichtstrahlen in linkem und rechtem Kamerabild notwendig ist, um einen 3D Punkt berechnen zu können. Dies wird dadurch erreicht, dass identische Vergleichsstrukturen 9, 9‘ verwendet werden. Durch Vergleich der Positionen eines oder mehrerer weiterer Vergleichsstrukturen kann der Verlauf weiterer, in der Figur schematisch angedeuteter Lichtstrahlen berechnet werden. Der Schnittpunkt von zwei oder mehr ermittelten Lichtstrahlen zu zwei oder mehr Vergleichsstrukturen ergibt die Position des Lichtprojektors 1 , woraus die Steuereinheit den Abstand TO und die Rotation R0 zur Position der Kamera 4 berechnet.

In Folge speichert die Steuereinheit 5 diese festgestellte Verschiebung TO und Verdrehung RO in der Speichereinheit 10 ab und aktiviert einen oder mehrere Aktuatoren, um den Lichtprojektor 1 derart mechanisch zu verschieben oder zu verdrehen, dass Verschiebung oder Verdrehung im laufenden Betrieb ausgeglichen werden.

In einer alternativen Ausführungsform, bei der der Lichtprojektor 1 nicht durch die Steuereinheit verschoben oder verdreht werden kann, ändert die Steuereinheit 5 im laufenden Betrieb die auszusendenden Bilder des Lichtprojektors 1 derart auf elektronischem Wege, dass die Verschiebung oder Verdrehung ausgeglichen werden.

Erfindungsgemäß kann vorgesehen sein, dass interessante Objekte oder Bereiche in der Kamera (z.B. im linken oder rechten Bild der Stereokamera) über Bildanalyse identifiziert werden und deren 3D Position (z.B. bei Stereokamera mittels Stereorekonstruktion) bestimmt wird. Mit Hilfe der ermittelten Korrelation RO, TO zwischen Lichtprojektor und Kamera kann bestimmt werden, welche Lichtelemente im Lichtprojektor aktiviert werden müssen, um einen Projektionsstrahl zu der 3D Position des Objekts zu senden und dieses zu beleuchten; dieses Wissen kann für gezielte Beleuchtungsstrategien eingesetzt werden.

Die Erfindung beschränkt sich nicht auf die beschriebenen Ausführungsbeispiele, sondern umfasst auch weitere Ausführungen der vorliegenden Erfindung im Rahmen der nachfolgenden Patentansprüche. Bezugszeichenliste

1 Lichtprojektor

2 Bildebene

3 Leuchtelemente

4 Kamera

5 Steuereinheit

6, 6‘ Testbild

7 Projektionsfläche

8 Aufnahmefläche

9, 9‘ Vergleichsstruktur

10 Speichereinheit