Vorrichtung und Verfahren zur Umfelderfassung eines Fahrzeugs

Die Erfindung betrifft eine Vorrichtung zur Umfelderfassung eines Fahrzeugs. Die Erfindung betrifft ferner ein Verfahren zur Umfelderfassung mittels eines strukturgebenden Kameramoduls und ferner ein zum Durchführen dieses Verfahrens eingerichtetes Fahrzeug.

Es gibt zunehmend Fahrzeuge, insbesondere PKW, die mit Fahrerassistenzsystemen ausgestattet sind, die unterstützend zu einem Fahrer oder (teil-)autonom in die Fahrdynamik des Fahrzeugs eingreifen. Aktuelle Fahrerassistenzsysteme, insbesondere von Kraftfahrzeugen, sind dazu eingerichtet, im Verkehr dynamisch auf die Umgebung des Kraftfahrzeugs reagieren zu können. Um vor allem die Fahrbahn vorausschauend beurteilen zu können, müssen Mittel vorgesehen sein, durch welche die geometrischen und dynamischen Eigenschaften, wie etwa der räumliche Abstand von bestimmten Objekten in der Umgebung zu dem Kraftfahrzeug feststellbar sind. Daher benötigen solche in die Längs- und Querführung eingreifende Fahrerassistenzsysteme zur sicheren Navigation ein valides Umfeldmodell. Diese Informationen werden in Fahrzeugen insbesondere durch Radar-, Lidar-, und Kamerasensoren zur Verfügung gestellt.

All diese Sensoren haben spezifische Eigenschaften und Merkmale, die eine Nutzung der jeweiligen Modalität für bestimmte Anwendungsfälle vorziehen oder die Eignung einschränken. Je nach Anwendungsfall sind zweidimensionale Messungen der Position oder Messungen der Geschwindigkeit von Objekten in der Umgebung ausreichend. Bei Anwendungen in denen eine präzise Navigation gefordert ist, beispielsweise beim (teil-)automatisierten Fahren, ist ein 3D- Sensor von Vorteil. Hierdurch können Strukturen im dreidimensionalen Raum nachgebildet werden und kann eine robuste, kollisionsfreie Navigation gewährleistet werden.

Zur Vermessung von Objekten und Umgebungsstrukturen kommen dabei Laserscanner, Stereokameras sowie Monokameras mit sogenannten „Structure-from-motion“-Algorithmen (SfM) zum Einsatz. In der Entwicklung befinden sich ebenfalls Rekonstruktionsalgorithmen auf Basis neuronaler Netze welche auf Mono- oder Stereokamerabilder angewendet werden können. Es sind Laserscannerverfahren bekannt, wobei ein von einer Laserstrahlquelle ausgesendetes Laser-Lichtmuster im Triangulationsverfahren ausgewertet wird. Dafür muss, im Falle einer Verwendung von Infrarotlasern, eine verwendete Kamera empfindlich für Infrarot sein, was aber die Farbwahrnehmung im sichtbaren Spektralbereich verfälscht, oder die Laser-Lichtmuster müssen im sichtbaren Spektralbereich liegen, was aber im Straßenverkehr störend sein kann. Außerdem sind Laserscanner aufgrund ihrer komplexen Technologie noch sehr kostenintensiv.

Bei Stereokameras, die zur 3D-Umfelderfassung verwendet werden, wird zur Berechnung der Entfernungsinformation die Bildinformation zwischen den Kamerabildern korreliert. Stereokameras benötigen dabei eine Textur des zu erkennenden Objektes, um diese Technologie anzuwenden. Unter günstigen Lichtverhältnissen ist zumeist genügend Texturinformation zur Bestimmung von Tiefeninformation in den Videobildern vorhanden. Für die Stereobildverarbeitung genügt das Tageslicht daher meist für die Korrelationsanalyse aus. Texturinformationen lassen sich im Wesentlichen aus Kontrastdifferenzen an Objektkanten gewinnen. Unter schlechten Lichtverhältnissen, beispielsweise bei Nacht, geraten die Stereo- Verfahren trotz Fahrzeugbeleuchtung jedoch schnell an ihre Grenzen.

Bei modernen Fahrzeugen werden zunehmend LED-Scheinwerfer verbaut. In höherwertigen Ausstattungen sind diese als sogenannte Matrix-LED-Scheinwerfer ausgeführt. Diese Matrixscheinwerfer sind durch ihre Konstruktion, insbesondere durch ihre einzeln ansteuerbaren Pixel, in der Lage Muster auf die Fahrbahn und die Objekte in der Umgebung zu projizieren.

Der Erfindung liegt nun die Aufgabe zugrunde, die Nachteile des Standes der Technik zu überwinden, und ein Verfahren und ein Fahrzeug bereitzustellen, die eine vereinfachte und verbesserte dreidimensionale Umfelderkennung insbesondere von unstrukturierten Oberflächen ermöglicht. Die Aufgabe wird gelöst durch eine Vorrichtung, ein Verfahren und ein Kraftfahrzeug gemäß den Hauptansprüchen. Bevorzugte Ausgestaltungen der Erfindung ergeben sich aus den jeweiligen rückbezogenen Unteransprüchen und der zugehörigen Beschreibung.

Ein erster Aspekt der vorliegenden Erfindung betrifft eine Vorrichtung zur Umfelderfassung für ein Fahrzeug, insbesondere einen strukturgebenden Kamerasensor, umfassend mindestens ein Kameramodul, ein Kamerasteuergerät, eine Auswerteeinheit und eine Beleuchtungseinrichtung. Die Beleuchtungseinrichtung ist durch einen Matrixscheinwerfer des Fahrzeugs gebildet und dazu eingerichtet ist, ein Lichtmuster in das Umfeld zu projizieren, das mit dem Abstand zur Beleuchtungseinrichtung variiert. Das mindestens eine Kameramodul ist dazu ausgebildet, zumindest einen Teil des in das Umfeld projizierten Lichtmusters abzubilden. Die Auswerteeinheit ist dazu eingerichtet, eine 3D-Position aus mit dem Kameramodul aufgenommenen Bilddaten zu bestimmen. Ferner ist die Auswerteeinheit dazu eingerichtet, anhand von für die 3D-Positionsermittlung kritischen Werten, Umfeldbereiche zu ermitteln. Die Beleuchtungseinrichtung ist weiter dazu ausgebildet, das Lichtmuster nur in die von der Auswerteeinheit ermittelten kritischen Umfeldbereiche zu projizieren und die Auswerteeinheit ist weiter dazu ausgebildet, eine 3D-Position von durch das Lichtmuster gebildeten Messpunkten im Umfeld aus mit dem mindestens einen Kameramodul aufgenommenen Bilddaten zu bestimmen.

Die Erfindung hat den Vorteil, dass flächendeckend und zuverlässig dreidimensionale Bilder erzeugt werden. Die Vorrichtung ist dabei dazu eingerichtet, abhängig anhand von kritischen Werten der betrachteten Szene, Objekte und Bildbereiche, die beispielsweise einen Kontrast aufweisen, der zu nicht brauchbaren 3D-Bilddaten führt, mit einer zusätzlichen Struktur beziehungsweise Textur zu versehen und damit selektiv die dreidimensionale Erkennung von Teilbereichen zu verbessern oder gar erst herzustellen. Das Kameramodul nimmt mit einem Bildsensor zweidimensionale Bilddaten auf und die Auswerteeinheit berechnet daraus in an sich bekannter Weise dreidimensionale Bilder. Über Objekterkennung und -klassifizierung können im Rahmen eines Fahrerassistenzsystems daraus Gefahrenabschätzungen, Empfehlungen oder direkte Eingriffe in die Fahrdynamik des Fahrzeugs getroffen werden.

Durch die strukturierte Beleuchtung, die durch das Lichtmuster bereitgestellt wird, ist es möglich flächige, zuverlässige Entfernungsinformationen zu liefern. Die Auswerteeinheit überprüft die Bilddaten im Hinblick auf vorgegebene Kriterien, die für die dreidimensionale Positionsermittlung relevant sind. Da durch die zusätzliche strukturierte Beleuchtung auch beispielsweise kontrastlosen oder sich wiederholenden Bildbereichen, welche die Kriterien eigentlich nicht erfüllen, ein ausreichender unterscheidbarer Kontrast aufgeprägt wird, sorgt die Beleuchtungseinrichtung dafür, dass sich auch in solchen Bereichen ohne natürliche Struktur zuverlässig Korrespondenzen finden lassen. So sind beispielsweise in strukturierten Umgebungen wie Parkhäusern oft keine ausreichenden Texturen der Oberflächen vorhanden. Insbesondere auch homogene Fahrbahnoberflächen oder einfarbige glatte Wände, die der 3D- Umfelderfassung von Stereokameras Schwierigkeiten bereiten, lassen sich erfindungsgemäß erfassen. Ein dauerhaftes statisches Lichtmuster, das die gesamte Szene belegt kann jedoch auch Nachteile mit sich bringen, etwa kann es durch die Überlagerung des Lichtmusters mit natürlicher Textur der Szene passieren, dass Bereiche überbelichtet sind oder die gewünschte Kontrastverbesserung in Summe wieder verloren geht. Es kommt daher möglicherweise zu einer Beeinträchtigung der Qualität und Zuverlässigkeit der Entfernungsinformationen durch Kontrast- beziehungsweise Eindeutigkeitsverschlechterungen. Dieser Nachteil wird durch die vorliegende Erfindung vermieden, indem ein Lichtmuster nur in Bereiche projiziert wird in denen die Auswerteeinheit aufgrund der erfassten Bilddaten einen kritischen Bereich festgestellt hat. Dadurch wird Auswertungsaufwand und auch die Leistung für die Beleuchtungseinrichtung verringert. Als kritische Werte lassen sich dabei bevorzugt Kontrastwerte heranziehen. Ebenfalls bevorzugt ist die Auswertung der Dichte von Messpunkten, welche beispielsweise durch die Textur gebildet sind im Hinblick auf einen Grenzwert. Ebenfalls bevorzugt ist, dass ein Geschwindigkeitswert oder schnell ändernder Abstandswert eines Umfeldbereichs als kritischer Wert gelten. So lassen sich schnell herannahende Objekte bei Überschreiten eines kritischen Geschwindigkeitswerts oder Abstands mit einem Lichtmuster belegen, so dass deren dreidimensionale Erkennung verbessert wird. Weiter bevorzugt kann ein kritischer Bereich durch eine von der Auswerteeinheit anhand von Bilddaten durchgeführte Objektidentifizierung und/oder Objektklassifizierung bestimmt werden. So gelten bevorzugt bestimmte erkannte Objektklassen als kritischer Wert im Sinne der Erfindung. So ist besonders bevorzugt, dass Objektklassen, die Lebewesen wie Menschen und Tiere umfassen mit einem Lichtmuster belegt werden. Wenn beispielsweise bei Nacht selbst die Beleuchtung der Umgebung mit dem Fahrzeugscheinwerfer zu Bilddaten führt, bei dem der natürliche Kontrast und/oder die Textur zu kritischen Werten führt, gilt bevorzugt der gesamte vom Kameramodul erfasste Umfeldbereich als kritischer Umfeldbereich und wird bevorzugt mit einem Lichtmuster belegt.

Unter durch das Lichtmuster gebildete Messpunkte sind dahingehend nicht nur punkt-, beziehungsweise kreisförmige Lichtpunkte als Elemente des Lichtmusters zu verstehen, sondern flächige Bereiche, die von der Beleuchtungseinrichtung mit unterschiedlicher Intensität beleuchtet werden können. So sind auch Löcher, also abgedunkelte Bereiche, mit dem Begriff Messpunkt umfasst. Die Messpunkte des Lichtmusters können auch verschiedenste geometrische Formen haben und beispielsweise auch Linien darstellen. Weiter können die Messpunkte regelmäßig oder auch unkorreliert und unregelmäßig, jedoch durch die Auswerteeinheit bestimmbar sein. Um ein derartiges Lichtmuster erzeugen zu können, ist die Beleuchtungseinrichtung durch einen Matrixscheinwerfer gebildet, dessen einzelne Pixel dabei präzise in puncto Helligkeit und Richtung ansteuerbar sind. Da die Scheinwerfer des Fahrzeugs als Beleuchtungseinrichtung verwendet werden, muss keine zusätzliche Lichtquelle verbaut werden und der starre Einbau legt eine fixierte Lage zu dem Kameramodul fest, was die Kalibrierung der gesamten Vorrichtung erleichtert. Es werden somit im Fahrzeug vorhandene Komponenten genutzt und kombiniert, um die Robustheit und Genauigkeit der

Umfeldwahrnehmung des Fahrzeugs zu steigern, ohne zusätzliche Komponenten zu verwenden.

Weitere bevorzugte Ausgestaltungen der Erfindung ergeben sich aus den übrigen, in den Unteransprüchen genannten Merkmalen. Insbesondere ist es bevorzugt, dass die

Beleuchtungseinrichtung ein schaltbares LED- oder Laserdiodenarray aufweist. Die

Beleuchtungseinrichtung muss schnell umschaltbar sein, bevorzugt so schnell, dass für den Fahrer eine im Mittel gleichmäßige Lichtverteilung eines üblichen Frontscheinwerfers entsteht. Das ist bevorzugt dadurch realisiert, dass das Lichtmuster bevorzugt nicht durch

Helligkeitsunterschiede, sondern durch Frequenzunterschiede des Lichts gebildet ist. Daher sind schaltbare Halbleiterarrays mit einer Vielzahl von LEDs oder Laserdioden besonders gut geeignet. Dabei ist jeder Pixel bevorzugt durch eine LED oder Laserdiode gebildet, oder es wird durch eine Optik ein einzeln ansteuerbares und schaltbares Mikrospiegelarray beleuchtet. Als Frontscheinwerfer sind sowohl Matrix-LED-Scheinwerfer als auch Matrix-Laserscheinwerfer verfügbar, letztere jedoch werden aufgrund hoher Kosten noch nicht im breiten Massenmarkt verwendet. Weiter ist es daher bevorzugt, dass die Steuereinheit das Kameramodul und die Beleuchtungseinrichtung derart synchronisiert, dass projizierte Lichtmuster einer Aufnahme des Kameramoduls zugeordnet werden und zusätzlich oder alternativ die Lichtmusterprojektion nur für die Zeit der Verschlussöffnung des Kameramoduls zu steuern.

In einer bevorzugten Ausgestaltung der Erfindung ist vorgesehen, dass das Kameramodul durch eine Stereokamera gebildet ist. Dazu weist das Kameramodul zwei Bildsensoren in zueinander versetzter, fest beabstandeter Perspektive auf und die Auswerteeinheit errechnet mittels eines Stereoalgorithmus für einen der zugehörigen Teilbereiche der von den Bildsensoren aufgenommenen Bilddaten die Entfernungsinformationen, in der Regel über ein T riangulationsverfahren.

Erfindungsgemäß ist vorgesehen, dass die Beleuchtungseinrichtung dazu eingerichtet ist ein Lichtmuster zu projizieren, das mit dem Abstand von der Beleuchtungseinrichtung variiert. Dadurch lässt sich der Abstand eines Objektes nicht nur durch die Erfassung und Berechnung der Verzerrung eines Musters und dessen einzelner Musterelemente, beispielsweise durch Triangulation ermitteln, sondern das Muster selbst ist veränderlich und bildet einen für die Auswerteeinheit einfach festzustellenden Entfernungsindikator, wenn der Auswerteeinheit ein Referenzmusterverlauf bekannt ist. Dadurch werden Rechenaufwand und Rechenzeit zur Ermittlung von Entfernungsdaten nochmals deutlich reduziert.

Weiter ist es bevorzugt, dass die Beleuchtungseinrichtung dazu eingerichtet ist, ein Lichtmuster zu projizieren, wobei die Form von einzelnen Messpunkten des Lichtmusters mit dem Abstand von der Beleuchtungseinrichtung variiert. Das bietet der Auswertung einen weiteren einfachen Entfernungsindikator, um Rechenaufwand und Rechenzeit zu reduzieren und kann den Korrelationsalgorithmus ersetzen, um ein erstes schnelles Tiefenbild zu erstellen, das dann bei Bedarf mit Korrelationsalgorithmen weiter verfeinert werden kann.

Gegenstand der Erfindung ist weiterhin ein Verfahren zur räumlichen Erfassung eines Umfelds eines Fahrzeugs, mittels mindestens einem Kameramodul, einem Kamerasteuergerät, einer Auswerteeinheit und einer Beleuchtungseinrichtung, wobei die Beleuchtungseinrichtung, die durch einen Matrixscheinwerfer des Fahrzeugs gebildet ist, ein Lichtmuster in das Umfeld des Fahrzeugs projiziert. Dabei wird zumindest ein Teil des projizierten Lichtmusters von dem mindestens einen Kameramodul abgebildet. Von der Auswerteeinheit wird eine 3D-Position aus Bilddaten des mindestens einen Kameramoduls bestimmt und anhand von für die 3D- Positionsermittlung kritischen Werten werden Umfeldbereiche ermittelt. Von der Beleuchtungseinrichtung wird das Lichtmuster in die von der Auswerteeinheit ermittelten kritischen Umfeldbereiche projiziert und von der Auswerteeinheit wird eine 3D-Position von durch das Lichtmuster gebildeten Messpunkten im Umfeld aus mit dem mindestens einen Kameramodul aufgenommenen Bilddaten bestimmt.

Das Verfahren ist insbesondere dazu geeignet, in Form von Software auf einem Steuergerät des Fahrzeugs oder mehreren Steuergeräten oder der Auswertungseinheit des Kameramoduls implementiert zu sein. Das Verfahren ermöglicht die Entfernungsmessung auf untexturierten Oberflächen. Durch die nur situative Projektion des Lichtmusters in Bereiche mit geringer Messpunktdichte, kann Entfernungsinformation auch für ansonsten uniforme kontrastlose Oberflächen generiert werden. Gleichzeitig wird der Mess- und Verarbeitungsaufwand reduziert, da üblicherweise die sichtbaren Strukturen zur Entfernungsmessung in den Videobildern verwendet werden.

Weiter bevorzugt erfolgt eine Projektion des Lichtmusters in der Weise, dass das Lichtmuster mit dem Abstand von der Beleuchtungseinrichtung variiert und weiter bevorzugt wird ein Lichtmuster projiziert, bei dem die Form einzelner Musterelemente mit dem Abstand von der Beleuchtungseinrichtung variiert. Weiter ist es bevorzugt, dass das Lichtmuster derart kurzzeitig projiziert wird, dass für den Fahrer eine gleichmäßige Lichtverteilung eines üblichen Frontscheinwerfers entsteht. Dadurch ist es möglich, dass der Sinneseindruck des Fahrers oder eines anderen Verkehrsteilnehmers nur aus der Gesamtfläche der Beleuchtung besteht. Zudem kann dadurch auch vermieden werden, dass das projizierte Lichtmuster störend auf andere Erfassungssensoren einwirkt.

Die verschiedenen in dieser Anmeldung genannten Ausführungsformen der Erfindung sind, sofern im Einzelfall nicht anders ausgeführt, mit Vorteil miteinander kombinierbar.

Die Erfindung wird nachfolgend in Ausführungsbeispielen anhand der zugehörigen

Zeichnungen erläutert. Es zeigen:

Figur 1 eine schematische Darstellung eines Fahrzeugs mit einer erfindungsgemäßen

Vorrichtung zur dreidimensionalen Umfelderkennung mittels einer Stereokamera;

Figur 2 eine schematische Darstellung eines erfindungsgemäßen projizierten

Lichtmusters mit entfernungsabhängig veränderlicher Messpunktanordnung; und

Figur 3 eine schematische Darstellung eines erfindungsgemäßen projizierten

Lichtmusters mit entfernungsabhängig veränderlichen Messpunkten.

Figur 1 zeigt in einer schematischen Darstellung ein Fahrzeug 10, welches ein in Fahrtrichtung blickendes Kameramodul 11 aufweist, das als Stereokamera ausgebildet ist. Das Kameramodul 11 ist zum Beispiel im Bereich der Windschutzscheibe des Fahrzeugs 10 angeordnet. Das Kameramodul 11 ist zur Aufnahme von dreidimensionalen Bilddaten, auch Entfernungsbilder oder Tiefenkarten bezeichnet, eines Umfeldbereichs 12 des Fahrzeugs 10 eingerichtet.

Das Kameramodul 11 besteht in der dargestellten Ausgestaltung aus zwei Kameraeinheiten 11a, 11b, die in einem bekannten festen Abstand zueinander montiert sind und jeweils Bilddaten des Umfeldbereichs 12 aufnehmen. In jeder Kameraeinheit 11a, b ist ein Bildsensor vorgesehen, üblicherweise ein matrixförmiger Aufnahmechip, der ein rechteckiges Pixelbild aufnimmt, beispielsweise ein CCD- oder ein CMOS-Sensor. Den Bildsensoren ist üblicherweise ein Objektiv mit einer abbildenden Optik zugeordnet, das in der Praxis als jede bekannte Abbildungsoptik realisiert sein kann. Die beiden Kameraeinheiten 11a, b des als Stereokamera ausgebildeten Kameramoduls 11 weisen einen Überlappungsbereich 12 auf, in dem die Erfassungsbereiche beider Kameraeinheiten 11a,b überlappen.

Eine als Frontscheinwerfer des Fahrzeugs 10 ausgebildete Beleuchtungseinrichtung 13 mit einer Lichtquelle und einer Sendeoptik ist dargestellt. Die Beleuchtungseinrichtung 13 ermöglicht in Echtzeit die Projektion eines pixelbasierten, quantisierten strukturierten Lichtmusters 14, das vereinfacht als Punktmuster dargestellt ist. Praktisch sollte das Lichtmuster 14 vorzugsweise zumindest lokal eindeutig oder selbstunähnlich in dem Sinne sein, dass Strukturen des Lichtmusters 14 nicht zu Scheinkorrelationen führen, beziehungsweise einen Beleuchtungsbereich eindeutig kennzeichnen.

Die Beleuchtungseinrichtung 13 ist in der Lage, in Echtzeit über eine Kamerasteuereinheit 15, die das Kameramodul 11 und die Beleuchtungseinrichtung 13 kontrolliert, ein vorgegebenes beliebiges Pixelmuster als strukturiertes Lichtmuster 14 zu projizieren. Eine solche adaptive, dynamische Beleuchtungseinrichtung 13 kann beispielsweise durch Einsatz eines Mikro- Displays mit einer Lichtquelle in Form von einer oder mehreren Hochleistungs-LEDs oder Laserdioden, insbesondere in einem Array, realisiert werden. Die Beleuchtungseinrichtung 13 nutzt ein schaltbares Array von LEDs oder Laserdioden. Hier bilden die einzelnen Lichtquellen selbst die Pixel des Lichtmusters 14.

Mit dem Kameramodul 11 und der Beleuchtungseinrichtung 13 ist eine kombinierte Auswerte- und Steuerungseinheit verbunden, weiter nur als Auswerteeinheit 16 bezeichnet. Diese kann im Fahrzeugsteuergerät integriert sein, um über die integrierte Fahrzeugelektronik auf die Fahrzeugscheinwerfer 13 und die Kameramodule 11, sowie mittels des Fahrerassistenzsystems auch auf die Fahrelektronik und -mechanik zugreifen zu können. Mittels der Auswerteeinheit 16 wird das strukturierte Lichtmuster 14 vorgegeben und sie empfängt Bilddaten der Bildsensoren. Aus diesen Bilddaten berechnet die Auswerteeinheit 16 mit einem an sich bekannten Stereoalgorithmus dreidimensionale Bilddaten des betrachteten Umfeldbereichs 12. Über einen Ausgang kann das Kameramodul 11 dreidimensionale Bilddaten, aber auch andere Messergebnisse ausgeben, beispielsweise Rohbilddaten des Kameramoduls 11, Auswertungsergebnisse wie Objektdaten oder die Identifizierung bestimmter Objekte 17.

Die Beleuchtungseinrichtung 13 und das Kameramodul 11 sollten vorzugsweise einen Kalibrierprozess durchlaufen, damit die genaue Zuordnung zwischen Beleuchtungspixeln und den erfassten Bildpixeln bestimmt ist. Bei einer integrierten Beleuchtungseinrichtung 13 wie in Fig. 1 dargestellt, geschieht das bevorzugt schon ab Werk.

Erfindungsgemäß ist vorgesehen, dass das projizierte Lichtmuster 14 an das Umfeld 12 angepasst ist. In einem ersten Schritt nimmt das Kameramodul 11, bevorzugt als passive Stereokamera, stetig Umfelddaten auf und generiert daraus dreidimensionale Tiefenkarten. Dies kann beispielsweise ohne unterstützende Beleuchtung des Fahrzeugs 10, in der Regel aber unter homogener Beleuchtung durch die Beleuchtungseinrichtung 13, beispielsweise durch Tagfahrlicht oder bei schlechten natürlichen Lichtverhältnissen, etwa bei Nacht oder in einem Tunnel, durch das Abblendlicht oder Fernlicht der Beleuchtungseinrichtung 13 des Fahrzeugs 10 geschehen.

Aus den erfassten Bilddaten der Bildsensoren sowie gegebenenfalls eines daraus in der Stereokamera erzeugten dreidimensionalen Bildes werden Kontrast- und gegebenenfalls Entfernungsinformationen des aktuell erfassten Umfeldbereichs 12 berechnet. Die Auswerteeinheit 16 kann für Bildbereiche feststellen, ob Informationen zur Erstellung eines relevanten Tiefenbildes fehlen, weil beispielsweise die natürliche Textur die durch Kanten eines Objektes 17 oder einer Oberfläche eines Objektes 17 gebildet ist, zu gering ist, beziehungsweise unter einem kritischen Wert liegt. Das zu projizierende Lichtmuster 14 kann dann an allen relevanten Stellen für ausreichend Kontrast sorgen um so eine zuverlässige 3D- Erfassung zu ermöglichen. Erfindungsgemäß wird nur an Stellen mit unzureichenden Kontrastverhältnissen beziehungsweise unzuverlässigen Entfernungswerten ein Lichtmuster 14 appliziert.

Im nächsten Schritt projiziert die Beleuchtungseinrichtung 13 das zu projizierende Lichtmuster 14 in den Umfeldbereich 12. Es erfolgt eine Aufnahme der beiden zweidimensionalen Ausgangsbilder mit den Bildsensoren des Kameramoduls 11 der Stereokamera und deren Verrechnung zu einem dreidimensionalen Bild durch die Auswerteeinheit. Das Lichtmuster 14 kann dann in weiteren Aufnahmen zur Erfassung des dreidimensionalen Bildes verwendet werden. Dadurch ist es möglich das Lichtmuster 14 und die Auswertung der Bilddaten an die Umgebungssituation anzupassen. So kann in bestimmten Situationen, etwa bei Annäherung eines Objekts 17 oder an ein Objekt 17, ein Teil des Umfelds 12 höher strukturiert beleuchtet und ausgewertet werden als in anderen Situationen, etwa bei freiem Sichtfeld. Es ist insbesondere auch beim (teil-) automatisierten Fahren eine gezielte Anpassung von Beleuchtung, Auswertung und Lichtmuster 14 realisierbar, beispielsweise bei Kurvenfahrten oder in Bezug auf die Fahrgeschwindigkeit des Fahrzeugs 10. Obwohl die Erfindung anhand der in Fig. 1 dargestellten Stereokamera erfolgt, sind auch andere 3D-Kameras denkbar, insbesondere mit nur einer hochauflösenden Kamera und einem Projektionsverfahren, bei dem die aus einer mit dem Abstand korrelierte Musterverzerrung des Lichtmusters 14 in einer Verschiebung des Bilddatenpunktes 18 resultiert (aktive Triangulation). Es kann also eine Kameraeinheit entfallen und die Stereokamera ist entsprechend zu einer Triangulationseinheit umgestaltet. Das erfindungsgemäße Lichtmusterprojektionsverfahren kann aber auch zusätzlich in der Stereokamera unter Verwendung einer der Kameraeinheiten 11a, b implementiert werden, wobei dann die Kamerasteuerung 15 und Auswerteeinheit 16 für beide Verfahren ausgebildet ist.

Die Figur 2 zeigt schematisch ein Beispiel für die Projektion eines Lichtmusters 14 in der Weise, dass das Lichtmuster 14 mit dem Abstand von der Beleuchtungseinrichtung 13 variiert. Eine solche Veränderlichkeit kann beispielsweise dadurch realisiert sein, dass einige der einzeln ansteuerbaren Beleuchtungspixel, also beispielsweise schaltbare LEDs, die in Helligkeit und Abstrahlrichtung variiert werden können, beziehungsweise Elemente eine Mikrospiegelarrays, welche die Lichtmusterelemente bilden, nicht parallel zueinander verlaufen. Sind dann für das Lichtmuster 14 einige Referenzelemente hinterlegt, kann die Auswerteeinheit 16 einfach aus dem veränderten Abstand einzelner Oberflächenmesspunkte 18 auf die Entfernung der Oberfläche schließen. Dies ist auch für ansonsten identische strukturlose glatte Oberflächen möglich. Eine andere Möglichkeit ist es, Projektionsoptiken zu verwenden, insbesondere Mikrolinsen. Diese können unterschiedliche Fokuslängen aufweisen, so dass das Lichtmuster 14, das in das Umfeld 12 des Fahrzeugs 10 projiziert wird, mit dem Abstand variiert. Nicht alle Messpunkte 18 erscheinen dann nämlich in verschiedenen vom Abstand abhängigen Bildebenen 19. Exemplarisch sind einzelne Strahlverläufe 20 dargestellt, wobei die durch das projizierte Licht der einzeln ansteuerbaren Pixel des Pixelmatrixscheinwerfers 13 gebildet sind. Diese Strahlverläufe 20 schneiden eine erste und eine zweite Bildebene 19 und bilden dort einen Messpunkt 18. Eine erste Gruppe 21 von Messpunkten 18 bleibt unabhängig von der Entfernung konstant, während eine zweite Gruppe 22 von Messpunkten 18 relativ zu der ersten Gruppe 21 veränderlich ist. Hier durch einen unterschiedlichen Abstrahlwinkel charakterisiert. Die erste Gruppe 21 von Messpunkten 18 bildet dabei eine Referenz zu der die Auswerteeinheit 16 die relative Veränderung der zweiten Gruppe 22 feststellt.

Es ist auch denkbar, dass ein Lichtmuster 14 projiziert wird, indem die einzelnen Elemente des Lichtmusters 14, also die Messpunkte 18, an sich mit dem Abstand von der Beleuchtungseinrichtung 13 variieren wie in Figur 3 schematisch dargestellt. Dazu können beispielsweise Mikrolinsen verwendet werden, wobei einige oder alle Mikrolinsen multiple verschiedene Fokallängen aufweisen, so dass die Messpunkte 18 nicht in allen Bildebenen 19 erscheinen. Als Mikrolinsen können auch astigmatische Mikroprojektionslinsen verwendet werden, was dazu führt, dass die Form der Messpunkte 19 sich verändert. Durch diese vergleichsweise schnell auswertbare Entfernungsinformation, kann der Rechenaufwand und die Rechenzeit zusätzlich verringert werden, indem beispielsweise eine zweistufige 3D-Erkennung genutzt wird. So kann etwa zunächst auf diese Weise eine grobe Auswertung erfolgen und wenn beispielsweise ein Bereich identifiziert ist, der sich mit einer hohen Geschwindigkeit nähert, kann eine genauere und aufwändigere Auswertung erfolgen.

Prinzipiell können im Rahmen der Erfindung verschiedene Lichtmuster 14 genutzt werden, beispielsweise, aber ausdrücklich nicht abschließend, Linienmuster, Streifenmuster, Punktmuster, Gitternetzmuster, Schachbrettmuster und/oder pseudo-zufällige Muster. Pseudo zufällig bedeutet in diesem Falle, dass zwar das Lichtmuster 14 zufällig erzeugt wird, jedoch sowohl dem Steuergerät des Pixelscheinwerfers 13, welcher für die Aussendung und Projektion des Lichtmusters 14 sorgt, sowie der Kamerasteuereinheit 15, beziehungsweise der Auswerteeinheit 16 des Kameramoduls 11, welche das Lichtmuster 14 zur Erkennung der umfeldspezifischen Eigenschaften nutzt, bekannt ist.

Vorzugsweise wird ein nicht-gleichmäßiges, unkorreliertes Lichtmuster 14 verwendet. Dazu zählt etwa auch ein quasiperiodisches Lichtmuster 14, das in einer ersten Richtung parallele Abschnitte aufweist, die wiederum in einer zweiten Richtung unkorrelierte Muster enthalten. Unkorreliertes Lichtmuster 14 heißt in dem Fall, dass die Positionen der Messpunkte 18 unkorreliert sind in dem Sinne, dass eine Autokorrelation des Musters 14 für eine Verschiebung größer als die Punktgröße 18, insignifikant wird. Das ist insbesondere wichtig für die Anwendung mit Stereokameramodulen 11, damit die einzelnen Kameraeinheiten 11a, b immer dieselben Messpunkte 18 des Lichtmusters 14 auswerten und nicht beispielsweise, wie bei einem regelmäßigen Muster einen identischen aber verschobenen Musterabschnitt miteinander vergleichen.