Verfahren und Vorrichtung zum Erzeugen eines Umfeldabbildes für einen Parkassistenten eines Fahrzeugs

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Erzeugen eines Umfeldabbildes für einen Parkassistenten eines Fahrzeugs.

In modernen Fahrzeugen sind Systeme einer kamerabasierten Umfeldansicht bekannt, die eine Draufsicht („Top View“) auf die nahe Umgebung des Fahrzeuges bereitstellen. Das Area View soll das Rangieren erleichtern. Hierzu wird das Umfeld von mehreren Umfeldkameras erfasst und zu einem Umfeldabbild zusammengefügt, welches auf eine planare Projektionsebene projiziert wird. Diese Projektionsebene entspricht einer Standfläche des Fahrzeugs. Ferner sind Systeme bekannt, bei denen die erfassten Kamerabilder auf eine Schüsselform („Bowl View“) projiziert werden, um weiter vom Fahrzeug entfernte erhabene Objekte in einer Seitenansicht darzustellen. Hierbei werden auch nahe erhabene Objekte auf den ebenen Boden der Schüsselform projiziert, der ebenfalls die Standfläche des Fahrzeuges repräsentiert.

Das Erzeugen eines Umfeldabbildes in Draufsicht ist derzeit nur ungenügend gelöst.

Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung zum Erzeugen eines Umfeldabbildes für einen Parkassistenten eines Fahrzeugs zu verbessern.

Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 9 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.

Insbesondere wird ein Verfahren zum Erzeugen eines Umfeldabbildes für einen Parkassistenten eines Fahrzeugs zur Verfügung gestellt, wobei an mehreren Positionen des Fahrzeugs ein Umfeld des Fahrzeugs mittels mehrerer Umfeldkameras erfasst wird und das Umfeld mittels mindestens eines entfernungsauflösenden Sensors erfasst wird; wobei ausgehend von erfassten Sensordaten des mindestens einen entfernungsauflösenden Sensors Freiflächen und erhabene Objekte im Umfeld identifiziert werden, wobei eine lokale Umfeldkarte ausgehend von den erfassten Sensordaten und/oder den identifizierten Freiflächen und den identifizierten erhabenen Objekten erzeugt wird, wobei identifizierte Freiflächen und identifizierte erhabene Objekte positionsabhängig und erfassungsrichtungsabhängig mit hiermit korrespondierenden Kamerabildern verknüpft werden, wobei ein Bildsignal für ein Umfeldabbild in Draufsicht auf das Fahrzeug erzeugt wird, indem die Kamerabilder hierfür zumindest teilweise positionsabhängig und erfassungsrichtungsabhängig auf die Freiflächen und Objekte in der Umfeldkarte projiziert werden, und wobei das erzeugte Bildsignal bereitgestellt wird.

Ferner wird insbesondere eine Vorrichtung zum Erzeugen eines Umfeldabbildes für einen Parkassistenten eines Fahrzeugs geschaffen, umfassend mehrere Umfeldkameras, die zum Erfassen eines Umfelds des Fahrzeugs eingerichtet sind, mindestens einen entfernungsauflösenden Sensor, der zum Erfassen des Umfelds eingerichtet ist, und eine Datenverarbeitungseinrichtung, wobei die Datenverarbeitungseinrichtung dazu eingerichtet ist, ausgehend von an mehreren Positionen des Fahrzeugs erfassten Sensordaten des mindestens einen entfernungsauflösenden Sensors Freiflächen und erhabene Objekte im Umfeld zu identifizieren, eine lokale Umfeldkarte ausgehend von den erfassten Sensordaten und/oder den identifizierten Freiflächen und den identifizierten erhabenen Objekten zu erzeugen, identifizierte Freiflächen und identifizierte erhabene Objekte positionsabhängig und erfassungsrichtungsabhängig mit hiermit korrespondierenden Kamerabildern zu verknüpfen, ein Bildsignal für ein Umfeldabbild in Draufsicht auf das Fahrzeug zu erzeugen, und die Kamerabilder hierfür zumindest teilweise positionsabhängig und erfassungsrichtungsabhängig auf die Freiflächen und Objekte in der Umfeldkarte zu projizieren, und das erzeugte Bildsignal bereitzustellen.

Das Verfahren und die Vorrichtung ermöglichen es, ein verbessertes kamerabasiertes Umfeldabbild in Draufsicht zu erzeugen. Insbesondere werden mehrere Positionen des Fahrzeugs berücksichtigt, sodass nicht nur ein Umfeldabbild für eine aktuelle Position des Fahrzeugs bereitgestellt werden kann, sondern auch ein darüber hinausgehendes Umfeldabbild. Insbesondere korrespondieren die mehreren Positionen, an denen die Sensordaten und die Kamerabilder erfasst werden, mit Positionen innerhalb eines Parkszenarios. Insbesondere kann eine Historie des Umfeldes berücksichtigt werden, das heißt, ein kamerabasiertes Umfeldabbild, insbesondere in einem Parkszenario, kann schrittweise aufgebaut werden. Das Fahrzeug fährt hierzu beispielsweise (positionsweise) durch das Parkszenario (z.B. Parkplatz oder Parkhaus), wobei das Umfeldabbild während des Durchfahrens des Parkszenarios schrittweise erzeugt wird. Die Positionen werden beispielsweise mittels einer fahrzeugeigenen Odometrie ermittelt und/oder von der Odometrie abgerufen. An den mehreren Positionen, deren Koordinaten von der Odometrie ermittelt und/oder von dieser abgerufen werden, wird das Umfeld des Fahrzeugs mittels mehrerer Umfeldkameras und mittels mindestens eines entfernungsauflösenden Sensors erfasst. Dies erfolgt insbesondere an jeder der Positionen. Die Umfeldkameras sind in Anzahl und Ausrichtung insbesondere derart gewählt und angeordnet, dass diese ein vollständiges Umfeldabbild erfassen können, insbesondere alle horizontalen Richtungen um das Fahrzeug herum, d.h. insbesondere einen Horizontalwinkel von 0 bis 360°. Ausgehend von den erfassten Sensordaten des mindestens einen entfernungsauflösenden Sensors werden Freiflächen und erhabene Objekte im Umfeld identifiziert. Eine lokale Umfeldkarte wird ausgehend den erfassten Sensordaten und/oder von den identifizierten Freiflächen und den identifizierten erhabenen Objekten erzeugt. Dies erfolgt insbesondere mit an sich bekannten Verfahren. Die identifizierten Freiflächen und die identifizierten erhabenen Objekte werden positionsabhängig und erfassungsrichtungsabhängig mit hiermit korrespondierenden Kamerabildern verknüpft. Es können beispielsweise Bildelemente der an den mehreren Positionen erfassten Kamerabilder jeweils mit hiermit korrespondierenden Raumwinkeln der Erfassungsbereiche der Umfeldkameras verknüpft und an den Positionen hinterlegt werden. Dies ermöglicht für jede der Positionen eine Zuordnung der Bildelemente in den erfassten Kamerabildern zu Bereichen in dem Umfeld, wodurch eine Projektion der Kamerabilder auf die jeweiligen Bereiche erfolgen kann. Es wird ein Bildsignal für ein Umfeldabbild in Draufsicht auf das Fahrzeug erzeugt, indem die Kamerabilder hierfür zumindest teilweise positionsabhängig und erfassungsrichtungsabhängig auf die Freiflächen und Objekte in der Umfeldkarte projiziert werden. Das erzeugte Bildsignal wird bereitgestellt, beispielsweise als analoges oder digitales Signal oder digitales Datenpaket. Das erzeugte Bildsignal kann anschließend beispielsweise auf einer Anzeigeeinrichtung des Fahrzeugs angezeigt werden, um einen Fahrer des Fahrzeugs beim Einparken und/oder Rangieren zu unterstützen.

Es kann vorgesehen sein, dass das Umfeldabbild nur einen begrenzten Bereich des Umfeldes berücksichtigt, das heißt, dass eine Historie nur bis zu einem bestimmten Zeitpunkt oder bis zu einer bestimmten Position in der Vergangenheit zurückreicht. Die Umfeldabbildung kann beispielsweise nach Art eines Shiftregisters ausgebildet sein, bei dem nur bis zu einem bestimmten Zeitpunkt in der Vergangenheit bzw. bis zu einer bestimmten vergangenen Position des Fahrzeugs erfasste Sensordaten und Kamerabilder berücksichtigt werden. Es kann jedoch auch vorgesehen sein, die Umfeldabbildung ohne Begrenzung zu erzeugen, bis ein hierfür reservierter Speicherplatz der Datenverarbeitungseinrichtung vollständig belegt ist.

Ein entfernungsauflösender Sensor ist insbesondere ein Ultraschallsensor, ein Radarsensor oder ein Lidarsensor. Grundsätzlich können auch mehrere (unterschiedliche) Sensoren verwendet werden. Eine Anzahl und/oder eine Anordnung und/oder eine Ausrichtung des mindestens einen entfernungsauflösenden Sensors ist insbesondere derart gewählt, dass ein Horizontwinkel (z.B. Azimut) von 0 bis 360° erfasst werden kann. Ein Vertikalwinkelbereich (z.B. Elevation) liegt hierbei beispielsweise in einem Bereich von 0 bis etwa 30-45°, kann jedoch grundsätzlich auch einen anderen Bereich abdecken.

Freiflächen sind beispielsweise Bereiche im Umfeld, für die die entfernungsaufgelösten Sensordaten ergeben, dass innerhalb eines vorgegebenen Mindestabstands zum Sensor kein Objekt und/oder keine Reflexion oberhalb eines vorgegebenen Vertikalwinkels erfasst wird. Der vorgegebene Mindestabstand beträgt beispielsweise einige Meter (z.B. 10 m, 15 m etc.) und der vorgegebene Vertikalwinkel ist beispielsweise 5°, 10° oder 15° etc.

Die lokale Umfeldkarte ist insbesondere eine dreidimensionale Umfeldkarte, welche beispielsweise mittels eines lokalen kartesischen Koordinatensystems beschrieben wird.

Das Projizieren erfolgt insbesondere, indem die Kamerabilder als Texturen über die Freiflächen und die erhabenen Objekte gelegt werden. Das Projizieren erfolgt hierbei insbesondere positionsabhängig und erfassungsrichtungsabhängig in perspektivisch korrekter Form, sodass das Umfeldabbild in Draufsicht derart erzeugt wird, dass dieses idealerweise einem real mittels einer Kamera aus der Vogelperspektive erfassten Umfeldabbild entspricht. Beim Projizieren werden insbesondere an sich bekannte Verfahren, wie beispielsweise Stitching und/oder Helligkeits- und/oder Kontrastangleichungen, verwendet, um verschiedene Kamerabilder miteinander zu verbinden.

Teile der Vorrichtung, insbesondere die Datenverarbeitungseinrichtung, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird. Es kann jedoch auch vorgesehen sein, dass Teile einzeln oder zusammengefasst als anwendungsspezifische integrierte Schaltung (ASIC) und/oder feldprogrammierbares Gatterfeld (FPGA) ausgebildet sind.

In einer Ausführungsform ist vorgesehen, dass beim Erzeugen der Umfeldkarte aus Freiflächen schrittweise für die mehreren Positionen eine positionsabhängige Bodenprojektionsebene definiert wird, auf die die jeweils mit den Freiflächen verknüpften Kamerabilder projiziert werden. Positionsabhängig bedeutet hierbei insbesondere, dass die Bodenprojektionsebene nur dort definiert ist, wo Freiflächen identifiziert wurden. Hierdurch kann schrittweise ein Bodenniveau für die Standfläche des Fahrzeugs definiert werden. Dem liegt der Gedanke zugrunde, dass Freiflächen nicht von jeder Position des Fahrzeugs aus als Freiflächen erscheinen, beispielsweise weil ein Objekt die Freifläche aus einigen Positionen des Fahrzeugs aus gesehen verdeckt, aus anderen hingegen nicht. Wenn diese Freifläche jedoch aus mehreren Positionen bzw. aus zumindest einer Position als Freifläche erfasst und identifiziert werden kann, ist dies ausreichend, um diese Freifläche im Umfeldabbild als solche zu berücksichtigen. Insbesondere werden einmal als Freiflächen identifizierte Bereiche im Umfeld stets als Freiflächen identifiziert, auch wenn diese von anderen Positionen aus nicht als Freifläche identifiziert werden. Die Bodenprojektionsebene wird insbesondere in einem lokalen (beispielsweise kartesischen) Koordinatensystem der Umfeldkarte definiert.

In einer Ausführungsform ist vorgesehen, dass beim Erzeugen der Umfeldkarte aus erhabenen Objekten schrittweise für die mehreren Positionen mindestens eine positionsabhängige Projektionsebene definiert wird, auf die die jeweils mit den erhabenen Objekten verknüpften Kamerabilder projiziert werden. Hierdurch können erhabene Objekte im Umfeldabbild in Draufsicht als solche dargestellt werden. Befindet sich beispielsweise ein anderes Fahrzeug im Umfeld des Fahrzeugs, so wird dieses andere Fahrzeug als erhabenes Objekt identifiziert und für das andere Fahrzeug wird, beispielsweise ausgehend von der höchsten Position der zugehörig erfassten Sensordaten, eine auf dieser höchsten Position angeordnete Projektionsebene definiert. Diese Projektionsebene fällt dann idealerweise mit einer Höhe einer Motorhaube oder eines Dachs oder einer Kofferraum klappe (bei einem Fließheck) des anderen Fahrzeugs zusammen. Die erfassten Kamerabilder werden dann entsprechend positionsabhängig und erfassungsrichtungsabhängig auf die hierfür definierten Projektionsebenen projiziert, sodass sich im erzeugten Bildsignal bzw. im Umfeldabbild in Draufsicht eine realistischere Darstellung ergibt.

In einer Ausführungsform ist vorgesehen, dass beim Erzeugen der mindestens einen Projektionsebene mindestens ein Bereich ergänzt wird, wenn die für diesen Bereich erfassten Sensordaten des mindestens einen entfernungsauflösenden Sensors mit einem anderen Fahrzeug korrespondieren. Hierdurch können auch verdeckte Bereiche, die von den Umfeldkameras nicht erfasst werden können, in dem erzeugten Umfeldabbild als derart ergänzte Bereiche dargestellt werden. Dahinter steht der Gedanke, dass eine Projektionsebene für ein Dach eines anderen Fahrzeugs beispielsweise ergänzt werden kann, wenn eine Höhe einer Dachkante in der Umfeldkarte bekannt ist. Das Dach wird dann an der mit der Dachkante zusammenfallenden Höhe ergänzt. Ausgehend von den erfassten Sensordaten des mindestens einen entfernungsauflösenden Sensors und/oder den erfassten Kamerabildern werden hierzu insbesondere andere Fahrzeug erkannt. Dies erfolgt mittels an sich bekannter Verfahren, wie beispielsweise Mustererkennung und/oder Maschinenlernen. Grundsätzlich können auch andere Objekte erkannt und in entsprechender Weise ergänzt werden.

In einer Ausführungsform ist vorgesehen, dass ein Grad einer jeweiligen Radialverzerrung der Umfeldkameras beim Erfassen und/oder Projizieren berücksichtigt wird. Hierdurch können für das Projizieren insbesondere diejenigen Bereiche in den erfassten Kameraabbildungen verwendet werden, die das Umfeld, also Freiflächen und erhabene Objekte, unverzerrt in einer hohen Auflösung zeigen. Da Umfeldkameras in der Regel einen großen Erfassungsbereich (z.B. 180°) aufweisen, wird eine Abbildungsoptik dazu verwendet, diesen großen Erfassungsbereich auf einen Bildsensor abzubilden. Hierbei bildet die Abbildungsoptik insbesondere Randbereiche stark verzerrt ab („Fischaugenoptik“), sodass im Vergleich zu einer Bildmitte ein größerer Raumwinkelbereich auf eine gleiche Anzahl von Sensorelementen des Bildsensors der Umfeldkameras abgebildet wird. Dies führt zu einer radial von der Bildmitte zunehmenden Verzerrung und abnehmenden Auflösung. Es kann beispielsweise vorgesehen sein, dass nur Bereiche der erfassten Kameraabbildungen verwendet werden, in denen der Grad der Randverzerrung unterhalb eines vorgegebenen Schwellwertes liegt (beispielsweise angegeben als Anzahl von Bildelementen pro Raumwinkel oder als Änderung der Anzahl der Bildelemente pro Raumwinkel etc.). Werden nur diese Bereiche beim Erfassen und/oder Projizieren berücksichtigt, so kann insgesamt eine Auflösung der Umfeldabbildung erhöht werden. Ferner kann eine Verzerrung und/oder Verfälschung beim Projizieren verringert oder sogar verhindert werden. Wird beispielsweise eine Freifläche an mehreren Positionen aus unterschiedlichen Richtungen erfasst, so können diejenigen Kameraabbildungen oder Bereiche dieser Kameraabbildungen verwendet werden, die die höchste Auflösung oder zumindest eine Auflösung oberhalb eines vorgegebenen Schwellwertes aufweisen. Es kann ferner auch vorgesehen sein, einen solchen Schwellwert dynamisch in Abhängigkeit von einer Verfügbarkeit von erfassten Kamerabildern anzupassen. Dies kann insbesondere in Abhängigkeit davon erfolgen, mit welcher Auflösung Kamerabilder für identifizierte Freiflächen und/oder identifizierte erhabene Objekte erfasst wurden und zur Verfügung stehen. Stehen Kamerabilder mit höherer Auflösung zur Verfügung, so werden nur diese oder Bereiche hiervon mit einer Auflösung oberhalb des Schwellwertes und/oder unterhalb eines vorgegebenen Grades der Randverzerrung verwendet; stehen für identifizierte Freiflächen und/oder identifizierte erhabene Objekte hingegen nur Kamerabilder mit geringerer Auflösung zur Verfügung (z.B. weil diese aus randverzerrten Bildbereichen stammen), so werden diese verwendet. Es wird hierbei insbesondere angestrebt, stets die am höchsten verfügbare Auflösung zu verwenden. Entsprechend kann der Schwellwert dynamisch angepasst werden. In einer Ausführungsform ist vorgesehen, dass jeweils nur ein vorgegebener innerer Bildbereich der erfassten Kamerabilder beim Projizieren verwendet wird. Hierdurch kann ebenfalls eine Radialverzerrung berücksichtigt werden. Insbesondere ermöglicht dies eine besonders einfach und aufwandsarm umzusetzende Variante, da der innere Bildbereich einmalig definiert werden kann und dann in der Folge nur dieser innere Bildbereich beim Projizieren berücksichtigt wird. Der innere Bildbereich kann beispielsweise durch Vorgabe einer Mindestauflösung definiert werden.

In einer Ausführungsform ist vorgesehen, dass das Bildsignal für Bereiche des Umfeldabbildes, für die keine Kameradaten und/oder keine Sensordaten aufgrund von Verdeckung vorhanden sind, ausgehend von Nachbarbereichen, die an diese Bereiche angrenzen, extrapoliert und/oder geschätzt werden. Hierdurch kann auch für diese nicht mittels der Umfeldkameras erfassten Bereiche ein Bildsignal bereitgestellt werden. Dahinter steht der Gedanke, dass beispielsweise eine Textur für ein Dach eines anderen Fahrzeugs (oder eines anderen Objektes) ergänzt und/oder geschätzt werden kann, wenn eine Textur einer Motorhaube, einer Heckklappe und/oder eines sonstigen Teils des anderen Fahrzeugs (oder des anderen Objektes) bekannt ist. Das Dach wird dann mit Hilfe der extrapolierten und/oder geschätzten Textur ergänzt bzw. es wird eine extrapolierte und/oder geschätzte Kameraabbildung auf die zugehörige Projektionsebene projiziert. Ausgehend von den erfassten Sensordaten des mindestens einen entfernungsauflösenden Sensors und/oder den erfassten Kamerabildern werden hierzu insbesondere andere Fahrzeug und/oder andere Objekte im Umfeld erkannt.

Dies erfolgt mittels an sich bekannter Verfahren, wie beispielsweise Mustererkennung und/oder Maschinenlernen. Grundsätzlich können auch andere Objekte erkannt und in entsprechender Weise ergänzt werden. Es kann ferner vorgesehen sein, dass verdeckte Bereiche ausgehend von den erfassten Sensordaten und optischen Eigenschaften der Umfeldkameras bestimmt werden.

Es kann ferner vorgesehen sein, dass identifizierte erhabene Objekte, insbesondere andere Fahrzeuge, im Umfeld zumindest teilweise gerendert werden, wobei dies ausgehend von den erfassten Sensordaten des entfernungsauflösenden Sensors erfolgt. Zu den zumindest teilweise gerenderten Objekten wird ein entsprechendes Bildsignal erzeugt. Das Rendern wird insbesondere mittels der Datenverarbeitungseinrichtung und an sich bekannter Verfahren durchgeführt.

In einer Ausführungsform ist vorgesehen, dass ausgehend von den an den mehreren Positionen des Fahrzeugs erfassten Kamerabildern zusätzlich eine dreidimensionale Punktwolke des Umfelds erzeugt und beim Identifizieren der Freiflächen und/oder der erhabenen Objekte im Umfeld berücksichtigt wird. Hierdurch können entfernungsauflösende Daten bzw. dreidimensionale Daten des Umfeldes zusätzlich auch ausgehend von den erfassten Kamerabildern erzeugt und berücksichtigt werden. Hierbei kann beispielsweise ein monokulares Simultaneous Localization and Mapping (SLAM)-Verfahren (z.B. Direct Sparse Odometry, DSO) oder ein sonstiges geeignetes Verfahren verwendet werden.

Weitere Merkmale zur Ausgestaltung der Vorrichtung ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile der Vorrichtung sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.

Ferner wird insbesondere auch ein Fahrzeug geschaffen, umfassend mindestens eine Vorrichtung nach einer der beschriebenen Ausführungsformen. Ein Fahrzeug ist insbesondere ein Kraftfahrzeug.

Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:

Fig. 1 eine schematische Darstellung einer Ausführungsform der Vorrichtung zum Erzeugen eines Umfeldabbildes für einen Parkassistenten eines Fahrzeugs;

Fig. 2 eine schematische Darstellung zur Verdeutlichung von Sensordaten von entfernungsauflösenden Sensoren;

Fig. 3 eine schematische Darstellung zur Verdeutlichung einer Bodenprojektionsebene und von Projektionsebenen für erhabene Objekte;

Fig. 4 eine schematische Darstellung eines Umfeldabbildes, das dem erzeugten Bildsignal entspricht;

Fig. 5a, 5b schematische Darstellungen zur Verdeutlichung einer Ausführungsform der Vorrichtung und des Verfahrens.

Die Fig. 1 zeigt eine schematische Darstellung einer Ausführungsform der Vorrichtung 1 zum Erzeugen eines Umfeldabbildes 21 für einen Parkassistenten eines Fahrzeugs 50. Die Vorrichtung 1 ist beispielsweise in einem Fahrzeug 50, insbesondere einem Kraftfahrzeug, angeordnet. Die Vorrichtung 1 führt das in dieser Offenbarung beschriebene Verfahren aus.

Die Vorrichtung 1 umfasst mehrere Umfeldkameras 2, mindestens einen entfernungsauflösenden Sensor 3 und eine Datenverarbeitungseinrichtung 4.

Insbesondere umfasst die Vorrichtung 1 vier Umfeldkameras 2 (es ist der Übersichtlichkeit halber nur eine in der Fig. 1 gezeigt), welche jeweils als 180° erfassende Kameras mit einer Fischaugenoptik ausgebildet sind und derart am Fahrzeug 50 angeordnet sind, dass ein horizontaler Winkelbereich eines Umfelds von 0 bis 360° um das Fahrzeug 50 herum lückenlos erfasst werden kann.

Der mindestens eine entfernungsauflösende Sensor 3 umfasst beispielsweise einen Ultraschallsensor, einen Radarsensor und/oder einen Lidarsensor. Eine Anzahl und eine Anordnung der entfernungsauflösenden Sensoren 3 ist insbesondere derart gewählt, dass ein horizontaler Winkelbereich eines Umfelds von 0 bis 360° um das Fahrzeug 50 herum lückenlos erfasst werden kann. Insbesondere sind die Umfeldkameras 2 und die entfernungsauflösenden Sensoren 3 zueinander kalibriert, das heißt, eine relative Pose (relative Position und relative Ausrichtung) zueinander ist bekannt. Dies ermöglicht eine Zuordnung von erfassten Sensordaten 11 zu erfassten Kamerabildern 10.

Die Datenverarbeitungseinrichtung 4 umfasst eine Recheneinrichtung 4-1 und einen Speicher 4-2. Die Datenverarbeitungseinrichtung 4 ist dazu eingerichtet, ausgehend von an mehreren Positionen des Fahrzeugs 50 erfassten Sensordaten 11 des mindestens einen entfernungsauflösenden Sensors 3 Freiflächen und erhabene Objekte im Umfeld zu identifizieren, eine lokale Umfeldkarte 30 ausgehend von den erfassten Sensordaten 11 und/oder den identifizierten Freiflächen und den identifizierten erhabenen Objekten zu erzeugen und identifizierte Freiflächen und identifizierte erhabene Objekte positionsabhängig und erfassungsrichtungsabhängig mit hiermit korrespondierenden Kamerabildern 10 zu verknüpfen. Ferner ist die Datenverarbeitungseinrichtung 4 dazu eingerichtet, ein Bildsignal 20 für ein Umfeldabbild 21 in Draufsicht („Top View“) auf das Fahrzeug 50 zu erzeugen, und die Kamerabilder 10 hierfür zumindest teilweise positionsabhängig und erfassungsrichtungsabhängig auf die Freiflächen und Objekte in der Umfeldkarte 30 zu projizieren, und das erzeugte Bildsignal 20 bereitzustellen. Das bereitgestellte Bildsignal 20 kann beispielsweise einer Anzeigeeinrichtung 51 des Fahrzeugs 50 zugeführt werden und auf dieser angezeigt werden, um einen Fahrer beim Einparken und/oder Rangieren zu unterstützen.

Die Fig. 2 zeigt eine schematische Darstellung zur Verdeutlichung von Sensordaten von entfernungsauflösenden Sensoren. Gezeigt ist eine Umfeldkarte 30, in der dreidimensional verortete Datenpunkte 31 -x (nur einige sind mit einem Bezugszeichen markiert) eines Ultraschallsensors (31-1), eines Radarsensors (31-2) und eines Lidarsensors (31-3) hinterlegt sind. Die Datenpunkte 31-x wurden von den Sensoren an mehreren Positionen 32 erfasst und in der Umfeldkarte 30 hinterlegt. Die Datenpunkte 31-x markieren Bereiche, an denen erhabene Objekte 41 im Umfeld angeordnet sind. Zwischen den erhabenen Objekten 41 befinden sich im Umfeld Freiflächen 40. Die erhabenen Objekte 41 werden beispielsweise durch Clustern bzw. Zusammenfassen von örtlich gehäuft auftretenden Datenpunkten 31-x identifiziert. Eine Häufung ist hierbei beispielsweise als eine vorgegebene Dichte von Datenpunkten 31-x pro Raumwinkel oder Horizontalwinkel oder Bereich im Umfeld oder als vorgegebene Signalstärke einer Reflexion des vom Sensor emittierten Signals definiert, die erreicht sein muss, damit ein erhabenes Objekt 41 identifiziert wird. Im Bereich von Freiflächen 40 fehlen derartige Häufungen und/oder Reflexionen eines vom Sensor emittierten Signals hingegen.

An jeder der mehreren Positionen 32 werden für alle Richtungen um das Fahrzeug 50 herum Kamerabilder erfasst. Bildinformationen in den erfassten Kamerabildern werden positionsabhängig und erfassungsrichtungsabhängig mit den Datenpunkten 31-x verknüpft. Insbesondere ausgehend von dieser Verknüpfung werden zum Erzeugen des Umfeldabbildes 21 in Draufsicht die Kamerabilder hierfür (zumindest teilweise) positionsabhängig und erfassungsrichtungsabhängig auf die Freiflächen 40 und die erhabenen Objekte 41 in der Umfeldkarte 30 projiziert. Anders ausgedrückt werden die erfassten Kamerabilder (zumindest teilweise) positionsabhängig und erfassungsrichtungsabhängig als Texturen über die Freiflächen 40 und die erhabenen Objekte 41 gelegt und hierdurch ein Umfeldabbild 21 in Draufsicht erzeugt.

Es ist insbesondere vorgesehen, dass beim Erzeugen der Umfeldkarte 30 aus Freiflächen 40 schrittweise für die mehreren Positionen 32 eine positionsabhängige Bodenprojektionsebene 33 definiert wird, auf die die jeweils mit den Freiflächen 40 verknüpften Kamerabilder projiziert werden. Dies ist schematisch in der Fig. 3 gezeigt, welche grundsätzlich der Fig. 2 entspricht, sodass gleiche Bezugszeichen gleiche Merkmale und Begriffe bezeichnen. Es ist ferner insbesondere vorgesehen, dass beim Erzeugen der Umfeldkarte 30 aus erhabenen Objekten 41 schrittweise für die mehreren Positionen 32 mindestens eine positionsabhängige Projektionsebene 34 definiert wird, auf die die jeweils mit den erhabenen Objekten 41 verknüpften Kamerabilder projiziert werden. Hierbei geht es vor allem darum, die erhabenen Objekte 41 im Umfeldabbild 21 (Fig. 1) in Draufsicht auf einer anderen Höhe (Richtung senkrecht zur Standfläche, auf dem das Fahrzeug 50 steht) darzustellen als die Bodenprojektionsebene 34. Es können insbesondere auch mehr als eine Projektionsebene 34 vorgesehen sein, um Zwischenstufen, beispielsweise von anderen Fahrzeugen 51 (z.B. Zwischenstufen für Heck, Dach, Motorhaube, Ladefläche etc.), abbilden zu können.

Es kann vorgesehen sein, dass beim Erzeugen der mindestens einen Projektionsebene 34 mindestens ein Bereich ergänzt wird, wenn die für diesen Bereich erfassten Sensordaten des mindestens einen entfernungsauflösenden Sensors mit einem anderen Fahrzeug 51 korrespondieren. Hierzu kann an den erfassten Sensordaten, insbesondere an den Datenpunkten 31-x, beispielsweise eine Mustererkennung und/oder eine Objekterkennung durchgeführt werden. Wird anhand der Mustererkennung und/oder der Objekterkennung erkannt, dass ein erhabenes Objekt 41 ein anderes Fahrzeug 51 ist, so kann dieses Vorwissen dazu genutzt werden, weiter entfernte Bereiche der anderen Fahrzeuge 51 , für die eine Dichte an Datenpunkten 31-x abnimmt, zu ergänzen, beispielsweise indem Datenpunkte 31-x zum Nachbilden einer äußeren Kontur des anderen Fahrzeugs 51 ergänzt werden.

Es kann vorgesehen sein, dass ein Grad einer jeweiligen Radialverzerrung der Umfeldkameras 2 beim Erfassen und/oder Projizieren berücksichtigt wird. Um den Grad der Radialverzerrung zu bestimmen, können empirische Versuche durchgeführt werden und/oder optische Eigenschaftsparameter 15 (Fig. 1) einer Abbildungsoptik („Fischaugenoptik“) in die Datenverarbeitungseinrichtung 4 eingelesen werden.

Es kann vorgesehen sein, dass jeweils nur ein vorgegebener innerer Bildbereich der erfassten Kamerabilder 10 beim Projizieren verwendet wird. Ein geeigneter innerer Bildbereich kann beispielsweise anhand von empirischen Versuchen und/oder Simulationen bestimmt werden.

Es kann vorgesehen sein, dass das Bildsignal 20 für Bereiche des Umfeldabbildes 21 , für die keine Kameradaten 10 und/oder keine Sensordaten 11 aufgrund von Verdeckung vorhanden sind, ausgehend von Nachbarbereichen, die an diese Bereiche angrenzen, extrapoliert und/oder geschätzt werden. So kann das Bildsignal 20 beispielsweise für die jeweils dem Fahrzeug 50 abgewandte Seite 35 (Fig. 3) der erhabenen Objekte 41 bzw. anderen Fahrzeuge 51 entsprechend ergänzt werden durch Bilddaten aus Kamerabildern 10, die für die dem Fahrzeug 50 zugewandte Seite 36 erfasst wurden. Beispielsweise kann eine Lackfarbe oder eine Textur der zugewandten Seiten 36 in erfassten Kamerabildern 10 dazu verwendet werden, um eine Textur für die abgewandte Seite 35 zu extrapolieren und/oder zu schätzen.

Es kann vorgesehen sein, dass ausgehend von den an den mehreren Positionen 32 des Fahrzeugs 50 erfassten Kamerabildern 10 zusätzlich eine dreidimensionale Punktwolke des Umfelds erzeugt und beim Identifizieren der Freiflächen 40 und/oder der erhabenen Objekte 41 im Umfeld berücksichtigt wird. Dies erfolgt beispielsweise mittels an sich bekannter SLAM- Verfahren, beispielsweise mittels des Direct Sparse Odometry (DSO)-Verfahrens.

Die Fig. 4 zeigt eine schematische Darstellung eines Umfeldabbildes 21 , das dem erzeugten Bildsignal 20 entspricht (die Fig. 4 ist lediglich beispielhaft und korrespondiert inhaltlich nicht mit den vorher gezeigten Figuren 2 und 3). Durch die Vorrichtung 1 (Fig. 1) und das Verfahren kann ein verbessertes Umfeldabbild 21 zur Verfügung gestellt werden.

Das in der Fig. 4 gezeigte Umfeldabbild 21 bzw. das Bildsignal 20 wurde insbesondere mit einer Ausführungsform der Vorrichtung 1 und des Verfahrens erzeugt, bei der vorgesehen ist, dass jeweils nur ein vorgegebener innerer Bildbereich der erfassten Kamerabilder 10 beim Projizieren verwendet wird. Ein direkter Vergleich zwischen einer Ausführungsform, bei denen auch äußere Bereiche der Kamerabilder 10 verwendet wurden, das heißt, aufgrund einer Fischaugenoptik auch radialverzerrte Bereiche und dem in der Fig. 4 gezeigten Umfeldabbild 21 ist in den Figuren 5a und 5b gezeigt. In der Fig. 5a ist deutlich zu erkennen, dass aufgrund der Verwendung auch der radialverzerrten äußeren Bildbereiche der Kamerabilder 10 andere Fahrzeuge 51 in dem Umfeldabbild 21 stark verzerrt erscheinen. Bei den anderen Fahrzeugen 51, die in der Fig. 5b gezeigt sind, ist dies hingegen nicht der Fall, da dort nur innere Bereiche der Kamerabilder 10 berücksichtigt wurden, die nicht oder nur wenig radialverzerrt sind (d.h. ein Sichtbereich bzw. Erfassungsbereich der Umfeldkameras ist insbesondere lateral eingeschränkt). Bezugszeichenliste

Vorrichtung Umfeldkamera entfernungsauflösender Sensor Datenverarbeitungseinrichtung -1 Recheneinrichtung -2 Speicher 0 Kamerabild 1 Sensordaten 5 optische Eigenschaftsparameter 0 Bildsignal 1 Umfeldabbild 0 lokale Umfeldkarte 1-1 Datenpunkt (Ultraschallsensor) 1-2 Datenpunkt (Radarsensor) 1-3 Datenpunkt (Lidarsensor) 2 Position 3 Bodenprojektionsebene 4 Projektionsebene 5 abgewandte Seite 6 zugewandte Seite 0 Freifläche 1 erhabenes Objekt 0 Fahrzeug 1 Anzeigeeinrichtung