Titel

Verfahren zur Darstellung eines Fahrzeugumfeldes Stand der Technik

Die Erfindung betrifft ein Verfahren zur Darstellung eines Fahrzeugumfeldes auf einer Mensch-Maschine-Schnittstelle in einem Fahrerassistenzsystem. Die Erfindung betrifft ferner ein entsprechendes Computerprogrammprodukt sowie ein entsprechendes

Fahrassistenzsystem.

Fahrassistenzsysteme sind Zusatzeinrichtungen in einem Fahrzeug, die den Fahrer beim Manövrieren des Fahrzeugs unterstützen sollen. Typischerweise umfassen

Fahrassistenzsysteme unterschiedliche Subsysteme, beispielsweise einen

Einparkassistenten, ein Navigationssystem oder eine Totwinkelüberwachung, die mithilfe von einer Sensorik das Umfeld des Fahrzeugs überwacht. Derartige Sensorik kann

beispielsweise optische Sensoren, Ultraschallsensoren, Radarsensoren oder LI DAR- Sensoren umfassen, die einzeln oder in Kombination mit den anderen Daten betreffend des Fahrzeugumfeldes bereitstellen beziehungsweise aufbereiten.

EP 2 058 762 A2 offenbart ein Verfahren, welches es ermöglicht, Abstände von Objekten zu einem Fahrzeug direkt im Bird's-Eye-View darzustellen. Zunächst detektiert eine

Bilderfassungseinheit Objekte, die sich in der Umgebung des Fahrzeugs befinden. Wird ein Objekt detektiert, das voraussichtlich in einer bestimmten Höhe über Grund mit dem

Fahrzeug kollidieren wird, so ergeht eine virtuelle Protektionsebene in der Höhe des

Kollisionspunktes. Im Rahmen der Bildverarbeitung werden die Pixel des von der

Bilderfassungseinheit erfassten Bildes auf diese Ebene projiziert und so ein Bild aus der Vogelperspektive generiert. Zusätzlich werden Pixel zwischen Fahrzeug und Kollisionspunkt auf eine Ebene in Fahrbahnhöhe projiziert und weiter weg liegende Pixel werden auf die virtuelle Projektionsebene projiziert. DE 10 2010 010 912 A1 bezieht sich auf eine Fahrerassistenzvorrichtung mit optischer Darstellung erfasster Objekte. Die Fahrassistenzvorrichtung umfasst eine

Sensorikeinrichtung zum Erfassen von Objekten in der Umgebung des Fahrzeugs sowie eine Anzeigeeinrichtung. Mit der Sensorikeinrichtung sind Bodenkoordinaten des Objektes als 2D- oder 3D-Positionsdaten fassbar, die von der Anzeigeeinrichtung zur Positionierung eines Symboles, das das Objekt in der Draufsicht symbolisiert, in der perspektivischen Darstellung verwendet werden. Ein Symbol für das erfasste Objekt wird in der perspektivischen

Darstellung platziert. Um die gesamte Umgebung des virtuellen Fahrzeugs darstellen zu können, sind mehrere Aufnahmen rund um das Fahrzeug notwendig. Diese jeweiligen Aufnahmen werden vorverarbeitet und ihre Informationen werden zur Gewinnung einer vogelperspektivischen Darstellung genutzt.

DE 10 2005 026 458 A1 bezieht sich auf ein Fahrerassistenzsystem für ein Fahrzeug. Das Fahrassistenzsystem umfasst eine Auswerteeinheit, welche durch Auswerten von

Sensorsignalen Abstandsdaten zum Nahbereich des Fahrzeugs erfassten Objekten bestimmt. Die bestimmten Abstandsdaten werden als Objektkontur auf einer optischen Anzeige in Bezug auf eine schematische Draufsicht des eigenen Fahrzeugs dargestellt. Heutige Multikamerasysteme, die in Automobilen eingesetzt werden, berechnen aus Bildern von mehreren, im Fahrzeug installierten Kameras eine gemeinsame Ansicht. Durch eine virtuelle Kamera lassen sich durch die mehreren, im Fahrzeug installierten Kameras verschiedene Ansichten darstellen. Dadurch wird es dem Fahrer ermöglicht, durch einen einzigen Blick auf das Headup-Display die gesamte nähere Fahrzeugumgebung zu sehen. Somit kann der Fahrer bei Einsatz eines derartigen Systems tote Winkel überblicken.

Darstellung der Erfindung

Durch das erfindungsgemäß vorgeschlagene Verfahren können im Rahmen einer

Bildverarbeitung und/oder aufgrund anderer Sensoriken, so zum Beispiel Laser, Radar,

Lidar, Ultraschall, Stereokameras, um nur einige zu nennen, erhabene Objekte in der Nähe, d.h. im Umfeld des Fahrzeuges detektiert werden. Anstatt diese detektierten Objekte in die Ebene zu projizieren, werden bei Detektion eines erhabenen Objektes der erfindungsgemäß vorgeschlagenen Lösung folgend die Koordinaten des Fußpunktes des Objektes bestimmt. In einem sich anschließenden Verfahrensschritt wird die Projektionsebene vor dem Objekt angehoben, sodass erhabene Objekte in der Nähe des Fahrzeugs nicht mehr als „Schattenwurf" auf die Ebene projiziert werden sondern in den verschiedenen auswählbaren Ansichten der virtuellen Kamera als erhabene Objekte erkennbar sind. Diese

Vorgehensweise führt zu einer verbesserten Darstellung der Umgebung beziehungsweise einer besseren Aufbereitung der Umgebungssituation für den Fahrer, in der er sich besser orientieren kann, da das Bild natürlicher wirkt und einen intuitiveren Anstrich hat.

Falls zusätzlich noch die Höhe des Objektes bestimmt werden kann, wird diese ebenfalls für die Änderung der Projektionsebene berücksichtigt, sodass eine weitere Verbesserung der Ansicht ermöglicht werden kann.

Vorteile der Erfindung

Die Vorteile der erfindungsgemäß vorgeschlagenen Lösung sind vor allem darin zu erblicken, dass erhabene Objekte natürlicher, intuitiver durch Anheben einer

Projektionsebene dargestellt werden. Dies nimmt der Darstellung ihren artifiziellen Charakter und führt für den Fahrer zu einer natürlicheren Darstellung seiner unmittelbaren Umgebung.

Kurze Beschreibung der Zeichnungen

Anhand der Zeichnungen wird die Erfindung nachstehend eingehender beschrieben.

vier Bilder von mehreren im Fahrzeug installierten Kameras in einer gemeinsamen Ansicht, eine zweidimensionale Draufsicht auf ein Fahrzeug, welches die Kamera aufweist, aus der Vogelperspektive, eine Rundumansicht des Fahrzeugs aus einem Blickwinkel, eine sich vor einem Fahrzeug erstreckende Projektionsebene mit horizontalem und vertikalem Abschnitt, Figur 5 eine adaptierte Projektionsebene, deren vertikaler Bereich sich in der Nähe des Fußpunktes eines detektierten erhabenen Objektes befindet und

Figur 6 eine weiter adaptierte deren vertikaler Bereich sich vom Fußpunkt des erhabenen

Objektes aus erstreckt und in seiner Höhe an die Höhe des detektierten erhabenen Objektes angepasst ist.

Der Darstellung gemäß Figur 1 ist eine Zusammenschau von vier Fotos zu entnehmen, die von im Fahrzeug verbauten Kameras aufgenommen sind. Aus den von im Fahrzeug installierten Kameras aufgenommenen 1 -4 Kamerabildern 12, 14, 16 und 18 kann eine gemeinsame Ansicht generiert werden. Durch eine virtuelle Kamera lassen sich dadurch verschiedene Ansichten darstellen, was dem Fahrer ermöglicht, durch einen einzigen Blick auf ein Headup-Display beispielsweise, die gesamte nähere Fahrzeugumgebung zu sehen. Dies ermöglicht dem Fahrer, unter anderem auch tote Winkel zu überblicken.

In der Darstellung gemäß Figur 2 ist beispielhaft eine Vogelperspektive 20 dargestellt, in der von oben auf ein Fahrzeug 30 geblickt wird.

Daneben besteht die Möglichkeit, aus den Kamerabildern 12, 14, 16, 18 eine gekrümmte Rundumschau 22 in dreidimensionaler Ansicht zu erstellen, welche die Umgebung des Fahrzeuges 30 abbildet. Anstatt die Kamerabilder 12, 14, 16 und 18 auf eine Ebene zu projizieren, können die Einzelbilder auf eine gekrümmte Wanne projiziert werden, sodass die Darstellung, insbesondere was die Wedergabe eines fernerliegenden Bereiches betrifft, deutlich verbessert werden kann.

Ausführungsbeispiele

Der Darstellung gemäß Figur 4 ist eine Projektionsebene zu entnehmen, die einen sich vor einem Fahrzeug erstreckenden horizontalen Bereich und einen senkrechten, sich in vertikaler Richtung in Bezug auf das Fahrzeug erstreckenden Bereich aufweist.

Wie die Darstellung gemäß Figur 4 zeigt, befindet sich das Fahrzeug 30 auf einer Fahrbahn 40, welche den horizontalen Bereich 36 einer Projektionsebene 46 darstellt. Figur 4 zeigt, dass sich im horizontalen Bereich 36 der Projektionsebene 46 mindestens ein erhabenes Objekt 34, hier dargestellt als Person, befindet. Die Figur 4 zeigt, dass sich die Projektionsebene 46, ausgehend vom Fahrzeug 30, mit ihrem vertikalen Bereich 38 hinter dem mindestens einen detektierten erhabenen Objekt 34 befindet. Daher wird das detektierte, mindestens eine erhabene Objekt 34 in der Projektionsebene 46, insbesondere im vertikalen Bereich 38, unnatürlich als verzerrter Schattenwurf dargestellt. Wie aus Figur 4 hervorgeht, fällt in dieser Ausführungsvariante der vertikale Bereich 38 mit der gestrichelt angedeuteten Projektionsebene 46 zusammen. Die Projektionsebene 46 ist fest vorgegeben und bietet keine Flexibilität. Aus dem in Figur 4 eingetragenen Strahlengang geht hervor, dass das erhabene Objekt 34, hier dargestellt als Person, durch den Strahl der den Kopf passiert, wie auch den Strahl, der den Fußpunkt des erhabenen Objektes 34 passiert, mit einer starken Scherung angedeutet durch den unteren Pfeil vom Fußpunkt des erhabenen Objektes 34 bis auf den vertikalen gekrümmten Bereich 38 der Projektionsebene sehr stark, insbesondere als Scherung verzerrt, dargestellt werden wird.

Die Projektionsebene 46 gemäß der Darstellung in Figur 4 stellt eine schüsselartig konfigurierte Ebene dar, auf die Videoansichten des Fahrzeugumfeldes projiziert werden. Dabei wird der Übergang zwischen dem horizontalen Bereich 36 und dem vertikalen Bereich 38 der schüsselartigen Ebene 32 möglichst so gewählt, dass dieser mit dem Übergang zwischen flachen Bereichen, wie der Fahrbahn 40, auf der sich das Fahrzeug 30 befindet, und erhabenen Objekten, wie Gebäuden beziehungsweise Personen 34 übereinstimmen. Auf diese Weise entspricht der erhabenen Objekte 34 in der Umgebung des Fahrzeuges, insbesondere auf der Projektionsebene 46 eher der Realität und verliert ihren mitunter artifiziell anmutenden Eindruck.

Der Darstellung gemäß Figur 5 ist eine adaptierte Projektionsebene, die sich vor dem Fahrzeug erstreckt, zu entnehmen.

Wie Figur 5 zeigt, ist im Umfeld des Fahrzeugs 30 ein erhabenes Objekt 34 in Gestalt einer Person detektiert. Nunmehr wird eine Bestimmung eines Fußpunktes 48 des erhabenen detektierten Objektes 34 vorgenommen, ab dem sich das detektierte, mindestens eine erhabene Objekt 34 ausgehend von der Fahrbahn 40, d.h. dem horizontalen Bereich 36 der Projektionsebene 46 in diese erhebt. Abhängig von der Ermittlung des Fußpunktes 48 erfolgt, wie aus einem Vergleich mit Figur 4 hervorgeht, eine Adaption der Projektionsebene 46 dahingehend, dass der vertikale Bereich 38 der Projektionsebene 46 vor dem Fußpunkt 48 des erhabenen Objektes 34 gegebenenfalls innerhalb eines Übergangsbereiches 50 so angehoben wird, dass sich das mindestens eine, detektierte erhabene Objekt 34 in der Projektionsebene 46, insbesondere in deren vertikalem Bereich 38 befindet. Der Übergangsbereich 50 dient dazu, einen stetigen Übergang der Projektionsebene zu ermöglichen, insbesondere einen stetigen Übergang zwischen dem horizontalen Bereich 36 und dem vertikalen Bereich 39 der Projektionsebene 46.

Der Vollständigkeit halber sei erwähnt, dass in der Darstellung gemäß Figur 5 der vertikale Bereich 38 die tatsächliche Höhe 42 des erhabenen Objektes 34, in diesem Fall die

Körpergröße des erhabenen Objektes der Person 34 übersteigt. Im Wesentlichen fällt der Übergangspunkt, an dem der horizontale Bereich 36 der

Projektionsebene 46 in den vertikalen Bereich 38, mit dem Fußpunkt 48 des mindestens einen detektierten erhabenen Objektes 34 zusammen.

Der Darstellung gemäß Figur 6 ist eine weitere Adaptierung der Projektionsebene, insbesondere unter Berücksichtigung der Größe des mindestens einen detektierten erhabenen Objektes zu entnehmen.

Wie Figur 6 zeigt, ist in dieser Darstellung eine geschätzte Höhe 44 eingetragen, die im Wesentlichen mit der Höhe 42, im vorliegenden Fall der Körpergröße der das mindestens eine erhabene Objekt darstellenden menschlichen Person übereinstimmt. Selbstverständlich ist die Höhe 42 eine andere, falls es sich bei dem erhabenen Objekt 34 nicht um eine Person handelt, sondern um ein anderes Objekt. Vom Fahrer des Fahrzeugs 30 wird das

mindestens eine erhabene Objekt 34 nun als in der Projektionsebene, insbesondere im vertikalen Bereich 38 der Projektionsebene 46 liegend wahrgenommen und kann

beispielsweise in einem Headup-Display als natürliches Objekt dargestellt werden. Dies führt zu einer wesentlich verbesserten Darstellung der Umgebung für den Fahrer des Fahrzeugs 30, in der er sich besser orientieren kann, da das in der Projektionsebene 46, insbesondere deren vertikalem Bereich 38 liegende Abbild des mindestens einen erhabenen Objektes 34 wesentlich natürlicher wirkt und die Darstellung des erhabenen Objektes 34 beispielsweise in einem Headup-Display ihren artifiziellen Charakter verliert.

Wird - wie in Figur 6 angedeutet - die Höhe des vertikalen Abschnittes 38 die tatsächliche Höhe 42 des mindestens einen detektierten erhabenen Objektes 34 angepasst, kann eine nochmalige Verbesserung der Darstellung von Objekten 34 ermöglicht werden. Wie in Zusammenhang mit Figur 4 angedeutet, hat die Projektionsebene 46 zunächst ein schüsseiförmiges Aussehen. Bei der Detektion eines Objektes wird die schüsseiförmig konfigurierte Projektionsebene 46 eingedellt, d.h. Höhe und Breite sowie ein Fußpunkt eines Objektes 34 werden geschätzt. Da nunmehr ein Objekt 34 lokalisiert ist, kann die

Projektionsebene 46 verändert werden. Im vorliegenden Beispiel wird gemäß Figur 5 die Projektionsebene 46 im Vergleich zur Darstellung gemäß Figur 4 bei fester Implementation, früher, d.h. in der Ebene des erhabenen Objektes 34 liegend, angehoben. Diese Anhebung der Projektionsebene 46 erfolgt in der Breite des erhabenen Objektes 34. In der Darstellung gemäß Figur 6 tritt hinzu, dass die Höhe 42 des erhabenen Objektes 34 neben der Breite des erhabenen Objektes 34 für eine Veränderung der Projektionsebene 46 sorgt.

Zu den Sensoriken, die im vorliegenden Zusammenhang zur Implementierung des erfindungsgemäß vorgeschlagenen Verfahrens eingesetzt werden, sind vor allem

Ultraschallsensoren, Radarsensoren, Lasersensoren, Stereokameras sowie Structure from Motion, eine Monokamera und dergleichen mehr geeignet. Mit solcher Art Umfeld des Fahrzeugs 30 erfassenden Sensoriken, lassen sich Messwerte des erhabenen Objektes 34 erfassen. Die erfassten Messwerte können beispielsweise in eine Position bezüglich eines beliebigen Koordinatensystems umgerechnet werden.

In Zusammenhang mit den Figuren 1 bis 3 ist anzumerken, dass die Vereinigung der Bildsequenz der Kamerabilder 12, 14, 16, 18 zum Beispiel in einer Vogelperspektive (Bird Eye View) nicht von einer realen Kamera gemacht wird. Die aufgenommenen Kamerabilder 12, 14, 16 und 18 werden vielmehr einer Bildtransformation unterzogen, so dass es den Anschein hat, dass das transformierte Bild von einer realen Kamera, die sich oberhalb des Fahrzeugs 30 befindet, aufgenommen ist. Unter dem Ausdruck„virtuelle Kamera" ist im vorliegenden Zusammenhang eine solche zu verstehen, die ein transformiertes Bild, der von realen Kameras aufgenommenen Kamerabilder 12, 14, 16 und 18 liefern würde.

Die Erfindung ist nicht auf die hier beschriebenen Ausführungsbeispiele und die darin hervorgehobenen Aspekte beschränkt. Vielmehr ist innerhalb des durch die anhängigen Ansprüche angegeben Bereiches ist eine Vielzahl von Abwandlungen möglich, die im Rahmen fachmännischen Handels liegen.