Die Erfindung betrifft ein Verfahren zum Erzeugen einer Fahrzeugumgebungsansicht bei einem Fahrzeug, insbesondere bei ei ^¬ nem Straßenfahrzeug.

Fahrzeuge sind zunehmend mit Fahrerassistenzsystemen ausge ^¬ stattet, die Bilddaten auswerten, um Fahrerassistenzfunktio ^¬ nen einem Fahrer eines Fahrzeuges bereitzustellen. Hierzu können an einer Fahrzeugkarosserie bzw. einem Fahrzeugrumpf eines Fahrzeuges an verschiedenen Seiten Fahrzeugkameras vor ^¬ gesehen sein, die Bilddaten bzw. Kamerabilder der Fahrzeugumgebung an eine Datenverarbeitungseinheit des Fahrerassistenz ^¬ systems liefern. Die Bilddatenverarbeitungseinheit des Fah ^¬ rerassistenzsystems kann basierend auf den empfangenen Bild ^¬ daten eine Fahrzeugumgebungsansicht der Fahrzeugumgebung des Fahrzeuges berechnen. Die berechnete Fahrzeugumgebungsansicht wird über eine Anzeigeeinheit an einen Fahrer des Fahrzeuges ausgegeben, um ihn bei der Durchführung von Fahrzeugmanövern zu unterstützen. Beispielsweise liefert ein herkömmliches Fahrerassistenzsystem Unterstützung bei der Durchführung von Parkmanövern bei einem Straßenfahrzeug.

Durch das Vorhandensein von Objekten bzw. Hindernissen in der unmittelbaren Fahrzeugumgebung des Fahrzeuges werden allerdings die von den Fahrzeugkameras gelieferten Bilddaten be ^¬ einträchtigt, da derartige Objekte bzw. Hindernisse Schatten ^¬ flächen erzeugen, d.h. Bereiche, die für die Fahrzeugkameras des Fahrerassistenzsystems nicht sichtbar sind. Beispielswei ^¬ se kann ein Betonpfosten als Objekt bzw. Hindernis dazu führen, dass verschiedene Fahrzeugkameras gewisse Bereiche in ^¬ nerhalb der unmittelbaren Fahrzeugumgebung nicht erfassen können. Durch die von einem Objekt bzw. Hindernis erzeugten Schattenflächen wird die Qualität einer auf Basis der gelie ^¬ ferten Kamerabilder berechneten Fahrzeugumgebungsansicht vermindert bzw. geschmälert. Weiterhin können von der berechne ^¬ ten Fahrzeugumgebungsansicht abgeleitete Funktionen des Fah ^¬ rerassistenzsystems beeinträchtigt werden. Beispielsweise kann eine Projektionsfläche durch Objekte bzw. Hindernisse in der Fahrzeugumgebung deformiert bzw. verzerrt werden.

Es ist daher eine Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung zum Erzeugen einer Fahrzeugumgebungsansicht zu schaffen, bei der die Qualität der Fahr ^¬ zeugumgebungsansicht bei Vorhandensein von Objekten bzw. Hindernissen in der Fahrzeugumgebung verbessert wird.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren zum Erzeugen einer Fahrzeugumgebungsansicht bei einem Fahrzeug mit den in Patentanspruch 1 angegebenen Merkmalen gelöst.

Die Erfindung schafft demnach ein Verfahren zum Erzeugen einer Fahrzeugumgebungsansicht bei einem Fahrzeug mit den

Schritten :

Liefern von Bilddaten einer Fahrzeugumgebung des Fahrzeuges durch Fahrzeugkameras, die an einer Fahrzeugkarosserie des Fahrzeuges vorgesehen sind,

Erkennen von Bildbereichen der Fahrzeugumgebung, die aus Sicht von Fahrzeugkameras durch ein in der Fahrzeugumgebung befindliches Objekt verdeckt werden,

Ersetzen von Bildanteilen eines von dem Objekt verdeckten Bildbereichs, die für mindestens eine andere Fahrzeugkamera sichtbar sind, durch Bilddaten, welche von der anderen Fahrzeugkamera geliefert werden, und Ersetzen von Bildanteilen des von dem Objekt verdeckten Bildbereichs, die für keine der anderen Fahrzeugkameras sichtbar sind, durch extrapolierte Bilddaten, die auf Basis von Bild ^¬ daten in der Objektumgebung des Objektes extrapoliert werden, welche von den anderen Fahrzeugkameras geliefert werden.

Bei einer möglichen Ausführungsform des erfindungsgemäßen Verfahrens werden die extrapolierten Bilddaten durch örtliche Extrapolation auf Basis von Bilddaten berechnet, welche von den anderen Fahrzeugkameras geliefert werden.

Bei einer weiteren möglichen alternativen Ausführungsform des erfindungsgemäßen Verfahrens werden die extrapolierten Bilddaten durch zeitliche Extrapolation auf Basis von Bilddaten berechnet, welche von den anderen Fahrzeugkameras geliefert werden .

Bei einer weiteren möglichen alternativen Ausführungsform des erfindungsgemäßen Verfahrens werden die extrapolierten Bilddaten durch frequenzselektive Extrapolation auf Basis von Bilddaten berechnet, welche von den anderen Fahrzeugkameras geliefert werden.

Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Verfahrens wird eine 3D-Proj ektionsfläche zur Projek ^¬ tion der Fahrzeugumgebungsansicht in Abhängigkeit von dem durch das Objekt verdeckten Bildbereich adaptiv angepasst.

Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Verfahrens wird die Fahrzeugumgebungsansicht durch eine Berechnungseinheit in Echtzeit berechnet, die Bilddaten von den Fahrzeugkameras des Fahrzeuges erhält. Die Erfindung schafft ferner gemäß einem weiteren zweiten Aspekt eine Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht bei einem Fahrzeug mit

Fahrzeugkameras, die an einer Fahrzeugkarosserie eines Fahr ^¬ zeuges vorgesehen sind und Bilddaten einer Fahrzeugumgebung des Fahrzeuges liefern und mit

einer Bilddatenverarbeitungseinheit, die Bildbereiche der Fahrzeugumgebung erkennt, welche aus Sicht von Fahrzeugkame ^¬ ras durch ein in der Fahrzeugumgebung befindliches Objekt verdeckt werden,

wobei die Bilddatenverarbeitungseinheit Bilddatenanteile ei ^¬ nes von dem Objekt verdeckten Bildbereichs, die für mindes ^¬ tens eine andere Fahrzeugkamera sichtbar sind, durch Bildda ^¬ ten, welche von der anderen Fahrzeugkamera geliefert werden, ersetzt und wobei die Bilddatenverarbeitungseinheit Bildan ^¬ teile des von dem Objekt verdeckten Bildbereichs, die für keine der anderen Fahrzeugkameras sichtbar sind, durch extra ^¬ polierte Bilddaten ersetzt, die auf Basis von Bilddaten in der Objektumgebung des Objektes extrapoliert werden, welche von den anderen Fahrzeugkameras geliefert werden.

Bei einer möglichen Ausführungsform der erfindungsgemäßen Vorrichtung werden die extrapolierten Bilddaten durch die Bilddatenverarbeitungseinheit durch örtliche Extrapolation auf Basis von Bilddaten berechnet, welche von den anderen Fahrzeugkameras geliefert werden.

Bei einer weiteren möglichen alternativen Ausführungsform werden die extrapolierten Bilddaten durch die Bilddatenverarbeitungseinheit durch zeitliche Extrapolation auf Basis von Bilddaten berechnet, welche von den anderen Fahrzeugkameras geliefert werden. Bei einer weiteren möglichen alternativen Ausführungsform werden die extrapolierten Bilddaten durch die Bilddatenverarbeitungseinheit durch frequenzselektive Extrapolation auf Ba ^¬ sis von Bilddaten berechnet, welche von den anderen Fahrzeug ^¬ kameras geliefert werden.

Bei einer weiteren möglichen Ausführungsform der erfindungsgemäßen Vorrichtung wird durch die Bilddatenverarbeitungseinheit eine 3D-Proj ektionsfläche zur Projektion der Fahrzeugum ^¬ gebungsansicht in Abhängigkeit von dem durch das Objekt ver ^¬ deckten Bildbereich adaptiv angepasst.

Bei einer weiteren möglichen Ausführungsform der erfindungsgemäßen Vorrichtung wird die Fahrzeugumgebungsansicht durch die Bilddatenverarbeitungseinheit in Echtzeit berechnet, in ^¬ dem Bilddaten ausgewertet werden, welche von den Fahrzeugka ^¬ meras des Fahrzeuges stammen.

Die Erfindung schafft ferner gemäß einem weiteren Aspekt ein Fahrerassistenzsystem mit einer Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht des Fahrzeuges gemäß dem zweiten Aspekt der Erfindung.

Die Erfindung schafft gemäß einem weiteren Aspekt ein Fahrzeug mit einem derartigen Fahrerassistenzsystem.

Im Weiteren werden mögliche Ausführungsformen der verschiedenen Aspekte der Erfindung unter Bezugnahme auf die beigefüg ^¬ ten Figuren detailliert beschrieben.

Es zeigen: Figur 1 ein Ablaufdiagramm zur Darstellung eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zum Erzeugen einer Fahrzeugumgebungsansicht bei ei ^¬ nem Fahrzeug;

Figur 2 eine schematische Darstellung zur Erläuterung der

Funktionsweise des erfindungsgemäßen Verfahren und einer erfindungsgemäßen Vorrichtung zum Erzeugen einer Fahrzeugumgebungsansicht bei einem Fahrzeug.

Wie man aus Figur 1 erkennen kann, umfasst das erfindungsge ^¬ mäße Verfahren zum Erzeugen einer Fahrzeugumgebungsansicht bei dem dargestellten Ausführungsbeispiel mehrere Schritte.

In einem ersten Schritt Sl werden Bilddaten einer Fahrzeugumgebung des Fahrzeuges durch Fahrzeugkameras geliefert, die an einer Fahrzeugkarosserie des Fahrzeuges vorgesehen sind.

In einem weiteren Schritt S2 werden Bildbereiche der Fahrzeugumgebung erkannt, die aus Sicht von Fahrzeugkameras durch ein in der Fahrzeugumgebung befindliches Objekt verdeckt werden. Dieses Objekt ist beispielsweise ein Hindernis, welches sich in der unmittelbaren Fahrzeugumgebung des Fahrzeuges befindet, beispielsweise ein Pfosten oder dergleichen. Das Ob ^¬ jekt bzw. das Hindernis führt zu Schattenflächen bzw. Berei ^¬ chen, die von den Fahrzeugkameras nicht erfasst werden kön ^¬ nen. Die Fahrzeugkameras befinden sich vorzugsweise an ver ^¬ schiedenen Seiten der Fahrzeugkarosserie.

In einem weiteren Schritt S3 werden Bildanteile eines von dem Objekt verdeckten Bildbereichs, die für mindestens eine ande ^¬ re Fahrzeugkamera sichtbar sind, durch Bilddaten ersetzt, welche von der anderen Fahrzeugkamera geliefert werden. Wei- terhin werden im Schritt S4 Bildanteile des von dem Objekt verdeckten Bildbereichs, die für keine der anderen Fahrzeug ^¬ kameras sichtbar sind, durch extrapolierte Bilddaten ersetzt. Dabei werden die extrapolierten Bilddaten auf Basis von Bilddaten in der Objektumgebung des Objektes bzw. Hindernisses extrapoliert, welche von den anderen Fahrzeugkameras gelie ^¬ fert werden. Die extrapolierten Bilddaten werden vorzugsweise durch örtliche, zeitliche und/oder frequenzselektive Extrapo ^¬ lation auf Basis von Bilddaten durch eine Bilddatenverarbei ^¬ tungseinheit berechnet, welche Bilddaten von den anderen Fahrzeugkameras erhält. Die Erkennung von Bildbereichen der Fahrzeugumgebung, die aus Sicht der Fahrzeugkameras durch ein anderes in der Fahrzeugumgebung befindliches Objekt verdeckt werden, erfolgt vorzugsweise im Schritt S2 in Echtzeit. Auch die Ersetzung von Bildanteilen im Schritt S3, S4 erfolgt vorzugsweise auf Basis der Bilddaten durch eine Bilddatenverarbeitungseinheit in Echtzeit. Bei einer möglichen Ausführungs ^¬ form des in Figur 1 dargestellten Verfahrens wird eine Pro ^¬ jektionsfläche zur Projektion der Fahrzeugumgebungsansicht in Abhängigkeit von dem durch das Objekt bzw. Hindernis verdeck ^¬ ten Bildbereich adaptiv angepasst.

Figur 2 zeigt schematisch die Funktionsweise eines erfin ^¬ dungsgemäßen Verfahrens und einer erfindungsgemäßen Vorrichtung zum Erzeugen einer Fahrzeugumgebungsansicht bei einem Fahrzeug .

Bei dem in Figur 2 dargestellten Fahrzeug F handelt es sich beispielsweise um ein Straßenfahrzeug, welches ein Fahreras ^¬ sistenzsystem FAS besitzt. Dieses Fahrerassistenzsystem FAS enthält ein Surround-View-System bzw. ein System zur Darstellung der Fahrzeugumgebung des Fahrzeuges F, das Kamerabildda ^¬ ten von Fahrzeugkameras auswertet. Bei dem in Figur 2 darge- stellten Ausführungsbeispiel sind an verschiedenen Seiten einer Fahrzeugkarosserie 3 des Fahrzeuges F verschiedene Fahr ^¬ zeugkameras 2-i vorgesehen. Diese Fahrzeugkameras 2-i liefern kontinuierlich Bilddaten bzw. Kamerabilder, welche über Signalleitungen an eine Bilddatenverarbeitungseinheit 4 der Vor ^¬ richtung zum Erzeugen einer Fahrzeugumgebungsansicht FUA übermittelt bzw. übertragen werden. Die Bilddatenverarbei ^¬ tungseinheit 4 kann die empfangenen Bilddaten bzw. Kamerabilder vorzugsweise in Echtzeit verarbeiten und erzeugt eine Fahrzeugumgebungsansicht des Fahrzeuges F. Die verschiedenen Fahrzeugkameras 2-i liefern kontinuierlich Kamerabilder KB bzw. Bilddaten an die Bilddatenverarbeitungseinheit 4 zur Bilddatenauswertung. Bei den Fahrzeugkameras 2-i kann es sich beispielsweise um Fischaugenkameras handeln, die Bilddaten übertragen .

Bei dem in Figur 2 dargestellten Beispiel befindet sich an der hinteren linken Rückseite neben der Fahrzeugkarosserie 3 des Fahrzeuges F ein Objekt bzw. Hindernis 0. Der Bereich, in dem sich das Objekt 0 befindet, wird bei dem dargestellten Beispiel durch die an der linken Seite der Fahrzeugkarosserie 3 angebrachte Fahrzeugkamera 2-2 und durch die an der Rück ^¬ seite der Fahrzeugkarosserie 3 angebrachte Fahrzeugkamera 2-4 erfasst. Die von den beiden Kameras 2-2, 2-4 erfassten Bereiche können sich überlappen, insbesondere wenn es sich bei den Kameras um Fischaugenkameras handelt. Bei dem in Figur 2 dar ^¬ gestellten Beispiel führt das Vorhandensein des Hindernisses bzw. Objektes 0 zu zwei Schattenflächen, nämlich zu einer ersten Schattenfläche SF1 für die an der Rückseite angebrachte Fahrzeugkamera 2-4, und zu einer zweiten Schattenfläche SF2 für die an der linken Seite der Fahrzeugkarosserie 3 an ^¬ gebrachte Fahrzeugkamera 2-2. Die in Figur 2 schraffiert dar ^¬ gestellte Fläche ist eine Kernschattenfläche KSF, welche we- der durch die Fahrzeugkamera 2-2 noch durch die Fahrzeugkame ^¬ ra 2-4 erfasst wird. Bei dem in Figur 2 dargestellten Objekt bzw. Hindernis 0 kann es sich beispielsweise um einen Pfosten oder ein sonstiges Hindernis handeln. Die Fahrzeugkameras 2- 2, 2-4 liefern kontinuierlich Kamerabilder KB2, KB4 an die Bilddatenverarbeitungseinheit 4. Die Bilddatenverarbeitungs ^¬ einheit 4 erkennt Bildbereiche der Fahrzeugumgebung, die aus Sicht von Fahrzeugkameras durch ein in der Fahrzeugumgebung befindliches Objekt 0 verdeckt werden. Bei dem in Figur 2 dargestellten Beispiel erkennt die Bilddatenverarbeitungseinheit 4 die beiden Schattenflächen SFl, SF2 in den erhaltenen Bilddaten. Die Bilddatenverarbeitungseinheit 4 ersetzt Bild ^¬ anteile des von dem Objekt 0 verdeckten Bildbereichs, die für mindestens eine andere Fahrzeugkamera 2 sichtbar sind, durch Bilddaten, welche von der anderen Fahrzeugkamera 2 geliefert werden. Beispielsweise werden die Bildanteile der von der hinteren Fahrzeugkamera 2-4 gelieferten Bilddaten bzw. Kamerabilder KB der vom Objekt 0 verdeckten Schattenfläche SFl, die jedoch für die linke Fahrzeugkamera 2-2 sichtbar sind, durch Bilddaten ersetzt, welche von der linken Fahrzeugkamera 2-2 geliefert werden. Weiterhin werden bei dem dargestellten Beispiel Bildanteile der von dem Objekt 0 verdeckten Schat ^¬ tenfläche SF2, die jedoch für die hintere Fahrzeugkamera 2-4 sichtbar sind, durch Bilddaten ersetzt, welche von der Fahrzeugkamera 2-4 stammen.

Die in Figur 2 gestrichelt dargestellte Kernschattenfläche KSF wird weder von der linken Fahrzeugkamera 2-2 noch von der hinteren Fahrzeugkamera 2-4 erfasst. Die Bilddatenverarbei ^¬ tungseinheit 4 ersetzt Bildanteile des von dem Objekt 0 ver ^¬ deckten Bildbereichs, die für keine der Fahrzeugkameras 2 sichtbar sind, durch extrapolierte Bilddaten. Dabei werden die Bilddaten auf Basis von Bilddaten in der Objektumgebung des Objektes 0 extrapoliert, welche von Fahrzeugkameras 2 ge ^¬ liefert werden. Die Objektumgebung bezeichnet einen vorgege ^¬ benen räumlichen Bereich um das Hindernis bzw. Objekt 0 herum, beispielsweise einen Bereich mit einem bestimmten Radius um das Objekt 0 herum. Die Extrapolation der Bilddaten, die zur Ersetzung von Bildanteilen in der Kernschattenfläche KSF verwendet werden, erfolgt vorzugsweise durch örtliche, zeit ^¬ liche und/oder frequenzselektive Extrapolation auf Basis von Bilddaten in der Objektumgebung, welche von Fahrzeugkameras 2 an die Bilddatenverarbeitungseinheit 4 geliefert werden. Bei einer möglichen Ausführungsform der erfindungsgemäßen Vorrichtung 1 wird eine Projektionsfläche, insbesondere eine SD- Projektionsfläche zur Projektion der erzeugten Fahrzeugumge ^¬ bungsansicht FUA in Abhängigkeit von dem durch das Objekt bzw. Hindernis verdeckten Bildbereich adaptiv angepasst.

Ein spezifisches Datenmodell eines adaptiven 3D-Surround- View-Systems umfasst eine 3D-schüsselförmige Projektionsflä ^¬ che. Das Vorhandensein eines Objektes bzw. Hindernisses 0 in der Fahrzeugumgebung kann zu einer Verzerrung bzw. Deformation der Projektionsfläche führen. Die Deformation der Projektionsfläche kann dazu führen, dass ein Objekt einen Bereich verschattet bzw. abdeckt, der durch ein deformiertes Gitter dargestellt wird, d.h. die physikalisch vorhandene Fahrzeug ^¬ kamera ist nicht in der Lage, den Bildinhalt dieses Teils der schüsseiförmigen Projektionsfläche zu erfassen. Bei dem erfindungsgemäßen Verfahren wird die 3D-Proj ektionsfläche in Abhängigkeit der durch das Objekt 0 verdeckten Bildbereiche adaptiv angepasst. Die erzeugte Fahrzeugumgebungsansicht FUA, welche durch die Bilddatenverarbeitungseinheit 4 berechnet wird, wird bei einer möglichen Ausführungsform in einen Datenspeicher zur weiteren Datenauswertung zwischengespeichert. Die Fahrzeugumgebungsansicht FUA wird bei einer möglichen Ausführungsform durch weitere Funktionseinheiten des Fahrerassistenzsystems ausgewertet, um Fahrerassistenzsystemfunkti ^¬ onen für den Fahrer des Fahrzeuges F bereitzustellen. Die höhere Qualität der durch die Datenverarbeitungseinheit 4 be ^¬ reitgestellten Fahrzeugumgebungsansicht FUA erhöht auch die Qualität der davon abgeleiteten Fahrerassistenzsystemfunktio ^¬ nen .

Die erfindungsgemäße Vorrichtung 1 zur Erzeugung einer Fahrzeugumgebungsansicht kann bei verschiedenartigen Fahrzeugen eingesetzt werden. Bei den Fahrzeugen kann es sich beispielsweise um Landfahrzeuge, insbesondere Straßenfahrzeuge, bei ^¬ spielsweise Pkw oder Lkw, aber auch um Landfahrzeuge, die in der Agrarwirtschaft eingesetzt werden, handeln. Weiterhin kann es sich bei dem Fahrzeug F um ein Wasserfahrzeug oder ein Luftfahrzeug handeln, das sich beispielsweise nach dem Landen auf einer Bodenfläche innerhalb des Flugplatzes be ^¬ wegt. Das erfindungsgemäße Verfahren kann verwendet werden, während sich das Fahrzeug F über eine Bodenfläche bewegt oder wenn das Fahrzeug F auf einer Bodenfläche fest steht.

BEZUGSZEICHEN

1. Vorrichtung

2. Fahrzeugkamera

3. Fahrzeugkarosserie

4. Bilddatenverarbeitungseinheit