Technisches Gebiet

Die vorliegende Erfindung betrifft Bildverarbeitungssysteme für Fahrerassistenzsysteme für Kraftfahrzeuge. Insbesondere be ^¬ trifft die vorliegende Erfindung eine Bilddatenverarbei ^¬ tungsvorrichtung und ein Verfahren zur Verarbeitung von

Bilddaten von einem Multikamerasystem für ein Kraftfahrzeug.

Technischer Hintergrund

Bilddatensensoren im Bereich der Fahrerassistenz basieren maßgeblich auf dem Einsatz von Sensorkomponenten zur Erfassung des Fahrzeugumfelds. Besonders Videosensoren haben ihre Eignung dabei unter Beweis stellen können.

Dabei werden vermehrt auch Kamerasysteme eingesetzt, die eine Vielzahl von einzelnen Kameras und/oder Bildsensoren aufweisen. Fahrzeugseitig eingebaute Multikamerasysteme können jedoch dem Fahrzeug abgewandte Oberflächen von Objekten im Umfeld des Kraftfahrzeugs nicht oder zumindest nicht vollständig erfassen, d.h. von mehreren Seiten bzw. aus mehreren Blickrichtungen.

Zusammenfassung der Erfindung

Es ist eine Aufgabe der vorliegenden Erfindung, eine verbesserte Bildverarbeitungsvorrichtung und ein verbessertes Verfahren zum Verarbeiten von Bilddaten von einem Multikamerasystem für ein Kraftfahrzeug bereitzustellen.

Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Weiterbildungen und Ausführungsformen sind den abhängigen Patentansprüchen, der Beschreibung und den Figuren der Zeichnungen zu entnehmen.

Ein erster Aspekt der vorliegenden Erfindung betrifft eine Bilddatenverarbeitungsvorrichtung zum Verarbeiten von Bilddaten von einem Multikamerasystem für ein Kraftfahrzeug. Die Bilddatenverarbeitungsvorrichtung umfasst eine Datenerfassungseinrichtung und eine Datenauswertungseinrichtung. Die Datenerfassungseinrichtung ist dazu ausgebildet, mit mindestens einer fahrzeugseitigen Kamera gekoppelt zu werden und ferner mit mindestens einer fahrzeugexternen Kamera gekoppelt zu werden und interne Bilddaten von der fahrzeugseitigen Kamera und externe Bilddaten von der fahrzeugexternen Kamera zu empfangen.

Die Datenauswertungseinrichtung ist dazu ausgebildet, anhand der empfangenen internen Bilddaten und anhand der empfangenen externen Bilddaten ein Umgebungsmodell für das Kraftfahrzeug zu ermitteln .

Die vorliegende Erfindung ermöglicht vorteilhaft, eine um ^¬ fassende, d.h. mehrere Ansichten aus unterschiedlichen

Blickrichtungen umfassende, Objekterfassung auch von Oberflächen oder Ansichten der Objekte durchzuführen, wobei auch fahrzeugabgewandte Oberflächen von Umgebungsobjekten erfasst werden und bestimmt werden können.

Die vorliegende Erfindung ermöglicht vorteilhaft, dass für den Fall, dass die Rückseite von Objekten, die dem Fahrzeug abgewandt sind, nicht durch die im Fahrzeug verbauten fahrzeugseitigen Kameras erfasst werden können, weitere Bilddaten verwendet werden können, welche von stationären, d.h. fahrzeugexternen, Kameras generiert werden, welche beispielsweise mit einer beliebigen Infrastruktur gekoppelt sind und welche zusätzlich Bildinformationen für eine Objektbestimmung liefern. Die zusätzlichen Bildinformationen können dabei redundante oder komplementäre Informationen für die Objektbestimmung liefern. Ferner ermöglicht die vorliegende Erfindung vorteilhaft, dass beispielsweise in Bereichen mit einem schlechten oder gestörtem Satellitenempfang Positions- oder Standortbestimmungen des Kraftfahrzeuges anhand von Bilddaten von externen Kameras vorgenommen werden können.

Dies bedeutet, in anderen Worten ausgedrückt, beispielsweise, dass basierend auf mindestens einer fahrzeugexternen Kamera eine Positionsbestimmung des Kraftfahrzeugs vorgenommen werden kann. Ferner ermöglicht die vorliegende Erfindung vorteilhaft,

Texturen, Oberflächeneigenschaften und die Identifikationen von Objekten zu verifizieren und die Erkennungsleistung für Texturen oder Oberflächeneigenschaften zu verbessern. Ein weiterer zweiter Aspekt der vorliegenden Erfindung betrifft ein Multikamerasystem für ein Kraftfahrzeug, wobei das Mul- tikamerasystem mindestens eine fahrzeugseitige Kamera und mindestens eine fahrzeugexterne Kamera aufweist. Ein weiterer Aspekt der vorliegenden Erfindung betrifft ein Verfahren zum Bearbeiten von Bilddaten von einem Multikamerasystem für ein Kraftfahrzeug. Das Verfahren umfasst die folgenden Verfahrensschritte: Empfangen von internen Bilddaten von mindestens einer fahr- zeugseitigen Kamera und von externen Bilddaten von der fahrzeugexternen Kamera mittels einer Datenerfassungseinrichtung. Als einen weiteren Schritt umfasst das Verfahren ein Ermitteln eines Umgebungsmodells für das Kraftfahrzeug anhand der emp ^¬ fangenen internen Bilddaten und anhand der empfangenen externen Bilddaten mittels einer Datenauswertungseinrichtung.

Der Begriff „fahrzeugseitige Kamera" umfasst dabei eine fahrzeuginterne Kamera, welche am Fahrzeug verbaut ist. Dies kann ferner eine Kamera innerhalb des Fahrzeuges zur Erfassung eines Fahrzeuginnenraumes und/oder einer Fahrzeugumgebung, auf englisch auch „driver monitoring camera", sein oder eine Kamera, welche außen am Fahrzeug verbaut ist. Ferner umfasst der Begriff „fahrzeugseitige Kamera" auch beispielsweise Kameras, die an mit dem Fahrzeug verbundenen Komponenten, wie beispielsweise ein Anhänger, verbaut sind.

Der Begriff „fahrzeugexternen Kamera" umfasst dabei eine nicht-fahrzeugseitige Kamera, welche nicht am Fahrzeug verbaut ist. Dies kann ferner eine Kamera umfassen, welche beispielsweise stationär an einem Verkehrsschild oder an einer Garageneinfahrt ist.

Vorteilhafte Ausgestaltungen der vorliegenden Erfindung sind den Unteransprüchen zu entnehmen. In einer vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Datenauswertungseinrichtung dazu ausgelegt ist, mindestens ein Umgebungsobjekt in dem Umgebungsmodell für das Kraftfahrzeug zu ermitteln. Dies ermöglicht vorteilhaft, ein verbessertes Umgebungsmodell für das Kraftfahrzeug bereitzustellen.

In einer weiteren vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Datenerfassungseinrichtung dazu ausgelegt ist, interne - d.h. fahrzeugseitig generierte - Bilddaten und externe - d.h. außerhalb des Kraftfahrzeuges generierte - Bilddaten zu empfangen, welche unterschiedliche Oberflächenbereiche des mindestens einen Umgebungsobjektes abbilden.

Mit anderen Worten ausgedrückt, die internen Bilddaten bilden das Objekt aus einem anderen Blickwinkel heraus ab im Vergleich zu den externen Bilddaten.

Dies ermöglicht vorteilhaft, eine Beschaffenheit eines Objekts beispielsweise zu verifizieren, wobei vorteilhafterweise auch fahrzeugabgewandte Informationen über das Objekt, wie bei ^¬ spielsweise die Oberflächenbeschaffenheit oder eine Textur des Umgebungsobjekts, für die Bestimmung herangezogen werden können .

In einer weiteren vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass eine Textur des mindestens einen Umgebungsobjekts in dem Umgebungsmodell für das Kraftfahrzeug basierend auf den internen Bilddaten und den externen Bilddaten zu ermittelt wird. Dies ermöglicht vorteilhaft, auch dem Fahrzeug abgewandte Bildinformationen zu verarbeiten.

In einer weiteren vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Datenauswertungseinrichtung dazu ausgelegt ist, eine Positionsbestimmung für das Kraft ^¬ fahrzeug basierend auf den internen Bilddaten und den externen Bilddaten durchzuführen. Dies ermöglicht vorteilhaft, eine Unabhängigkeit von dem Sa ^¬ tellitenempfang zu gewährleisten, das heißt, auch eine Auswahl einer Satellitenverbindung ermöglicht beispielsweise in

Tiefgaragen oder an untertunnelten Bereichen, eine präzise Positionsbestimmung des Kraftfahrzeugs zu ermöglichen, da Blickwinkel und Bildinformationen, welche außerhalb des

Kraftfahrzeugs aufgenommen worden sind, verwendet werden.

In einer weiteren vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass das Multikamerasystem eine fahrzeugexterne Kamera aufweist, welche dazu ausgebildet ist, an einem Verkehrszeichen oder an einer Garageneinfahrt für das Kraftfahrzeug montiert zu werden. In einer weiteren vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass das Multikamerasystem ferner einen Näherungssensor oder eine Näherungssensoreinrichtung aufweist, welche mit der mindestens einen fahrzeugexternen Kamera gekoppelt ist und welche dazu ausgebildet ist, eine Bilddatenübertragung von externen Bilddaten erst dann zu starten, sobald das Kraftfahrzeug innerhalb eines bestimmten Abstandschwellwertes zu der fahrzeugexternen Kamera detektiert worden ist, beispielsweise falls das Kraftfahrzeug sich näher als 20 m von der fahrzeugexternen Kamera entfernt befindet. Dies ermöglicht, eine verbesserte Datensicherheit zu gewährleisten, da Bilddaten nur gesendet werden, falls das Kraftfahrzeug diese auch empfangen kann.

Die beschriebenen Ausgestaltungen und Weiterbildungen lassen sich beliebig miteinander kombinieren.

Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der vorliegenden Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsformen beschriebenen Merkmale der vorliegenden Erfindung.

Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der vorliegenden Erfindung vermitteln. Die beiliegenden Zeichnungen veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Konzepten der vorliegenden Erfindung.

Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Figuren der Zeichnungen. Die dargestellten Elemente der Figuren der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.

Kurze Beschreibung der Figuren

Es zeigen:

Fig. 1: eine schematische Darstellung einer Bilddatenverarbeitungsvorrichtung zum Verarbeiten von Bilddaten von einem Multikamerasystem für ein Kraftfahrzeug gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;

Fig. 2: eine schematische Darstellung eines Flussdiagramms eines Verfahrens zum Verarbeiten von Bilddaten von einem Multikamerasystem für ein Kraftfahrzeug gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung; und

Fig. 3: eine schematische Darstellung eines Multikame- rasystems sowie einer Bilddatenverarbeitungsvorrichtung und eines Kraftfahrzeugs gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung.

Detaillierte Beschreibung der Ausführungsbeispiele In den Figuren der Zeichnungen bezeichnen gleiche Bezugszeichen gleiche oder funktionsgleiche Elemente, Bauteile, Komponenten oder Verfahrensschritte, soweit nichts Gegenteiliges angegeben ist .

Bei dem Kraftfahrzeug bzw. Fahrzeug handelt es sich bei ^¬ spielsweise um ein Kraftfahrzeug oder um ein Hybridfahrzeug, beispielsweise ein Hybridfahrzeug mit Segelfunktion, bei ^¬ spielsweise ein Motorrad, ein Bus oder ein Lastkraftwagen oder ein Fahrrad.

Fahrerassistenzsysteme sind elektronische Zusatzeinrichtungen in Kraftfahrzeugen zur Unterstützung des Fahrers in bestimmten FahrSituationen .

Die Fig. 1 zeigt eine schematische Darstellung einer Bildda ^¬ tenverarbeitungsvorrichtung 1 zum Verarbeiten von Bilddaten IB, EB von einem Multikamerasystem 100 für ein Kraftfahrzeug 2 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.

Die Vorrichtung bzw. die Bilddatenverarbeitungsvorrichtung 1 umfasst eine Datenerfassungseinrichtung 10 und eine Datenauswertungseinrichtung 20. Die Datenerfassungseinrichtung 10 ist dazu ausgebildet, mit mindestens einer fahrzeugseitigen Kamera 110 und mit mindestens einer fahrzeugexternen Kamera 120 gekoppelt zu werden.

Ferner ist die Datenerfassungseinrichtung 10 dazu ausgebildet, interne Bilddaten von der fahrzeugseitigen Kamera 110 und/oder externe Bilddaten von der fahrzeugexternen Kamera 120 zu empfangen . Die fahrzeugseitige Kamera 110 und die fahrzeugexterne Kamera 120 bilden ein Multikamerasystem 100 aus.

Die Datenauswertungseinrichtung 20 ist dazu ausgebildet, anhand der empfangenen internen Bilddaten IB und anhand der empfangenen externen Bilddaten EB ein Umgebungsmodell für ein Kraftfahrzeug 2 zu ermitteln.

Das Multikamerasystem 100 für ein Kraftfahrzeug 2 kann ferner eine Näherungssensoreinrichtung 130 aufweisen, welche mit der mindestens einen fahrzeugexternen Kamera 120 gekoppelt ist.

Die Näherungssensoreinrichtung 130 ist dazu ausgebildet, eine Bilddatenübertragung von externen Bilddaten zu starten, das heißt in anderen Worten, die fahrzeugexterne Kamera zur

Übertragung von Bilddaten anzuregen, falls das Kraftfahrzeug innerhalb eines vorbestimmten Abstandswertes zu der fahr ^¬ zeugexternen Kamera 120 detektiert wird. Mit anderen Worten ausgedrückt, falls das Kraftfahrzeug näher als beispielsweise 30 m oder näher als 20 m oder näher als 10 m zu der fahrzeugexternen Kamera 120 verortet ist, wird die Über ^¬ tragung der externen Bilddaten gestartet. Dies ermöglicht vorteilhaft, ein erhöhtes Maß an Datenschutz zu gewährleisten, so dass Daten nur übertragen werden, wenn diese auch von dem Kraftfahrzeug verarbeitet werden können.

Das Bilddatenverarbeitungssystem kann vorteilhaft eine Posi- tionsbestimmung des Kraftfahrzeugs ermöglichen. Dabei kann eine kartenbasierte Lokalisierung erarbeitet werden und das

Kraftfahrzeug kann innerhalb einer bereitgestellten Karte lokalisiert werden. Dazu werden externe und interne Bilddaten unter Zuhilfenahme der Karte zu einer Positionsbestimmung ausgewertet. Die Lokali ^¬ sierung kann daher auch in Situationen funktionieren, die für die Satellitenortung, wie beispielsweise eine GPS-Ortung, schwierig sind und ermöglicht eine von atmosphärischen Störungen oder lokalen Gegebenheiten, wie beispielsweise Überbauung, unabhängige Ortung und Lokalisierung des Fahrzeugs.

Die Fig. 2 zeigt eine schematische Darstellung eines Verfahrens zum Verarbeiten von Bilddaten von einem Multikamerasystem für ein Kraftfahrzeug gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung.

Das Verfahren umfasst die folgenden Verfahrensschritte:

Als ein erster Schritt des Verfahrens erfolgt ein Empfangen Sl von internen Bilddaten von mindestens einer fahrzeugseitigen Kamera und von externen Bilddaten von der fahrzeugexternen Kamera mittels einer Datenerfassungseinrichtung.

Als ein zweiter Schritt des Verfahrens erfolgt ein Ermitteln S2 eines Umgebungsmodells für das Kraftfahrzeug anhand der emp ^¬ fangenen internen Bilddaten und anhand der empfangenen externen Bilddaten mittels einer Datenauswertungseinrichtung 20.

Die Fig. 3 zeigt eine schematische Darstellung eines möglichen Szenarios für das Multikamerasystem gemäß einem Ausführungs ^¬ beispiel der vorliegenden Erfindung. Das Multikamerasystem umfasst dabei eine erste fahrzeugseitige Kamera 110 und eine zweite fahrzeugexterne Kamera 120.

Die fahrzeugexterne Kamera 120 ist beispielsweise auf einem Verkehrszeichen 300 montiert und umfasst ein weites Ge- sichtsfeld, wie durch die strichgepunktete Linie dargestellt. Innerhalb des Sichtfelds der fahrzeugexternen Kamera 120 be ^¬ findet sich ein Objekt Ol. Die fahrzeuginterne bzw. fahrzeugseitige Kamera 110 ist in einem Kraftfahrzeug 2 montiert und weist ebenfalls ein Sichtfeld auf, ebenfalls durch eine strichgepunktete Linie dargestellt. Dabei befindet sich von dem Objekt Ol eine andere Oberfläche im Sichtbereich der fahrzeugseitigen Kamera 110 im Gegensatz zu dem Oberflächenbereich des Objekts Ol, wie er durch die fahrzeugexterne Kamera 120 abgebildet werden kann.

Die unterschiedlichen Oberflächenbereiche des mindestens einen Umgebungsobjektes Ol, wie durch die fahrzeugseitige Kamera 110 einerseits und durch die fahrzeugexterne Kamera 120 anderseits abgebildet, sind durch die gestrichelte Linie dargestellt.

Ferner ist in der Fig. 3 ein virtuelles Sichtfeld dargestellt, wie es von einer virtuelle Kamera 400 abgebildet werden würde.

Das Sichtfeld dieser virtuellen Kamera 400 kann beispielsweise für ein Navigationssystem oder für eine Displaydarstellung im Kraftfahrzeug verwendet werden, um dem Fahrer einen Überblick über das dargestellte Szenario und den Abstand des Kraftfahrzeugs 2 zum Objekt Ol zu visualisieren .

Obwohl die vorliegende Erfindung anhand bevorzugter Ausführungsbeispiele vorstehend beschrieben wurde, ist sie nicht darauf beschränkt, sondern auf vielfältige Art und Weise mo- difizierbar. Insbesondere lässt sich die Erfindung in mannigfaltiger Weise verändern oder modifizieren, ohne vom Kern der Erfindung abzuweichen. Ergänzend sei darauf hingewiesen, dass „umfassend" und „auf ^¬ weisend" keine anderen Elemente oder Schritte ausschließt und „eine" oder „ein" keine Vielzahl ausschließt.

Ferner sei darauf hingewiesen, dass Merkmale oder Schritte, die mit Verweis auf eines der obigen Ausführungsbeispiele be ^¬ schrieben worden sind, auch in Kombination mit anderen Merkmalen oder Schritten anderer oben beschriebener Ausführungsbeispiele verwendet werden können. Bezugszeichen in den Ansprüchen sind nicht als Einschränkung anzusehen.