Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
DEVICE AND METHOD FOR PROVIDING INFORMATION DATA WITH RESPECT TO AN OBJECT OF A VEHICLE ENVIRONMENT CONTAINED IN A VIDEO IMAGE STREAM
Document Type and Number:
WIPO Patent Application WO/2015/169310
Kind Code:
A1
Abstract:
The invention relates to a camera surround view system (2) for a vehicle (1), comprising at least one vehicle camera (3), which provides camera images, which are processed by a data-processing unit (4) in order to produce a live video image stream, which is displayed on a display unit (5), wherein the camera surround view system (2) loads local cloud information data regarding an object shown in the live video image stream from a data network (8) and displays the obtained local cloud information data as an overlay in the displayed live video image stream.

Inventors:
FRIEBE MARKUS (DE)
Application Number:
PCT/DE2015/200279
Publication Date:
November 12, 2015
Filing Date:
April 24, 2015
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
CONTI TEMIC MICROELECTRONIC (DE)
International Classes:
G01C21/36
Foreign References:
EP0867690A11998-09-30
US20050182564A12005-08-18
EP1519154A12005-03-30
Other References:
None
Download PDF:
Claims:
PATENTANSPRÜCHE

1. Kamera-Surround-View-System (2) für ein Fahrzeug (1) mit mindestens einer Fahrzeugkamera (3) , die Kamerabilder liefert, welche durch eine Datenverarbeitungseinheit (4) zur Erzeugung eines Live-Videobildstromes verarbeitet werden, der auf einer Anzeigeeinheit (5) angezeigt wird, wobei das Kamera-Surround-View-System (2) lokale Cloud- Informationsdaten hinsichtlich eines in dem Live- Videobildstrom dargestellten Objektes von einem Datennetzwerk (8) lädt und die erhaltenen lokalen Cloud-

Informationsdaten als Overlay in dem angezeigten Live- Videobildstrom anzeigt.

2. Kamera-Surround-View-System nach Anspruch 1,

wobei die lokalen Cloud-Informationsdaten von dem Datennetzwerk in Abhängigkeit von einer aktuellen Position, Fahrtrichtung und/oder Fahrgeschwindigkeit des Fahrzeuges (1) und dem ausgewählten Objekt herunterladbar sind.

3. Kamera-Surround-View-System nach Anspruch 1 oder 2,

wobei das ausgewählte interessierende Objekt von einem Fahrer des Fahrzeuges (1) oder einem in dem Fahrzeug (1) befindlichen Passagier mittels eines Nutzerinterfaces se¬ lektiert wird.

4. Kamera-Surround-View-System nach Anspruch 3,

wobei das interessierende Objekt von dem Fahrer oder Pas¬ sagier ausgewählt wird, indem der Fahrer oder Passagier das auf der Anzeigeeinheit (5) angezeigte Objekt berührt.

5. Kamera-Surround-View-System nach einem der vorangehenden Ansprüche 1 bis 4, wobei das Surround-View-System (2) mit einem Gateway (6) verbunden ist, das eine drahtlose Verbindung zu dem Da¬ tennetzwerk (8) bereitstellt.

6. Kamera-Surround-View-System nach einem der vorangehenden Ansprüche 1 bis 5,

wobei die aktuelle Position, Fahrtrichtung und/oder Fahrgeschwindigkeit durch eine GPS-Einheit (7) des Fahrzeuges (1) bereitgestellt werden.

7. Kamera-Surround-View-System nach einem der vorangehenden Ansprüche 1 bis 6,

wobei das Surround-View-System (2) einen Pointer von Kamerakoordinaten des ausgewählten Objektes, welches innerhalb des Live-Videobildstromes angezeigt wird, zu GPS- Koordinaten berechnet und eine Anforderung über die drahtlose Verbindung sendet, um die zu dem Objekt zugehö¬ rigen Cloud-Informationsdaten von einer Datenbank (9) des Datennetzwerkes (8) zu erhalten.

8. Kamera-Surround-View-System nach Anspruch 7,

wobei das Surround-View-System (2) über die drahtlose Verbindung eine Liste von GPS-Koordinaten und zugehörige lokale Cloud-Informationsdaten von der Datenbank (9) des Datennetzwerkes (8) erhält und einen Pointer von den GPS- Koordinaten zu den Kamerakoordinaten, an deren Stelle die lokalen Cloud-Informationsdaten in den angezeigten Live- Videobildstrom platziert werden, berechnet.

9. Fahrerassistenzsystem mit einem Kamera-Surround-View- System (2) nach einem der vorangehenden Ansprüche 1 bis 8. Verfahren zum Bereitstellen von Informationsdaten zu ei nem in einem Videobildstrom enthaltenen Objekt einer Fahrzeugumgebung eines Fahrzeuges (1) mit den Schritten

Erzeugen (Sl) von Kamerabildern der Fahrzeugumgebung durch mindestens eine Fahrzeugkamera des Fahrzeuges;

Verarbeiten (S2) der erzeugten Kamerabilder zur Gene rierung eines Live-Videobildstromes der Fahrzeugumge bung;

Anzeigen (S3) des generierten Live-Videobildstromes auf einer Anzeigeeinheit des Fahrzeuges, wobei Cloud-Informationsdaten hinsichtlich eines ausgewählten Objektes innerhalb des Live-Videobildstromes als Overlay in dem Live-Videobildstrom angezeigt werden.

Verfahren nach Anspruch 10,

wobei lokale Cloud-Informationsdaten von einem Datennetz werk in Abhängigkeit von einer aktuellen Position, Fahrt richtung und/oder Fahrgeschwindigkeit des Fahrzeuges und dem ausgewählten Objekt heruntergeladen werden.

Verfahren nach Anspruch 10 oder 11,

wobei das ausgewählte interessierende Objekt von einem Fahrer des Fahrzeuges oder einem in dem Fahrzeug befind liehen Passagier mittels eines Nutzerinterfaces selek¬ tiert wird.

13. Verfahren nach Anspruch 12,

wobei das interessierende Objekt von dem Fahrer oder Pas- sagier ausgewählt wird, indem der Fahrer oder Passagier das auf der Anzeige angezeigte Objekt berührt.

14. Verfahren nach einem der vorangehenden Ansprüche 10 bis 13,

wobei ein Pointer von Kamerakoordinaten des ausgewählten Objektes, welches innerhalb des Live-Videobildstromes an¬ gezeigt wird, zu GPS-Koordinaten berechnet wird und eine Anforderung über eine drahtlose Verbindung ausgesendet wird, um die zu dem Objekt zugehörigen Cloud- Informationsdaten von einer Datenbank des Datennetzwerkes zu erhalten.

15. Verfahren nach Anspruch 14,

wobei über die drahtlose Verbindung eine Liste von GPS- Koordinaten und zugehörige lokale Cloud-Informationsdaten von der Datenbank des Datennetzwerkes übertragen werden und ein Pointer von den GPS-Koordinaten zu den Kamerakoordinaten, an deren Stelle die lokalen Cloud- Informationsdaten in den angezeigten Live-Videobildstrom platziert werden, berechnet wird.

Description:
VORRICHTUNG UND VERFAHREN ZUR BEREITSTELLUNG VON INFORMATIONSDATEN ZU EINEM IN EINEM VIDEOBILDSTROM ENTHALTENEN OBJEKT EINER FAHRZEUGUMGEBUNG

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zum Bereitstellen von Informationsdaten zu einem in einem Videobildstrom enthaltenen Objekt einer Fahrzeugumgebung eines Fahrzeuges, insbesondere eines Straßenfahrzeuges.

Kraftfahrzeuge, insbesondere Straßenfahrzeuge, werden zuneh ¬ mend mit Fahrerassistenzsystemen ausgerüstet, die den Fahrer des Fahrzeuges beim Fahren des Fahrzeuges sowie bei Fahrmanö ¬ vern unterstützen. Derartige Fahrerassistenzsysteme enthalten teilweise Kamera-Surround-View-Systeme, die über eine oder mehrere Fahrzeugkameras verfügen. Diese Fahrzeugkameras lie ¬ fern Kamerabilder, welche dem Fahrer des Fahrzeuges auf einer Anzeigeeinheit des Fahrzeuges angezeigt werden. Diese Kamera ¬ bilder unterstützen beispielsweise den Fahrer beim Zurücksetzen des Fahrzeuges oder beim Einparken des Fahrzeuges in eine Parklücke .

Weiterhin verfügen herkömmliche Fahrzeuge in vielen Fällen über ein Navigationssystem, welches Positionsdaten des Fahrzeuges liefert und dem Fahrer entlang einer Fahrroute zu ei ¬ nem Navigationsziel führt. Dabei kann der Fahrer auf einer angezeigten Straßenkarte eine Fahrtroute verfolgen und das Fahrzeug entsprechend den Anweisungen des Navigationssystems hin zu seinem Fahrziel lenken.

Während der Fahrt zu seinem Fahrziel kommt es oft vor, dass dem Fahrer bestimmte, in der Fahrzeugumgebung befindliche Objekte, beispielsweise Gebäude oder auffällige Landmarken, auffallen, die für ihn aus verschiedensten Gründen von Inte- resse sind. Fährt beispielsweise ein Fahrer mit seinem Fahr ¬ zeug durch eine Stadt oder Stadtviertel oder durch einen Industriepark oder dergleichen, können ihm bestimmte Objekte, vor allem Gebäude, auffallen, zu denen er weitere Informatio ¬ nen wünscht. Beispielsweise möchte der Fahrer wissen, zu wel ¬ chem Unternehmen ein Bürogebäude gehört. Weiterhin ist es möglich, dass ein Fahrer, der sich mit seinem Fahrzeug durch eine Stadt bewegt, historisch interessante Objekte erkennt, zu denen er gerne mehr erfahren möchte.

Bei herkömmlichen Kamera-Surround-View-Systemen bzw. Fahrerassistenzsystemen besteht für den Fahrer nicht die Möglichkeit, direkt Informationen zu den für ihn interessanten Objekte innerhalb des Videobildstromes und/oder der angezeigten Kamerabilder zu erhalten.

Es ist daher eine Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung zu schaffen, welches dem Fahrer die Möglichkeit bietet, zu interessanten Objekten innerhalb der Fahrzeugumgebung auf einfache Weise zusätzliche In ¬ formationen zu erhalten.

Diese Aufgabe wird erfindungsgemäß durch ein Kamera-Surround- View-System mit den in Patentanspruch 1 angegebenen Merkmalen gelöst .

Die Erfindung schafft demnach gemäß einem ersten Aspekt ein Kamera-Surround-View-System für ein Fahrzeug mit mindestens einer Fahrzeugkamera, die Kamerabilder liefert, welche durch eine Datenverarbeitungseinheit zur Erzeugung eines Live- Videobildstromes verarbeitet werden, der auf einer Anzeige ¬ einheit angezeigt wird, wobei das Kamera-Surround-View-System lokale Cloud-Informationsdaten hinsichtlich eines in dem Li- ve-Videobildstrom dargestellten Objektes von einem Datennetzwerk lädt und die erhaltenen lokalen Cloud-Informationsdaten als Overlay in dem angezeigten Live-Videobildstrom anzeigt.

Mögliche Ausführungsformen des erfindungsgemäßen Kamera- Surround-View-Systems sind in den Unteransprüchen angegeben.

Bei einer möglichen Ausführungsform des erfindungsgemäßen Ka- mera-Surround-View-Systems sind die lokalen Cloud- Informationsdaten von dem Datennetzwerk in Abhängigkeit von einer aktuellen Position, Fahrtrichtung und/oder Fahrgeschwindigkeit des Fahrzeuges und dem ausgewählten Objekt herunterladbar .

Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Kamera-Surround-View-Systems wird das ausgewählte in ¬ teressierende Objekt von einem Fahrer des Fahrzeuges oder ei ¬ nem in dem Fahrzeug befindlichen Passagier mittels eines Nutzerinterfaces selektiert.

Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Kamera-Surround-View-Systems wird das interessierende Objekt von dem Fahrer oder Passagier ausgewählt, indem der Fahrer oder Passagier das auf der Anzeigeeinheit angezeigte Objekt berührt.

Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Kamera-Surround-View-Systems ist das Surround-View- System mit einem Gateway verbunden, das eine drahtlose Ver ¬ bindung zu dem Datennetzwerk bereitstellt.

Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Kamera-Surround-View-Systems werden die aktuelle Po- sition, die Fahrtrichtung und/oder die Fahrgeschwindigkeit des Fahrzeuges durch eine GPS-Einheit des Fahrzeuges bereit ¬ gestellt.

Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Kamera-Surround-View-Systems wird ein Pointer von Ka ¬ merakoordinaten des ausgewählten Objektes, welches innerhalb des Live-Videobildstromes angezeigt wird, zu GPS-Koordinaten berechnet und eine Anforderung über die drahtlose Verbindung gesendet, um die zu dem Objekt zugehörigen Cloud- Informationsdaten von einer Datenbank des Datennetzwerkes zu erhalten .

Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Kamera-Surround-View-Systems erhält das Surround- View-System über die drahtlose Verbindung eine Liste von GPS- Koordinaten und zugehörige lokale Cloud-Informationsdaten von der Datenbank des Datennetzwerkes und berechnet einen Pointer von den GPS-Koordinaten zu den Kamerakoordinaten, an deren Stelle die lokalen Cloud-Informationsdaten in den angezeigten Live-Videobildstrom platziert werden.

Die Erfindung schafft ferner ein Fahrerassistenzsystem mit den in Patentanspruch 9 angegebenen Merkmalen.

Die Erfindung schafft demnach gemäß einem zweiten Aspekt ein Fahrerassistenzsystem mit einem Kamera-Surround-View-System für ein Fahrzeug mit mindestens einer Fahrzeugkamera, die Ka ¬ merabilder liefert, welche durch eine Datenverarbeitungseinheit zur Erzeugung eines Live-Videobildstromes verarbeitet werden, der auf einer Anzeigeeinheit des Fahrzeuges angezeigt wird, wobei das Kamera-Surround-View-System lokale Cloud- Informationsdaten hinsichtlich eines in dem Live- Videobildstrom dargestellten Objektes von einem Datennetzwerk lädt und die erhaltenen lokalen Cloud-Informationsdaten als Overlay in dem angezeigten Live-Videobildstrom anzeigt.

Die Erfindung schafft ferner ein Verfahren zum Bereitstellen von Informationsdaten zu einem in einem Videobildstrom enthaltenen Objekt einer Fahrzeugumgebung eines Fahrzeuges mit den in Patentanspruch 10 angegebenen Merkmalen.

Die Erfindung schafft demnach gemäß einem weiteren dritten Aspekt ein Verfahren zum Bereitstellen von Informationsdaten zu einem in einem Videobildstrom enthaltenen Objekt einer Fahrzeugumgebung eines Fahrzeuges mit den Schritten:

Erzeugen von Kamerabildern der Fahrzeugumgebung durch mindestens eine Fahrzeugkamera des Fahrzeuges,

Verarbeiten der erzeugten Kamerabilder zur Generierung eines Live-Videobildstromes der Fahrzeugumgebung und

Anzeigen des generierten Live-Videobildstromes auf einer An ¬ zeigeeinheit des Fahrzeuges,

wobei Cloud-Informationsdaten hinsichtlich eines ausgewählten Objektes innerhalb des Live-Videobildstromes als Overlay in dem Live-Videobildstrom angezeigt werden.

Mögliche Ausführungsformen des erfindungsgemäßen Verfahrens sind in den Verfahrensunteransprüchen angegeben.

Die Erfindung schafft ferner gemäß einem weiteren Aspekt ein Fahrzeug mit einem Fahrerassistenzsystem, welches ein Kamera- Surround-View-System gemäß dem ersten Aspekt der Erfindung enthält . Im Weiteren werden mögliche Ausführungsformen des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung zur Bereitstellung von Informationsdaten zu einem in einem Videobildstrom enthaltenen Objekt einer Fahrzeugumgebung eines Fahrzeuges unter Bezugnahme auf die beigefügten Figuren näher erläutert .

Es zeigen:

Figur 1 ein Blockschaltbild zur Darstellung eines Ausführungsbeispiels des erfindungsgemäßen Kamera- Surround-View-Systems gemäß einem ersten Aspekt der Erfindung;

Figur 2 ein Ablaufdiagramm zur Darstellung eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens zum Bereitstellen von Informationsdaten zu einem in einem Videobildstrom enthaltenen Objekt einer Fahrzeugumgebung;

Figur 3 eine schematische Darstellung eines Anwendungsfalls zur Erläuterung der Funktionsweise des erfindungs ¬ gemäßen Verfahrens und des erfindungsgemäßen Kamera-Surround-View-Systems ;

Figur 4 eine beispielhafte Anzeige auf einer Anzeigeeinheit bei dem in Figur 3 dargestellten Anwendungsfall zur Erläuterung der Funktionsweise des erfindungsgemä ¬ ßen Verfahrens und der erfindungsgemäßen Vorrichtung zur Bereitstellung von Informationsdaten.

Wie man aus Figur 1 erkennen kann, verfügt bei dem dargestellten Anwendungsbeispiel ein Fahrzeug 1, insbesondere ein Straßenfahrzeug, beispielsweise ein Lkw oder Pkw, über ein Kamera-Surround-View-System 2. Das Kamera-Surround-View- System 2 enthält mindestens eine Fahrzeugkamera 3, die Kame ¬ rabilder der Fahrzeugumgebung liefert, welche durch eine Datenverarbeitungseinheit 4 des Kamera-Surround-View-Systems 2 zur Erzeugung eines Live-Videobildstromes verarbeitet werden, der auf einer Anzeigeeinheit 5 angezeigt wird. Der Live- Videobildstrom wird beispielsweise auf einem Display inner ¬ halb des Passagierraumes dem Fahrer oder einem Passagier des Fahrzeuges 1 angezeigt. Die Datenverarbeitungseinheit 4 des Kamera-Surround-View-Systems 2 enthält bei einer möglichen Ausführungsform einen oder mehrere Mikroprozessoren zur Verarbeitung der erhaltenen Kamerabilder zu einem Live- Videobildstrom der Fahrzeugumgebung. Die Anzahl der Fahrzeugkameras 3 kann je nach Typ und Größe des Fahrzeuges 1 variie ¬ ren. Beispielsweise kann ein größeres Fahrzeug 1, beispiels ¬ weise ein Lkw oder ein Kreuzfahrtschiff, eine Vielzahl von Fahrzeugkameras 3 besitzen, die durch die Datenverarbeitungs ¬ einheit 4 zu einem komplexen Live-Videobildstrom verarbeitet werden .

Die Datenverarbeitungseinheit 4 ist über Datenleitungen bzw. einem Datenbus mit einem Gateway 6 des Fahrzeuges verbunden. Bei dem Datenbus handelt es sich beispielsweise um einen Ethernet-Datenbus . Das Gateway 6 ist bei dem dargestellten Ausführungsbeispiel über einen weiteren Fahrzeugbus, bei ¬ spielsweise einem CAN-Bus, mit einer GPS-Einheit 7 des Fahr ¬ zeuges verbunden, welche GPS-Koordinaten zu der aktuellen Position des Fahrzeuges 1 liefert. Die GPS-Einheit 7 kann Teil des Navigationssystems des Fahrzeuges 1 sein. Das Gateway 6 ist über eine drahtlose Schnittstelle, beispielsweise eine Mobilfunkschnittstelle, mit einem Datennetzwerk 8 verbunden. Bei der Mobilfunkschnittstelle kann es sich beispielsweise um eine UMTS-Schnittstelle handeln. Das Datennetzwerk 8 verfügt über eine oder mehrere Datenbanken 9, in der Cloud- Informationsdaten gespeichert sind. Das in Figur 1 darge ¬ stellte System kann über weitere Komponenten verfügen, beispielsweise über Datenspeicher bzw. Datenzwischenspeicher zum Speichern von temporär heruntergeladenen Cloud- Informationsdaten . Das in Figur 1 dargestellte Kamera- Surround-View-System 2 erhält lokale Cloud-Informationsdaten hinsichtlich eines in dem Live-Videobildstrom dargestellten Objektes zu dem Datennetzwerk 8 über die drahtlose Schnitt ¬ stelle und das Gateway 6 und zeigt die erhaltenen lokalen Cloud-Informationsdaten als Overlay in dem auf der Anzeigeeinheit 5 angezeigten Live-Videobildstrom an. Dabei werden die lokalen Cloud-Informationsdaten von der Datenbank 9 des Datennetzwerkes 8 vorzugsweise in Abhängigkeit von einer ak ¬ tuellen Position, der Fahrtrichtung und/oder der Fahrgeschwindigkeit des Fahrzeuges 1 und dem ausgewählten Objekt heruntergeladen. Die Informationen hinsichtlich der Fahrtrichtung und der Fahrgeschwindigkeit des Fahrzeuges 1 werden vorzugsweise durch weitere, nicht in Figur 1 dargestellte Sensoreinheiten des Fahrzeuges 1 geliefert.

Bei einer möglichen Ausführungsform des erfindungsgemäßen Ka- mera-Surround-View-Systems 2 wird das ausgewählte interessie ¬ rende Objekt, beispielsweise ein Gebäude am Rand der Straße, von einem Fahrer des Fahrzeuges 1 oder einem in dem Fahrzeug befindlichen Passagier mittels eines Nutzerinterfaces selek ¬ tiert. Bei einer möglichen bevorzugten Ausführungsform bildet das Nutzerinterface die Anzeigeeinheit 5 als Touchscreen. Bei dieser Ausführungsform wird das interessierende Objekt von dem Fahrer oder Passagier ausgewählt, indem der Fahrer oder Passagier das auf der Anzeigeeinheit 5 angezeigte Objekt be ¬ rührt . Bei einer möglichen Ausführungsform des erfindungsgemäßen Ka- mera-Surround-View-Systems 2 berechnet die Datenverarbei ¬ tungseinheit 4 des Surround-View-Systems 2 einen Pointer von Kamerakoordinaten des ausgewählten Objektes, welches innerhalb des Live-Videobildstromes auf der Anzeigeeinheit 5 ange ¬ zeigt wird, zu GPS-Koordinaten und generiert anschließend ei ¬ ne Anforderung bzw. einen Request, welcher über die drahtlose Verbindung ausgesendet wird, um die zu dem ausgewählten Objekt zugehörigen Cloud-Informationsdaten von der Datenbank 9 des Datennetzwerkes 8 zu erhalten. Bei einer möglichen Aus ¬ führungsform erhält die Datenverarbeitungseinheit 4 des Sur ¬ round-View-Systems 2 über die drahtlose Verbindung als Reak ¬ tion auf die Anfrage eine Liste von GPS-Koordinaten sowie zu ¬ gehörige lokale Cloud-Informationsdaten von der Datenbank 9 des Datennetzwerkes 8 und berechnet anschließend einen

Pointer von den GPS-Koordinaten zu den Kamerakoordinaten, an deren Stelle die lokalen heruntergeladenen Cloud- Informationsdaten in den angezeigten Live-Videobildstrom durch die Datenverarbeitungseinheit 4 platziert werden.

Verschiedene Varianten des erfindungsgemäßen Kamera-Surround- View-Systems 2 sind möglich. Bei der in Figur 1 dargestellten Ausführungsform erfolgt das Einfügen der lokalen Cloud- Informationsdaten in den Live-Videobildstrom durch die Datenverarbeitungseinheit 4 des Kamera-Surround-View-Systems 2. Bei einer alternativen Ausführungsform erfolgt das Einfügen der Cloud-Informationsdaten in den Videobildstrom durch eine weitere separate Datenverarbeitungseinheit des Surround-View- Systems 2. Bei einer weiteren Ausführungsform kann die Datenverarbeitung auch remote durch eine Berechnungseinheit bzw. einen Server des Datennetzwerkes 8 erfolgen, wobei dieser ei ¬ nen Live-Videobildstrom erzeugt, in dem bereits Cloud- Informationsdaten zu ausgewählten Objekten eingefügt sind und dieser aufbereitete Videobildstrom über eine drahtlose

Schnittstelle zu einer Empfangseinheit des Kamera-Surround- View-Systems 2 zurückgesendet wird.

Bei möglichen Anwendungsfällen erfolgt das Einfügen der

Cloud-Informationsdaten in den Live-Videobildstrom vorzugsweise in Echtzeit mit möglichst geringer Zeitverzögerung. Bei diesen Anwendungsfällen erfolgt die Datenverarbeitung vorzugsweise durch die Datenverarbeitungseinheit 4 innerhalb des Kamera-Surround-View-Systems 2. Bei anderen Anwendungsfällen können die lokalen Cloud-Informationsdaten auch mit einer leichten Zeitverzögerung in den Live-Videobildstrom eingefügt werden, so dass in diesen Anwendungsfällen auch die Datenaufbereitung durch eine Datenverarbeitungseinheit außerhalb des Fahrzeuges 1 möglich ist.

Figur 2 zeigt ein Ablaufdiagramm zur Darstellung eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens zum Be ¬ reitstellen von Informationsdaten, insbesondere Cloud- Informationsdaten, zu einem in einem Videobildstrom enthaltenen Objekt einer Fahrzeugumgebung eines Fahrzeuges.

In einem ersten Schritt Sl werden zunächst Kamerabilder von mindestens einer Fahrzeugkamera des Fahrzeuges 1 erzeugt, welche eine Fahrzeugumgebung des Fahrzeuges darstellen. Bei einer möglichen Ausführungsform verfügt das Fahrzeug über eine Vielzahl von Fahrzeugkameras, welche die gesamte Fahrzeug ¬ umgebung, d.h. 360°, um das Fahrzeug herum darstellen.

In einem weiteren Schritt S2 werden die erzeugten Kamerabilder zur Generierung eines Life-Videobildstromes der Fahrzeug ¬ umgebung verarbeitet. Diese Datenverarbeitung kann beispiels- weise durch die in Figur 1 dargestellte Datenverarbeitungs ¬ einheit 4 eines Kamera-Surround-View-Systems 2 durchgeführt werden .

In einem weiteren Schritt S3 wird der generierte Live- Videobildstrom auf einer Anzeigeeinheit 5 des Fahrzeuges 1 angezeigt, wobei Cloud-Informationsdaten hinsichtlich eines ausgewählten Objektes innerhalb des Live-Videobildstromes als Overlay in dem Live-Videobildstrom angezeigt werden. Das ausgewählte interessierende Objekt wird von einem Fahrer des Fahrzeuges 1 oder einem in dem Fahrzeug 1 befindlichen Passa ¬ gier mittels eines Nutzerinterfaces selektiert. Vorzugsweise wird das interessierende Objekt von dem Fahrer oder Passagier ausgewählt, indem der Fahrer oder Passagier das auf der Anzeigeeinheit 5 des Kamera-Surround-View-Systems 2 angezeigte Objekt, beispielsweise ein dargestelltes Gebäude, berührt. Die im Schritt S3 angezeigten Cloud-Informationsdaten werden vorzugsweise von einer Datenbank eines Datennetzwerkes herun ¬ tergeladen, wobei lokale Cloud-Informationsdaten, welche zu dem selektierten Objekt gehören, von dem Datennetzwerk in Abhängigkeit von einer aktuellen Position, Fahrtrichtung und/oder Fahrgeschwindigkeit des Fahrzeuges 1 in Abhängigkeit von dem ausgewählten Objekt aus einer Datenbank heruntergeladen werden. Die aktuelle Position, Fahrtrichtung und/oder Fahrgeschwindigkeit werden durch eine GPS-Einheit oder weite ¬ re Sensoreinheiten des Fahrzeuges 1 der jeweiligen Datenverarbeitungseinheit zur Verfügung gestellt. Bei einer mögli ¬ chen Ausführungsform wird ein Pointer von Kamerakoordinaten des ausgewählten Objektes, welches sich innerhalb des Live- Videobildstromes befindet, zu GPS-Koordinaten berechnet. An ¬ schließend wird eine Anforderung über eine drahtlose Verbin ¬ dung ausgesendet, um die zu dem ausgewählten Objekt zugehörigen Cloud-Informationsdaten von der Datenbank des Datennetz- werkes erhalten. Bei einer möglichen Ausführungsform wird über die drahtlose Verbindung eine Liste von GPS-Koordinaten und zugehörigen lokalen Cloud-Informationsdaten von der Datenbank des Datennetzwerkes empfangen und anschließend ein Pointer von den GPS-Koordinaten zu den Kamerakoordinaten, an deren Stelle die lokalen Cloud-Informationsdaten in den angezeigten Live-Videobildstrom platziert werden, durch die Datenverarbeitungseinheit berechnet .

Figur 3 zeigt ein Diagramm zur Erläuterung der Funktionsweise des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung zum Bereitstellen von Informationsdaten zu einem in einem Videobildstrom enthaltenen Objekt in einer Fahrzeugumgebung eines Fahrzeuges. Bei dem in Figur 3 dargestellten Beispiel bewegt sich ein Fahrzeug 1 auf einer Straße S inner ¬ halb eines Stadtgebietes, wobei sich am Rand der Straße ver ¬ schiedene Gebäude Gl bis G5 befinden. Bei den Gebäuden kann es sich beispielsweise um Bürogebäude, Privathäuser, öffent ¬ liche Gebäude oder historische Gebäude handeln. Neben den in Figur 3 dargestellten Gebäuden können auch weitere statische Objekte am Rand der Straße S stehen, wie beispielsweise Sta ¬ tuen, Monumente oder Bäume. Weitere Beispiele für statische Objekte sind Brücken oder Sportstadien und dergleichen. Fährt beispielsweise das Fahrzeug 1 an einem Gebäude mit einem Res ¬ taurant vorbei, welches dem Fahrer gefällt, kann er in dem angezeigten Live-Videobildstrom auf das angezeigte Objekt tippen bzw. den Bildschirm an dieser Stelle berühren und erhält unmittelbar Cloud-Informationsdaten zu diesem ausgewählten Objekt, d.h. zu dem ausgewählten Restaurant. Diese Informationsdaten, insbesondere Cloud-Informationsdaten, werden vorzugsweise auf dem Bildschirm in unmittelbarer Nähe zu dem ausgewählten Objekt bzw. als Overlay über dem angezeigten Objekt angezeigt. Figur 4 zeigt schematisch eine mögliche Anzeige auf einer An ¬ zeigeeinheit 5 des Kamera-Surround-View-Systems 2. In dem einfachen Beispiel befinden sich zwei Objekte G2, G3 auf der linken Straßenseite der Straße S, wobei sich der Fahrer des Fahrzeuges 1 für das Objekt G3 interessiert. In diesem Gebäu ¬ de G3 befindet sich beispielsweise ein italienisches Restau ¬ rant, in dem der Fahrer des Fahrzeuges möglicherweise abends einen Tisch reservieren möchte. Sobald der Fahrer an einem Baum B vorbeifährt, tippt er auf das Gebäude G3 und wählt dieses als Objekt aus. Anschließend werden aus der Fahrge ¬ schwindigkeit, der Fahrzeugposition und der Fahrtrichtung des Fahrzeuges 1 lokale Cloud-Informationsdaten zu dem Gebäude G3 aus einer Datenbank 9 eines Datennetzwerkes 8 selektiert und über eine drahtlose Schnittstelle an die Datenverarbeitungs ¬ einheit 4 des Kamera-Surround-View-Systems 2 übertragen. Die empfangenen Cloud-Informationsdaten werden an der passenden Stelle in den Live-Videobildstrom eingefügt. Der Fahrer erhält nützliche Informationsdaten, beispielsweise den Namen des italienischen Restaurants „Bella Italia" und weitere In ¬ formationen, wie beispielsweise die gewünschte Telefonnummer zur Platzreservierung „089/123456". Bei einer weiteren möglichen Ausführungsform kann der Fahrer anschließend auf ein angezeigtes Link, beispielsweise die Telefonnummer, drücken und es wird daraufhin automatisch eine Telefonverbindung zu dem angezeigten Restaurant hergestellt, sodass der Fahrer während der Fahrt in dem Fahrzeug 1 in bequemer Weise eine Reservie ¬ rung bei dem Restaurant telefonisch vornehmen kann. Darüber hinaus ist es möglich, dass der Fahrer durch Betätigen von angezeigten Schaltflächen weitere spezielle Informationen hinsichtlich des interessierenden Objektes erhält. Beispiels ¬ weise kann der Fahrer bei den dargestellten Cloud- Informationsdaten auf ein Restaurant mit Menüsymbol drücken und erhält eine Menükarte des Restaurants angezeigt. Bei ei ¬ ner weiteren möglichen Ausführungsform kann durch Betätigen einer Schaltfläche die angezeigte Menükarte auch dem Fahrer während der Fahrt vorgelesen werden, sodass er während der Fahrt nicht abgelenkt wird. Darüber hinaus kann der Fahrer durch Betätigen einer weiteren Schaltfläche Fotos vom Inneren des Restaurants erhalten, d.h. eine angezeigte Bildergalerie.

Weitere Ausführungsvarianten sind möglich. Beispielsweise wird der Fahrer bei einer möglichen Ausführungsform durch das System auf interessante Objekte am Rand der Straße S aufmerk ¬ sam gemacht, beispielsweise durch einen akustischen Hinweis. Beispielsweise kann der Fahrer des Fahrzeuges 1 an einer ge ¬ wissen Stelle entlang der Fahrtroute, beispielsweise 100 m, bevor er an dem Gebäude G3 vorbeifährt, akustisch darauf auf ¬ merksam gemacht werden, dass er in 100 m an einem italienischen Restaurant vorbeifahren wird. Der Fahrer kann beispielsweise durch Berühren des Bildschirms bzw. der Anzeige ¬ einheit 5 das angekündigte Objekt auswählen. Bei einer weite ¬ ren möglichen Ausführungsvariante kann der Fahrer die akusti ¬ sche Anfrage mit einem Befehlswort bestätigen, sodass Cloud- Informationsdaten zu dem interessierenden Objekt automatisch heruntergeladen werden, ohne dass der Fahrer die Anzeigeeinheit 5 berühren muss. Bei dieser Ausführungsvariante ist nicht notwendig, dass das interessierende Objekt, beispiels ¬ weise das Restaurant, zum Zeitpunkt der Selektion bereits dem Fahrer auf der Anzeigeeinheit 5 angezeigt wird. Mit dem er ¬ findungsgemäßen System wird das interessierende Objekt, bei ¬ spielsweise das in Figur 4 dargestellte Restaurant, von einem Fahrer des Fahrzeuges 1 oder einem in dem Fahrzeug befindli ¬ chen Passagier mittels eines Nutzerinterfaces selektiert. Bei einer möglichen Ausführungsform weist dieses Nutzerinterface ein Mikrofon auf, in welches der Fahrer akustische Befehle zum Auswählen des Objektes eingibt. Alternativ kann als Nut ¬ zerinterface die Anzeigeeinheit 5 als Touchscreen dienen. Be ¬ nutzt das Nutzerinterface die Anzeigeeinheit 5 als Touch ¬ screen, erfolgt die Auswahl des Objektes aus den in dem Live- Videobildstrom aktuell angezeigten Objekten. Weiterhin ist es möglich, dass auch Objekte ausgewählt werden, die aktuell noch nicht angezeigt werden, jedoch zukünftig nach Fahren einer kurzen Strecke angezeigt werden. Diese Ausführungsform bietet den Vorteil, dass die zu den ausgewählten Objekten zu ¬ gehörigen lokalen Cloud-Informationsdaten von einer entfernten Datenbank heruntergeladen werden können und zum Zeitpunkt des Passierens des interessierenden Objektes bereits zur Ver ¬ fügung stehen.

Bei einer möglichen weiteren Ausführungsvariante des erfindungsgemäßen Systems kann der Fahrer verschiedene Typen von Objekten auswählen bzw. filtern. Beispielsweise kann der Fahrer Restaurants, Tankstellen oder Reparaturwerkstätten als Objekttyp auswählen. In diesem Falle wird der Fahrer bei einer möglichen Ausführungsform lediglich auf Objekte aufmerksam gemacht, welche dem ausgewählten Objekttyp entsprechen. Fährt beispielsweise ein Fahrer durch eine ihm unbekannte Stadt und sucht er ein für ihn passendes Restaurant, kann er gezielt nach Objekten des Objekttyps Restaurant suchen. So ¬ bald sich das Fahrzeug dem Objekt dieses Objekttyps nähert oder passiert, kann er dieses Objekt auswählen und die zuge ¬ hörigen Cloud-Informationsdaten lesen, um seine Auswahl zu treffen .

Bei einer weiteren möglichen Ausführungsvariante verfügt das erfindungsgemäße System über einen Editor, bei dem der Fahrer Cloud-Informationsdaten zu einem interessierenden Objekt erzeugen kann, wobei die erzeugten Cloud-Informationsdaten durch den Fahrer von einer Datenbank 9 des Datennetzwerkes 8 hochgeladen werden. Beispielsweise kann ein Fahrer nach dem Essen in dem ausgewählten Restaurant seine Bewertung des Restaurants abgeben, die als zusätzliche Cloud-Informationsdaten in der Datenbank 9 des Datennetzwerkes 8 abgelegt werden kön ¬ nen .

Das erfindungsgemäße System ist vielfältig einsetzbar. Bei ¬ spielsweise kann das Fahrzeug 1 über eine Vielzahl von Anzei ¬ geeinheiten 5 verfügen, die für verschiedene Passagiere des Fahrzeuges 1 vorgesehen sind. Beispielsweise kann ein Touris ¬ tenbus innerhalb einer Stadtrundfahrt mit einer Vielzahl von Anzeigeeinheiten 5 ausgestattet sein, die den Fahrzeugpassa ¬ gieren, d.h. den Touristen, einen Live-Videobildstrom der Fahrzeugumgebung zeigen. Interessiert sich beispielsweise ein Tourist während der Stadtrundfahrt für ein besonderes Gebäu ¬ de, das er durch das Fenster das Fahrbusses sieht, kann er gleichzeitig das auf der Anzeigeeinheit 5 ebenfalls darge ¬ stellte Gebäude durch Berühren des Bildschirms auswählen und erhält zugehörige Cloud-Informationsdaten zu diesem Gebäude. Auf diese Weise können eine Vielzahl von Touristen gleichzei ¬ tig über unterschiedliche sie individuell interessierende Ob ¬ jekte Informationen erhalten. Bei einer weiteren möglichen Ausführungsvariante handelt es sich bei der Anzeigeeinheit 5 um ein Headup-Display . Bei dieser Ausführungsvariante kann der Fahrer oder ein Passagier des Fahrzeuges ein durch eine Fensterscheibe des Fahrzeuges sichtbares Objekt auswählen, indem er das sichtbare Objekt auf der Fensterscheibe des Fahrzeuges berührt. Bei dieser Ausführungsvariante dient so ¬ mit das Headup-Display bzw. die Fensterscheibe das Nutzerin ¬ terface zum Auswählen des Objektes. Bei dem in Figur 1 darge ¬ stellten Datennetzwerk 8 handelt es sich vorzugsweise um einen Datennetzwerkverbund, insbesondere das Internet. Bei ei- ner möglichen Ausführungsform kommuniziert das Gateway 6 des Fahrzeuges 1 über eine drahtlose Schnittstelle, insbesondere eine Mobilfunkschnittstelle, mit einem Zugangspunkt eines Zu ¬ gangsnetzwerkes, welches seinerseits mit dem Internet verbun ¬ den ist. Bei einer weiteren möglichen Ausführungsvariante erhält das System Positionsdaten von weiteren Signalquellen, beispielsweise via Satellit oder mittels Odometrie. Bei einer möglichen Ausführungsform wird auf der Anzeigeeinheit 5 ein dreidimensionales Anzeigenbild der Fahrzeugumgebung ange ¬ zeigt. Bei dieser Ausführungsform werden auch die Objekte dreidimensional angezeigt und können durch den Fahrer durch Berühren des Bildschirms ausgewählt werden.

Bei einer weiteren möglichen Ausführungsvariante werden die geladenen lokalen Cloud-Informationsdaten zu den ausgewählten Objekten auf einem lokalen Datenspeicher des Systems gespeichert, sodass sie beim nächsten Auswählen des Objektes be ¬ reits lokal in dem lokalen Datenspeicher des Fahrzeuges zur Verfügung stehen. Hierdurch werden die Zugriffszeiten auf die Cloud-Informationsdaten bereits ausgewählter Objekte minimiert .

Auf Basis der gelieferten aus der Cloud stammenden GPS-Daten, der Position des Fahrzeuges und dem Blickwinkel der virtuel ¬ len Kamera wird vorzugsweise durch die Datenverarbeitungseinheit 4 der Darstellungsort der Overlay-Daten auf dem Display bzw. der Anzeigeeinheit 5 berechnet. Die Berechnung erfolgt dabei vorzugsweise in Echtzeit.