Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND DEVICE FOR OPERATING A VIDEO MONITORING SYSTEM FOR A MOTOR VEHICLE
Document Type and Number:
WIPO Patent Application WO/2019/158361
Kind Code:
A1
Abstract:
The invention relates to a method for operating a video monitoring system (100) for a motor vehicle (101), in which the video monitoring system (100) comprises a camera (102, 103) and a monitor (104) for displaying images of the camera (102, 103): - providing an image of the camera (102), - receiving environment data which contains a display-relevant information, - transforming the image to a second image as a function of the environment data, - displaying the second image on the monitor (104).

Inventors:
SCHMALRIEDE TOBIAS (DE)
ENDRESS WOLFGANG (DE)
SMITS THOMAS (DE)
GARSCHKE THOMAS (DE)
Application Number:
PCT/EP2019/052188
Publication Date:
August 22, 2019
Filing Date:
January 30, 2019
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
CONTINENTAL AUTOMOTIVE GMBH (DE)
International Classes:
H04N7/18; B60R1/00; G06T1/00
Foreign References:
US20170088053A12017-03-30
US20170050569A12017-02-23
US20050190260A12005-09-01
US20120050024A12012-03-01
US20160152185A12016-06-02
EP2947874A12015-11-25
Other References:
None
Download PDF:
Claims:
Patentansprüche

1. Verfahren zum Betreiben eines Kamera-Monitor-Systems (100) für ein Kraftfahrzeug (101), bei dem das Kamera-Monitor-System (100) eine Kamera (102, 103) und einen Monitor (104) aufweist zum Darstellen von Bildern der Kamera (102, 103), umfassend:

- Bereitstellen eines Bildes der Kamera (102),

- Empfangen von Umgebungsdaten, die eine darstellungsrelevante Information enthalten,

- Transformieren des Bildes zu einem zweiten Bild in Abhängigkeit von den Umgebungsdaten,

- Darstellen des zweiten Bildes auf dem Monitor (104) .

2. Verfahren nach Anspruch 1, bei dem die Umgebungsdaten fahrzeuginterne Daten aufweisen.

3. Verfahren nach Anspruch 1 oder 2, bei dem die Umgebungsdaten fahrzeugexterne Daten aufweisen.

4. Verfahren nach einem der Ansprüche 1 bis 3, bei dem die Umgebungsdaten mindestens eines umfassen aus:

- eine Information über die Tageszeit,

- eine Information über die Lage des Kraftfahrzeugs (101),

- eine Information über das Wetter,

- eine Information über einen Zustand Beleuchtungssystem (109) des Kraftfahrzeugs (101),

- eine Information über einen Zustand des Kraftfahrzeugs (101), und

- eine Information über ein darzustellendes Objekt (120) .

5. Verfahren nach einem der Ansprüche 1 bis 4, umfassend:

- Empfangen der Umgebungsdaten von einem kraftfahrzeugeigenen Informationssystem (106).

6. Verfahren nach einem der Ansprüche 1 bis 5, umfassend:

- Empfangen der Umgebungsdaten von einem kraftfahrzeugexternen Informationssystem (107).

7. Verfahren nach einem der Ansprüche 1 bis 6, umfassend:

- Empfangen der Umgebungsdaten mittels einer Drahtlosverbindung (108) .

8. Verfahren nach einem der Ansprüche 1 bis 7, umfassend:

- Bereitstellen des Bildes mittels einer HDR Kamera (102) .

9. Verfahren nach einem der Ansprüche 1 bis 8, bei dem das Bereitstellen des Bildes umfasst:

- Anwenden von vorgegebenen Voreinstellungen für das Bild vor dem Transformieren des Bildes.

10. Vorrichtung für ein Kraftfahrzeug, die ausgebildet ist, ein Verfahren nach einem der Ansprüche 1 bis 9 auszuführen.

Description:
Beschreibung

Verfahren und Vorrichtung zum Betreiben eines Kamera- Monitor-Systems für ein Kraftfahrzeug

Die Erfindung betrifft ein Verfahren zum Betreiben eines Ka- mera-Monitor-Systems für ein Kraftfahrzeug. Die Erfindung betrifft weiterhin eine Vorrichtung, die dazu ausgebildet ist, das Verfahren durchzuführen.

Kraftfahrzeuge können eine Kamera aufweisen und einen Monitor, der Bilder der Kamera für einen Nutzer des Kraftfahrzeugs darstellt. Beispielsweise sind Spiegelersatzsysteme bekannt, bei denen mittels der Kamera und des Monitors die Sichtbereiche von herkömmlichen Außenspiegeln abgebildet werden.

Es ist wünschenswert, ein Verfahren zum Betreiben eines Ka- mera-Monitor-Systems für ein Kraftfahrzeug anzugeben, das eine zuverlässige Darstellung eines Bildes der Kamera ermöglicht. Es ist weiterhin wünschenswert, eine Vorrichtung zum Betreiben eines Kamera-Monitor-Systems anzugeben, die ein zuverlässiges Darstellen des Bildes der Kamera auf dem Monitor ermöglicht.

Die Erfindung zeichnet sich aus durch ein Verfahren zum Betreiben eines Kamera-Monitor-Systems für ein Kraftfahrzeug sowie durch eine korrespondierende Vorrichtung, die dazu ausgebildet ist, das Verfahren auszuführen.

Gemäß zumindest einer Ausführungsform weist das Kame- ra-Monitor-System eine Kamera auf. Die Kamera ist insbesondere eingerichtet, ein Bild eines Ausschnitts einer Umgebung des Kraftfahrzeugs aufzunehmen. Das Kamera-Monitor-System weist einen Monitor auf zum Darstellen von Bildern der Kamera.

Ein Bild der Kamera wird bereitgestellt. Umgebungsdaten werden empfangen. Die Umgebungsdaten enthalten mindestens eine dar stellungsrelevante Information. Das Bild wird zu einem zweiten Bild transformiert in Abhängigkeit von den Umgebungsdaten. Das zweite Bild wird auf dem Monitor dargestellt.

Auf dem Monitor wird nicht das ursprüngliche Bild der Kamera dargestellt, wie es von der Kamera bereitgestellt wird. Vor dem Darstellen auf dem Monitor wird das Bild der Kamera zu dem zweiten Bild transformiert. Das Bild wird in Abhängigkeit von den Umgebungsdaten umgewandelt, bevor es als zweites Bild auf dem Monitor dargestellt wird. Somit ist es möglich, Einflüsse aus der Umgebung beim Darstellen der Umgebung auf dem Monitor zu be rücksichtigen. Somit können Fehler in der Darstellung auf dem Monitor ausgeglichen werden, die herkömmlich aufgrund von Umgebungseinflüssen auftreten können. Beispielsweise ist es möglich, eine Überbelichtung und/oder eine Unterbelichtung auszugleichen, abhängig von den Umgebungsdaten, die bei spielsweise eine Information über Lichtquellen in der Umgebung des Kraftfahrzeugs enthalten.

Gemäß zumindest einer Ausführungsform weisen die Umgebungsdaten fahrzeuginterne Daten auf. Alternativ oder zusätzlich weisen die Umgebungsdaten fahrzeugexterne Daten auf.

Fahrzeuginterne Daten sind beispielsweise eine Lage des

Kraftfahrzeugs, ein Zustand eines Beleuchtungssystems des Kraftfahrzeugs, ein Zustand des Kraftfahrzeugs wie eine Ge schwindigkeit und/oder andere Informationen, die von dem Kraftfahrzeug selbst zur Verfügung gestellt werden und/oder Elemente des Kraftfahrzeugs betreffen.

Fahrzeugexterne Daten sind beispielsweise die Tageszeit, In formationen über das Wetter und/oder Informationen über ein darzustellendes Objekt und/oder weitere Informationen, die von außerhalb des Kraftfahrzeugs zur Verfügung gestellt werden und/oder Elemente außerhalb des Kraftfahrzeugs betreffen.

Gemäß zumindest einer Ausführungsform werden die Umgebungsdaten von einem kraftfahrzeugeigenen Informationssystem empfangen. Ein fahrzeugeigenes Steuergerät oder mehrere fahrzeugeigene Steuergeräte stellen die Umgebungsdaten zur Verfügung, bei spielsweise ob Scheinwerfer und/oder Fahrtrichtungsanzeiger des Kraftfahrzeugs aktiv sind oder nicht.

Gemäß zumindest einer Ausführungsform werden die Umgebungsdaten von einem kraftfahrzeugexternen Informationssystem empfangen. Beispielsweise werden die Umgebungsdaten von einem weiteren Kraftfahrzeug empfangen, das sich in der Umgebung des Kraft fahrzeugs aufhält. Beispielsweise werden die Umgebungsdaten von Informationsanbietern bereitgestellt, wie von Wetterdiensten und/oder Kartenanbietern.

Gemäß zumindest einer Ausführungsform werden die Umgebungsdaten mittels der Drahtlosverbindung empfangen. Beispielsweise werden die Umgebungsdaten mittels einer Drahtlosverbindung von dem kraftfahrzeugexternen Informationssystem empfangen. Bei spielsweise werden die Umgebungsdaten mittels der Drahtlos verbindung direkt von einem darzustellenden Objekt empfangen. Alternativ oder zusätzlich werden die Umgebungsdaten mittels der Drahtlosverbindung von einem Informationsanbieter empfangen.

Gemäß zumindest einer Ausführungsform wird das Bild mittels einer HDR-Kamera (High Dynamic Range Kamera; Kamera mit hohem Dy namikumfang) bereitgestellt. Somit ist ein hoher Dynamikumfang der Umgebung abbildbar. Aufgrund der Umwandlung des Bildes der HDR-Kamera in Abhängigkeit von den Umgebungsdaten ist ein zuverlässiges Darstellen des zweiten Bildes auf dem Monitor möglich, auch wenn der Monitor einen geringeren Dynamikumfang aufweist .

Gemäß zumindest einer Ausführungsform umfasst das Bereitstellen des Bildes ein Anwenden von vorgegebenen Voreinstellungen für das Bild vor dem Transformieren des Bildes. Beispielsweise werden historische darstellungsrelevante Informationen verwendet, um das Bild der Kamera an bekannte Umgebungseinflüsse anzupassen. Dies ermöglicht eine effiziente Durchführung des Verfahrens. Gemäß zumindest einer Ausführungsform weist das Kame- ra-Monitor-System eine vom Kraftfahrzeug unabhängige Strom versorgung auf. Beispielsweise weisen das Kamera-Monitor-System und die Vorrichtung eine gemeinsame vom Stromversorgungssystem des Kraftfahrzeugs unabhängige eigene Stromversorgung auf.

Weitere Vorteile, Merkmale und Weiterbildungen ergeben sich aus den nachfolgenden, in Verbindung mit den Figuren erläuterten Beispielen .

Es zeigen:

Figur 1 eine schematische Darstellung eines Kraftfahrzeugs mit einem Kamera-Monitor-System gemäß einem Ausführungsbeispiel, und

Figur 2 einen Verfahrensablauf gemäß einem Ausführungsbeispiel.

Figur 1 zeigt eine schematische Darstellung eines Kraftfahrzeugs 101 gemäß einem Ausführungsbeispiel mit einem Kame

ra-Monitor-System 100.

Das Kamera-Monitor-System 100 ist beispielsweise ein Spie- gelersatzsystem. Alternativ oder zusätzlich dient das Kame ra-Monitor-System 100 beispielsweise zum Darstellen einer Umgebung, die mit herkömmlichen Außenspiegeln und/oder Rück spiegeln des Kraftfahrzeugs 101 nicht darstellbar ist.

Das Kamera-Monitor-System 100 weist eine Kamera 102 auf. Es können auch mehrere Kameras 102 an unterschiedlichen Seiten des Kraftfahrzeugs 101 vorgesehen sein. Die Kameras 102 dienen jeweils dazu, einen Teil einer Umgebung 105 aufzunehmen.

Das Kamera-Monitor-System 100 weist einen Monitor 104 auf. Es können auch mehrere Monitore 104 vorgesehen sein. Im Betrieb wird ein Bild der Kamera 102 auf dem Monitor 104 dargestellt. Auch die Bilder mehrerer Kameras 102 können auf dem Monitor 104 dar gestellt werden.

Eine Kamera 103 ist optional vorgesehen. Die Kamera 103 dient beispielsweise nicht dazu, Bilddaten zum Darstellen auf dem Monitor 104 zur Verfügung zu stellen. Beispielsweise dienen die Bilder der Kamera 103 als Eingangssignal für ein Fahrzeugas sistenzsystem, beispielsweise zur Fahrspurerkennung oder zur Abstandsmessung .

Die Kamera 102 ist insbesondere eine sogenannte HDR-Kamera (High Dynamic Range Kamera) . Somit ist die Kamera 102 ausgebildet, die Umgebung 105 mit einem hohen Dynamikumfang aufzuzeichnen.

Eine Vorrichtung 110 ist vorgesehen, die mit der Kamera 102 und dem Monitor 104 signaltechnisch gekoppelt ist. Die Vorrichtung 110 ist eingerichtet, sowohl die Kamera 102 als auch den Monitor 104 zu steuern. Beispielsweise ist die Vorrichtung 110 ein Steuergerät oder ein Teil eines Steuergeräts des Kraftfahrzeugs 101. Die Vorrichtung 110 ist insbesondere mit weiteren Systemen signaltechnisch gekoppelt, die Informationen zur Bildbear beitung bereitstellen .

Ein kraftfahrzeugeigenes Informationssystem 106 ist vorgesehen. Das kraftfahrzeugeigene Informationssystem 106 ist signal technisch mit der Vorrichtung 110 gekoppelt. Das kraftfahr zeugeigene Informationssystem stellt Umgebungsdaten zur Ver fügung, die darstellungsrelevante Informationen aufweisen.

Beispielsweise weist das fahrzeugeigene Informationssystem 106 ein Controller Area Network (CAN) auf . Alternativ oder zusätzlich weist das fahrzeugeigene Informationssystem ein Local Inter- connect Network (LIN) auf. Auch weitere Systeme sind möglich, die Informationen über das Fahrzeug bereitstellen . Beispielsweise ein Navigationssystem, eine digitale Karte (eHorizon) , eine Information über Fahrzeugart und Fahrzeugzustand, beispiels weise ob ein Anhänger am Kraftfahrzeug 101 vorhanden ist oder nicht, ein Gyrosensor und/oder Beschleunigungssensor oder weitere Informationsgeber. Auch die Kamera 103 kann Teil des fahrzeugeigenen Informationssystems 106 sein und eine Cha rakteristik und/oder Geometrie der Umgebung vor dem Kraft fahrzeug 101, beispielsweise der Straße, bereitstellen .

Ein kraftfahrzeugexternes Informationssystem 107 dient eben falls zum Bereitstellen von Umgebungsdaten. Beispielsweise werden die Daten des fahrzeugexternen Informationssystems 107 mittels einer Drahtlosverbindung 108 an das Kraftfahrzeug 101 übermittelt. Beispielsweise ist die Drahtlosverbindung 108 eine Funkverbindung, insbesondere WLAN, UMTS, Bluetooth, NFC oder eine andere Drahtlosverbindung. Beispielsweise ist die

Drahtlosverbindung 108 eine C2C-, eine C2X- und/oder eine C2I-Verbindung. Auch eine Verbindung zu einem Internetdaten anbieter ist möglich.

Das kraftfahrzeugexterne Informationssystem 107 stellt ins besondere Daten zur Verfügung, die nicht das Kraftfahrzeug 101 unmittelbar selbst bereitstellen kann, beispielsweise Infor mationen über das Wetter, über ein darzustellendes Objekt 120, oder andere fahrzeugexterne Daten. Beispielsweise weist das kraftfahrzeugexterne Informationssystem 107 eine Drohne auf, die Informationen über eine weiter beabstandete Umgebung 105 be reitstellt. Die Drohne ist insbesondere ein unbemanntes Flugzeug oder Fahrzeug, das eine Sensorik aufweist, um die fahrzeug externen Daten zu ermitteln. Auch Satelliteninformationen, insbesondere von tieffliegenden Satelliten, können über das kraftfahrzeugexterne Informationssystem 107 bereitgestellt werden .

Figur 2 zeigt einen Verfahrensablauf gemäß einem Ausfüh rungsbeispiel .

Im optionalen Schritt 201 werden zunächst historische Daten bereitgestellt, die Einfluss auf die Darstellung eines Bildes der Kamera 102 auf den Monitor 104 haben können. In Schritt 202 wird ein Bild einer Kamera 102 beziehungsweise eine Vielzahl von Bildern der Kamera 102 empfangen.

In Schritt 203 werden die Umgebungsdaten der Informationssysteme 106 und 107 empfangen.

In Schritt 204 wird das Bild aus Schritt 202 in Abhängigkeit der Umgebungsdaten aus Schritt 203 transformiert.

In Schritt 205 wird das transformierte Bild auf dem Monitor 104 dargestellt .

In Schritt 204 wird beispielsweise mittels einer Umset zungstabelle (Look-up-Tabelle) oder anderen Informationen eine notwendige Transformation ermittelt.

Beispielsweise ist das Objekt 120 ein lichtemittierendes Wechselverkehrszeichen, bei dem das Zeichen mittels licht emittierenden Dioden dargestellt wird. Die Umgebungsdaten umfassen beispielsweise Informationen über die Frequenz, mit der die LEDs Licht emittieren. Somit ist es möglich, bei der Darstellung des Bildes der Kamera 102 dieses Flackern des Verkehrszeichens verlässlich auszugleichen, ohne dass das Flackern negative Einflüsse auf die Darstellung anderer Objekte hat .

Beispielsweise umfassen die Umgebungsdaten Informationen über ein Beleuchtungssystem 109 des Kraftfahrzeugs 101. Die Umge bungsdaten umfassen beispielsweise Informationen darüber, welche Leuchten des Beleuchtungssystem 109 aktiv sind. Al ternativ oder zusätzlich werden beispielsweise Informationen über die Art der Leuchten zur Verfügung gestellt, beispielsweise ob LED-Leuchten verwendet werden oder Halogenleuchten und beispielsweise welcher Typ. Somit können in Schritt 204 Einflüsse des Beleuchtungssystems 109 auf die Umgebung ausgeglichen werden. Beispielsweise umfassen die Umgebungsdaten Informa- tionen über den Zustand eines Fahrtrichtungsanzeigers und seine Frequenz. Somit ist der Vorrichtung 110 bekannt, wann das Objekt 120 von dem Fahrtrichtungsanzeiger bestrahlt wird und wann nicht. Entsprechend erfolgt die Transformation des Bildes in Schritt 204.

Beispielsweise umfassen die Umgebungsdaten Informationen über den Zustand der Straße, auf der sich das Kraftfahrzeug 101 befindet. Beispielsweise kann eine Neigung der Straße und/oder optische Eigenschaften, wie beispielsweise Reflexionseigen schaften der Straße, berücksichtigt werden. Wenn das Kraft fahrzeug 101 beispielsweise mit eingeschaltetem Beleuch tungssystem 109 auf einen steilen Anstieg der Straße zufährt, und die Straße aufgrund von Regen reflektierend ist, können Re flexionen des Beleuchtungssystems 109 im Bild der Kamera 102 ausgeglichen werden.

Die optionale Vorbehandlung des Bildes in Schritt 201 ermöglicht beispielsweise eine Optimierung der Belichtung des Bildsensors der Kamera und/oder eine Gammakorrektur und/oder ein Ton wertkorrektur .

Das Verfahren kann beispielsweise dazu eingesetzt werden, um die Intensität eines Frontscheinwerfers auf der Darstellung auf dem Monitor 104 zu reduzieren. Hierzu wird in einem Bereich, in dem der Frontscheinwerfer auf den Grund trifft, das Bild der Kamera 102 lokal transformiert. Der Bereich in dem Bild wird bei spielsweise in Abhängigkeit des Gyrosensors und/oder des Be schleunigungssensors, GPS-Informationen und/oder weiteren Informationen, beispielsweise aus einer digitalen Karte, er mittelt .

Alternativ oder zusätzlich wird eine Information über die Art des Frontscheinwerfers berücksichtigt, beispielsweise ob ein LED-Scheinwerfer und/oder ein Halogenscheinwerfer oder ein anderer Scheinwerfer eingesetzt ist. Aufgrund der Umgebungsdaten ist es somit möglich, die Einflüsse des Frontscheinwerfers auf die Umgebung 105 und insbesondere das Bild der Kamera 102 zu optimieren. Insbesondere ist es auch möglich zu unterscheiden, welche Einflüsse von dem Front scheinwerfer stammen und welche von anderen Lichtquellen, beispielsweise von einer tiefstehenden Sonne.

Alternativ oder zusätzlich ist es möglich, die Informationen der Kamera 103 zum Transformieren des Bildes zu berücksichtigen. Dadurch ist es beispielsweise möglich, eine Struktur und/oder Charakteristik der Straße vor dem Kraftfahrzeug 101 zu ermitteln . Daraus lassen sich weitere Einflussfaktoren für das Trans formieren des Bildes vor dem Darstellen auf dem Monitor 104 ermitteln .

Alternativ oder zusätzlich ist es möglich, die gelben Einflüsse in einer Region der Fahrtrichtungsanzeiger zu reduzieren. Zum einen ist bekannt, welche Fahrborte der Fahrtrichtungsanzeiger auf die Umgebung 104 emittiert. Zum anderen ist die Frequenz des Fahrtrichtungsanzeigers bekannt, beispielsweise mittels CAN.

Beim Kraftfahrzeug 101 mit einem Anhänger ist es beispielsweise möglich, die Einflüsse der Beleuchtung des Anhängers zu re duzieren .

Beispielsweise ist es möglich, die negativen Einflüsse von Reflexionen auf dem Anhänger im dargestellten Bild auf dem Monitor 104 zu reduzieren. Hierzu werden beispielsweise In formationen über eine Länge des Anhängers, eine Geschwindigkeit und/oder einen Lenkwinkel berücksichtigt.

Alternativ oder zusätzlich ist es möglich, den Einfluss von Bremslichtern im dargestellten Bild auf dem Monitor 104 zu reduzieren. Dem kraftfahrzeugeigenen Informationssystem 106 ist bekannt, welche Bereiche von dem Bremslicht angestrahlt werden und mit welchem Farbort. Entsprechend kann in diesen Bereichen eine Transformation erfolgen, um die Einflüsse der roten An- Strahlung zu minimieren, wenn erkannt wurde, dass ein Nutzer des Kraftfahrzeugs 101 bremst.

Aufgrund der Umgebungsdaten der Informationssysteme 106 und 107 ist es somit möglich, die automatischen Bildbearbeitungsvorgänge der Kameras 102 in Abhängigkeit von weiteren Informationen zu optimieren. Somit kann die Genauigkeit der Bildkorrekturen erhöht werden. Zum Transformieren des Bildes werden Informa tionen verwendet, die der Kamera 102 selbst nicht zur Verfügung stehen. Somit können Darstellungsfehler auf dem Monitor 104 verringert werden. Die Darstellung der Umgebung 105 ist mit einem hohen Dynamikumfang möglich.