Technisches Gebiet

Die vorliegende Erfindung betrifft Systeme für den Außen- und Innenspiegelersatz .

Insbesondere betrifft die vorliegende Erfindung eine Vorrichtung und ein Verfahren zum Prüfen einer Wiedergabe einer Videosequenz einer Spiegelersatzkamera für ein Kraftfahrzeug.

Technischer Hintergrund

Außen- und Innenspiegel werden zunehmend durch Kame ^¬ ra-Monitor-System ersetzbar. Solche Spiegelersatz-Systeme umfassen eine Kamera und einen Monitor und ersetzen beispielsweise Außen- und Innenspiegel für Kraftfahrzeuge.

Neben Vorteilen bei der Aerodynamik und dem damit reduzierten Verbrauch gibt es auch technische Verbesserungen, die erst durch den Kameraeinsatz möglich sind.

So lassen sich Bilder mehrerer Kameras zu einer Rundumsicht-Anlage fusionieren bzw. zusammen montieren, störende Verzerrungen oder Bildeinflüsse herausrechnen und ein Blenden des Autofahrers vermeiden.

Der Ersatz der üblichen Spiegel und damit einem nahezu 100% funktionierenden System, müssen erweitere Funktionen für Kamera und Darstellung entwickelt werden, um das System ausfallsicher zu gestalten. Bekannte Probleme, die den herkömmlichen Spiegel nicht betreffen, aber um so mehr das Spiegelersatz-System sind unter anderem das Einfrieren von Bildern bei der Darstellung aufgrund von Fehlern im Bildverarbeitungssystem.

Beim Befahren einer Straße sollte der Fahrer zwar recht schnell erkennen, ob ein solcher Fehler vorliegt, doch bei sich nur langsam oder gar nicht veränderlichen Hintergrund, wie bei einem aus- oder einparkenden Auto, kann ein stehendes Bild vielleicht auch ein Fehler des Spiegelersatz-Systems sein.

Der Fahrer blickt beispielsweise auf den Spiegelmonitor und sieht, dass keine Gefahr besteht und fährt aus der Lücke. Allerdings kann es sich in diesem Moment um ein stehendes Bild gehandelt haben.

Zusammenfassung der Erfindung

Es ist eine Aufgabe der vorliegenden Erfindung, eine verbesserte Kamerafunktion für ein Fahrerassistenzsystem breitzustellen .

Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Weiterbildungen und Ausführungsformen sind den abhängigen Patentansprüchen, der Beschreibung und den Figuren der Zeichnungen zu entnehmen.

Ein erster Aspekt der vorliegenden Erfindung betrifft eine Vorrichtung zum Prüfen einer Wiedergabe einer Videosequenz einer Spiegelersatzkamera für ein Kraftfahrzeug.

Die Vorrichtung umfasst eine bewegliche Kameraeinrichtung, welche dazu ausgebildet ist, ein Abbild aufzunehmen und Bilddaten bereitzustellen; ferner eine Bilddatenverarbeitungseinrichtung, welche mit der Kameraeinrichtung gekoppelt ist und welche dazu ausgebildet ist, basierend auf den erfassten Bilddaten die Videosequenz zu erzeugen; ferner eine Ausgabeeinrichtung, welche dazu ausgebildet ist, die erzeugte Videosequenz anzuzeigen; und ferner eine Diagnoseeinrichtung, welche dazu ausgebildet ist, die Kameraeinrichtung zu bewegen und/oder beim erzeugen der Videosequenz eine Bildbewegung zu generieren, um die angezeigte Videosequenz zu überprüfen.

Die vorliegende Erfindung schlägt beispielsweise ein technisches System und ein Verfahren vor, um das Einfrieren von Videobildern in Kamera-Monitor-Systemen für ein Kraftfahrzeug zu erkennen.

Dabei schlägt die vorliegende Erfindung beispielsweise einen automatischen und selbständig wiederholenden Test vor.

Die vorliegende Erfindung schlägt beispielsweise vor, mittels Kamera- oder Bildbewegungen und durch einen Bildvergleich stehende bzw. eingefrorene Bilder des Spiegelersatz-Systems zu identifizieren.

Zusätzlich stellt das Verfahren eine Möglichkeit dar, den Fahrer auf Gefahren hinzuweisen.

Die vorliegende Erfindung ist für Spiegelersatz-Systeme vor- gesehen, bei dem gerade auch die Steigerung der funktionalen Sicherheit erforderlich ist.

Die vorgeschlagenen Verfahren und Methoden ermöglichen es, die Ausfallwahrscheinlichkeit des Spiegelersatzsystems zu ver- ringern.

Beim Auftreten von Fehler durch das Einfrieren von Bildern kann sich das System nun zum einen selbst heilen bzw. einen Fehler diagnostizieren und zum anderen kann dem Fahrer Vertrauen in die Technik und das neue System gegeben werden.

Dies führt zu einer Verbesserung der Akzeptanz der digitalen Systeme für Spiegelersatz-Anwendungen.

Die vorliegende Erfindung trägt dazu bei, die Sicherheit der bildgebenden Kamerasysteme zu erhöhen, denen eine immer größer werdende Bedeutung im Automobil bevorsteht. Die vorliegende Erfindung ist übertragbar auf andere bildgebende Systeme im

Fahrzeug, etwa beispielsweise Radar oder Ultraschall-basierende Bild-gebende Sensorsysteme.

Die vorliegende Erfindung bietet Lösungen, um die Sicherheit von Kameras oder Spiegelersatz-Systemen zu erhöhen. Die vorliegende Erfindung kann ferner Unfälle, verursacht durch technische Systeme, vermeiden, dem Fahrer oder Insassen anzeigen, dass (k)ein Fehler vorliegt, und Vertrauen für sichere Systeme schaffen .

Vorteilhafte Ausgestaltungen der vorliegenden Erfindung sind den Unteransprüchen zu entnehmen.

In einer vorteilhaften Ausführungsform der vorliegenden Er- findung ist vorgesehen, dass die Diagnoseeinrichtung dazu ausgebildet ist, das Überprüfen der angezeigten Videosequenz vorzunehmen, falls ein Blickkontakt eines Insassen mit der Ausgabeeinrichtung erfasst wurde. In einer vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Diagnoseeinrichtung dazu ausgebildet ist, das Überprüfen der angezeigten Videosequenz vorzunehmen, falls ein vorbestimmtes Auslöseereignis festge ^¬ stellt wurde. Als Auslöseereignis kann eine Fahrsituation, ein Fahrzustand, eine Handlung des Fahrers oder eine periodisch vorzunehmende Systemüberprüfung vorgesehen sein.

In einer vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Diagnoseeinrichtung dazu ausgebildet ist, das Überprüfen der angezeigten Videosequenz innerhalb von vorbestimmten Zeitspannen wiederholt vorzunehmen. In einer vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Diagnoseeinrichtung dazu ausgebildet ist, das Überprüfen der angezeigten Videosequenz basierend auf vorherrschenden Fahrsituationen und/oder Fahrzeugzuständen vorzunehmen.

In einer vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die bewegliche Kameraeinrichtung dazu ausgebildet ist, eine Bewegung des Sichtfeldes der Kamera vorzunehmen, um das aufgenommene Abbild zu ändern. Mit anderen Worten, ein Schwenken der Kameraeinrichtung wird durchgeführt, etwa eine Bewegung um einen vorbestimmten Winkelbereich.

Die beschriebenen Ausgestaltungen und Weiterbildungen lassen sich beliebig miteinander kombinieren.

Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der vorliegenden Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsformen beschriebenen Merkmale der vorliegenden Erfindung.

Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der vorliegenden Erfindung vermitteln. Die beiliegenden Zeichnungen veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Konzepten der vorliegenden Erfindung.

Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Figuren der Zeichnungen. Die dargestellten Elemente der Figuren der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.

Kurze Beschreibung der Figuren

Es zeigen:

Fig. 1: eine schematische Darstellung des Gesamtsystems mit

Kamera, abgekürzt auch MRS, für englisch „Mirror Replacement System" zur Erläuterung der vorliegenden Erfindung;

Fig. 2: eine schematische Darstellung einer Spiegelersatz-Kamera zur Erläuterung der vorliegenden Erfindung;

Fig. 3: eine schematische Darstellung eines Zeitstrahls zur

Verdeutlichung der zeitlichen Abfolge zweier zeitlich hintereinander aufgenommener Bilder gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;

Fig. 4: eine schematische Darstellung einer beispielhaften

Veränderung des Kameraobjektives mit einem anderen Sichtbereich gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung;

Fig. 5: eine schematische Darstellung eines Flussdiagramms eines Verfahrens zum Prüfen einer Wiedergabe einer Videosequenz einer Spiegelersatz-Kamera gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung; eine schematische Darstellung eines Flussdiagramms eines Verfahrens zum Prüfen einer Wiedergabe einer Videosequenz einer Spiegelersatz-Kamera gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung; eine schematische Darstellung eines Flussdiagramms eines Verfahrens zum Prüfen einer Wiedergabe einer Videosequenz einer Spiegelersatz-Kamera gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung; eine schematische Darstellung einer Möglichkeit einer Montage der Spiegelersatz-Kamera gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung; eine schematische Darstellung eines Flussdiagramms eines Verfahrens zum Prüfen einer Wiedergabe einer Videosequenz einer Spiegelersatz-Kamera gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung; eine schematische Darstellung einer Vorrichtung zum Prüfen einer Wiedergabe einer Videosequenz einer Spiegelersatz-Kamera gemäß einem weiteren Ausfüh ^¬ rungsbeispiel der vorliegenden Erfindung; und

Fig. eine schematische Darstellung eines Flussdiagramms eines Verfahrens zum Prüfen einer Wiedergabe einer Videosequenz einer Spiegelersatz-Kamera gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung .

Detaillierte Beschreibung der Ausführungsbeispiele

In den Figuren der Zeichnungen bezeichnen gleiche Bezugszeichen gleiche oder funktionsgleiche Elemente, Bauteile, Komponenten oder Verfahrensschritte, soweit nichts Gegenteiliges angegeben ist .

Bei dem Kraftfahrzeug bzw. Fahrzeug handelt es sich bei ^¬ spielsweise um ein Kraftfahrzeug oder um ein Hybridfahrzeug, beispielsweise ein Hybridfahrzeug mit Segelfunktion, bei ^¬ spielsweise ein Motorrad, ein Bus oder ein Lastkraftwagen oder ein Fahrrad.

Vorrichtung zum Prüfen einer Wiedergabe einer Videosequenz einer Spiegelersatz-Kamera kann für weitere Kamera- und Sensorba ^¬ sierten Systeme verwenden.

Prinzipiell lässt sich das Verfahren auch für einen Radar- oder Lidarsensor übertragen und die Vorrichtung zum Prüfen einer Wiedergabe einer Videosequenz hierbei einsetzen. Der Sensor muss als solches nicht beweglich gemacht werden, denn es kann auch vorgesehen sein, dass das Fahrzeug als solches als bewegliches Objekt genutzt wird oder ein Teil des Fahrzeuges - Tür, elektrische Scheibe, Rücklicht, Blinkerlicht - als be ^¬ wegliches Objekt genutzt wird, je nach Umfang des aufgenommenen Abbildes.

Die Fig. 1 zeigt eine schematische Darstellung einer Beschreibung des Gesamtsystems mit Kamera, ein Spiegel-Ersatzsystem, ab- gekürzt auch MRS, für englisch „Mirror Replacement System" zur Erläuterung der vorliegenden Erfindung.

Die Fig. 1 zeigt eine Kamera oder auch eine Kameraeinrichtung, welche in einem Fahrzeug montiert ist und welche einen bestimmten Sichtbereich bzw. ein Sichtfeld aufweist.

Ferner sind eine Bilddatenverarbeitungseinrichtung, MRS, und ein Display in Form einer Ausgabeneinrichtung zur Anzeige der Bilddaten bzw. der Videosequenz dargestellt.

Die Fig. 2 zeigt eine schematische Darstellung einer Spie ^¬ gelersatz-Kamera zur Erläuterung der vorliegenden Erfindung. Die Fig. 2 zeigt eine beispielhafte Sicht einer Spiegelkamera.

Dabei ist meist auch ein Teil oder ein Teilbereich des Fahrzeuges sichtbar - bzw. sollte ein derartiges Umfeld sichtbar sein, damit der Fahrer sich besser orientieren kann, worauf die Kamera gerichtet ist.

Das dargestellte Verfahren beschreibt ein System: i) welches verschiedene Vollbilder aufnimmt und über die Zeit miteinander vergleicht; und/oder

ii) welches die Kamera automatisch ausrichtet oder bewegt und welches die Bilder der miteinander vergleicht

Die vorliegende Erfindung schlägt einen Mechanismus vor, der vorsieht, dass die Kamera, während des Betriebes und der Anzeige auf dem Bildschirm, bewegt wird, um die Anzeige und das gesamte System zu überprüfen. Ferner können auch mehrere Kameras entsprechend angesteuert und Prüf-Bewegungen mit diesen Kameras ausgeführt werden. Dabei werden die Kamera bzw. das Objektiv beispielsweise nach links, oder rechts bewegt, um eine andere Szene aufzunehmen. So gelangen neue Objekte in den Focus der Kamera, auch bei einer stehenden Szenerie, also keiner Bewegung vom Fahrzeug oder sonstiger Objekte in der aufgenommenen Szenerie.

Es wird also ein Bild aufgenommen, welches unterschiedlich zum vorherigen Bild ist, welches vor der Bewegung aufgenommen wurde.

Beispielsweise kann die Kamera in Richtung der Fahrzeugka ^¬ rosserie ausgerichtet werden, da hier auch immer ein Hintergrund zu erwarten ist.

Dieser kann auch vorgespeichert sein und lässt sich auf Basis des Winkels der Kamera auch eineindeutig bestimmten - extrem starker Nebel und Regen einmal ausgenommen.

Die Fig. 3 zeigt eine schematische Darstellung eines Zeitstrahls zur Verdeutlichung der zeitlichen Abfolge zweier zeitlich hintereinander aufgenommener Abbilder gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.

Die Fig. 3 zeigt einen Vergleich zweier aufeinander folgender Bilder. Dies kann auch ein Verfahren sein, um ein einfrieren des Bildverarbeitungssystems bzw. einen Bildverlust des Bildver ^¬ arbeitungssystems zu erkennen.

Dabei sollen zeitlich durch das Kamerasystem aufeinanderfolgende Bilder gespeichert werden und diese aufeinanderfolgend auf ^¬ genommenen Bilder werden nachfolgend im Rechnersystem miteinander verglichen werden unter Verwendung von softwarebasierten Bildverarbeitungsmethoden . Die Fig. 4 zeigt eine schematische Darstellung einer bei ^¬ spielhaften Veränderung des Kameraobjektives mit einem anderen Sichtbereich gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung.

Die Fig. 4 zeigt exemplarisch an, dass bei der Bewegung der Kamera ein anderes - vom Sichtfeld des ersten Abbildes abweichendes - Sichtfeld entsteht.

Die Fig. 5 zeigt eine schematische Darstellung eines Fluss ^¬ diagramms eines Verfahrens zum Prüfen einer Wiedergabe einer Videosequenz einer Spiegelersatz-Kamera gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung.

Die Fig. 5 zeigt eine mögliche Schwierigkeit beim einfachen Bildvergleich von aufgenommen Abbildern über die Zeit.

Wenn beispielsweise eine Parklücke oder ein Parkplatz verlassen werden soll, kann es vorkommen, dass zum Zeitpunkt der Aufnahme im Sichtfeld der Kamera wenig oder gar keine sich bewegenden Objekte zu erkennen sind.

Die Kamera nimmt wie in der Abbildung gezeigt zeitlich auf ^¬ einanderfolgende Bilder auf und vergleicht diese aufgenommenen Abbilder .

In diesem Fall findet die Kamera keinen Unterschied - es kann sich um ein Einfrieren des Kamera-Monitor-Systems handeln aber auch nicht, d.h. es kann keine Bewegung der dargestellten Objekte vorliegen .

Die Fig. 6 zeigt eine schematische Darstellung eines Fluss ^¬ diagramms eines Verfahrens zum Prüfen einer Wiedergabe einer Videosequenz einer Spiegelersatz-Kamera gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung.

Die Fig. 7 zeigt mögliche Auslöseereignisse, auch „Trigger" genannt, zum Auslösen des Verfahrens zum Prüfen einer Wiedergabe einer Videosequenz einer Spiegelersatz-Kamera gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung.

Die Fig. 7 zeigt eine Ausführungsform der vorliegenden Erfindung, bei welcher Aufnahmen oder Abbilder von bestimmten Teilen oder Teilbereichen der Fahrzeugseite genutzt werden sollen, um die Erkennung von Bewegungen schneller und sicher zu erkennen.

Die Fig. 8 zeigt eine weitere Möglichkeit, falls die Kamera fix in einer Halterung, hier Spiegel, montiert wird.

Nach einem Ausführungsbeispiel der vorliegenden Erfindung kann dabei vorgesehen sein, über die Spiegelverstellung die Kamera zu bewegen respektive das Einfrieren des Bildverarbeitungs- und anzeige-Prozesses im Spiegelersatz-System zu erkennen.

Die Fig. 9 zeigt eine schematische Darstellung eines Fluss ^¬ diagramms eines Verfahrens zum Prüfen einer Wiedergabe einer Videosequenz einer Spiegelersatz-Kamera gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung.

Die Fig. 9 zeigt ein Ablaufdiagramm zur Erkennung eines Fehlers im Bild durch Anpassung der Kamera. Die Fig. 9 zeigt das Resultat des Verfahrens. Da die Kamera meist, mit großer Wahrscheinlichkeit, das eigene Fahrzeug oder zu ^¬ mindest Teile des eigenen Fahrzeuges aufnimmt, kann hier euch eindeutig ein Unterschied erkannt werden, etwa für den Fall, dass ein Blinkerlicht betätigt wurde. Optional könnten am Fahrzeug auch Markierungspunkte angebracht werden.

Die Fig. 10 zeigt eine schematische Darstellung zum Prüfen einer Wiedergabe einer Videosequenz einer Spiegelersatzkamera für ein Kraftfahrzeug gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung.

Die Vorrichtung 100 zum Prüfen einer Wiedergabe einer Vi- deosequenz einer Spiegelersatzkamera für ein Kraftfahrzeug umfasst eine Kameraeinrichtung 10, eine Bilddatenverarbei ^¬ tungseinrichtung 20, eine Ausgabeeinrichtung 30, und eine Diagnoseeinrichtung 40. Die bewegliche Kameraeinrichtung 10 ist dazu ausgebildet, ein Abbild aufzunehmen und Bilddaten bereitzustellen.

Die Bilddatenverarbeitungseinrichtung 20 ist mit der Kameraeinrichtung 10 gekoppelt und dazu ausgebildet, basierend auf den erfassten Bilddaten die Videosequenz zu erzeugen.

Die Ausgabeeinrichtung 30 ist dazu ausgebildet, die erzeugte Videosequenz anzuzeigen. Die Diagnoseeinrichtung 40 ist dazu ausgebildet, die Kamera ^¬ einrichtung 10 zu bewegen und/oder beim Erzeugen der Videosequenz eine Bildbewegung zu generieren, um die angezeigte Videosequenz zu überprüfen. Die Fig. 11 zeigt eine schematische Darstellung eines Fluss ^¬ diagramms eines Verfahrens zum Prüfen einer Wiedergabe einer Videosequenz einer Spiegelersatzkamera für ein Kraftfahrzeug gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung . Das Verfahren zum Prüfen einer Wiedergabe einer Videosequenz einer Spiegelersatzkamera für ein Kraftfahrzeug umfasst die folgenden Verfahrensschritte:

Als ein erster Verfahrensschritt erfolgt ein Erfassen Sl eines Abbildes und ein Bereitstellen von Bilddaten mittels einer beweglichen Kameraeinrichtung 10. Als ein zweiter Verfahrensschritt erfolgt ein Erzeugen S2 der Videosequenz basierend auf den erfassten Bilddaten.

Als ein dritter Verfahrensschritt erfolgt ein Anzeigen S3 der erzeugten Videosequenz.

Als ein vierter Verfahrensschritt erfolgt ein Bewegen S4 der Kameraeinrichtung 10 und/oder ein Generieren einer Bildbewegung beim Erzeugen der Videosequenz, um die angezeigte Videosequenz zu überprüfen.

Obwohl die vorliegende Erfindung anhand bevorzugter Ausführungsbeispiele vorstehend beschrieben wurde, ist sie nicht darauf beschränkt, sondern auf vielfältige Art und Weise mo ^¬ difizierbar. Insbesondere lässt sich die Erfindung in man- nigfaltiger Weise verändern oder modifizieren, ohne vom Kern der Erfindung abzuweichen.

Ergänzend sei darauf hingewiesen, dass „umfassend" und „auf ^¬ weisend" keine anderen Elemente oder Schritte ausschließt und „eine" oder „ein" keine Vielzahl ausschließt.

Ferner sei darauf hingewiesen, dass Merkmale oder Schritte, die mit Verweis auf eines der obigen Ausführungsbeispiele be ^¬ schrieben worden sind, auch in Kombination mit anderen Merkmalen oder Schritten anderer oben beschriebener Ausführungsbeispiele verwendet werden können. Bezugszeichen in den Ansprüchen sind nicht als Einschränkung anzusehen.