Bilderfassungsvorrichtung für ein Fahrzeug Stand der Technik

Die vorliegende Erfindung bezieht sich auf eine Bilderfassungsvorrichtung für ein Fahrzeug.

Mit Hilfe eines Regensensors kann eine automatische Ansteuerung der Scheibenwischer eines Fahrzeugs erfolgen. Dabei kann eine videobasierte

Regensensorik eingesetzt werden.

Die DE10201 1077703 befasst sich mit einer Bilderfassung in einem Fahrzeug. Offenbarung der Erfindung

Vor diesem Hintergrund wird mit der vorliegenden Erfindung eine Bilderfassungsvorrichtung für ein Fahrzeug gemäß dem Hauptanspruch vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.

Bei einer Videosensorik eines Fahrzeugs, beispielsweise einer videobasierten Regensensorik, kann eine Kamera mit unterschiedlichen Bildbereichen genutzt werden. In einem Bildbereich, im Weiteren auch Sekundärbild genannt, kann die Windschutzscheibe des Fahrzeugs scharf abgebildet werden. In einem weiteren Bildbereich, im Weiteren auch Primärbild genannt, kann die Szene vor dem Fahrzeug scharf abgebildet werden, insbesondere die Fahrbahn und zusätzlich oder alternativ vorausfahrende Fahrzeuge sowie Verkehrsschilder. Der scharf abgebildete Bereich der Windschutzscheibe kann zur Überwachung und Verbesserung des Bildes der Szene vor, neben oder hinter dem Fahrzeug sowie der darauf basierten Funktionen, wie z. B. Nachtsichtsystem, Spurerkennung oder Anfahrtfreigabe, genutzt werden.

Für die Absicherung eines korrekten Betriebs von videobasierten Fahrerassistenzsystemen ist eine Blindheits- bzw. Freisichtüberwachung sinnvoll und gegebenenfalls aktiver Bestandteil der Funktion, z. B. bei einer Anfahrtfreigabe. Darüber hinaus ist die Überwachung einer möglichen Blindheit oder einer allgemeinen Beeinträchtigung eines Videosensors und Videosignals durch Störungen im optischen Pfad relevant für die Erfüllung von Sicherheitsanforderungen und Normen.

Überlappt sich der scharf abgebildete Bereich der Scheibe vollständig oder teilweise mit dem Footprint des optischen Pfades, der die Szene vor dem Fahrzeug abbildendet, so kann eine aus dem scharf abgebildeten Bereich der Scheibe ermittelte Information unterstützend bei der Auswertung der Szene vor dem Fahrzeug herangezogen werden. Der Footprint stellt dabei die Schnittfläche der Scheibe mit dem optischen Pfad dar. Durch eine Auswertung sich überlappender Bildbereich kann eine Erhöhung der funktionalen Performance sowie eine Selbstüberwachung realisiert werden.

Die vorliegende Erfindung schafft eine Bilderfassungsvorrichtung für ein Fahrzeug, mit folgenden Merkmalen: einer ersten Bilderfassungseinrichtung, die ausgebildet ist, um ein außerhalb einer Scheibe des Fahrzeugs gelegenes Umfeld des Fahrzeugs durch einen ersten Bereich der Scheibe hindurch in einem ersten Abbild abzubilden; und einer zweiten Bilderfassungseinrichtung, die ausgebildet ist, um einen zweiten Bereich der Scheibe in einem zweiten Abbild abzubilden, wobei sich der erste Bereich und der zweite Bereich im Footprint auf der Scheibe zumindest teilweise überlappen.

Bei dem Fahrzeug kann es sich beispielsweise um einen Personenkraftwagen oder einen Lastkraftwagen handeln. Die Bilderfassungseinrichtung kann eine Kamera umfassen. Die Bilderfassungseinrichtung kann unter anderem als Re- gensensor eingesetzt werden. Die Bilderfassungseinrichtung kann innerhalb des Fahrzeugs, beispielsweise benachbart zu einer Windschutzscheibe des Fahrzeugs angeordnet sein. Somit kann es sich bei der Scheibe um die Windschutzscheibe handeln. Alternativ kann es sich bei der Scheibe um eine andere Schei- be des Fahrzeugs, beispielsweise um eine Heckscheibe oder eine Seitenscheibe handeln. Von dem Umfeld des Fahrzeugs durch den ersten Bereich der Scheibe einfallendes Licht kann von der ersten Bilderfassungseinrichtung erfasst werden. Dazu kann die erste Bilderfassungseinrichtung einen Bildsensor aufweisen. Das erste Umfeld kann einen sich in Fahrtrichtung vor dem Fahrzeug gelegenen Be- reich umfassen. Somit können durch das erste Abbild beispielsweise die Fahrbahn, ein vorausfahrendes Fahrzeug oder ein Verkehrsschild abgebildet werden. Eine durch eine Auswertung des ersten Abbilds erhaltene Bildinformation kann beispielsweise für ein Fahrassistenzsystem genutzt werden. Die zweite Bilderfassungseinrichtung kann einen eigenen Bildsensor aufweisen oder einen von der ersten Bilderfassungseinrichtung genutzten Bildsensor mitnutzen. Die zweite

Bilderfassungseinrichtung kann ausgebildet sein, um eine Oberfläche der Scheibe in dem zweiten Abbild scharf abzubilden. Der zweite Bereich kann teilweise oder vollständig mit dem ersten Bereich überlappen. Somit kann der zweite Bereich von dem ersten Bereich umfasst sein. Die erste Bilderfassungseinrichtung kann ausgebildet sein, um zeitlich nacheinander eine Mehrzahl erster Abbilder zu erzeugen. Die zweite Bilderfassungseinrichtung kann ausgebildet sein, um zeitlich nacheinander eine Mehrzahl zweiter Abbilder zu erzeugen.

Die erste Bilderfassungseinrichtung kann ausgebildet sein, um den ersten Be- reich der Scheibe in dem ersten Abbild unscharf abzubilden. Die zweite Bilderfassungseinrichtung kann ausgebildet sein, um den zweiten Bereich der Scheibe in dem zweiten Abbild scharf abzubilden. Dazu können die erste Bilderfassungseinrichtung und die zweite Bilderfassungseinrichtung unterschiedliche Brennweiten aufweisen. Somit kann ein und derselbe Abschnitt des Umfelds des Fahr- zeugs von dem ersten Abbild scharf und von dem zweiten Abbild unscharf abgebildet werden.

Gemäß einer Ausführungsform können die erste Bilderfassungseinrichtung und die zweite Bilderfassungseinrichtung einen gemeinsamen Bildsensor zum Erzeu- gen des ersten Abbilds und des zweiten Abbilds aufweisen. Dabei können den

Bilderfassungseinrichtungen unterschiedliche Bereiche des Bildsensors zuge- ordnet sein. Dadurch kann die Bilderfassungsvorrichtung sehr kompakt gebaut werden.

Die Bilderfassungsvorrichtung kann ein oder mehrere optische Elemente wie Lin- sen oder Spiegel zum Umlenken und/oder Umfokussieren eines ersten Strahlengangs des von der ersten Bilderfassungseinrichtung zum Abbilden des Umfelds zu erfassenden Lichts oder zum Umlenken und/oder Umfokussieren eines zweiten Strahlengangs des von der zweiten Bilderfassungseinrichtung zum Abbilden des zweiten Bereichs der Scheibe zu erfassenden Lichts aufweisen. Das opti- sehe Element kann als eine Vorsatzlinse ausgeführt sein. Durch das optische

Element können der erste oder der zweite Strahlengang beispielsweise so umgelenkt werden, dass der erste und der zweite Strahlengang im Bereich des Bildsensors parallel oder nahezu parallel verlaufen. Auch können sowohl der erste als auch der zweite Strahlengang durch das optische Element geführt werden.

Beispielsweise kann die Bilderfassungsvorrichtung einen Spiegel, eine erste Linse und eine zweite Linse umfassen. Dabei kann der erste Strahlengang durch die erste Linse zu der ersten Bilderfassungseinrichtung und der zweite Strahlengang kann über den Spiegel, die zweite Linse und die erste Linse zu der zweiten Bil- derfassungseinrichtung geführt sein. Die zweite Linse kann eine Vorsatzlinse sein, die unmittelbar vor der ersten Linse angeordnet sein kann.

Die Bilderfassungsvorrichtung kann eine Auswerteeinrichtung aufweisen. Die Auswerteeinrichtung kann ausgebildet sein, um das erste Abbild und zusätzlich oder alternativ das zweite Abbild auszuwerten. Unter der Auswerteeinrichtung kann ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuersignale oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnitt- stellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem MikroController neben anderen Softwaremodulen vorhanden sind. Gemäß einer Ausführungsform kann die Auswerteeinrichtung ausgebildet sein, um basierend auf dem zweiten Abbild eine Sichtbeeinträchtigung bezüglich des zweiten Bereichs der Scheibe zu erkennen. Dazu kann die Auswerteeinrichtung ausgebildet sein, um das zweite Abbild mittels einer geeigneten Bildauswertung auszuwerten. Auch kann die Auswerteeinrichtung ausgebildet sein, um zumindest zwei zu unterschiedlichen Zeitpunkten erfasste zweite Abbilder miteinander zu vergleichen, um die Sichtbeeinträchtigung zu erkennen

Beispielsweise kann die Auswerteeinrichtung ausgebildet sein, um basierend auf der Sichtbeeinträchtigung eine Blindheit der Bilderfassungsvorrichtung zu erkennen. Zusätzlich oder alternativ kann die Auswerteeinrichtung ausgebildet sein, um eine Unreinheit des zweiten Bereichs der Scheibe zu erkennen. Die Unreinheit kann durch eine Beschädigung oder eine Verschmutzung oder eine Benetzung der Scheibe hervorgerufen worden sein.

Die Auswerteeinrichtung kann ausgebildet sein, um das erste Abbild unter Berücksichtigung der Sichtbeeinträchtigung auszuwerten. Auf diese Weise können durch die Sichtbeeinträchtigung hervorgerufene Störeinflüsse im ersten Abbild erkannt und unter Umständen auch eliminiert oder zumindest verringert werden. Auf diese Weise kann eine Qualität der in dem ersten Abbild enthaltenen Bildinformation verbessert werden.

Dabei kann die Auswerteeinrichtung ausgebildet sein, um einen der Sichtbeeinträchtigung zugeordneten Abschnitt des ersten Abbilds zu bestimmen. Die Aus- Werteeinrichtung kann ferner ausgebildet sein, um das erste Abbild unter Unterdrückung einer Bildinformation des zugeordneten Abschnitts auszuwerten. Beispielsweise kann der zugeordnete Abschnitt bei der Auswertung des ersten Abbilds ausgespart werden oder unter Verwendung der Information über die Art, Position und / oder Form der Beeinträchtigung und / oder von Bildinformationen benachbarter Abschnitte rekonstruiert werden.

Gemäß einer Ausführungsform kann die Auswerteeinrichtung ausgebildet sein, um basierend auf dem ersten Abbild eine Blindheit der Bilderfassungsvorrichtung und zusätzlich oder alternativ eine Unreinheit des ersten Bereichs der Scheibe zu erkennen. Eine Erkennung der Blindheit oder einer Unreinheit ist wichtig, um

Fehlfunktionen von Fahrassistenzsystemen zu vermeiden, die eine von dem ers- ten Abbild umfasste Bildinformation zur Lösung einer Assistenzaufgabe verwenden.

Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispiel- haft näher erläutert. Es zeigen:

Fig. 1 eine schematische Darstellung eines Fahrzeugs mit einer Bilderfassungsvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;

Fig. 2 ein Abbild eines Umfeld des Fahrzeugs; und

Fig. 3 eine schematische Darstellung einer Bilderfassungsvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.

In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.

Fig. 1 zeigt eine schematische Darstellung eines Fahrzeugs 100 mit einer Bilderfassungsvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Bilderfassungsvorrichtung ist im Inneren des Fahrzeugs 100 hinter einer Windschutzscheibe 102 des Fahrzeugs 100 angeordnet. Die Bilderfassungs- Vorrichtung ist ausgebildet, um durch einen ersten Bereich 104 der Windschutzscheibe 102 ein außerhalb einer Scheibe des Fahrzeugs 100 gelegenes Umfeld des Fahrzeugs 100 zu erfassen. Ferner ist die Bilderfassungsvorrichtung ausgebildet, um einen zweiten Bereich 106 der Windschutzscheibe 102 zu erfassen. Dazu weist die Bilderfassungsvorrichtung eine erste Bilderfassungseinrichtung 1 14 auf, die ausgebildet ist, um das Umfeld, beispielsweise ein sich im Vorfeld des Fahrzeugs 100 befindliches Objekt 1 15, in einem ersten Abbild, dem sogenannten Primärbild, abzubilden. In dem ersten Abbild wird zusätzlich der erste Bereich 104 der Scheibe 102 unscharf abgebildet. Die erste Bilderfassungseinrichtung 1 14 ist ausgebildet, um das Umfeld, also beispielsweise das Objekt 1 15, in dem ersten Abbild scharf darzustellen. Ferner weist die Bilderfassungsvorrichtung eine zweite Bilderfassungseinrichtung 1 16 auf, die ausgebildet ist, um den zweiten Bereich 106 der Windschutzscheibe 102 in einem zweiten Abbild, dem sogenannten Sekundärbild, scharf darzustellen.

Gemäß diesem Ausführungsbeispiel weist die Bilderfassungsvorrichtung eine Linse 120 auf, die ausgebildet ist, um einen Strahlengang der zweiten Bilderfassungseinrichtung 1 16 umzulenken, so dass die zweite Bilderfassungseinrichtung 1 16 den zweiten Bereich 106 der Windschutzscheibe 102 abbilden kann.

Die erste Bilderfassungseinrichtung 1 14 ist ausgebildet, um ein erzeugtes erstes Abbild, beispielsweise in Form eines digitalen Bildes an eine Auswerteeinrichtung

122 auszugeben. Entsprechend dazu ist die zweite Bilderfassungseinrichtung 1 16 ausgebildet, um ein erzeugtes zweites Abbild, beispielsweise in Form eines weiteren digitalen Bildes an die Auswerteeinrichtung 122 auszugeben. Die Auswerteeinrichtung 122 ist ausgebildet, um sowohl das erste Abbild als auch das zweite Abbild, beispielsweise mittels einer Objekterkennung oder Mustererkennung, auszuwerten. Beispielsweise kann die Auswerteeinrichtung 122 ausgebildet sein, um basierend auf den Abbildern Regentropfen auf der Windschutzscheibe 102 zu erkennen oder mittels einer Objekterkennung Objekte 1 15 im Umfeld des Fahrzeugs 100 zu erkennen. Die Auswerteeinrichtung 122 kann aus- gebildet sein, um aus dem ersten und dem zweiten Abbild ermittelte Informationen zu kombinieren oder beispielsweise aus dem zweiten Abbild ermittelte Informationen zur Auswertung des zweiten Abbilds einzusetzen. Gemäß diesem Ausführungsbeispiel ist die Auswerteeinrichtung 122 ausgebildet, um ausgewertete Bildinformationen bezügliche des ersten Abbilds, des zweiten Abbilds oder beider Abbilder an ein Fahrassistenzsystem 124 auszugeben, das basierend auf den ausgewerteten Bildinformationen eine Fahrassistenzaufgabe auszuführen. Das Fahrassistenzsystem 124 kann beispielsweise eine auf den ausgewerteten Bildinformationen basierende Regensensor-, Spurhalte- oder Abstandsfunktionalität umfassen.

Fig. 2 zeigt ein Abbild eines Umfelds eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Bei dem Abbild kann es sich beispielsweise um das von der in Fig. 1 gezeigten zweiten Bilderfassungseinrichtung 1 16 erfasste zweite Abbild handeln. In dem Abbild ist das Umfeld scharf dargestellt. Auf der Scheibe des Fahrzeugs befindliche Verunreinigungen 230, beispielsweise Regentropfen, sind dagegen unscharf dargestellt. Durch die Ver- unreinigungen 230 wird eine Auswertung des Abbilds erschwert, da Abschnitte des Umfelds durch die Verunreinigungen 230 verdeckt sind oder verschwommen dargestellt sind. Um das Abbild auszuwerten kann, wie beispielsweise anhand von Fig. 1 beschrieben, zunächst ein weiteres Abbild ausgewertet werden, in dem die Scheibe und somit auch die Verunreinigungen 230 scharf dargestellt sind. Aus dem weiteren Abbild kann beispielsweise eine Position und Größe der Verunreinigung 230 bestimmt werden. Die aus dem weiteren Abbild erhaltenen Informationen bezüglich der Verunreinigungen 230 können anschließend bei der Auswertung des in Fig. 2 gezeigten Abbilds berücksichtigt werden. So können beispielsweise Abschnitte des in Fig. 2 gezeigten Abbilds, in denen sich Verunreinigungen befinden, bei der Auswertung unterdrückt oder basierend auf benachbarten Bildinformationen rekonstruiert werden.

Fig. 3 zeigt eine schematische Darstellung einer Bilderfassungsvorrichtung ge- maß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Bilderfassungsvorrichtung weist einen Imager 314, eine Linse 330 für das Primärbild, eine Vorsatzlinse 332 zur Umfokussierung und einen Spiegel 120 auf. Die Bilderfassungsvorrichtung ist benachbart zu einer Windschutzscheibe 102 angeordnet. Gezeigt ist ein Sichtkegel 334 des Primärbereichs. Von dem Sichtkegel 334 um- fasstes Licht durchdringt die Windschutzscheibe 102 und wird von der Linse 330 auf einen ersten Bereich des Imagers 314 abgebildet. Ferner ist ein Sichtkegel 336 des Sekundärbereichs gezeigt. Von dem Sichtkegel 336 umfasstes Licht wird ausgehend von einem Bereich der Windschutzscheibe 102, der innerhalb des von dem Sichtkegel 334 umfassten Bereichs der Windschutzscheibe 102 liegt und somit eine Überlappung 338 der Footprints des Primärbereichs und des

Sekundärbereichs darstellt, von dem Spiegel 120 auf die Vorsatzlinse 332 umgelenkt. Die Vorsatzlinse 332 ist benachbart zu der Linse 330 angeordnet. Durch die Vorsatzlinse 332 fallendes Licht wird anschließend von der Linse 330 auf einen zweiten Bereich des Imagers 314 abgebildet. Durch die Vorsatzlinse 332 kann das von dem Sichtkegel 336 des Sekundärbereichs umfasste Licht so umfokussiert werden, dass der von dem Sichtkegel 336 umfasste Bereich der Windschutzscheibe 102 durch den Imager 314 scharf abgebildet werden kann. Im Gegensatz dazu wird der von dem Sichtkegel 334 des Primärbereichs umfasste Bereich der Windschutzscheibe 102 durch den Imager 314 unscharf ab- gebildet. Gemäß diesem Ausführungsbeispiel sind eine Bilderfassungseinrichtung für den Primärbereich und eine Bilderfassungseinrichtung für den Sekundärbereich in dem einen Imager 314 vereinigt. Der zweite Bereich des Imagers 314, der dem Sekundärbereich zugeordnet ist, ist benachbart zu dem ersten Bereich des Imagers angeordnet, der dem Primärbereich zugeordnet ist. Der Imager 314 weist somit zwei sich nicht überlappende Bereiche für den Primärbereich und den Sekundärbereich auf.

Im Folgenden werden anhand der Figuren 1 bis 3 Ausführungsbeispiele der vor- liegenden Erfindung zusammenfassend beschrieben.

Gemäß einem Ausführungsbeispiel wird der scharf abgebildete Bereich der Windschutzscheibe 102 im Sekundärbild durch geeignete optische Elemente 106 so gewählt, dass er mit dem Schnittbereich aus Windschutzscheibe 102 und des Sichtkegels des Primärbildes mindestens teilweise übereinstimmt. Damit ist es also möglich, den für das Primärbild relevanten Bereich der Windschutzscheibe 102 im Sekundärbild zu beobachten und auszuwerten. Durch die scharfe Abbildung im Sekundärbild kann dabei mehr Information bzw. andere Information als im Primärbild ermittelt werden, da Objekte 230 wie Dreck oder Wasser auf der Windschutzscheibe 102 im Primärbild nur verschwommen dargestellt werden und unter Umständen gar nicht als Objekte 230 zu erkennen sind, jedoch die Bildaufnahme und Informationsgewinnung sehr wohl stören.

Mit dem Wissen der Überwachung kann z. B. eine Blindheit oder auch nur teilweise Störung durch Verschmutzung, Wasser, Schnee oder Eis erkannt werden. Darüber hinaus kann die Information zu einer Verbesserung von Funktionen herangezogen werden, die auch auf dem Primärbild basieren. Solche Funktionen sind allgemein in Fig. 1 als Fahrassistenzsystem 124 beschrieben. In diesem Zusammenhang sind beispielhaft zu nennen eine Blindheitserkennung im Primär- bild, eine Freisichterkennung z. B. für eine Anfahrtfreigabe, eine Unterdrückung von gestörten Bereichen und Bildrekonstruktion für andere bildverarbeitende Funktionen, aber auch für anzeigende Systeme wie etwa ein Nachtsichtsystem.

Gemäß einem Ausführungsbeispiel erfolgt ein Aufbau eines optischen Systems einer Bilderfassungsvorrichtung mit mindestens zwei verschiedenen Brennweiten und mindestens zwei sensitiven Flächen auf mindestens einem Imager, dadurch gekennzeichnet, dass sich die Schnittflächen der Sichtkegel mit der Windschutzscheibe 102 ganz oder teilweise überdecken.

Die von dem mindestens einem Imager oder Bildsensor erfassten Informationen können zur Durchführung mindestens einer der im Folgenden beschriebenen Aufgaben, beispielsweise eines Fahrassistenzsystems 124, genutzt werden. Insbesondere kann eine Überwachung und/oder Lokalisation einer Scheibenverschmutzung, einer Regenmenge oder einer Schneemenge durchgeführt werden.

Eine Überwachung und/oder Lokalisation der Scheibenverschmutzung kann beispielsweise zur Aktivierung der Waschanlage, zur Blindheitserkennung, zur Freisichterkennung, zur Unterdrückung von verdeckten, gestörten oder verschwommenen Bereichen für weitere bildbasierte Funktionen oder zur Bildrekonstruktion von verdeckten, gestörten oder verschwommenen Bereichen für weitere bildbasierte Funktionen genutzt werden.

Eine Überwachung und/oder Lokalisation der Regenmenge oder Schneemenge kann zur Blindheitserkennung, zur Freisichterkennung, zur Unterdrückung von verdeckten, gestörten oder verschwommenen Bereichen für weitere bildbasierte Funktionen oder zur Bildrekonstruktion von verdeckten, gestörten oder verschwommenen Bereichen für weitere bildbasierte Funktionen genutzt werden.

Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden.