Die Erfindung betrifft weiterhin eine Vorrichtung zur Sichtbarmachung einer Fahr- zeugumgebung, insbesondere zur Erfassung und Darstellung der vor einem Fahrer liegenden Verkehrssituation mit einem Nachtsichtinformationssystem, bei der mit einem Kamerasystem weitgehend orts-und zeitgleiche Videobilder aus unter- schiedlichen Spektralbereichen aufnehmbar sind, und bei der die Videobilder mit einer Fusionseinrichtung gewichtet fusionierbar sind.

Zur Unterstützung der Sichtverhältnisse für den Fahrer eines Fahrzeuges bei Nacht öder bei ungünstiger Witterung, beispielsweise bei Regen, Nebel, oder Schneetrei- ben, sind Nachtsichtinformationssysteme bekannt. Diese Systeme nehmen Video- bilder einer vor dem Fahrer liegenden Verkehrssituation auf, um sie die dem Fahrer auf einem Display zu präsentieren. Nachtsichtinformationssysteme arbeiten meist mit einer Infrarot (IR)-Kamera, die ein Wärmeabbild eines Ausschnitts der Umge- bung detektiert. Dem Fahrer wird dadurch ein Hilfsmittel zur Verfügung gestellt, um wärmeabstrahlende Objekte, die unbeleuchtet und daher nicht unmittelbar von dem Fahrer wahrnehmbar sind, insbesondere Fußgänger, Radfahrer oder Tiere, bei un- günstigen Sichtverhältnissen frühzeitig zu erkennen und Unfälle zu vermeiden.

Aus der DE 102 07 039 A1 ist ein Verfahren und eine Vorrichtung zur Sichtbarma- chung einer Fahrzeugumgebung bekannt, bei dem zusätzlich zu der IR-Kamera für den infraroten Spektralbereich, eine VIS-Kamera für den sichtbaren (visuellen) Spektralbereich in einem Nachtsichtinformationssystem eingesetzt wird. In einer Fusionseinrichtung werden jeweils ein im Wesentlichen orts-und zeitgleiches digi- talisiertes IR-Abbild und ein VIS-Abbild softwaremäßig pixelgenau überlagert. Da-

bei werden einzelne Pixelpaare oder ganze Pixelbereiche durch eine gewichtete Mittelwertbildung der Pixelinformationen bearbeitet. Bei der Mittelwertbildung kön- nen die IR-Informationen und die VIS-Informationen unterschiedlich gewichtet wer- den, insbesondere in Abhängigkeit von der Umgebungshelligkeit, von der Farbe im visuellen Abbild oder von einem aus der Informationstheorie ableitbaren Informati- onsreichtum im jeweiligen Spektralbereich. Die Gewichtung kann ganzflächig oder in einzelnen Bildbereichen erfolgen. Durch die Überlagerung des IR-Bildes mit dem VIS-Bild kann der Fahrer die vor ihm liegende Verkehrssituation, die er visuell durch die Windschutzscheibe erfasst, und die entsprechende Verkehrssituation, die durch das Nachtsichtinformationssystem per Videobild dargestellt wird, leichter einander zuordnen als bei einem Nachtsichtinformationssystem, das nur mit IR-Abbildern arbeitet.

Nachteilig bei dem bekannten Verfahren wirkt sich aus, dass der Kontrast in den fusionierten Bildern über die Bildfläche relativ einheitlich eingestellt wird. Die ein- stellbare Gewichtung des IR-Bildes und des VIS-Bildes bei der Mittelwertbildung des fusionierten Bildes verbessert zwar insgesamt die Kontrastierung gegenüber nicht gewichteten Bildern, verschiedene Einzelheiten innerhalb eines Bildbereichs werden dabei jedoch gleich behandelt. Dies kann dazu führen, dass sich auf dem angezeigten Videobild in bestimmten Verkehrssituationen wichtige Einzelheiten, beispielsweise Personen auf der Fahrbahn, nicht in einem gewünschten Maße von der Umgebung abheben.

Aufgabe der vorliegenden Erfindung ist es daher, das bekannte Verfahren zur Sichtbarmachung einer Fahrzeugumgebung mit einem Nachtsichtinformationssys- tem so zu verbessern, dass die Wahrnehmbarkeit einzelner Bildobjekte erhöht wird.

Die Aufgabe wird erfindungsgemäß in Verbindung mit dem Oberbegriff des An- spruchs 1 dadurch gelöst, dass erstens die Videobilder mit einem global eingestell- ten vorläufigen Wichtungsfaktor gewichtet werden, dass zweitens mit Hilfe eines Objekterkennungssystems eine Objektanalyse der Videobilder durchgeführt wird, und dass drittens aufgrund der Objektanalyse eine objektselektive lokale Anpassung der Wichtungsfaktoren vorgenommen wird.

Die objektselektive Anpassung der Wichtungsfaktoren ermöglicht, dass detektierte Objekte in der Fahrzeugumgebung kontrastoptimal zur besseren Wahrnehmung durch den Fahrer dargestellt werden, da die spektralen Anteile, die den größten Beitrag zur Wahrnehmung der Objekte leisten, stärker gewichtet werden. Dazu wird zunächst eine vorläufige flächendeckende (globale) Gewichtung der spektralen An- teile für die Bildfusion, beispielsweise je die halbe Intensität des VIS- Spektralbereichs und des IR-Spektralbereichs eingestellt. Unter Bildfusion wird da- bei grundsätzlich die Bildung neuer Pixel aus einer gewichteten Mittelwertbildung der Intensität zugeordneter Pixelpaare, als auch die Überlagerung mit einer gewich- teten Addition der Intensitäten verstanden. Anschließend erfolgt die lokale Anpas- sung der Wichtungsfaktoren und deren endgültige Festlegung anhand der durch das Objekterkennungssystem detektierten, bzw. erkannten Objekte.

Geeignete Objekterkennungssysteme stehen im Prinzip zur Verfügung. Ihre Funkti- onsweise ist beispielsweise aus der DE 199 55 919 C1 und den darin enthaltenen Querverweisen bekannt. Sie beruhen in der Regel auf einer automatischen Objekt- analyse von digitalen Bildern oder auf einer Mustererkennung und liefern eine Aus- sage über das Vorhandensein bestimmter vorgegebener Objekte. Das erfindungs- gemäße Objekterkennungssystem führt in jedem aufgenommenen Spektralbereich ein Bildanalyse durch. Anhand der Erkennung und Unterscheidung detektierter Ob- jekte, beispielsweise Personen, Tiere, Hindernisse, können die spektralen Wich- tungsfaktoren dann in den jeweiligen Bildbereichen je nach ihrer Strahlungsstärke im Sichtbaren und im Infraroten gezielt angepasst werden. Die Wichtungsfaktoren können so eingestellt werden, dass die detektierten Objekte jeweils hauptsächlich in dem Spektralbereich dargestellt werden, in dem sie für den Fahrer am deutlichsten auf dem fusionierten Videobild wahrnehmbar sind. Insbesondere können so Perso- nen und Wild, die in größerer Entfernung keine visuellen Anteile aufweisen, aber im Infraroten sehr gut detektierbar sind, durch diese Anpassung noch besser in die eigene Fahrzeugumgebung eingeordnet werden, da eine Kontrastverminderung durch die Fusion mit dem dunklen Hintergrund entfällt. Entsprechend werden Objek- te, die im Visuellen eine signifikant bessere Signatur hinterlassen, wie beispielswei- se Straßenbegrenzungspfosten aufgrund der angebrachten Reflektoren, mit einer stärkeren Gewichtung im Visuellen versehen.

Gemäß einer bevorzugten Ausführungsform der Erfindung wird mit Hilfe des Ob- jekterkennungssystems eine Objektbewertung der detektierten Objekte nach ihrer Relevanz durchgeführt, und die lokalen Wichtungsfaktoren werden an die aufgrund der Objektbewertung zugeordnete Relevanz des jeweiligen Objektes angepasst, so dass vorgegebene detektierte Objekte jeweils hauptsächlich in dem Spektralbereich dargestellt werden, in dem sie für den Fahrer am deutlichsten auf dem fusionierten Videobild wahrnehmbar sind.

Durch die Objektbewertung kann eine gezielte Verstärkung, bzw. Abschwächung lokaler Wichtungsfaktoren vorgenommen werden. Insbesondere ist es dadurch möglich, mit einer Übergewichtung eines bestimmten Spektralanteils den Fahrer explizit auf besonders relevante, insbesondere auf gefährliche und/oder gefährdete Objekte, aufmerksam zu machen. Dadurch kann eine erhöhte Sicherheit für sich (den Fahrer) und andere Verkehrsteilnehmer bei Dunkelheit und schlechter Sicht erreicht werden. Die Übergewichtung kann zum einen durch eine lokale Anhebung im interessanten Bildbereich oder durch eine Verringerung eines spektralen Anteils in der Objektumgebung erfolgen.

Für die Objektbewertung besonders geeignet sind Objekterkennungssysteme, die mit einer Objektklassifizierung arbeiten. Anhand verschiedener Objektklassen, bei- spielsweise Personen, Tiere, Fahrzeuge, Hindernisse, u. s. w., kann eine besonders schnelle und zuverlässige Einstufung der Relevanz der detektierten Objekte vorge- nommen werden.

Nach einer weiteren bevorzugten Ausführungsform der Erfindung werden Bildberei- che, in denen keine relevanten Objekte detektiert werden oder deren Relevanz nicht eindeutig zugeordnet werden kann, mit dem global eingestellten Wichtungsfaktor gewichtet.

Durch die Einstellung des globalen Wichtungsfaktors in Bildbereichen ohne relevan- te Objekte oder ohne eindeutige Zuordnung wird sichergestellt, dass auch die In- formationen dieser Bildbereiche dem Fahrer zur Ansicht gebracht werden.

Gemäß einer weiteren bevorzugten Ausführungsform der Erfindung wird zwischen benachbarten relevanten und nicht relevanten Bildbereichen, mit Hilfe eines variier- baren Kennlinienverlaufs des Verhältnisses der Wichtungsfaktoren der unterschied- lichen Spektralbereiche, ein stetiger Übergang in dem fusionierten Videobild er- zeugt.

Durch den stetigen Übergang zwischen besonders hervorgehobenen, weil releva- ten, Bildbereichen und deren Umgebung, wird durch den unmerklichen weichen Verlauf ein harmonischer und realistischer Bildeindruck in dem jeweiligen fusionier- ten Videobild erzeugt.

Nach einer weiteren bevorzugten Ausführungsform der Erfindung werden bei der Fusion der Videobilder Strahlungsanteile mit Wellenlängen aus dem Sichtbaren Spektralbereich und Strahlungsanteile mit Wellenlängen aus dem Infraroten Spekt- ralbereich berücksichtigt.

Durch die Detektion des Sichtbaren Spektralbereichs (ca. 380nm-780nm) werden alle für das menschliche Auge leuchtenden, bzw. beleuchtete Objekte erfasst. Im Infrarotbereich (ca. 780nm-1mm) werden alle Objekte, die eine Wärmestrahlung aussenden, erfasst. Dadurch wird ein, die aktuelle Verkehrssituation umfassend wiedergebender, Informationsgehalt in den fusionierten Bildern erreicht. Insbeson- dere bei Personen, die durch keine Beleuchtung erfasst werden und somit keine visuelle Strahlung reflektieren, ist eine stärkere Gewichtung im FIR-Spektralbereich (ca. 25um-1mm) besonders effektiv.

Gemäß einer weiteren bevorzugten Ausführungsform werden in den visuellen Vi- deobildern Farbinformationen verarbeitet.

Die Farbinformationen können in den fusionierten Bildern die Wahrnehmbarkeit be- stimmter Objekte noch weiter verbessern. Die Wirkung der objektselektiven Gewich- tung wird dadurch unterstützt. Der Fahrer kann beispielsweise noch deutlicher auf rote Bremsleuchten, Ampeln, oder Signalanlagen, aufmerksam gemacht werden, wodurch die aktuelle Verkehrssituation noch schneller erfasst wird und sich die Un- fallgefahr weiter verringert.

Nach einer weiteren bevorzugten Ausführungsform der Erfindung werden Maskie- rungs-und/oder Verdeckungseffekte von detektierten Objekten mit Hilfe der Anpas- sung der lokalen Wichtungsfaktoren zumindest teilweise unterdrückt.

Durch die lokalen Wichtungsfaktoren werden mögliche Maskierungs-und Verde- ckungseffekte kontrollierbar. Durch eine gezielte Veränderung der Wichtungsfakto- ren in den Verdeckungsbereichen kann die Verdeckung erheblich unterdrückt wer- den. Die Interpretierbarkeit der dargestellten Bilder wird dadurch zusätzlich verbes- sert.

Die aus der DE 102 07 039 A1 bekannte Vorrichtung zur Sichtbarmachung einer Fahrzeugumgebung hat den Nachteil, dass sie die vor einem Fahrer liegende Ver- kehrssituation in verschiedenen Spektralbereich zwar bildlich jedoch nicht inhaltlich erfasst. Dies kann dazu führen, dass relevante Objekte dem Fahrer relativ un- scheinbar angezeigt werden.

Weitere Aufgabe der vorliegenden Erfindung ist es daher, die bekannte Vorrichtung zur Sichtbarmachung einer Fahrzeugumgebung so zu verbessern, dass relevante Bildobjekte signifikanter anzeigbar sind.

Die Aufgabe wird erfindungsgemäß in Verbindung mit dem Oberbegriff des An- spruchs 9 dadurch gelöst, dass der Fusionseinrichtung ein Objekterkennungssys- tem vorgeschaltet ist, mit dem Objekte, die sich in der Fahrzeugumgebung befinden, über das Kamerasystems detektierbar sind, und dass eine Steuereinrichtung vorge- sehen ist, über die in Wirkverbindung mit dem Objekterkennungssystem die Fusi- onseinrichtung mit einer objektselektiven lokalen Spektralbereichsgewichtung an- steuerbar ist.

Durch die Wirkverbindung des Nachtsichtinformationssystems, das über das Kame- rasystem Bildinformationen aus mindestens zwei unterschiedlichen Spektralberei- chen kombiniert, mit dem Objekterkennungssystems, kann der Fahrer auf beson- ders wichtige, d. h. relevante Objekte, wie beispielsweise Personen, besonders auf- merksam gemacht werden, da diese Objekte durch die objektselektive Spektralbe-

reichsgewichtung in den fusionierten Videobildern besonders hervorgehoben wer- den können. Insgesamt wird der Kontrast in den fusionierten Videobildern erhöht, da grundsätzlich alle detektierten Objekte in dem Spektralbereich dargestellt werden können, in dem sie die beste Signatur hinterlassen, d. h. am signifikantesten er- scheinen.

Gemäß einer bevorzugten Ausführungsform der Erfindung weist das Kamerasystem mindestens einen im Sichtbaren Spektralbereich empfindlichen und mindestens einen im Infraroten Spektralbereich empfindlichen Sensor auf.

Dadurch, dass das Kamerasystem Objekte im Sichtbaren und im Infraroten detektie- ren kann, können sichtbare Objekte, als auch reine Wärmestrahler, in den fusionier- ten Videobildern dargestellt werden. Dadurch wird eine sehr hohe Wahrnehmungs- qualität und eine einfache Zuordnung der Anzeige des Nachtsichtinformationssys- tems zu der vor dem Fahrer liegenden Verkehrssituation erreicht.

Nach einer weiteren bevorzugten Ausführungsform der Erfindung ist ein Head-up- Display vorgesehen ist, auf dem die fusionierten Videobilder dem Fahrer präsentier- bar sind.

Durch das Head-up-Display : können die fusionierten Videobilder insbesondere auf einen unteren Teil der Windschutzscheibe eines Fahrzeugs projiziert werden. Die Bilder erscheinen dadurch im unmittelbaren Blickfeld des Fahrers ohne die Gerade- aussicht des Fahrers zu stören, wodurch bei dem Fahrer ein besonders hoher Auf- merksamkeitsgrad erreicht wird und ein schnelle Reaktion bei einer wahrgenomme- nen Gefahr erfolgen kann. Grundsätzlich ist es selbstverständlich aber auch mög- lich, die Videobilder auf einem herkömmlichen Monitor, beispielsweise einem LCD- Display, darzustellen.

Weitere Einzelheiten der Erfindung ergeben sich aus der nachfolgenden ausführli- chen Beschreibung und der beigefügten Zeichnung, in der eine bevorzugte Ausfüh- rungsform der Erfindung beispielsweise veranschaulicht ist.

Es zeigt : Figur 1 : Ein Blockschaltbild einer Vorrichtung zur Sichtbarmachung einer Fahrzeugumgebung.

Eine Vorrichtung zur Sichtbarmachung einer Fahrzeugumgebung, besteht im We- sentlichen aus einem in einem Fahrzeug eingebauten Nachtsichtinformationssystem 1, das ein Objekterkennungssystem 5 aufweist.

Der Aufbau des in Fig. 1 als Blockschaltbild dargestellten Nachtsichtinformations- systems 1 entspricht prinzipiell dem aus der DE 102 07 039 A1 bekannten System.

In einem Kamerasystem 2 ist eine Visuell-Kamera 3 zur Aufnahme von Videobil- dern im Sichtbaren Spektralbereich sowie eine Infrarot-Kamera 4 zur Aufnahme von Videobildern aus dem Infraroten Spektralbereich angeordnet. Die Kameras sind vorteilhaft als Digitalkameras mit in den entsprechenden Spektralbereichen empfind- lichen Sensoren ausgebildet. Dem Kamerasystem 2 nachgeschaltet, bzw. einer Fu- sionseinrichtung 9 vorgeschaltet, ist erfindungsgemäß das Objekterkennungssystem 5. Dem Objekterkennungssystem 5 ist eine Steuereinrichtung 6 zugeordnet, über die die Fusionseinrichtung 9 ansteuerbar ist. Zwischengeschaltet ist eine Normal- sierungsvorrichtung 7, in der Abbildungsfehler der Videobilder auf prinzipiell bekann- te Weise softwaremäßig beseitigt werden können. Weiterhin ist eine Ausrichtvorrich- tung 8 vorgesehen, in der mit Hilfe einer digitalen Bildverarbeitung die orts-und zeitgleich aufgenommenen VIS-Bilder und IR-Bilder zueinander ausgerichtet wer- den können, so dass die jeweils zusammengehörenden Bildpaare pixelgenau zur Deckung kommen. Der Ausrichtvorrichtung 8 ist die Fusionseinrichtung 9 zur ge- wichteten Fusion der zur Deckung gebrachten VIS-Bilder und IR-Bilder nachge- schaltet. Die fusionierten Bilder sind auf einem Head-up-Display 10 anzeigbar.

Ein Verfahren zur Sichtbarmachung einer Fahrzeugumgebung, beruht im Wesentli- chen auf einer gewichteten Fusion von weitgehend orts-und zeitgleichen Videobil- dern aus unterschiedlichen Spektralbereichen einer vor einem Fahrer liegenden Verkehrssituation.

Das Verfahren wird anhand der in Fig. 1 dargestellten Vorrichtung im Folgenden beschrieben : Über das Kamerasystem 2 wird mit der für sichtbare Strahlung empfindlichen Kame- ra 3 und mit der für infrarote Strahlung empfindlichen Kamera 4 annähernd orts- und zeitgleich jeweils eine Aufnahme einer vor dem Fahrer liegenden Fahrzeugum- gebung gemacht. Die daraus resultierende VIS-Digitalabbildung und die IR- Digitalabbildung der Fahrzeugumgebung werden in dem Objekterkennungssystem einer automatischen Bildanalyse unterzogen. Die detektierten, d. h. erkannten Ob- jekte, werden in einer Objektklassifizierung nach ihrer Relevanz bewertet. Bei- spielsweise erhalten Personen, die höchste Relevanzstufe. Die Videobilder werden anschließend in der Normalisierungsvorrichtung 7 hinsichtlich vorhandener Abbil- dungsfehler, beispielsweise Verzerrungen, korrigiert und dann in der Ausrichtvor- richtung 8 pixelgenau zur Deckung gebracht. Die zur Deckung gebrachten Videobil- der werden anschließend in der Fusionseinrichtung 9 digital verarbeitet.

Bei dieser digitalen Bildverarbeitung wird aus jedem zueinandergehörigen Pixelpaar ein fusioniertes Pixel generiert. Dabei werden der IR-Anteil und der VIS-Anteil mit Wichtungsfaktoren multipliziert. Zunächst wird ganzflächig (global) eine Gewichtung eingestellt, die beispielsweise von der Heftigkeit der Umgebung (Taglicht/Dämme- rung/Dunkelheit) abhängt. Die lokalen Wichtungsfaktoren werden dann in dem Objekterkennungssystem 5 anhand einer Objektanalyse bestimmt. Dabei erhalten die detektierten Objekte eine stärkere Gewichtung in dem Spektralbereich, in dem sie stärker abstrahlen. Weiterhin erhalten besonders relevante Objekte eine stärkere Gewichtung als weniger relevante Objekte. Über die Steuereinrichtung 6 wird die Fusionseinrichtung 9 dann so angesteuert, dass die lokalen Bildbereiche, die die detektierten Objekte enthalten, den lokalen Wichtungsfaktoren entsprechend ge- wichtet werden, d. h. im Wesentlichen in dem Spektralbereich dargestellt werden, in dem diese Objekte die beste Signatur hinterlassen. Beispielsweise werden unbe- leuchtete Personen hauptsächlich im Infraroten dargestellt, reflektierende Straßen- begrenzungen werden dagegen hauptsächlich im Sichtbaren dargestellt. Weiterhin kann eine Feinabstimmung zur Erzeugung weicher Übergänge zwischen relevanten und irrelevanten Bildbereichen und eine Unterdrückung von Maskierungseffekten

vorgenommen werden. Als Resultat wird ein kontrastreiches fusioniertes Videobild erzeugt, auf dem relevante Objekte besonders hervorgehoben erscheinen.

Vorzugsweise werden die visuellen Bilder mit einer Farb-VIS-Kamera aufgenom- men, um ein fusioniertes Farbvideobild zu generieren. Dadurch erscheinen die Bil- der realistischer und die verschiedenen detektierten Objekte sind für den Fahrer noch prägnanter erkennbar und leichter zu der vor ihm liegenden Fahrzeugumge- bung zuzuordnen.

Die fusionierten Bilder werden entsprechend der Aufnahmefrequenz des Kamera- systems 2 und der Verarbeitungsgeschwindigkeit in den nachgeschalteten Einrich- tungen 5 bis 9 fortlaufend auf das Head-up-Display 10 projiziert, so dass die in die Fahrzeugumgebung geratenden Objekte für den Fahrer unmittelbar zur Ansicht ge- bracht und von diesem mit hoher Zuverlässigkeit auch bei Dunkelheit und schlechter Sicht wahrgenommen werden.

Bezugszeichenliste

1 Nachtsichtinformationssystem 2 Kamerasystem 3 VIS-Kamera 4 IR-Kamera 5 Objekterkennungssystem 6 Steuereinrichtung 7 Normalisierungsvorrichtung 8 Ausrichtvorrichtung 9 Fusionseinrichtung 10 Head-up-Display