Bei der Erfindung handelt es sich um eine Vorrichtung mit zwei Kameras, von denen eine erste Kamera im sichtbaren Spektralbereich empfindlich ist und eine zweite Kamera im infraroten Spektralbereich empfindlich ist, und die in einem definierten Abstand zueinander angeordnet sind, um Bilder ei- ner gleichen, wenigstens ein Objekt aufweisenden Szene aufzu- nehmen. Die Erfindung betrifft darüber hinaus ein Verfahren zur Entfernungsbestimmung eines Objekts.

Heutzutage werden in Kraftfahrzeugen verstärkt Kameras einge- setzt, die im infraroten Spektralbereich empfindlich sind, um einem Fahrzeuglenker eine-Orientierung bei Dunkelheit zu er- möglichen und das Erkennen von Objekten zu erleichtern. Dabei wird in einem infraroten Spektralbereich ein Bild einer die Objekte aufweisenden Szene aufgenommen und aus dem Bild ein Anzeigebild der Szene abgeleitet, welches auf einem Anzeige- schirm dargestellt wird. Weil es sich bei der Strahlung im infraroten Wellenlängenbereich um Wärmestrahlung handelt, entspricht eine Helligkeitsverteilung im Anzeigebild der Sze- ne einer Temperaturverteilung in der Szene, so dass bei- spielsweise eine auf Objekten der Szene wie Schildern und Hinweistafeln aufgebrachte Schrift im Anzeigebild nicht wie- dergegeben wird.

Um diesen Nachteil zu beheben, ist es beispielsweise aus den US 5,100, 558 und US 6,150, 930 bekannt, Kameras, die im inf- raroten Spektralbereich empfindlich sind, mit Kameras zu kom-

binieren, die im sichtbaren Spektralbereich empfindlich sind.

Das von der im infraroten Spektralbereich empfindlichen Kame- ra aufgenommene Bild der Szene wird dabei mit einem von der im sichtbaren Spektralbereich empfindlichen Kamera aufgenom- menen Bild der Szene überlagert, so dass im Anzeigebild der Szene farbliche Unterschiede von im sichtbaren Spektralbe- reich strahlenden Bereichen der Objekte sichtbar werden. In von solchen Farbnachtsichtgeräten erzeugten Anzeigebildern lassen sich beispielsweise die Farben von Ampeln erkennen, Frontscheinwerfer entgegenkommender Kraftfahrzeuge von Heck- scheinwerfern und Bremslichtern vorausfahrender Kraftfahrzeu- ge unterscheiden oder Schriften auf Hinweistafeln bei Dunkel- heit lesbar'machen.

Bei dem in der US 5,001, 558 offenbarten Farbnachtsichtgerät nimmt die Infrarotkamera ein monochromatisches Bild einer Szene auf. Die Farbkamera nimmt ein Bild derselben Szene im sichtbaren Spektralbereich auf. Beide Bilder werden überla- gert, und diese Überlagerung wird einem Anzeigeschirm zuge- führt, der ein Anzeigebild der Szene als Überlagerung der beiden Bilder wiedergibt. Die Anordnung ist derart, dass zwi- schen beiden Kameras ein Spiegel angeordnet ist, der reflek- tiv für Strahlung im sichtbaren Spektralbereich und durchläs- sig für Strahlung im infraroten Spektralbereich ist. Die vor dem Spiegel angeordnete Farbkamera nimmt vom Spiegel reflek- tierte sichtbare Strahlung auf, während die hinter dem Spie- gel angeordnete Infrarotkamera vom Spiegel durchgelassene infrarot Strahlung aufnimmt. Dadurch ist gewährleistet, dass beide Kameras jeweils ein Bild derselben Szene aufnehmen.

Ein weiteres Farbnachtsichtgerät offenbart die US 6,150, 930.

In dieser Schrift umfasst das Farbnachtsichtgerät lediglich eine Kamera, die jedoch mit unterschiedlichen Typen von Sen- soren bestückt ist. So ist ein erster Typ von Sensoren sen- sitiv für infrarote Strahlung und ein zweiter Typ von Senso- ren ist sensitiv für Strahlung im sichtbaren Spektralbe- reich. Mit dieser Kamera lassen sich zwei Bilder derselben

Szene erzeugen, von denen eines im infraroten Spektralbe- reich aufgenommen wird und das zweite im sichtbaren Spekt- ralbereich. Beide Bilder werden zu einem Anzeigebild der Szene kombiniert, das auf einem Anzeigeschirm dargestellt wird.

Neben infraroten Kameras oder Farbnachtsichtgeräten sind in heutigen Kraftfahrzeugen auch Kollisionsschutzvorrichtungen bekannt. Diese arbeiten beispielsweise mit einem Radarsen- sor, um die Distanz zu einem vorausfahrenden Fahrzeug oder zu einem in Fahrtrichtung des Kraftfahrzeuges auftretenden Objektes zu bestimmen. Verringert sich die Distanz unter ei- nen vorgegebenen Grenzwert, wird das Kraftfahrzeug automa- tisch leicht abgebremst. Vergrößert sie sich über den Grenz- wert, wird das Kraftfahrzeug beschleunigt. Alternativ dazu kann ein akustisches Warnsignal ausgelöst werden, das einem Lenker anzeigt, wann er stark bremsen sollte.

Im Hinblick auf generelle Bestrebungen einer Gewichtsreduk- tion bei Kraftfahrzeugen, die sich unter anderem günstig auf den Kraftstoffverbrauch auswirkt, sowie auf die Kostener- sparnis, ist es wünschenswert, bestehende Einrichtungen in Kraftfahrzeugen derart zu vereinfachen, dass auf Komponenten möglichst verzichtet werden kann.

Es ist daher Aufgabe der vorliegenden Erfindung, eine Vor- richtung und ein Verfahren zur Entfernungsbestimmung eines Objekts zu schaffen, welche in einem Kraftfahrzeug, das mit einem Nachtsichtgerät und einem Kollisionsschutzsystem be- stückt ist, zu einer Einsparung von Komponenten führt.

Gelöst wird diese Aufgabe durch eine Vorrichtung nach An- spruch 1 und ein Verfahren nach Anspruch 11.

Bei der Erfindung werden mit einer einzigen Vorrichtung zwei Bilder derselben Szene aufgenommen, eines im sichtbaren Spektralbereich, das zweite im infraroten Spektralbereich,

sowie ohne zusätzliche Aufwendungen aus den Bildern eine Entfernung des Objekts in der Szene bestimmt. Die ermittelte Entfernung lässt sich für geeignete Zwecke verwenden, wie beispielsweise für eine Kollisionsschutzvorrichtung. Somit entfällt bei bekannten Kollisionsschutzvorrichtungen die Notwendigkeit eines Entfernungssensors wie z. B. eines Radar- sensors. Mit den in den obengenannten Schriften beschriebe- nen Vorrichtungen lassen sich Entfernung von Objekten des- halb nicht bestimmen, weil jeweils beide Kameras die Szene aus demselben Blickwinkel aufnehmen, so dass der zur Entfer- nungsbestimmung benötigte definierte Abstand zwischen den Kameras fehlt. Für ein Fahrzeug mit einer solchen Vorrich- tung ist ein zusätzlicher Entfernungssensor zum Betrieb ei- ner Kollisionsschutzvorrichtung unerlässlich. Gegenüber der US 5,001, 558 hat die Erfindung den weiteren Vorteil, dass auch der Spiegel entfällt, was hinsichtlich notwendiger Jus- tagearbeiten von Spiegel und Kameras und der Bruchgefahr beim Spiegel einen zusätzlichen Vorteil darstellt. Weil mit der erfindungsgemäßen Vorrichtung Komponenten wie Entfernungs- sensoren bzw. Spiegel eingespart werden können, ist ein Kraftfahrzeug, das mit einer erfindungsgemäßen Vorrichtung ausgestattet ist, gegenüber bekannten Kraftfahrzeugen mit Farbnachtsichtgerät und Kollisionsschutzvorrichtung generell kostengünstiger und gewichtsärmer und somit kraftstoffspa- render.

Die Vorrichtung kann weiter ein Wiedergabesystem mit Anzeige- schirm zur elektronischen Erzeugung und Anzeige eines aus ei- ner Mehrzahl von Pixeln aufgebauten Anzeigebildes der Szene umfassen, wobei das Wiedergabesystem das Anzeigebild aus Bildsignalen ableitet, die von beiden Kameras geliefert wer- den. Sofern es sich bei der ersten Kamera um eine Farbkamera handelt, kann die Vorrichtung als Farbnachtsichtgerät einge- setzt werden, das wie oben beschrieben im Anzeigebild farbli- che Unterschiede von im sichtbaren Spektralbereich strahlen- den Bereichen der Szene sichtbar macht. Es wird dadurch auch ungeübten Personen ermöglicht, die Szene auf dem Anzeigebild

ohne Schwierigkeit zu erkennen und sich bei Dunkelheit zu o- rientieren.

Bevorzugt umfasst das Wiedergabesystem eine Kombinationsein- richtung zur Erzeugung eines kombinierten Videosignals und leitet das Anzeigebild aus dem kombinierten Videosignal ab, wobei das kombinierte Videosignal für jeden Pixel eine aus dem Bildsignal der zweiten Kamera abgeleitete Leuchtdichtein- formation und eine aus dem Bildsignal der ersten Kamera abge- leitete Farbartinformation umfasst. Eine solche Kombination kann mittels einfacher Schaltungen bewerkstelligt werden.

Die erste Kamera kann als das Bildsignal ein mehrkomponenti- ges Farbvideosignal liefern, bei dem eine der Komponenten ei- ne Leuchtdichteinformation für jeden Pixel ist. Dies ent- spricht der bekannten Darstellung des Pixels im YUV-Modell.

Alternativ dazu kann die erste Kamera Sensoren, die jeweils in einem roten, einem grünen bzw. einem blauen Wellenlängen- bereich empfindlich sind, umfassen, was dem bekannten RGB- Aufnahmeverfahren entspricht. Zusätzlich kann die erste Kame- ra eine Transformationsmatrix umfassen, die von den Sensoren gelieferte Signale in das mehrkomponentige Farbvideosignal transformiert, bei dem eine der Komponenten eine Leuchtdich- teinformation für jeden Pixel ist. In einem solchen Fall kann für das Wiedergabesystem eine Rücktransformationsmatrix vor- gesehen sein, die das mehrkomponentige Farbvideosignal in ein zweites Farbvideosignal rücktransformiert, das die Helligkeit f jedes Pixels in einem roten, einem grünen und einem blauen Wellenlängenbereich repräsentiert, und das Anzeigebild aus dem zweiten Farbvideosignal ableitet.

Grundsätzlich kann von dem Wiedergabesystem auch ein räumli- ches Bild des Objekts erzeugt werden.

Beim erfindungsgemäßen Verfahren kann das Objekt in den bei- den Bildern dadurch erkannt werden, dass in den von den bei-

den Kameras aufgenommenen Bildern der Szene gemeinsame Merk- male aufgefunden werden.

Das mit der ersten Kamera aufgenommene Bild der Szene kann durch ein mehrkomponentiges Farbvideosignal repräsentiert sein, wobei wenigstens eine Komponente des mehrkomponentigen Farbvideosignals zum Auffinden der gemeinsamen Merkmale mit dem von der zweiten Kamera aufgenommenen Bild verglichen wer- den kann. Ein solches mehrkomponentiges Farbvideosignal kann das Bild der Szene beispielsweise nach dem bekannten RGB- Modell in einem roten, einem grünen und einem blauen Spekt- ralbereich repräsentieren. Dann ist es möglich, für den Ver- gleich mit dem von der zweiten Kamera aufgenommenen Bild nur eine Repräsentation des Bildes in entweder dem roten oder dem grünen oder dem blauen Spektralbereich heranzuziehen. Es kön- nen aber auch jeweils zwei oder alle drei Repräsentationen, also das komplette mehrkomponentige Farbvideosignal, mit dem von der zweiten Kamera aufgenommenen Bild verglichen werden.

Entsprechendes ist für ein mehrkomponentiges Farbvideosignal nach dem YUV-Modell möglich, dessen Komponenten eine Leucht- dichtekomponente Y und zwei Farbartkomponenten U und V dar- stellen, und das sich durch eine Transformation aus einem mehrkomponentigen Farbvideosignal nach dem RGB-Modell gewin- nen läßt.

Andererseits kann das mit der ersten Kamera aufgenommene Bild der Szene eine Leuchtdichteninformation der Szene wiederge- ben, und dieses Bild kann nun zum Auffinden der gemeinsamen Merkmale mit dem von der zweiten Kamera aufgenommenen Bild verglichen werden. Dann muss es sich bei der ersten Kamera nicht notwendigerweise um eine Farbkamera handeln ; es kann auch eine Schwarz-Weiss-Kamera als erste Kamera verwendet werden.

Nachfolgend wird die Erfindung unter Zuhilfenahme einer fi- gürlichen Darstellung näher erläutert.

Es zeigt : Fig. 1 einen schematischen Aufbau einer Vorrichtung zur Aus- führung des erfindungsgemäßen Verfahrens.

Eine in einem Kraftfahrzeug eingebaute Vorrichtung zur Aus- führung des erfindungsgemäßen Verfahrens ist in Figur 1 sche- matisch dargestellt. Die Vorrichtung umfasst eine erste Kame- ra 1 und eine zweite Kamera 2, die in einem definierten Ab- stand a zueinander angeordnet sind. Beide Kameras 1, 2 sind auf eine Szene 3 ausgerichtet, die ein Objekt 4, im vorlie- genden Fall ein Fahrzeug, enthält, und nehmen jeweils ein Bild der Szene 3 auf. Die erste Kamera 1 ist im sichtbaren Spektralbereich empfindlich, die zweite Kamera 2 ist im inf- raroten Spektralbereich empfindlich. Dabei umfasst die erste Kamera 1 Sensoren 5, die jeweils in einem roten, einem grünen bzw. einem blauen Wellenlängenbereich empfindlich sind, und eine mit den Sensoren 5 verbundene Transformationsmatrix 6.

Sowohl die erste Kamera 1 als auch die zweite Kamera 2 sind mit einer Triangulationseinrichtung 7 verbunden. Sie stehen auch mit einem Wiedergabesystem 8 in Verbindung. Das Wieder- gabesystem 8 umfasst eine Kombinationseinrichtung 9, die über eine Leitung 10 mit der ersten Kamera 1 und über eine Leitung 11 mit der zweiten Kamera 2 verbunden ist, eine mit der Kom- binationsmatrix 9 verbundene Rücktransformationsmatrix 12 und einen Anzeigeschirm 13 zum Anzeigen eines Anzeigebildes 14.

Schließlich ist eine Kollisionsschutzeinrichtung 15 des Fahr- zeuges dargestellt. Diese steht mit der Triangulationsein- richtung 7 in Verbindung.

Zur Durchführung des erfindungsgemäßen Verfahrens nimmt die zweite Kamera 2 im infraroten Wellenlängenbereich ein Bild der Szene 3 auf. Sie erzeugt daraus ein YIR-Bildsignal und gibt es an die Leitung 11 aus, über welche es einerseits zur Triangulationseinrichtung 7 und andererseits zur Kombinati- onseinrichtung 9 gelangt.

Die erste Kamera 1 nimmt mit den Sensoren 5 im sichtbaren Spektralbereich ebenfalls ein Bild der Szene 3 auf. Von den Sensoren 5 werden der Transformationsmatrix 6 nach dem RGB- Aufnahmeverfahren entsprechende Signale RGB des Bildes gelie- fert. Die Transformationsmatrix 6 transformiert die Signale RGB in ein mehrkomponentiges Farbvideosignal YUV, wobei die Komponente Y des mehrkomponentigen Farbvideosignals YUV ein Luminanzsignal ist. Für diese Transformation wird die folgen- de Matrix-Multiplikation durchgeführt : Das mehrkomponentige Farbvideosignal YUV verläßt die erste Kamera 1 über die Leitung 10 und erreicht wie das YIR- Bildsignal einerseits die Triangulationseinrichtung 7 und an- dererseits die Kombinationseinrichtung 9.

Die Kombinationseinrichtung 9 kombiniert das YIR-Bildsignal mit dem mehrkomponentigen Farbvideosignal YUV, indem sie das Luminanzsignal Y des mehrkomponentigen Farbvideosignals YUV durch das YiR-Bildsignal ersetzt. Durch die Ersetzung des Y- Signals im mehrkomponentigen Farbvideosignal YUV durch das YIR-Bildsignal wird ein kombiniertes Videosignal YIRUV erhal- ten. In diesem mehrkomponentigen Farbvideosignal ist die Hel- ligkeit jedes Pixels durch YIR und sein Farbwert durch U und V definiert. Dieses YIR-Bildsignal wird von der Kombinations- einrichtung an die Rücktransformationsmatrix 12 ausgegeben.

Bei der Rücktransformationsmatrix 12 handelt es sich um eine Einrichtung, welche eine zu der von der Transformationsmatrix 6 der ersten Kamera 1 durchgeführten Transformation inverse Transformation des Videosignals ausführt. Im allgemeinen wird diese Rücktransformation durch die folgende Matrix- Multiplikation bewerkstelligt :

Das heißt, die Rücktransformationsmatrix 12 wandelt im vor- liegenden Fall Signale vom YUV-Modell ins RGB-Modell um. Das kombinierte Videosignal YIRUV wird daher in der Rücktransfor- mationsmatrix 12 in ein zweites mehrkomponentiges Farbvideo- signal R'G'B'umgewandelt und schließlich an den Anzeige- schirm 13 ausgegeben. Vom Anzeigeschirm 13 wird ein aus dem zweiten mehrkomponentigen Farbvideosignal R'G'B'abgeleitetes und aus Pixeln aufgebautes Anzeigebild 14 wiedergegeben, wo- bei die Pixel des Anzeigebildes 14 mit einer durch das zweite mehrkomponentige Farbvideosignal R'G'B'repräsentierten Farbe dargestellt werden.

Neben der Generierung des Anzeigebildes 14 werden das von der ersten Kamera 1 gelieferte mehrkomponentige Farbvideosignal YUV und das von der zweiten Kamera 2 gelieferte YIR- Bildsignal zur Ermittlung einer Entfernung, des Objekts 4 von den Kameras 1, 2 verwendet. In der Triangulationseinrichtung 7 werden das durch das mehrkomponentige Farbvideosignal YUV repräsentierte Bild und das durch das YIR-Bildsignal reprä- sentierte Bild miteinander verglichen. Dabei wird nach ge- meinsamen Merkmalen in den Bildern gesucht. Anhand solcher Merkmale wird das Objekt 4 in den jeweiligen Bildern der Sze- ne 3 identifiziert. Da die Bilder infolge des definierten Ab- standes a der beiden Kameras 1, 2 eine Parallaxenverschiebung aufweisen, lässt sich durch ein bekanntes einfaches Triangu- lationsverfahren aus dem bekannten weil definierten Abstand a und der aus den die Bilder repräsentierenden Signalen ermit- telten Parallaxenverschiebung eine Entfernung zwischen dem Objekt 4 und den Kameras 1, 2, respektive dem Kraftfahrzeug, bestimmen.

Die von den Sensoren 5 erzeugten Signale RGB repräsentieren drei Bilder der Szene 3, bei denen die Szene 3 jeweils in ei-

nem roten, in einem grünen und einem blauen Spektralbareich abgebildet ist. Daher ist es auch möglich, alternativ zu oben jeweils eines der Signale R, G oder B mit dem YIR-Bildsignal zur Auffindung gemeinsamer Merkmale und zur Identifizierung des Objekts 4 durch die Triangulationseinrichtung 7 zu ver- gleichen und auf die soeben beschriebene Weise die Entfernung des Objekts 4 zu den Kameras 1, 2 zu bestimmen. Es kann aber auch das durch alle drei Signale RGB repräsentierte Bild, bei dem das Bild im roten, das Bild im grünen und das Bild im blauen Spektralbereich gemeinsam zu einem Farbbild kombiniert sind, mit dem Y R-Bildsignal verglichen werden.

Die bestimmte Entfernung wird an die Kollisionsvorrichtung 15 übermittelt. Der Kollisionsvorrichtung 15 ist ein Grenzwert für die Entfernung vorgegeben, den sie mit der von der Trian- gulationseinrichtung 7 ermittelten Entfernung vergleicht. Un- terschreitet die ermittelte Entfernung den Grenzwert, so ver- anlasst die Kollisionsvorrichtung 15 eine entsprechend vorge- gebene Reaktion.

Beispielsweise kann es sich bei dem Objekt 4 wie in Figur 1 dargestellt um ein vorausfahrendes Fahrzeug handeln. Wenn die Kollisionsvorrichtung 15 feststellt, dass die Entfernung des vorausfahrenden Fahrzeugs den Grenzwert unterschreitet, kann sie als Reaktion darauf ein akustisches oder optisches Signal auslösen, das als Warnung für den Kraftfahrzeuglenker be- stimmt ist. Das Signal kann dem Lenker anzeigen, wann er bremsen sollte. Es sind auch derartige Vorkehrungen möglich, bei denen die Kollisionsvorrichtung 14 eigenmächtig die Kon- trolle über das Kraftfahrzeug übernimmt. Diese kann von einem automatischen Abbremsen oder Beschleunigen zur automatischen Abstandhaltung bis zu automatischen Ausweichbewegungen des Kraftfahrzeuges oder einem Nothalt reichen. Ein Nothalt ist vor allem dann sinnvoll, wenn in Fahrtrichtung ein Objekt 4 überraschend und gefährlich nahe vor dem Kraftfahrzeug auf- taucht.