Bildjustageverfahren für ein Videobild

Stand der Technik

Die Erfindung betrifft ein Bildjustageverfahren für ein Videobild, welches mittels eines Bildsensors einer ersten Kamera eines Kraftfahrzeugs durch in Bildzeilen angeordnete Pixel aus der Umgebung des Kraftfahrzeugs kontinuierlich erfasst und auf einer Anzeigevorrichtung des Kraftfahrzeugs dargestellt wird, hinsichtlich einer zu wenigstens einem Referenzobjekt relativen Rotation. Des weiteren betrifft die Erfindung ein Bilderfassungsverfahren und eine Bilderfassungsvorrichtung für Kraftfahrzeuge.

Zur Unterstützung der Fahrer von Kraftfahrzeugen kommen in jüngerer Zeit vermehrt Fahrerassistenzsysteme wie beispielsweise Nachtsichtsysteme oder Spurassistenzsysteme zum Einsatz, in denen Kameras zur Umgebungsbeobachtung verwendet werden. Dabei erweist sich das automobile Umfeld als besonders anspruchsvolle Umgebung für den Einsatz derartiger Kameras, die beispielsweise unter Verwendung eines CMOS- oder CCD-Bildsensors gebildet sein können.

In der DE 103 36 329 Al ist ein Verfahren und eine Vorrichtung zur Verbesserung der Sicht in einem Kraftfahrzeug angegeben.

Nachtsichtsysteme sind in der Lage mittels einer Kamera die mit Nahinfrarotscheinwerfern beleuchtete Umgebung natürlich darzustellen. Damit der Fahrer des Kraftfahrzeugs die Umgebung mit dem Monitorbild des Nachtsichtsystems vergleichen kann, muss dieses in drei Freiheitsgraden, nämlich horizontale Verschiebung, vertikale Verschiebung und Rotation um die zum Monitorbild senkrechte Achse, ausgerichtet werden, da in der Regel nach dem Ein- bau der Kamera eine Fehlausrichtung aufgrund von Einbautoleranzen vorliegt.

Die notwendigen Verschiebungen werden häufig - gleichzeitig mit der Funktionsprüfung des Nachtsichtsystems - mittels eines Einrichtungskörpers, welcher mit zwei aufgemalten Kreisen versehen ist, eingerichtet.

Die erforderliche Korrektur der Rotation erfolgt mechanisch im Herstellerwerk mit Hilfe einer sehr aufwändigen Messeinrichtung unter Einsatz entsprechender Unterlegscheiben. Es wäre wünschenswert, wenn eine derartige schwierige und kostenintensive mechanische Einrichtung nicht vonnöten wäre.

Vorteile der Erfindung

Das erfmdungsgemäße Bildjustageverfahren für ein Videobild, welches mittels eines Bildsensors einer ersten Kamera eines Kraftfahrzeugs durch in Bildzeilen angeordnete Pixel aus der Umgebung des Kraftfahrzeugs kontinuierlich erfasst und auf einer Anzeigevorrichtung des Kraftfahrzeugs dargestellt wird, hinsichtlich einer zu wenigstens einem Referenzobjekt relati- ven Rotation, wobei in einem ersten Schritt eine Vermessung des Videobildes mittels des wenigstens einen Referenzobjekts erfolgt, wobei als Messergebnis ein erforderlicher Rotationswinkel des Videobildes relativ zu dem Referenzobjekt ermittelt wird, wonach in einem zweiten Schritt aus dem ermittelten erforderlichen Rotationswinkel ein entsprechender Scherungs- faktor für die Bildzeilen, insbesondere unter Berücksichtigung der Zeilenbreite, bestimmt wird, und wonach in einem dritten Schritt eine Bildverarbeitungseinrichtung den Scherungs- faktor abspeichert und zur kontinuierlichen Scherung der Bildzeilen verwendet, hat den Vorteil, dass auf eine aufwändige mechanische Einrichtung des Nachtbildes hinsichtlich der Drehung bzw. Rotation verzichtet werden kann. Sonach wird ein mechanikfreies Verfahren zum drehenden Einrichten eines Nachtsichtbildes vorgeschlagen. Dazu werden die Bildzeilen in Stufen geschert. Nach der Vermessung der beiden Kreise auf dem Messobjekt bzw. dem Ein-

richtungskörper, d. h. der Einstellung der notwendigen Translationen bzw. Verschiebungen, wird bei der übertragung der aufgenommenen Bilder eine Zeilenscherung eingerechnet.

Das erfindungsgemäße Bildjustageverfahren kann einmalig, beispielsweise im Herstellerwerk, durchgeführt werden, wobei die Bildverarbeitungseinrichtung dauernd denselben abgespeicherten Scherungsfaktor verwendet. Alternativ oder zusätzlich ist es möglich, das Bildjustageverfahren kontinuierlich, insbesondere in regelmäßigen Zeitabständen, während des Betriebs des Nachtsichtsystems durchzuführen. Durch diese Maßnahme könnte auch eine während des Betriebs entstandene Fehlstellung kompensiert werden.

Als Referenzobjekt kann ein spezieller Einrichtungskörper verwendet werden. Alternativ oder zusätzlich, insbesondere, wenn die Bildjustage bzw. das Einrichten kontinuierlich durchgeführt wird, können als Referenzobjekt auch die Lage des Horizonts und/oder vertikale Linien, insbesondere von Gebäuden, eingesetzt werden. Derartige Referenzobjekte sind aus dem er- fassten Videobild extrahierbar.

Vorteilhaft ist es, wenn mittels des erfindungsgemäßen Bildjustageverfahrens eine Kalibrierung eines Stereosystems derart durchgeführt wird, dass als Referenzobjekt das Videobild eines Bildsensors einer zweiter Kamera des Kraftfahrzeugs verwendet wird, wobei das Video- bild des Bildsensors der ersten Kamera und das Videobild des Bildsensors der zweiten Kamera ein Stereobild bilden. Durch diese Maßnahmen kann das Bildjustageverfahren auch zur Einrichtung bzw. Kalibrierung von Stereosystemen verwendet werden. Nach einer Rotation des Videobildes können Bilder zeilenweise stereoskopisch verglichen werden. Dazu wird ein geeignetes Suchverfahren angewendet. Sich ständig verdrehende Stereokameras können somit auch als Referenzobjekt bzw. Referenz herangezogen werden.

Die Scherung der Bildzeilen kann mittels einer Verschiebung wenigstens eines Teils wenigstens einer Bildzeile in wenigstens eine benachbarte Bildzeile durchgeführt werden, wobei der

wenigstens eine Teil der wenigstens einen Bildzeile zwischengespeichert und in der benachbarten Bildzeile ersetzt wird. Die Scherung ergibt sich somit über die Verschiebung eines Teils einer Bildzeile. Der Scherungswinkel wird aus der Zeilenbreite und den Orten der Verschiebung ermittelt. Demnach wird ein Teilzeilentausch zur rotatorischen Einrichtung des Vi- deobildes eingesetzt. Wenn beispielsweise das letzte Drittel einer Bildzeile mit 300 Punkten bzw. Pixeln jeweils zwischengespeichert und in der nächsten Zeile eingesetzt wird, kann ein Winkel von 1/(300-100) rad erzielt werden. Bei größeren Winkeln müssen Teile von Bildzeilen der vergangenen und weiter vorvergangenen Bildzeilen verwendet werden. Bei negativen Winkeln müssen die ersten Teile der Bildzeilen ersetzt werden. Dabei kann auch ein soge- nannter Schervorhalt vonnöten sein. Durch die Verschiebung und die Anzahl der Stufen kann somit jeder Winkel simuliert werden. Wenn man beispielsweise drei Sprünge in den Bildzeilen vorsieht, müssen die drei letzten Bildzeilen zumindest teilweise gespeichert werden.

Sehr vorteilhaft ist es, wenn zur Glättung eine entsprechende Interpolation bei benachbarten gescherten Bildzeilen durchgeführt wird. Damit die verarbeiteten Videobilder keine harten unansehnlichen übergänge aufweisen, werden die Bildzeilen geglättet bzw. verschleift. Mit einem geeigneten Glättungsverfahren, beispielsweise einer Interpolation, bei welchem benachbart gescherte Zeilen sozusagen gemittelt werden, wird ein Anti-aliasing-Effekt erzielt.

In Anspruch 8 ist ein Bilderfassungsverfahren für Kraftfahrzeuge angegeben. Anspruch 9 bezieht sich auf eine Bilderfassungsvorrichtung zur kontinuierlichen Erfassung eines Videobildes der Umgebung des Kraftfahrzeugs.

Weiterhin ist es vorteilhaft, wenn als Bildverarbeitungseinrichtung ein anwenderprogram- mierbarer Logikbaustein, beispielsweise FPGA (Field Programable Gate Array) oder ein ASIC (Application Specific Integrated Circuit) verwendet wird. Der Teilzeilenaustausch wird von der Bildverarbeitungseinrichtung berechnet.

Kurzbeschreibung der Zeichnung

Nachfolgend sind anhand der Zeichnung prinzipmäßig Ausführungsbeispiele der Erfindung beschrieben.

Es zeigen:

Figur 1 ein stark vereinfachtes Blockdiagramm einer erfindungsgemäßen Bilderfassungsvorrichtung im Rahmen eines Nachtsichtsystems, welche zur Durchführung eines erfindungsgemäßen Bilderfassungsverfahrens eingerichtet ist; Figur 2 ein stark vereinfachtes Ablaufdiagramm des erfindungsgemäßen Bildjustagever- fahrens;

Figur 3 eine vereinfachte Darstellung eines Videobildes mit acht Zeilen im Originalzustand; Figur 4 eine vereinfachte Darstellung eines Videobildes mit acht Bildzeilen, welches um eine Zeile geschert ist; Figur 5 eine vereinfachte Darstellung eines Videobildes mit acht Bildzeilen, welches um zwei Zeilen geschert ist;

Figur 6 eine veränderte Darstellung des Videobildes mit acht Bildzeilen aus Figur 5;

Figur 7 eine vereinfachte Darstellung eines Videobildes mit acht Bildzeilen, welches um drei Zeilen geschert ist; und Figur 8 eine veränderte Darstellung des Videobildes mit acht Bildzeilen aus Figur 7.

Beschreibung von Ausführungsbeispielen

Figur 1 zeigt ein Blockdiagramm einer erfindungsgemäßen Bilderfassungsvorrichtung im Rahmen eines Nachtsichtsystems eines nicht dargestellten Kraftfahrzeugs, welches zur

Durchführung eines erfindungsgemäßen Bilderfassungsverfahrens eingerichtet ist. Die Bilder-

fassungsvorrichtung weist dabei eine erste als CCD-Kamera ausgebildete Kamera 10 mit einem als CCD-Sensor ausgebildeten Bildsensor 10a auf. In weiteren nicht dargestellten Ausführungsbeispielen könnte dies beispielsweise auch eine CMOS-Kamera oder dergleichen sein. Die Kamera 10 ist infrarotlichtempfindlich. Insbesondere ist die Kamera 10 im nahen Infrarotbereich lichtempfindlich, also vorzugsweise im Wellenlängenbreich zwischen 800 nm und 1000 nm. Ferner umfasst das Nachtsichtsystem vorzugsweise wenigstens einen Nahinfrarotscheinwerfer. Eine Bildverarbeitungseinrichtung 12 ist über eine Signalleitung 20 mit der Kamera 10 verbunden. Des Weiteren könnte, wie in Figur 1 gestrichelt angedeutet, die Bildverarbeitungseinrichtung 12 auch über weitere Signalleitungen 20 mit anderen Fahrzeugsys- temen, wie insbesondere einem Informationssystem 16 oder einer zweiten Kamera 18 im Rahmen eines Stereosystems, verbunden sein. Ferner ist die Bildverarbeitungseinrichtung 12 über eine weitere Signalleitung 20 mit einer Anzeigevorrichtung des Kraftfahrzeugs verbunden. Die Kamera 10 kann beispielsweise an der Windschutzscheibe des Kraftfahrzeugs angeordnet sein, da dann die Umgebung des Kraftfahrzeugs, insbesondere in Fahrtrichtung, konti- nuierlich erfasst werden kann. Die Bildverarbeitungseinrichtung 12 kann mehrere nicht näher dargestellte Funktionsmodule aufweisen, welche als Programme oder Programmschritte wenigstens eines Mikroprozessors in der Bildverarbeitungseinrichtung 12 und/oder mittels programmierbarer Logik, insbesondere als ASIC und/oder FPGA, realisiert sind. Bei der Anzeigeeinrichtung 14 handelt es sich um einen durch den Fahrer einsehbaren Display und/oder um einen Head-up-Display. Der Datenverkehr erfolgt über die Signalleitungen 20 elektrisch und/oder optisch und/oder per Funk, wobei die Signalleitungen 20 eine Eindrahtleitung und/oder eine Zweidrahtleitung und/oder eine Mehrdrahtleitung sein können. Insbesondere sind die Signalleitungen 20 alternativ oder zusätzlich als Busleitung ausgeführt. Zur kontinuierlichen Erfassung eines Videobildes der Umgebung des Kraftfahrzeugs ist dementsprechend die Bilderfassungsvorrichtung mit der den Bildsensor 10a aufweisenden Kamera 10 und der Bildverarbeitungseinrichtung 12 versehen, welche die von dem Bildsensor 10a der Kamera 10 erfassten Videobilder zur Anzeige auf der Anzeigevorrichtung 14 des Kraftfahrzeugs verarbeitet. Die Bildverarbeitungseinrichtung 12 ist zur Durchführung des erfmdungsgemäßen

Bildjustageverfahrens eingerichtet.

Figur 2 zeigt ein stark vereinfachtes Ablaufdiagramm des erfmdungsgemäßen Bildjustageverfahrens für ein Videobild, welches mittels des Bildsensors 10a der ersten Kamera 10 des Kraftfahrzeugs durch in Bildzeilen Zl - Z8 (siehe Figuren 3 bis 8) angeordnete Pixel aus der Umgebung des Kraftfahrzeugs kontinuierlich erfasst und auf der Anzeigeeinrichtung 14 des Kraftfahrzeugs dargestellt wird, hinsichtlich einer zu wenigstens einem Referenzobjekt relativen Rotation, wobei in einem ersten Schritt A eine Vermessung des Videobildes mittels des wenigstens einen Referenzobjekts erfolgt, wobei als Messergebnis ein erforderlicher Rotati- onswinkel des Videobildes relativ zu dem Referenzobjekt ermittelt wird, wonach in einem zweiten Schritt B aus dem ermittelten erforderlichen Rotationswinkel ein entsprechender Scherungsfaktor für die Bildzeilen Zl - Z8, insbesondere unter Berücksichtigung der Zeilenbreite, bestimmt wird und wonach in einem dritten Schritt C die Bildverarbeitungseinrichtung 12 den Scherungsfaktor abspeichert und zur kontinuierlichen Scherung der Bildzeilen Zl - Z8 verwendet. Das erfindungsgemäße Bildjustageverfahren kann einmalig im Herstellerwerk o- der, wie durch den in Figur 2 gestrichelten Pfeil angedeutet, kontinuierlich in regelmäßigen Zeitabständen während des Betriebs durchgeführt werden. Als Referenzobjekt kann die Lage des Horizonts und/oder vertikale Linien, insbesondere von Gebäuden, welche aus dem erfass- ten Videobild extrahierbar sind, verwendet werden. Zusätzlich oder alternativ kann als Refe- renzobjekt ein Einrichtungskörper verwendet werden.

In weiteren Ausführungsbeispielen kann mit dem Bildjustageverfahren eine Kalibrierung eines Stereosystems derart durchgeführt werden, dass als Referenzobjekt das Videobild eines nicht dargestellten Bildsensors der zweiten Kamera 18 des Kraftfahrzeugs verwendet wird, wobei das Videobild des Bildsensors 10a der ersten Kamera 10 und das Videobild des Bildsensors der zweiten Kamera 18 ein Stereobild bilden.

Bei dem erfindungsgemäßen Bildjustageverfahren wird die Scherung der Bildzeilen Zl - Z8

mittels einer Verschiebung wenigstens eines Teils wenigstens einer Bildzeile Zl - Z8 in wenigstens eine benachbarte Bildzeile Zl - Z8 durchgeführt, wobei der wenigstens eine Teil der wenigstens einen Bildzeile Zl - Z8 zwischengespeichert und in der benachbarten Bildzeile Zl - Z8 ersetzt wird. Zur Glättung kann eine entsprechende Interpolation bei benachbarten ge- scherten Bildzeilen Zl - Z8 durchgeführt werden.

Auf der Bildverarbeitungseinrichtung 12 läuft ein Bilderfassungsverfahren für Kraftfahrzeuge ab, wobei mittels des Bildsensors 10a der Kamera 10 ein Videobild der Umgebung des Kraftfahrzeugs durch in Bildzeilen Zl - Z8 angeordnete Pixel des Bildsensors 10a kontinuierlich erfasst wird und wobei eine Scherung der Bildzeilen Zl - Z8 mit einem vorgegebenen Sche- rungsfaktor von der Bildverarbeitungseinrichtung 12 zur permanenten Justage des Videobildes hinsichtlich einer zu wenigstens einem Referenzobjekt relativen Rotation kontinuierlich durchgeführt wird.

In den Figuren 3 bis 8 ist der Ablauf der Scherung der Bildzeilen Zl - Z8 prinzipmäßig verdeutlicht.

Figur 3 zeigt dabei ein Videobild mit acht Zeilen Zl - Z8 im Originalzustand. In Figur 4 wurde das Videobild mit den Bildzeilen Zl - Z8 um eine Bildzeile geschert. Entlang einer schrä- gen Linie zwischen den beiden Bildzeilen Zl und Z2 wurde interpoliert (beispielhaft nur für die Bildzeilen Zl und Z2 angedeutet), um einen glatten übergang zu erhalten. Grundsätzlich ist in den Figuren 4 bis 8 eine Scherung in beide Richtungen, d. h. sowohl nach unten als auch nach oben möglich.

In den Figuren 5 und 6 wurde das Videobild mit den Bildzeilen Zl - Z8 um zwei Bildzeilen geschert, beispielsweise wurde der zweite Teil der Bildzeile Z2 in den zweiten Teil der Bildzeile Zl verschoben, usw. Die schraffierten Teile werden dabei sozusagen abgeschnitten, d. h. es wird ein Schervorhalt von einer Bildzeile in der Zeilenanzahl benötigt. Entlang der schrä-

gen Linien wird wiederum interpoliert, um einen glatten übergang zu erhalten (beispielhaft nur für die Bildzeilen Zl bis Z3 angedeutet).

Schließlich wurde das Videobild mit den Bildzeilen Zl - Z8 in den Figuren 7 und 8 um drei Bildzeilen geschert. Die schraffierten Teile werden dabei ebenfalls abgeschnitten, d. h. man benötigt einen Schervorhalt von zwei Bildzeilen in der Zeilenanzahl. Entlang der schrägen Linien wird zwischen zwei Bildzeilen wiederum interpoliert, um einen glatten übergang zu erhalten (beispielhaft nur für die Bildzeilen Zl bis Z4 angedeutet).