Bei Kraftfahrzeugen werden zunehmend elektronische Fahrerassistenz- systeme eingesetzt, die den Fahrer bei der Führung des Kraftfahr- zeugs unterstützen. Ein Beispiel eines solchen Fahrerassistenzsy- stems ist ein sogenanntes ACC-System (Adaptive Cruise Control), mit dem Geschwindigkeit des Fahrzeugs automatisch auf eine vom Fahrer gewählte Wunschgeschwindigkeit oder, sofern ein vorausfahrendes Fahrzeug verfolgt wird, auf einen angemessenen Sicherheitsabstand zu dem vorausfahrenden Fahrzeug zu regeln. Ein weiteres Beispiel eines Fahrerassistenzsystems ist ein Crash-Mitigation-System, das dazu dient, bei einer drohenden Kollision eine Warnmeldung an den Fahrer auszugeben und/oder automatisch in das Brems-und/oder Len- kungssystem des Fahrzeugs einzugreifen, um die Kollision abzuwenden oder deren Folgen zu mildern. All diese Systeme benötigen möglichst zuverlässige und genaue Informationen über Objekte im Umfeld des Fahrzeugs, die als mögliche Hindernisse in Betracht kommen, insbe- sondere Informationen über die Orte, Bewegungen und möglichst auch die räumliche Ausdehnung von vorausfahrenden Fahrzeugen im Vorfeld des eigenen Fahrzeugs. In ACC-Systemen werden bisher zur Objektor- tung vorwiegend Ranging-Systeme (Radar oder Lidar) eingesetzt, die zwar eine genaue Messung von Abständen und Relativgeschwindigkeiten ermöglichen, aufgrund ihrer begrenzten Winkelauflösung jedoch nur unzureichende Information über die laterale Position und die late-

rale Ausdehnung der Objekte liefern. Eine andere bekannte Klasse von Ortungssystemen beruht auf der elektronischen Auswertung von Videobildern. Solche Videosysteme ermöglichen eine genaue Bestim- mung der Lateralposition und der lateralen Ausdehnung der Objekte, sind jedoch relativ rechenaufwendig und liefern im Fall im monoku- larer Systemen keine unmittelbare Information über die Objektab- stände. Auch bei Einsatz von aufwendigeren Stereosystemen ist eine Abstandsbestimmung mit hinreichender Genauigkeit allenfalls im Nah- bereich möglich.

Angesichts der unterschiedlichen Stärken und Schwächen der ver- schiedenen Systeme ist bereits vorgeschlagen worden, Ranging-Syste- me und Videosysteme miteinander zu kombinieren. In einem Aufsatz "Radar und Vision Data Fusion for Hybride Adaptive Cruise Control on Highways"von Hofman, Rieder und Dickmanns, Institut für Sy- stemdynamik und Flugmechanik, Universität der Bundeswehr, i München, in B. Schiele und G. Sagerer (Herausgeber) : ICVS 2001, LNCS 2095, Seiten 125-138, Springer-Verlag Berlin/Heidelberg 2001, wird ein Hybridsystem beschrieben, bei dem das Radarsystem zur ersten Ortung des Objektes dient und dann die weitere Verfolgung des Objektes vornehmlich mit Hilfe des Videosystems geschieht. Für die Objekt- verfolgung (Tracking) wird auf Information über den Fahrbahnverlauf zurückgegriffen, die ebenfalls durch Auswertung des Videobildes ge- wonnen wird.

In einem Aufsatz"Robust car tracking using Kalman filtering and Bayesian templates", Frank Dellaert und C. Thorpe, Department of Computer Science and the Roboting Institute, Carnegie Mellon Uni- versity, Pitsburgh, USA, wird ein Tracking-Verfahren beschrieben, bei dem ein monokulares Videobild mit Hilfe von Kalman-Filtern aus- gewertet wird. Das verfolgte Objekt (Fahrzeug) wird durch eine rechteckige Begrenzungsbox beschrieben, die annähernd der Umrißkon- tur der Rückfront des Fahrzeugs entspricht. Für die Ersterkennung des Objektes wird ein sogenanntes Kantenbild ausgewertet, das aus dem Videobild abgeleitet ist, dessen Pixel jedoch nicht die Grau- werte des Bildes beschreiben, sondern Grauwertgradienten, also Hell/Dunkel-Unterschiede zwischen benachbarten Pixeln. Um die Be-

grenzungsbox für ein neues Objekt zu identifizieren, wird zunächst im Kantenbild nach waagerechten und senkrechten Konturlinien ge- sucht. Jede mögliche Kombination aus zwei waagerechten und zwei senkrechten Konturlinien definiert eine mögliche Begrenzungsbox.

Die realen, einem Fahrzeug entsprechenden Begrenzungsboxen werden dann durch Plausibilitätsauswertung identifiziert.

Vorteile der Erfindung Die Erfindung mit den in den unabhängigen Patentansprüchen angege- benen Merkmalen ermöglicht eine zuverlässige und robuste Objektor- tung und-verfolgung in Echtzeit mit reduziertem Rechenaufwand.

Bei dem erfindungsgemäßen Verfahren wird im zweidimensionalen Vide- obild zunächst ein Suchfeld bestimmt, in dem nach einem Objekt ge- sucht werden soll, das durch ein anderes Ortungssystem, beispiels- weise ein Radarsystem, grob geortet wurde. Die vom Radarsystem ge- lieferte Winkelinformation gibt zumindest einen groben Anhalt für die Lage des Suchfeldes. Wahlweise kann auch die zweckmäßige Größe des Suchfeldes in Abhängigkeit von der vom Radarsystem bestimmten Objektentfernung gewählt werden.

Das Suchfeld wird dann nach einem vorgegebenen Bildmerkmal des Ob- jektes durchsucht. Unter einem Bildmerkmal ist hier allgemein eine Struktur im Videobild oder einem daraus abgeleiteten Bild, z. B. dem Kantenbild zu verstehen, die für eine bestimmte Objektklasse cha- rakteristisch ist. Ein Beispiel für ein Bildmerkmal ist etwa die typische, annähernd rechteckige Kontur der Rückansicht eines Pkw oder eines Lkw. Andere Beispiele für Bildmerkmale sind der charak- teristische dunkle Schatten, der auch bei diffusem Licht typischer- weise auf der Fahrbahnoberfläche unterhalb des Fahrzeugs vorhanden ist, oder die charakteristische Symmetrie von Strukturen eines Fahrzeugs bezüglich einer durch die Längsmittelachse des Fahrzeugs gehenden senkrechten Symmetrieebene. Beim Durchsuchen des Suchfel- des wird eine Maske, die eine vorgegebene Grundform aufweist, über das Suchfeld bewegt, und für jede Position der Maske im Suchfeld wird die Übereinstimmung zwischen dem Bildmerkmal und der Maske be-

wertet, d. h., es wird geprüft, in welchem Ausmaß die gesuchte Struktur innerhalb der Maske zu finden ist. Die Position der Maske, bei. der sich eine maximale Übereinstimmung ergibt, liefert dann ei- nen vorläufigen Wert für die Position des Objektes im Videobild.

Die vorgegebene Grundform der Maske ist an die jeweilige Objekt- klasse angepaßt. Beispielsweise kann die Maske bei der Suche nach einem Pkw die Form eines rechteckigen Rahmens haben, dessen Kanten- verhältnis dem typischen Verhältnis von Höhe und Breite (der Be- grenzungsbox) eines Pkw entspricht. Bei der Suche nach einem Lkw kann man entsprechend eine Maske mit einem anderen Kantenverhältnis verwenden. Der Ausdruck"vorgegeben"bezieht sich hier nur auf die Form der Maske, nicht auf ihre absolute Größe. Somit ist es im Rah- men der Erfindung möglich, die Maske in Abhängigkeit von der aus der Radarmessung bekannten Entfernung des Objektes so zu skalieren, daß die Größe der Maske jeweils zur scheinbaren Größe der Begren- zungsbox des Objektes paßt. Die zum Suchen verwendete Maske ist un- scharf in dem Sinne, daß ein gewisses Maß an Übereinstimmung zwi- schen der Maske und dem Objekt auch dann noch erkannt wird, wenn die Maske und das Bildmerkmal nicht genau deckungsgleich sind.

Wenn auf diese Weise eine anfängliche Position der Maske und damit ein erster Schätzwert für die laterale Position des Objekts gefun- den wurde (Initialisierung), wird in den nachfolgenden Verfahrens- schritten die Suche nach Übereinstimmungen zwischen der Maske und dem Bildmerkmal verfeinert. Dazu wird in den aufeinanderfolgenden Bildern (frames) der Videobildfolge mit höherer räumlicher Auflö- sung geprüft, wie die für das Bildmerkmal charakteristischen Struk- turen räumlich innerhalb der Maske verteilt sind. Die in den ein- zelnen Videobildern der Folge gefundenen Verteilungen werden akku- muliert, z. B. addiert oder integriert, so daß die gesuchten Struk- turen mit zunehmender Beobachtungsdauer der Bildsequenz deutlicher und schärfer hervortreten und das Signal/Rausch-Verhältnis verbes- sert wird. Dabei ist natürlich zu berücksichtigen, daß sich auf- grund von Querbewegungen des Objektes die Position des Bildmerkmals im Videobild verschieben kann. Die Maske wird deshalb in geeigneten Intervallen nachgeführt, d. h., so verschoben, daß insgesamt die ma-

ximale Übereinstimmung zwischen dem Bildmerkmal und der unscharfen Maske erhalten bleibt. Gegebenenfalls kann es bei einer Verfolgung des Objektes über einen längeren Zeitraum aufgrund von Abstandsän- derungen auch notwendig sein, die Skalierung der unscharfen Maske anzupassen.

In einem weiteren Schritt wird nun die Form der Maske gegenüber der ursprünglichen Grundform geändert und an die räumliche Verteilung der akkumulierten Bildmerkmale angepaßt. Wenn z. B. das gesuchte Bildmerkmal die Kontur eines Pkw ist und entsprechend als Maske ein rechteckiger, der Begrenzungsbox des Fahrzeugs entsprechender Rah- men verwendet wird, so wird bei dieser Anpassung die Breite des Rahmens so verändert, daß die akkumulierte Verteilung der Struktu- ren, die den linken Seitenrand des Fahrzeugs repräsentieren, ihr Häufigkeitsmaximum gerade in der Mitte des linken Rahmenschenkels der Maske hat und die Verteilung der Strukturen, die den rechten Fahrzeugrand kennzeichnen, ihr Häufigkeitsmaximum gerade in der Mitte des rechten Rahmenschenkels hat. Entsprechend kann wahlweise auch die Höhe der Maske angepaßt werden. Auf diese Weise erhält man eine Maske, die in Form und Lage optimal an das gesuchte Bildmerk- mal angepaßt ist, also beispielsweise im Fall des Merkmals"Fahr- zeugumriß"praktisch mit der Begrenzungsbox identisch ist. Aus der Lage dieser Maske im Videobild lassen sich dann die laterale Posi- tion und die Breite und wahlweise auch die Höhe des Objektes mit erheblich verbesserter Genauigkeit ablesen.

Bei der weiteren Verfolgung des Objektes wird nun die in ihrer Form angepaßte Maske der Bewegung des Objekts nachgeführt. Dabei kann gemäß einer Weiterbildung des Verfahrens die Unschärfe der Maske verringert werden, um die Anzahl der zu überprüfenden Pixel zu ver- ringern und somit Rechenarbeit und-zeit zu sparen.

Wesentliche Vorteile dieses Verfahrens bestehen darin, daß die In- itialisierung, also die anfängliche Ortung des Objektes dadurch vereinfacht und beschleunigt wird, daß nicht nur auf die Ortungsda- ten des Radarsystems zurückgegriffen wird, sondern in der Form standadisierter, jeweils an die zu suchende Objektklasse angepaßter

synthetischer Masken auch ein Vorwissen über die zu suchenden Ob- jekte eingespeist wird. Besonders vorteilhaft ist dabei die Mög- lichkeit, diese standadisierten Masken anhand der bekannten Objek- tentfernung geeignet zu skalieren.

In der Praxis wird sich die Suche zumeist auf mehrere Objektklassen erstrecken, beispielsweise Pkw, Lkw und ggf. Zweiräder oder auch typische Standziele am Fahrbahnrand wie Leitplanken, Verkehrsschil- der und dergleichen, die auf diese Weise mit größerer Sicherheit als irrelevante Objekte zu klassifizieren sind. Bei der Suche nach mehreren Objektklassen wird in der Initialiserungsphase das Suchfeld nacheinander mit mehreren Maske durchsucht, je einer für jede Objektklasse. Dabei kann man zweckmäßig mit der Maske begin- nen, die zu der Objektklasse mit der größten Auftrittswahrschein- lichkeit (in der Regel Pkw) gehört. Wenn die Suche mit dieser Maske innerhalb des Suchfeldes nicht zu einem bestimmten Mindestmaß an Übereinstimmung führt, wird die Hypothese, daß das Objekt dieser Klasse angehört, verworfen, und die Suche wird mit der Maske für die nächste Objektklasse wiederholt.

Ein weiterer Vorteil der Erfindung besteht darin, daß man durch die Akkumulation der Bildmerkmale über einen bestimmten Zeitraum ein genaueres Maß für den Ort und die Ausdehnung des Objektes erhält.

Da sowohl in der Initialisierungsphase als auch später beim Nach- führen der Maske die Übereinstimmung zwischen der Maske und dem Bildmerkmal berechnet und optimiert wird, läßt sich das jeweils er- haltene Ausmaß der Übereinstimmung mit geeigneter Normierung als Güteparameter verwenden, der Auskunft über die Verläßlichkeit des Ortungsergebnisses gibt.

Zeichnung Ein Ausführungsbeispiel der Erfindung ist in. den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert.

Es zeigen : Figur 1 ein Beispiel eines Videobildes, das nach dem erfindungsgemäßen Verfahren ausgewertet wird ; Figur 2 ein Videobild entsprechend Figur 1, zu einem etwas späteren Zeitpunkt ; Figur 3 ein Diagramm zur Erläuterung der Auswertung des Videobildes nach Figur 2 ; Figur 4 ein Videobild entsprechend Figur 2, zur Illu- stration des Auswertungsergebnisses nach län- gerer Objektverfolgung ; Figuren 5 und 6 Beispiele von Masken für unterschiedliche ob- jektklassen ; Figur 7 ein Blockdiagramm der erfindungsgemäßen Vor- richtung ; und Figur 8 ein Flußdiagramm zur Erläuterung des Verfah- rens.

Beschreibung des Ausführungsbeispiels In Figur 1 ist als rechteckiger Rahmen die äußere Umrandung eines Videobildes 10-1 dargestellt, das mit Hilfe einer an Bord eines Kraftfahrzeugs montierten Videokamera aufgenommen wird. Die Kamera beobachtet das Vorfeld des Fahrzeugs. Dementsprechend zeigt das Vi- deobild 10-1 im gezeigten Beispiel zwei vorausfahrende Fahrzeuge 12 und 14. Das Fahrzeug 12 befindet sich in größerer Entfernung und erscheint daher perspektivisch verkleinert.

Bei dem Videobild 10-1 handelt es sich im gezeigten Beispiel nicht um ein übliches Grauwertbild, sondern um ein sogenanntes Kanten- bild, das lediglich die Objektkonturen wiedergibt und beispielswei-

se durch 3x3-Sobelfilterung gewonnen wird. Schwarze Pixel im Kan- tenbild geben die Orte von großen Gradienten, d. h., von großen Hell/Dunkel-Kontrasten im ursprünglichen Videobild an. Die Pixel- werte im Kantenbild können binär-oder mehrwertig sein. Im Prinzip kann jeder Pixelposition auch ein Gradientenvektor zugeordnet sein, der Betrag und Richtung des jeweiligen Helligkeitsgradienten an- gibt. Im gezeigten Beispiel geben die Pixel jedoch lediglich den Betrag des Gradienten an. Wahlweise könnten die Pixel auch nur die x-Komponente oder nur die y-Komponente des Gradienten angeben.

Bei dem Fahrzeug 14 ist neben den Umrissen des Fahrzeugs selbst auch die Kontur des Schattens 16 unterhalb und links neben dem Fahrzeug zu erkennen. Außerdem erkennt man die Kontur der Rücklich- ter 18 und des Nummernschilds 20.

Das Fahrzeug, auf dem die Videokamera montiert ist, weist außerdem einen winkelauflösenden Radarsensor auf, der zu einem ACC-System des Fahrzeugs gehört und ebenfalls das Vorfeld des Fahrzeugs beob- achtet. Aufgrund des begrenzten Winkelauflösungsvermögens gibt der Radarsensor die laterale Position (x-Position) der Fahrzeuge 12, 14 aber nur mit begrenzter Genauigkeit wieder. Vom Fahrzeug 14 emp- fängt das Radarsystem im gezeigten Beispiel einen Hauptreflex, der vom linken Ende der Stoßstange herrührt. Aus dem Einfallswinkel dieses Reflexes und dem gemessenen Abstand des Fahrzeugs 14 kann das Radarsystem eine Fahrzeugposition 22 berechnen, die in Figur lin das Videobild 10-1 hineinprojiziert und durch ein"X"gekenn- zeichnet ist. Es ist zu erkennen, daß diese vermeintliche Fahrzeug- position mit einem beträchtlichen Fehler behaftet ist. Durch Aus- wertung des Videobildes 10-1 soll nun insbesondere die laterale Po- sition (in x-Richtung) und auch die Breite und Höhe des Fahrzeugs genauer bestimmt werden. Aus der auf diese Weise bestimmten genaue- ren Fahrzeugposition läßt sich dann mit Hilfe des vom Radarsystem gemessenen Abstands die genaue Position und Ausdehnung des Fahr- zeugs 14 in einem dreidimensionalen Weltkoordinatensystem berech- nen.

Im gezeigten Beispiel soll angenommen werden, daß das Fahrzeug 14

gerade von rechts eingeschert ist. Da das Radarsystem nur einen kleinen Ortungswinkelbereich erfaßt hat, erkennt es das Fahrzeug 14 später als das Videosystem. Figur 1 zeigt den Zeitpunkt, in dem das Fahrzeug 14 erstmals vom Radarsystem geortet wurde. Dadurch wird nun das Videosystem veranlaßt, nach dem neu georteten Fahrzeug zu suchen. Zu diesem Zweck wird im Videobild 10-1 ein Suchfeld 24 de- finiert, das auf die vermutete, vom Radarsystem geortete Fahrzeug- position 22 zentriert ist. Das Suchfeld 24 ist ein Rechteck. Seine Größe und sein Kantenverhältnis können in Abhängigkeit vom gemesse- nen Objektabstand variiert werden. Ebenso kann auch die Verschie- bung des Suchfeldes relativ zur Ortungsposition abstands-und/oder winkelabhängig verändert werden.

Da über die Natur des Radarobjekts (Fahrzeug 14) noch nichts be- kannt ist, wird zunächst von der wahrscheinlichsten Hypothese aus- gegangen, daß es sich um einen Pkw handelt. Um diesen Pkw im Video- bild zu finden, wird nun das Suchfeld 24 mit einer unscharfen Maske 26 durchsucht. Die Maske 26 hat die Form eines rechteckigen Rah- mens, dessen Kantenverhältnis dem typischen Verhältnis zwischen Höhe und Breite eines Pkw entspricht. Die Schenkel des Rahmens (schraffierte Fläche in Figur 1) haben eine gewisse Breite, so daß die x-Position der linken und rechten Rahmenschenkel und entspre- chend die y-Position der oberen und unteren Rahmenschenkel nur mit einer gewissen Unschärfe definiert ist.

Anhand der bekannten Entfernung des Fahrzeugs 14 ist die Maske 26 so skaliert worden, daß ihre Größe mit der erwarteten Größe der Um- rißlinie 28 des Fahrzeugs 14 übereinstimmt. Diese Umrißlinie 28 stellt hier ein Bildmerkmal dar, nachdem anhand eines geeigneten Matching-Kriteriums mit Hilfe der Maske 26 gesucht werden soll.

Dazu wird das Suchfeld 24 systematisch mit der Maske 26 gescannt, d. h., die Maske 26 wird zeilenweise über das Suchfeld 24 bewegt.

Die Schrittweite, in der die Maske jeweils in x-und y-Richtung verschoben wird, ist entweder fest oder vom Bildinhalt abhängig, der innerhalb der Maske 26 (d. h., innerhalb des schraffierten Ge- bietes) gefunden wird. Nach jeder Verschiebung der Maske werden die innerhalb der Maske liegenden Pixelwerte (Gradientenwerte) des Kan-

tenbildes aufsummiert. Mathematisch entspricht dies einer Faltung des Kantenbildes mit der Maske. Auf diese weise wird die Position der Maske 26 gesucht, in der die Umrißlinie 28 am besten mit der Maske 26 übereinstimmt, d. h., die Position, in der die Summe der innerhalb der Maske liegenden Gradienten maximal ist. Diese Positi- on ist in Figur 1 gestrichelt eingezeichnet und mit 26'bezeichnet.

Falls die gesamte Umrißlinie 28 des'Fahrzeugs 14 innerhalb der Mas- ke liegt, führen kleine Verschiebungen der Maske nicht mehr zu ei- ner Änderung der Gradientensumme. In diesem Fall ist die optimale Position 26'der Maske dadurch definiert, daß die Umrißlinie 28 möglichst wenig von der Mitte der Rahmenschenkel der Maske ab- weicht.

Das andere Fahrzeug 12 war bereits früher vom Radarsystem geortet worden, und seine genaue Position ist auf analoge Weise bereits zu- vor bestimmt worden. Damit die Suche nach dem Fahrzeug 14 nicht durch die Bilddaten des Fahrzeugs 12 behindert wird, ist es zweck- mäßig, den vom Fahrzeug 12 eingenommenen Bereich, soweit er inner- halb des Suchfeldes 24 liegt, während der Suche auszublenden.

Die Videokamera erzeugt jeweils nach 40 ms ein neues Videobild. Im Idealfall sollte die oben beschriebene Suchprozedur innerhalb die- ser Zeit abgeschlossen sein. Wahlweise kann sich die Prozedur je- doch auch über mehrere Bildzyklen erstrecken, insbesondere bei na- hen, d. h. groß erscheinenden Objekten.

Figur 2 zeigt ein Videobild 10-2 aus derselben Videosequenz, das jedoch zu einem etwas späteren Zeitpunkt aufgenommen wurde. Das Fahrzeug 14 hat sich etwas nach links bewegt und erscheint außerdem etwas größer, weil auch sein Abstand abgenommen hat. Da sich das Fahrzeug 14 zwischen den Bildern 10-1 und 10-2 aber nur wenig be- wegt hat, kann in Bild 10-2 das Suchfeld erheblich eingeschränkt werden, nämlich auf die engere Umgebung der Position 26'in Figur l. Bei der Suche in Figur 2 wird erforderlichenfalls die Maske 26 entsprechend dem-geänderten Abstand des Fahrzeugs 14 neu skaliert, und durch eine Suchprozedur, die abgesehen von. dem kleineren Suchfeld zu der oben beschriebenen Prozedur analog ist, wird nun

die Position 26''für die Maske bestimmt. Auf entsprechende Weise wird die Position der Maske 26 für jedes nachfolgende Bild der Be- wegung des Fahrzeugs 14 nachgeführt. Die dafür jeweils benötigte Rechenzeit ist kleiner als die Zeit, die für die erste Auswertung in Figur 1, die sogenannte Initialisierungsphase, benötigt wird.

Spätestens nach Abschluß der Initialisierung kann somit die Auswer- tung in Echtzeit erfolgen.

Um das Nachführen der Maske zu vereinfachen und zu beschleunigen, kann auch auf Information aus anderen Quellen zurückgegriffen wer- den, insbesondere auf die Ortungsdaten des Radarsystems. Ein Bei- spiel für eine effiziente Fusion der Bilddaten mit den Radardaten wird in der gleichzeitig mit dieser Anmeldung eingereichten deut- schen Patentanmeldung desselben Erfinders mit dem Titel :"Verfahren und Vorrichtung zur Objektbestimmung in Fahrerassistenzsystemen für Kraftfahrzeuge"beschrieben.

Im weiteren Verlauf des Verfahrens wird nun die genaue Lage, Form und Größe der Umrißlinie 28 des Fahrzeugs 14 näher bestimmt. Dazu wird ein Verfahren benutzt, das anhand von Figur 3 näher erläutert werden soll.

Figur 3 zeigt das Kantenbild des Fahrzeugs 14, insbesondere dessen Umrißlinie 28 sowie die geeignet nachgeführte Maske 26. Um die ge- naue Lage des linken Randes der Umrißlinie 28 in Bezug auf die Mas- ke 26 genauer zu bestimmen, werden im linken Rahmenschenkel der Maske 26 jeweils die auf einer Pixelspalte 30 liegenden Gradienten aufsummiert. Im gezeigten Beispiel ist dieser Gradient nur an zwei Stellen von 0 verschieden, nämlich dort wo der Rand des Schattens 16 die Pixelspalte 30 schneidet. Das Ergebnis der Summation wird an der entsprechenden x-Position in ein Histogramm 32-1 eingetragen.

Dies wird für jede Pixelspalte innerhalb des linken Rahmenschenkels der Maske 26 wiederholt. Das so erhaltene Histogramm 32 gibt somit eine Häufigkeitsverteilung des Gradienten im linken Rahmenschenkel an. Das Maximum dieser Häufigkeitsverteilung, in Figur 3 durch eine fette gestrichelte Linie repräsentiert, gibt nun mit größerer Ge- nauigkeit die linke Grenze des Fahrzeugs 14 an. Auf die gleiche

Weise wird auch die rechte Grenze des Fahrzeugs 14 näher bestimmt, und analog werden auch die oberen und unteren Begrenzungen des Fahrzeugs bestimmt (in Figur 3 nicht gezeigt).

In der Praxis werden die auf diese Weise erhaltenen Begrenzungen des Fahrzeugs 14 jedoch noch mit einem beträchtlichen Fehler behaf- tet sein, da das Gradientenbild zumeist mehr oder weniger ver- rauscht ist. Um den Einfluß dieses Rauschens zu unterdrücken, wird die beschriebene Prozedur für jedes nachfolgende Videobild wieder- holt, so daß man nacheinander Histogramme 32-2,32-3 usw. erhält.

Erforderlichenfalls wird zwischendurch, vorzugsweise in größeren Intervallen, die Maske 26 entsprechend der Bewegung des Fahrzeugs 14 nachgeführt. Ebenso wird erforderlichenfalls, vorzugsweise in noch größeren Intervallen, die Maske 26 neu skaliert. Dabei werden die Histogramme 32-1 etc. entsprechend mit skaliert.

Die auf diese Weise über einen längeren Zeitraum aufgenommenen Hi- stogramme 32-1,. .. (beispielsweise 5 bis 6 aufeinanderfolgende Hi- stogramme) werden akkumuliert und normiert, so daß man letztlich ein kaum noch durch Rauschen verfälschtes Histrogramm 32 erhält.

Diese Akkumulation erfolgt vorzugsweise fortlaufend nach dem Fa- ding-Memory-Prinzip. Das heißt, es wird fortlaufend die Summe der zuletzt aufgenommenen Histogramme gebildet, jedoch werden die jün- geren Histogramme jeweils stärker gewichtet als die älteren, so daß die"Erinnerung"an die weiter zurückliegenden Histogramme nach und nach verblaßt. Diese Akkumulation kann z. B. nach der Formal H (x) n+1 = (k-l) H (x) n + k-H (x) neu erfolgen. Darin ist H (x) neu das letzte, für das letzte Videobild aufgenommene Histogramm, also die Gradientensumme über die Pi- xelspalte 30 aus dem letzten Videobild, H (x) n ist das alte akkumu- lierte Histogramm, H (x) n+1 ist das neue akkumulierte Histogramm, und k ist ein sogenannter Fading-Faktor, der zwischen 0 und 1 liegt.

Etwas allgemeiner läßt sich die beschriebene Prozedur wie folgt darstellen : Das Bildmerkmal, hier die Umrißlinie 28 im Gradienten-

bild, wird repräsentiert durch die innerhalb der Maske 26 gefunde- nen Gradienten. Nach der Initialisierung wird die Übereinstimmung dieses Bildmerkmals mit der unscharfen Maske 26 mit höherer räumli- cher Auflösung bestimmt (z. B. indem für die linken und rechten Rän- der der Umrißlinie 28 über die Pixelspalten 30 summiert wird und entsprechend für die oberen und unteren Ränder über Pixelzeilen).

Die so mit höherer räumlicher Auflösung aufgenommenen Bildmerkmale werden nun über mehrere Videobilder akkumuliert, so daß man genaue- re Koordinatenwerte für die Lage des Bildmerkmals (Umrißlinie 28) relativ zur unscharfen Maske 26 erhält. So ist z. B. die genaue Breite D des Fahrzeugs 14 durch den in x-Richtung gemessenen Ab- stand zwischen dem Maximum des Histogramms 32 und dem Maximum des entsprechenden Histogramms 34 für den rechten Rahmenschenkel der Maske gegeben.

Man erkennt in Figur 3, daß dieser Abstand D kleiner ist als der Mittenabstand D'der linken und rechten Rahmenschenkel der Maske 26. Die ursprünglich benutzte Pkw-Standardmaske ist somit für das spezielle Fahrzeug 14 etwas zu groß und gibt nicht die genauen Pro- portionen dieses Fahrzeugs wieder. Sobald die Histogramme 32 und 34 hinreichend genau bestimmt worden sind, wird dieser Fehler korri- giert, indem die Breite (Mittenabstand D') der Maske an den gemes- senen Abstand D angepaßt wird. Auf entsprechende Weise wird auch die Höhe der Maske angepaßt. Für die nachfolgenden Videobilder, beispielsweise das Videobild 10-3 in Figur 4, hat man somit eine neue Maske 36 zur Verfügung, die speziell an das betreffende Fahr- zeug 14 angepaßt ist und mit der rechteckigen Begrenzungsbox 38 dieses Fahrzeugs zusammenfällt. Die Lage dieser Maske 36 im Video- bild 10-3, genauer, die x-und y-Koordinaten des Mittelpunktes 40 des unteren Rahmenschenkels der Maske 36, stellen nun ein präzises Maß für die Position, insbesondere die Lateralposition, des Fahr- zeugs 14 im zweidimensionalen Videobild dar. Mit Hilfe dieser Posi- tion und des durch Radarmessung bekannten Abstands des Fahrzeugs 14 läßt sich nun der Ort des Fahrzeugs 14 im dreidimensionalen Weltko- ordinatensystem genau bestimmen, z. B. durch perspektivische Rück- projektion dieses Punktes in Weltkoordinaten.

Darüber hinaus liefern die Breite und Höhe der Maske 36 genaue Wer- te für die Breite und Höhe des Fahrzeugs 14. Diese Information er- leichtert die Verfolgung und das Wiedererkennen des Fahrzeugs 14, beispielsweise in Situationen, in denen das Fahrzeug 14 vorüberge- hend durch ein anderes Fahrzeug verdeckt wird. Die Information über die Breite des Fahrzeugs ist auch bei einem Crash-Mitigation-System nützlich, um den Kurs des eigenen Fahrzeugs zu berechnen, der zur Kollisionsvermeidung erforderlich ist. Die Information über die Höhe des Fahrzeugs kann auch dazu benutzt werden, den Fahrzeugtyp näher zu spezifizieren und im Kollisionsfall die Auslösung von Air- bags an die Größe des Fahrzeugs anzupassen. Desweiteren wird gene- rell die Verifikation eines georteten Objekts als relevantes Hin- dernis durch die genaue Bestimmung der Abmessungen dieses Objekts wesentlich erleichtert und verbessert.

Aufgrund der besseren Anpassung der Maske 36 an die Geometrie des Fahrzeugs 14 ist es nun auch möglich, die Unschärfe der Maske 36, d. h., die Breite der Rahmenschenkel, zu reduzieren. Auf diese Weise kann bei der weiteren Verfolgung des Fahrzeugs die Rechenarbeit bei den anhand von Figur 3 beschriebenen Prozeduren wesentlich verrin- gert werden.

Bei der weiteren Verfolgung des Fahrzeugs 14 wird die Maske 36 fortlaufend angepaßt. Dabei können auch Plausibilitätskriterien be- rücksichtigt werden, etwa das Kriterium,. daß sich die Form des Fahrzeugs nicht sprunghaft ändern kann.

Gemäß einer Weiterbildung ist es auch denkbar, den durch die Maske 36 definierten Bildbereich aus dem Videobild auszuschneiden und alsdann diesen gesamten Bildbereich (also nicht nur den Rahmen) als Maske (Template) für ein verfeinertes Matching-Kriterium zu benut- zen.

Aufgrund der hohen Zuverlässigkeit des Ortungsverfahrens kann das Fahrzeug 14 selbst dann noch verfolgt werden, wenn es vorübergehend aus dem Ortungsbereich des Radarsensors auswandert oder wenn das

Radarsignal aus anderen Gründen verloren geht.

Die in Figur 3 gezeigten Histogramme 32 und 34 liefern darüber hin- aus ein Maß für die Güte der Objekterkennung, d. h., für das Ausmaß der Übereinstimmung der tatsächlichen Fahrzeugkontur mit der Maske 26 bzw. 36. Im Idealfall, wenn die Rückansicht des Fahrzeugs 14 eine exakte Rechteckform hätte, erhielte man für die Summe der Ma- xima der Histogramme 32 und 34 den größten theoretisch möglichen Wert. Das Verhältnis zwischen der Summe der Höhe der tatsächlich gemessenen Maxima und diesem theoretischen Wert liefert somit einen Gütefaktor G zwischen 0 und 1, der die Güte der Anpassung der Maske an das Objekt beschreibt. Daraus lassen sich bei der weiteren Aus- wertung Rückschlüsse ziehen, wie verläßlich die erhaltenen Werte für die Lateralposition und die Breite des georteten Fahrzeugs sind.

Die Grundform der in der Initialisierungphase verwendeten Masken kann in vielfältiger Weise an die gewünschten Objektklassen ange- paßt werden. Als Beispiel zeigt Figur 5 die Grundform einer Maske 42 für Lkw. Figur 6 zeigt eine Grundform einer Maske 44, die noch besser an die typische Kontur von Pkw angepaßt ist. Entsprechend sind auch Masken für Zweiräder, für Verkehrsschilder und derglei- chen denkbar. Noch exaktere Masken lassen sich aus einer Vielzahl manuell bestimmter Fahrzeugansichten generieren, zum Beispiel durch Lernverfahren (z. B. Self Organizing Feature Maps) oder durch sta- tistische Methoden (z. b. Principal Component Analysis).

Für Fahrten bei Dunkelheit oder bei schlechter Sicht können auch Masken vorgesehen sein, die an das charakteristische Muster der Rückleuchten eines Pkw oder Lkw oder an das Muster aus Rückleuchten und beleuchtetem Nummernschild angepaßt sind. Je nach Sichtbedin- gungen wird man dann beispielsweise für Pkw entweder die Maske 26 oder 46 für das Merkmal"Umrißlinie 28"oder eine Maske für das Merkmal"Rücklichter"verwenden. Die Umschaltung zwischen den Merk- malstypen kann ggf. auch automatisch erfolgen, etwa mit Hilfe eines Umgebungslichtsensors oder wenn am Tage bei Nebel die Initialisie-

rung mit dem Merkmal"Umrißlinie"nicht gelingt.

Als weitere Merkmale, die sich für das erfindungsgemäße Verfahren eignen, kommt auch der Schatten unterhalb des Fahrzeugs in Be- tracht, der entweder im Grauwertbild oder im Kantenbild ausgewertet werden kann, ebenso die charakteristische Rechts/Links-Symmetrie von Fahrzeugen. Die Auswertung von Kantenbildern kann auch dadurch verfeinert werden, daß nicht nur der Betrag, sondern auch die Rich- tung des Gradienten ausgewertet wird. Dazu würden dann Masken be- nutzt, die beispielsweise für die linken und rechten Ränder des Fahrzeugs nach Gradienten mit entgegengesetzten Richtungen suchen.

Figur 7 zeigt den allgemeinen Aufbau einer Vorrichtung zur Durch- führung des oben beschriebenen Verfahrens. Als Ortungssysteme sind eine Videokamera 48 und ein Radarsensor 50, beispielsweise ein win- kelauflösendes FMCW-Radar vorgesehen. Die Ortungssignale des Radar- sensors 50 werden in bekannter Weise in einem ACC-Modul 52 ausge- wertet, um den Abstand zu einem vorausfahrenden Fahrzeug zu regeln.

Das durch diese Teilkomponenten gebildete System ist auch dann funktionsfähig, wenn aufgrund schlechter Sicht oder eines Fehlers kein Bild von der Videokamera 48 zur Verfügung steht. Bei normalen Sichtverhältnissen wird das von der Kamera 48 aufgenommene Video- bild an ein Bildauswertungsmodul 54 übermittelt, das durch einen Mikroprozessor oder ein anderes elektronisches Datenverarbeitungs- system gebildet wird und die oben beschriebenen Funktionen aus- führt. Dazu erhält das Bildauswertungsmodul 52 auch die Ortungs- signale des Radarsensors 50. Das Ergebnis der Bildauswertung, also die Orte und Abmessungen der georteten Objekte werden dem ACC-Modul als Ergänzungsinformätion zur Verfügung gestellt.

In Figur 8 ist die Arbeitsweise des Bildauswertungsmoduls 52 anhand eines Flußdiagramms erläutert. Ein Überwachungsmodul 56 überprüft in regelmäßigen Zeitabständen in Schritt S1 anhand der Ortung- signale des Radarsensors 50, ob ein neues Objekt festgestellt wur- de. Wenn dies der Fall ist, wird in Schritt S2 eine Tracking-Proze- dur T gestartet. Die Tracking-Prozedur beginnt mit einem Schritt S10, in dem anhand der Daten des Radarsensors das Suchfeld 24 be-

stimmt wird. Danach werden in Schritt S11 die Standardmasken für die verschiedenen Objekte, beispielsweise die Maske 26 für Pkw und die Maske 42 für Lkw, entsprechend dem gemessenen Objektabstand skaliert, und das Suchfeld 24 wird nacheinander mit diesen Masken durchsucht. Wenn mit der Maske 26 keine ausreichende Übereinstim- mung gefunden wird, d. h., wenn das Ergebnis der Faltung des Kanten- bildes mit der Maske an keiner Stelle im Suchfeld einen bestimmten Schwellenwert überschreitet, so wird die Suche mit der Maske 42 für Lkw wiederholt. Falls der Radarsensor 50 mehrere Signale empfängt, die den gleichen Objektabstand und die gleiche Relativgeschwindig- keit aufweisen und somit vermutlich demselben Objekt zuzuordnen sind, kann u. U. schon anhand der Winkelverteilung dieser Objekte darauf geschlossen werden, daß es sich um einen Lkw handelt. In diesem Fall kann die Suche auch gleich mit der Maske 42 für Lkw be- gonnen werden. Wenn nach dem Durchsuchen sämtlicher Masken keine gültige Maske gefunden wurde (Schritt S12), so wird das vermutete Objekt in Schritt S13 verworfen, d. h., es wird angenommen, daß sich das Radarecho nicht auf ein Fahrzeug bezieht, sondern beispielswei- se ein Radarziel am Fahrbahnrand repräsentiert.

Wenn in Schritt S12 eine gültige Maske gefunden wurde, so ist die Initialisierungsphase beendet, und mit Schritt S14 beginnt die ei- gentliche Tracking-Prozedur, d. h., das Nachführen der Maske ent- sprechend der Bewegung des Fahrzeugs. Im Verlauf dieser Nachführung werden die Bildmerkmale in der in Figur 3 illustrierten Weise akku- muliert. In Schritt S15 wird dann die Maske an das akkumulierte Bildmerkmal (Histogramme 32,34) angepaßt, d. h., es wird von der Maske 26 auf die Maske 36 übergegangen. In Schritt S16 werden dann die Ergebnisse, also der Ort, die Breite und die Höhe des Fahrzeugs sowie der Gütefaktor G ausgegeben. Danach erfolgt ein Rücksprung zu Schritt S14, und die aus den Schritten S14 und S15 und S16 beste- hende Schleife wird so lange wiederholt, bis das Objekt endgültig verlorengeht.