Die Erfindung betrifft eine redundante Objektdetektion für Fahrerassistenzsysteme, insbesondere eine Vorrichtung und ein Verfahren zur redundanten Objektdetektion mit einer Stereokamera gemäß Anspruch 1 bzw. 6.

Insbesondere bei auf Objektdetektion basierenden Fahrerassistenzsystemen, die teilautonom oder autonom in Antrieb und/oder Steuerung eines Fahrzeugs wie beispielsweise Gas oder Bremse eingreifen, werden aus Sicherheitsgründen häufig zwei oder mehrere Sensoren zur redundanten Objektdetektion eingesetzt. Durch die redundante Objektdetektion sollen die Fehlerrate bei der Objektdetektion und damit Fehlauslösungen durch ein Fahrerassistenzsystem vermieden werden, insbesondere wenn der Bremseingriff bis hin zur Vollverzögerung geht.

In den derzeit bekannten und eingesetzten Systemen wird beispielsweise eine Kombination von einem Radarsensor zur Objektdetektion und Objektvermessung und einem Kamerasensor zur Objektdetektion und Objektklassifikation eingesetzt. Durch die Kombination von Detektion und Klassifikation wird eine redundante Objektdetektion implementiert, durch welche die Fehlerrate bei der Objektdetektion und -klassifikation deutlich reduziert werden kann.

Aufgabe der vorliegenden Erfindung ist es nun, eine verbesserte redundante Objektdetektion für Fahrerassistenzsysteme zu ermöglichen.

Diese Aufgabe wird durch eine Vorrichtung zur redundanten Objektdetektion mit einer Stereokamera mit den Merkmalen nach Anspruch 1 und ein entsprechendes Verfahren mit den Merkmalen nach Anspruch 6 gelöst. Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen. Ein wesentlicher Gedanke der Erfindung besteht darin, eine redundante Objektdetektion für Fahrerassistenzsysteme mit Hilfe einer Stereokamera zu implementieren. Obwohl eine Stereokamera praktisch nur als ein Sensor betrachtet wird, kann damit Redundanz bei der Objektdetektion durch Implementierung eines weiteren Auswertungspfades neben dem Stereopfad, also dem Verarbeitungspfad zur Auswertung der Stereobilder der Kamera, geschaffen werden. Beispielsweise kann neben dem Stereopfad ein Monopfad implementiert werden, in dem im Stereopfad detektierte Objekte unter Verwendung der Bilddaten mindestens eines Bildsensors der Stereokamera klassifiziert werden, so dass eine redundante Objektdetektion erhalten wird. Im Vergleich zu den bisher bekannten und in der Praxis eingesetzten Redundanzkonzepten besitzt das erfindungsgemäße Konzept der Implementierung einer redundanten Objektdetektion mit Hilfe einer Stereokamera den Vorteil, dass anstelle von zwei oder mehreren Sensoren, wie die eingangs erwähnte Kombination aus Radar- und Kamerasensor nur ein Sensor, nämlich eine Stereokamera in einem Fahrzeug an einer Stelle verbaut werden muss. Hierdurch kann die Montage und vor allem Verkabelung im Fahrzeug wesentlich erleichtert werden. Ein wesentlicher Vorteil der Erfindung besteht vor allem darin, dass durch die Detektion im Stereobild eine pixelgenaue Lokalisierung eines Objekts vorliegt. Die Klassifikation in einem zweiten (Mono-)Pfad kann dann nahezu exakt auf die im Stereopfad detektierten bzw. identifizierten Objektpixel beschränkt werden, Im Vergleich dazu ist bei einer Kombination aus Radar- Kamerasensor eine wesentlich ungenauere Referenzierung eines mit dem Radarsensor erkannten Objekts mit dem im Kamerabild erkannten Objekt vorhanden, wodurch nur eine im Vergleich zur vorliegenden Erfindung geringere Fehlersicherheit erreicht werden kann. Eine Ausführungsform der Erfindung betrifft nun eine Vorrichtung zur redundanten Objektdetektion mit einer Stereokamera, die zwei Bildsensoren aufweist, ersten Verarbeitungsmitteln zur Detektion von Objekten durch Stereobildauswertung von Bilddaten der zwei Bildsensoren, und zweiten Verarbeitungsmitteln zur Klassifikation von durch die Stereopfad- Verarbeitungsmittel detektierten Objekten durch Auswertung von Bilddaten von mindestens einem der zwei Bildsensoren. Durch die zweiten Verarbeitungsmittel wird ein weiterer Verarbeitungspfad implementiert, der bei der Objektdetektion Redundanz bewirkt, indem er die bereits im ersten Stereo-Verarbeitungspfad detektierten Objekte klassifiziert. Dieser weitere Verarbeitungspfad kann die Klassifikation durch Auswertung der Bilddaten eines oder sogar beider Bildsensoren der Stereokamera durchführen. Die ersten Verarbeitungsmittel können ausgebildet sein, bei der Stereobildauswertung aus Disparitäten und/oder optischem Fluss eine Objektliste mit Hindernissen, die aus einer Straße herausragen, zu generieren und die generierte Objektliste den zweiten Verarbeitungsmitteln zur Objekt- Klassifikation zuzuführen. Eine derartig generierte Objektliste enthält typischerweise Position, Ausdehnung Geschwindigkeit der Hindernisse in der eigenen Fahrspur oder in Nachbar-Fahrspuren.

Die zweiten Verarbeitungsmittel können ausgebildet sein, eine auf den Bilddaten von mindestens einem der zwei Bildsensoren basierte Klassifikation der Hindernisse der zugeführten Objektliste auszuführen und eine zweite Objektliste mit klassifizierten Hindernissen zu generieren. Beispielsweise können die zweiten Verarbeitungsmittel alle in der zugeführten Objektliste enthaltenen detektierten Hindernisse zunächst anhand der Bilddaten von mindestens einem der zwei Bildsensoren zu verifizieren und anschließend zu klassifizieren. Die Klassifikation kann insbesondere der Bestimmung eines Objekttyps eines Hindernisses wie z.B. Fußgänger, Fahrzeug, geschlossene Bahnschranke dienen.

Die zweiten Verarbeitungsmittel können ferner ausgebildet sein, bei der Klassifikation zusätzlich Bilddaten vom zweiten der zwei Bildsensoren zu verwenden. Hierdurch wird im Prinzip ein zweiter Stereopfad implementiert, in dem für die Klassifikation von detektierten Objekten auch noch Stereoinformationen wie Disparitäten verwendet werden können. Die zwei Bildsensoren der Stereokamera und die ersten und zweiten Verarbeitungsmittel können auf einer gemeinsamen Platine montiert sein. Hierdurch kann ein kompaktes Modul zum Einbau in ein Fahrerassistenzsystem eines Fahrzeugs geschaffen werden, das mit relativ geringem Verdrahtungsaufwand in das Sicherheitssystem eines Fahrzeugs eingebunden werden kann.

Eine weitere Ausführungsform der Erfindung betrifft ein Verfahren zur redundanten Objektdetektion mit einer Stereokamera, die zwei Bildsensoren aufweist, wobei das Verfahren die folgenden Schritte aufweist:

Detektieren von Objekten durch Stereobildauswertung von Bilddaten der zwei Bildsensoren, und

Klassifizieren von detektierten Objekten durch Auswertung von Bilddaten von mindestens einem der zwei Bildsensoren.

Der durch dieses Verfahren definierte Algorithmus kann beispielsweise in einem Prozessor ausgeführt werden, der für die Verarbeitung der Bilddaten der Bildsensoren der Stereokamera vorgesehen ist. Der Schritt des Detektierens von Objekten durch Stereobildauswertung kann das Generieren einer Objektliste mit Hindernissen, die aus einer Straße herausragen, durch Stereobildauswertung aus Disparitäten und Fluss und das Ausgeben der generierten Objektliste zur Objekt-Klassifikation aufweisen. Der Schritt des Klassifizierens von detektierten Objekten kann das Klassifizieren der Hindernisse der zugeführten Objektliste basierend auf den Bilddaten von mindestens einem der zwei Bildsensoren und das Generieren einer zweite Objektliste mit klassifizierten Hindernisse aufweisen. Beim Klassifizieren der Hindernisse der zugeführten Objektliste basierend auf den Bilddaten von mindestens einem der zwei Bildsensoren können zusätzlich Bilddaten vom zweiten der zwei Bildsensoren verwendet werden. Schließlich betrifft eine Ausführungsform der Erfindung ein Progrannnn mit Programmcode zur Durchführung eines Verfahrens gemäß der Erfindung und wie vorstehend beschrieben, wenn das Programm von einem Prozessor ausgeführt wird. Das Programm kann beispielsweise in einem Speicher einer Stereokamera abgelegt sein und von einem Bilddatenverarbeitungs- Prozessor der Stereokamera ausgeführt werden.

Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit dem/den in der/den Zeichnung(en) dargestellten Ausführungsbeispiel(en).

In der Beschreibung, in den Ansprüchen, in der Zusammenfassung und in der/den Zeichnung(en) werden die in der hinten angeführten Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen verwendet.

Die Zeichnung(en) zeigt/zeigen in

Fig. 1 ein Blockschaltbild eines Ausführungsbeispiels eines

Stereokamera-Modul mit redundanter Objektdetektion gemäß der Erfindung; und

Fig. 2 ein Flussdiagramm eines Ausführungsbeispiels eines

Programms zur redundanten Objektdetektion mit einer Stereokamera gemäß der Erfindung.

Fig. 1 zeigt ein Blockschaltbild eines Stereokamera-Moduls 10 für Fahrerassistenzsysteme. Das Modul 10 kann beispielsweise in Form einer Platine einer ECU (Electronic Control Unit) ausgebildet sein, die in einem Kameragehäuse mit einer Optik in einem Fahrzeug beispielsweise im Bereich des Rückspiegels an der Fahrzeug-Windschutzscheibe verbaut wird. Das dargestellte Modul 10 unterscheidet sich von herkömmlichen Stereokamera- Modulen darin, dass zusätzlich zum Stereopfad zur Verarbeitung und Auswertung von Stereobildern ein Monopfad vorgesehen ist, der die im Stereopfad in den Bilddaten detektierten Objekte durch Auswertung von Monobildern eines Bildsensors des Moduls klassifiziert, wodurch eine redundante Objektdetektion geschaffen wird. Der Monopfad kann jedoch auch Stereobilder zur Klassifizierung auswerten, wie später noch erläutert wird. Insofern ist der hierin verwendete Begriff „Monopfad" nicht als einschränkend auf eine auf der Auswertung von Monobildern basierende Objekt- Klassifikation zu verstehen.

Zum Erfassen des Bereichs vor einem Fahrzeug weist das Modul 10 einen ersten und einen zweiten Bildsensor 12 bzw. 14 auf, die insbesondere durch CCD- oder CMOS-Bildsensoren implementiert sind. Mit den beiden Bildsensoren 12 und 14 werden Stereobilder des Bereichs vor dem Fahrzeug erfasst, indem die beiden Sensoren 12 und 14 jeweils zur gleichen Zeit ein Monobild erfassen. Jedes von den Sensoren 12 und 14 erfasste Monobild wird in Form elektronischer Bilddaten bzw. Bildsignale zur weiteren Verarbeitung einem Stereopfad-Objektdetektionsprozessor 16 zugeführt, der mittels an sich bekannter Algorithmen Hindernisse vor dem Fahrzeug anhand der durch die Bilddaten der Monobilder erzeugten Stereobilder detektiert. Insbesondere wertet der Prozessor 16 die Stereobilder aus, indem er aus Disparitäten und(oder Fluss als Objekte Hindernisse, die aus einer Straße herausragen, detektiert, insbesondere vorausfahrende Fahrzeuge, deren Abstand zum eigenen Fahrzeug, Geschwindigkeit und Größe vom Prozessor 16 durch Auswertung der Stereobilder ermittelt werden. Aus den detektierten Hindernisse erzeugt der Prozessor 16 eine Objektliste 20, in der die Hindernisse und weitere relevante Daten wie Abstand, Geschwindigkeit und Größe enthalten sind. Diese Hindernis-Objektliste 20 wird in digitaler Form ausgegeben und außerdem einem Monopfad-

Objektklassifikationsprozessor 1 8 zugeführt.

Der Monopfad-Objektklassifikationsprozessor 1 8 empfängt zudem Bilddaten vom ersten Bildsensor 1 2, also Monobilder. Mit den empfangenen Monobildern führt der Prozessor 1 8 eine bildbasierte Klassifikation der in der Hindernis-Objektliste 20 enthaltenen und im Stereopfad detektierten Hindernisse aus. Hierdurch wird eine redundante Objektdetektion geschaffen, da durch die bildbasierte Klassifikation im Monopfad eine erneute Objektdetektion der bereits im Stereopfad detektierten Objekte durchgeführt wird .

Dem Monopfad-Objektklassifikationsprozessor 1 8 können zusätzlich Bilddaten vom zweiten Bildsensor 14 zugeführt werden (in Fig . 1 durch die gestrichelte Linie vom Sensor 14 zum Prozessor 1 8 dargestellt). Damit kann der Prozessor 1 8 auch noch Stereoinformationen wie beispielsweise Disparitäten für die Klassifikation verwenden, wodurch eine noch genauere Klassifikation der Hindernisse erzielt werden kann .

Die beiden vom Modul 1 0 ausgegebenen Listen 20 und 22 können in einem Fahrerassistenzsystem weiter verarbeitet werden, insbesondere durch einen Steueralgorithmus für die Entscheidung über einen (teil-) autonomen Eingriff in Bremsen, Lenkung, Antriebsstrangsteuerung ausgewertet werden . Der Algorithmus kann hierbei seine Entscheidung auf die Daten beider Listen 20 und 22 stützen, oder auch nur auf die Daten der Liste 22.

Die in Fig . 1 dargestellten Prozessoren 1 6 und 1 8 können als getrennte Hardwareeinheiten implementiert werden, beispielsweise als spezielle Bildverarbeitungs-ASICs (Application Specific Integrated Circuits). Alternativ kann auch ein leistungsfähiger Prozessor zur Bildverarbeitung im Modul 1 0 vorgesehen sein, der durch ein entsprechendes Programm konfiguriert die beiden Einheiten 1 6 und 1 8 implementiert.

Ein Flussdiagramm eines solchen Programms, das ein Verfahren redundanten Objektdetektion mit einer Stereokamera gemäß der Erfindung implementiert, ist in Fig. 2 gezeigt. Die gezeigten Schritte S10-S16 entsprechen den durch die Prozessoren 16 und 18 ausgeführten und oben beschriebenen Schritten. Der Vollständigkeit halber werden die Verfahrensschritte im Folgenden nochmal kurz beschrieben. Im Schritt S10 werden Objekte durch Auswertung der durch die Stereokamera erfassten Stereobilder detektiert. Hierzu werden im Schritt S12 aus Disparitäten und Fluss als Objekte Hindernisse, die aus einer Straße herausragen, detektiert, wie vorausfahrende Fahrzeuge, deren Abstand zum eigenen Fahrzeug, Geschwindigkeit und Größe. Die so erzeugte Objektliste 20 mit Hindernissen wird ausgegeben und im darauffolgenden Schritt S14 weiter verarbeitet, indem die Hindernisse durch Monobildauswertung der Bilddaten eines Bildsensors der Stereokamera klassifiziert werden. Mit den klassifizierten Hindernissen wird eine weitere Objektliste 22 erzeugt, die zur weiteren Verarbeitung durch ein Fahrerassistenzsysteme, beispielsweise die Entscheidung über einen (teil-)autonomen Eingriff in die Fahrzeugdynamik ausgegeben wird.

Die vorliegende Erfindung ermöglicht die redundante Detektion von Objekten für Fahrerassistenzsysteme mit einer Stereokamera, mit welcher der technische Implementierungsaufwand gegenüber herkömmlichen Ansätzen mit zwei oder mehr unterschiedlichen Sensoren verringert werden kann.

Bezugszeichen Stereokamera-Modul

erster Bildsensor der Stereokamera zweiter Bildsensor der Stereokamera Stereopfad-Objektdetektionsprozessor Monopfad-Objektklassifikationsprozessor Hindernis-Objektliste

Klassifizierte-Hindernis-Objektliste