Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
VIDEO-BASED DETECTION OF OBSTACLES ON A ROADWAY
Document Type and Number:
WIPO Patent Application WO/2014/090247
Kind Code:
A1
Abstract:
The invention relates to a method for the video-based detection of obstacles on a roadway with the following steps: receiving image data (S10) which are generated by a 3D camera provided for covering a section of a surrounding area in front of a vehicle, said 3D camera being oriented and designed such that the section covered by it comprises at least the entire width of the roadway in front of the vehicle; evaluating the image data (S12) to detect obstacles transversely to the direction of travel of the vehicle; and outputting data (S14) regarding the detected obstacles.

Inventors:
HEGEMANN, Stefan (Karl-Saurmann-Straße 6, Wangen, 88239, DE)
LÜKE, Stefan (Kapersburgweg 6, Bad Homburg, 61350, DE)
HEINRICH, Stefan (Am Sonnenhang 6, Achern, 77855, DE)
Application Number:
DE2013/200338
Publication Date:
June 19, 2014
Filing Date:
December 09, 2013
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
CONTI TEMIC MICROELECTRONIC GMBH (Sieboldstraße 19, Nürnberg, 90411, DE)
CONTINENTAL TEVES AG & CO. OHG (Guerickestr. 7, Frankfurt, 60488, DE)
International Classes:
G06K9/00
Foreign References:
US5530420A1996-06-25
US20120294481A12012-11-22
US20120294485A12012-11-22
DE102009033219A12010-07-29
DE102009033219A12010-07-29
Other References:
DARIU M GAVRILA ET AL: "Real-Time Vision for Intelligent Vehicles", IEEE INSTRUMENTATION & MEASUREMENT MAGAZINE, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, Bd. 4, Nr. 2, 1. Juni 2001 (2001-06-01), Seiten 22-27, XP011092015, ISSN: 1094-6969
Attorney, Agent or Firm:
CONTI TEMIC MICROELECTRONIC GMBH (Sieboldstraße 19, Nuernberg, 90411, DE)
Download PDF:
Claims:
Patentansprüche

1 . Verfahren zur videobasierten Erkennung von Hindernissen (10; 12) auf einer Fahrbahn (14) mit den folgenden Schritten:

- Empfangen von Bilddaten (S10), die von einer zum Erfassen eines Bereichs einer Umgebung vor einem Fahrzeug vorgesehen SD- Kamera erzeugt werden, wobei die 3D-Kamera derart ausgerichtet und ausgebildet ist, dass der von ihr erfasste Bereich mindestens die gesamte Breite der Fahrbahn vor dem Fahrzeug umfasst,

- Auswerten der Bilddaten (S12) zum Erkennen von Hindernissen (10) quer zur Fahrtrichtung des Fahrzeugs, und

- Ausgeben von Daten (S14) zu erkannten Hindernissen (10). 2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Auswerten der Bilddaten (S12) zum Erkennen von Hindernissen quer zur Fahrtrichtung des Fahrzeugs das Erkennen von mehreren

Bildpunkten im Raum (S120), die etwa auf einer horizontalen Linie angeordnet sind, und das Ermitteln einer ungefähren Höhe des

Hindernisses abhängig von den erkannten Bildpunkten (S122) aufweist.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Auswerten der Bilddaten (S12) zum Erkennen von Hindernissen quer zur Fahrtrichtung des Fahrzeugs das Erkennen von mehreren Bildpunkten im Raum (S124), die etwa auf einer vertikalen Linie angeordnet sind, und das Berechnen einer Fahrbahnkrümmung abhängig von den erkannten Bildpunkten (S126) aufweist.

4. Verfahren nach Anspruch 1 , 2 oder 3, dadurch gekennzeichnet, dass das Ausgeben von Daten (S14) zu erkannten Hindernissen das Bestimmen (S140), ob das Fahrzeug ein erkanntes Hindernis überfahren kann und/oder ob ein erkanntes Hindernis beim Überfahren Beschädigungen am Fahrzeug hervorrufen kann, und das Ausgeben des Ergebnisses des Bestimmens (S142) aufweist.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass das Ausgeben von Daten (S142) zu erkannten Hindernissen abhängig vom Ergebnis des Bestimmens ein Ausgeben einer Warnung (S1420), einen Eingriff in die Fahrzeugsteuerung (S1422) und/oder eine

Veränderung von Fahrzeugeigenschaften (S1424) aufweist.

6. Vorrichtung (20) zur videobasierten Erkennung von Hindernissen auf einer Fahrbahn mit

- ersten Mitteln (22) zum Empfangen von Bilddaten, die von einer zum Erfassen eines Bereichs einer Umgebung vor einem Fahrzeug vorgesehen 3D-Kamera erzeugt werden, wobei die 3D-Kamera derart ausgerichtet und ausgebildet ist, dass der von ihr erfasste Bereich mindestens die gesamte Breite der Fahrbahn vor dem Fahrzeug umfasst,

- zweiten Mitteln (24) zum Auswerten der Bilddaten zum Erkennen von Hindernissen quer zur Fahrtrichtung des Fahrzeugs, und

- dritten Mitteln (26) zum Ausgeben von Daten zu erkannten

Hindernissen. Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die zweiten Mittel (24) ausgebildet sind, ein Verfahren nach Anspruch 2 oder 3 auszuführen, und

die dritten Mittel (26) ausgebildet sind, ein Verfahren nach einem Anspruch 4 oder 5 auszuführen.

Fahrerassistenzsystem mit einer Vorrichtung nach Anspruch 6 oder 7.

Description:
VIDEOBASIERTE ERKENNUNG VON HINDERNISSEN AUF EINER

FAHRBAHN Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur videobasierten Erkennung von Hindernissen auf einer Fahrbahn, die insbesondere für den Einsatz in Fahrerassistenzsystemen geeignet sind.

Die DE 10 2009 033 219 A1 beschreibt ein Verfahren zur Ermittlung eines Straßenprofils einer Fahrspur vor einem Fahrzeug anhand von erfassten Bilddaten. Hierbei wird ein Straßenhöhenprofil der Fahrspur durch eine Schätzvorrichtung, beispielsweise einem Kaiman-Filter ermittelt. Die Bilddaten werden insbesondere von einer beispielsweise im Frontbereich des Fahrzeugs fest angeordneten Kamera erzeugt. Durch Vermessen des Straßenhöhenprofils vor dem Fahrzeug und zeitliches Integrieren können zu erwartende Bodenunebenheiten an einem jeweiligen Fahrzeugrad des Fahrzeugs ermittelt werden, wenn das Fahrzeug den vermessenen Bereich überfährt. Darauf basierend kann das Fahrwerk des Fahrzeugs entsprechend geregelt werden. Formal gesehen handelt es sich bei diesem Verfahren um einen stochastischen Messprozess.

Aufgabe der vorliegenden Erfindung ist es nun, ein Verfahren und eine Vorrichtung zur videobasierten Erkennung von Hindernissen auf einer Fahrbahn vorzuschlagen, die gegenüber dem aus der DE 10 2009 033 219 A1 weiter verbessert sind.

Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.

Ein der Erfindung zugrunde liegender Gedanke besteht darin, Hindernisse auf einer Fahrbahn durch Auswerten von Bilddaten einer 3D-Kamera zu erkennen, also eine videobasierte Erkennung zu implementieren, bei der mittels einer 3D-Kamera eine aktive Auswertezone für die Erkennung von Hindernissen auf einer Fahrbahn verwendet wird, die nicht nur auf den unmittelbaren Bereich von dem Fahrzeug bzw. einem Fahrzeugreifen beschränkt ist, sondern die gesamte Fahrbahnoberfläche (Breite) im Vorausschaubereich des Fahrzeug umfasst. Durch den Einsatz einer SD- Kamera enthalten die Bilddaten zudem Rauminformationen des Vorausschaubereichs des Fahrzeugs. Durch die aktive Auswertezone und die Rauminformationen ist es nun möglich, Hindernisse quer zur Fahrtrichtung wie beispielsweise Bodenschwellen, Kanten (Unstetigkeiten) auf der Fahrzeugtrajektorie und/oder Fahrbahnkrümmungen zu erkennen, die sich insbesondere über die gesamte Breite einer Fahrbahn erstrecken und mit den bisher eingesetzten Algorithmen nicht oder nur sehr schwer erkannt werden können, da sie keine Sprünge in einem Höhenverlauf quer zur Fahrtrichtung bewirken, und daher mit einem auf die Erkennung von solchen Sprüngen spezialisierten Bildverarbeitungsalgorithmus in der Regel nicht erkannt werden können.

Eine Ausführungsform der Erfindung betrifft nun ein Verfahren zur videobasierten Erkennung von Hindernissen auf einer Fahrbahn mit den folgenden Schritten: Empfangen von Bilddaten, die von einer zum Erfassen eines Bereichs einer Umgebung vor einem Fahrzeug vorgesehen 3D-Kamera erzeugt werden, wobei die 3D-Kamera derart ausgerichtet und ausgebildet ist, dass der von ihr erfasste Bereich mindestens die gesamte Breite der Fahrbahn vor dem Fahrzeug umfasst, Auswerten der Bilddaten zum Erkennen von Hindernissen quer zur Fahrtrichtung des Fahrzeugs, und Ausgeben von Daten zu erkannten Hindernissen.

Das Auswerten der Bilddaten zum Erkennen von Hindernissen quer zur Fahrtrichtung des Fahrzeugs kann das Erkennen von mehreren Bildpunkten im Raum, die etwa auf einer horizontalen Linie angeordnet sind, und das Ermitteln einer ungefähren Höhe des Hindernisses abhängig von den erkannten Bildpunkten aufweisen. Das Auswerten der Bilddaten zum Erkennen von Hindernissen quer zur Fahrtrichtung des Fahrzeugs kann das Erkennen von mehreren Bildpunkten im Raum, die etwa auf einer vertikalen Linie angeordnet sind, und das Berechnen einer Fahrbahnkrümmung abhängig von den erkannten Bildpunkten aufweisen.

Das Ausgeben von Daten zu erkannten Hindernissen kann das Bestimmen, ob das Fahrzeug ein erkanntes Hindernis überfahren kann und/oder ob ein erkanntes Hindernis beim Überfahren Beschädigungen am Fahrzeug hervorrufen kann, und das Ausgeben des Ergebnisses des Bestimmens aufweisen.

Das Ausgeben von Daten zu erkannten Hindernissen abhängig vom Ergebnis des Bestimmens kann ein Ausgeben einer Warnung, einen Eingriff in die Fahrzeugsteuerung und/oder eine Veränderung von Fahrzeugeigenschaften aufweisen.

Eine weitere Ausführungsform der Erfindung betrifft eine Vorrichtung zur videobasierten Erkennung von Hindernissen auf einer Fahrbahn mit ersten Mitteln zum Empfangen von Bilddaten, die von einer zum Erfassen eines Bereichs einer Umgebung vor einem Fahrzeug vorgesehen 3D-Kamera erzeugt werden, wobei die 3D-Kamera derart ausgerichtet und ausgebildet ist, dass der von ihr erfasste Bereich mindestens die gesamte Breite der Fahrbahn vor dem Fahrzeug umfasst, zweiten Mitteln zum Auswerten der Bilddaten zum Erkennen von Hindernissen quer zur Fahrtrichtung des Fahrzeugs, unddritten Mitteln zum Ausgeben von Daten zu erkannten Hindernissen.

Die zweiten Mittel können ausgebildet sein, ein Verfahren nach der Erfindung und wie hierin beschrieben auszuführen, und die dritten Mittel können ausgebildet sein, ein Verfahren nach der Erfindung und wie hierin beschrieben auszuführen. Schließlich betrifft eine weitere Ausführungsform der Erfindung ein Fahrerassistenzsystem mit einer Vorrichtung nach der Erfindung und wie hierin beschrieben. Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit dem/den in der/den Zeichnung(en) dargestellten Ausführungsbeispiel(en).

In der Beschreibung, in den Ansprüchen, in der Zusammenfassung und in der/den Zeichnung(en) werden die in der hinten angeführten Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen verwendet.

Die Zeichnung(en) zeigt/zeigen in

Fig. 1 ein Flussdiagramm eines Ausführungsbeispiels eines Verfahrens zur videobasierten Erkennung von Hindernissen auf einer Fahrbahn gemäß der Erfindung; Fig. 2 ein Beispiel eines Bildes eines erfassten Bereichs einer Umgebung vor einem Fahrzeug mit einem Bereich einer abgehobenen Fahrbahnoberfläche bei einer Baustelle als Hindernis;

Fig. 3 ein Beispiel eines Bildes eines erfassten Bereichs einer Umgebung vor einem Fahrzeug mit einem Bereich einer angehobenen Fahrbahnoberfläche zur Verkehrsberuhigung als Hindernis;

Fig. 4 zwei Beispiele von Fahrbahnverläufen mit Hindernissen quer zur Fahrtrichtung eines Fahrzeugs in einer Seitenansicht; und

Fig. 5 ein Ausführungsbeispiel einer Vorrichtung zur videobasierten Erkennung von Hindernissen auf einer Fahrbahn gemäß der Erfindung. In der folgenden Beschreibung können gleiche, funktional gleiche und funktional zusammenhängende Elemente mit den gleichen Bezugszeichen versehen sein. Absolute Werte sind im Folgenden nur beispielhaft angegeben und sind nicht als die Erfindung einschränkend zu verstehen.

Bei der vorliegenden Erfindung wird ausgehend von einem im Fahrzeug befindlichen Stereo-bzw. 3D-Kamerasystem die Fahrbahnoberfläche im Umgebungsbereich vor dem Fahrzeug beobachtet. Die vom 3D- Kamreasystem erzeugten Bilddaten des erfassten Umgebungsbereichs werden von einem Algorithmus verarbeitet, dessen Flussdiagramm in Fig. 1 dargestellt ist und der im Folgenden erläutert wird.

Der Algorithmus empfängt in einem ersten Schritt S10 die Bilddaten vom 3D- Kamreasystem zur weiteren Verarbeitung. In einem darauffolgenden Schritt S12 werden die empfangenen Bilddaten zum Erkennen von Hindernissen quer zur Fahrtrichtung ausgewertet.

Die Auswertung kann verschiedene Schritte umfassen, um verschiedene Hindernisse zu erkennen, wie nachfolgend erläutert wird.

Zum Erkennen von Unstetigkeiten im Verlauf der zu überfahrenden Fläche werden in einem Schritt S120 mehrere, auf einer horizontalen Linie angeordnete Bildpunkte erkannt, wie es bei den in Fig. 2 und 3 dargestellten beispielhaften Bildern von erfassten Umgebungsbereichen vor einem Fahrzeug gezeigt ist.

In Fig. 2 ist der Verlauf einer Fahrbahn 14 vor einem Fahrzeug gezeigt, wie er von einem 3 D-Kamerasystem erfasst wird. Auf der Fahrbahn 14 befindet sich ein Bereich 10 (eingerahmt durch das gestrichelte Rechteck), in dem ein Abschnitt 100 der Fahrbahnoberfläche abgehoben ist, wie es beispielsweise häufig bei der Erneuerung des Asphaltbelags einer Fahrbahn stattfindet. Aufgrund des Abschnitts 100 mit der abgehobenen Fahrbahnoberfläche entstehen eine vordere Kante 102 und eine hintere Kante 104 jeweils zwischen der Oberfläche der Fahrbahn 14 und dem Abschnitt 100. Ein Überfahren dieser beiden Kanten 102 und 104, die quer zur Fahrtrichtung des Fahrzeugs liegen, könnte zu Schäden am Fahrzeug führen. Daher gilt in der Regel im Bereich solcher Abschnitte eine Geschwindigkeitsbegrenzung. Durch den Schritt S120 kann der Algorithmus nun die beiden Kanten 102 und 104 erkennen und in einem nachfolgenden Schritt S122 die ungefähre Höhe dieser Kanten anhand der in dem vom 3D-Kemerasystem erzeugten Bilddaten enthaltenen Raum- bzw. 3D-lnformationen ermitteln, insbesondere berechnen oder abschätzen.

Bei dem in Fig. 3 gezeigten Beispiel ist in einem Bereich 12 der Fahrbahn 14 ein Abschnitt 120 angehoben, was beispielsweise zur Verkehrsberuhigung auf bestimmten Straßen vorgenommen wird. Alternativ können auch sogenannte Speed bumper (Bremsschwelle zur Verkehrsberuhigung) auf der Fahrbahnoberfläche angebracht sein, die etwas kürzer als der Abschnitt 120 sind. Um ein Überfahren des angehobenen Fahrbahnabschnitts 120 zu ermöglichen, sind vorne am Abschnitt 120 eine vordere Auffahrt 122 und hinten am Abschnitt 120 eine hintere Abfahrt 124 vorgesehen, die einen schrägen Übergang zwischen dem Abschnitt 120 und der Oberfläche der Fahrbahn 14 definieren. Auch die Auffahrt 122 und die Abfahrt 124 können durch ihre Darstellung in vom 3D-Kamreasystem erfassten Bildern als mehrere, auf einer horizontalen Linie angeordnete Bildpunkte vom Algorithmus im Schritt S120 erkannt werden. Die ungefähre Höhe des Abschnitts 120 kann im Schritt S122 aus der Rauminformation zu den Bildpunkten der Auffahrt 122 und der Abfahrt 124 ermittelt, insbesondere berechnet oder abgeschätzt werden.

Weiterhin kann der Algorithmus im Rahmen der Auswertung die Krümmung der zu überfahrenden Fläche, d.h. der Fahrbahn ermittelt werden. Hierzu werden in einem Schritt S124 Bildpunkte auf einer vertikalen Linie erkannt, beispielsweise der Mittelstreifen einer Straße. Anschließend wird in einem Schritt S126 mit den Raumpositionen der auf der vertikalen Linie erkannten Bildpunkte die Krümmung der Fahrbahn bzw. Straße berechnet. Der Algorithmus fährt nach dem Auswerten der Bilddaten im Schritt S12, wie es oben erläutert ist, mit einem Schritt S14 fort, in dem Daten zu erkannten Hindernissen ausgegeben werden. Auch der Schritt S14 weist mehrere Unterschritte auf, wie es im Folgenden im Detail erläutert wird.

Zunächst bestimmt der Algorithmus in einem Schritt S140, ob das Fahrzeug ein im Schritt S12 erkannten Hindernis überfahren kann, oder ob ein erkanntes Hindernis beim Überfahren Schäden am Fahrzeug hervorrufen kann.

Beispielsweise kann bestimmt werden

- ob das Fahrzeug in der Lage ist die Fahrbahnkrümmung ohne Beschädigungen zu befahren (siehe beispielsweise die in Fig. 4 oben unter 1 gezeigte Situation), oder

- ob es eine Kante (Unstetigkeit) auf der Fahrzeugtrajektorie gibt, die entweder nicht überfahren werden kann oder Beschädigungen am Fahrzeug hervorrufen könnte (siehe beispielsweise die in Fig. 4 unten unter 2 gezeigte Situation).

Nachfolgend zum Schritt S142 kann der Algorithmus verschiedene Funktionen ausführen, die auf der Hinderniserkennung basieren:

- Ausgeben einer Warnung im Schritt S1420 oder Eingriff in die Fahrzeugsteuerung (beispielsweise aktiver Brems- oder

Lenkeingriff) im Schritt S1422 bei unmöglich befahrbaren Fahrbahnkrümmungen (z.B. tiefliegende Garagen, zu hohe Kanten vor Garagen, zu hohe Speedbumper etc.);

- Veränderung der Fahrzeugeigenschaften im Schritt S1424, so dass Überfahrbarkeit wieder gegeben ist und/oder Komfort beim

Überfahren verbessert wird. Fig. 5 zeigt ein Blockschaltbild einer videobasierten Hinderniserkennungsvorrichtung 20 gemäß der Erfindung, die Daten einer Stereovisions-Kamera mit linken und einem rechten Imager 28 bzw. 30 verarbeitet. Die beiden Imager 28 und 30 liefern Bilddaten von der Umgebung vor einem Fahrzeug. Diese Bilddaten werden einer Bilddatenempfangseinheit 22 zugeführt, die ausgebildet sein kann, die Position von Bildpunkten im Raum zu berechnen. Die Bilddaten und ggf. die berechneten Bildpunktpositionen im Raum werden an eine Bilddatenauswerteeinheit 24 übermittelt, welche die erhaltenen Bilddaten auswertet, um Hindernisse quer zur Fahrtrichtung des Fahrzeugs erkennen entsprechend dem oben erläuterten Verfahrensschritt S12. Eine Hindernisausgabeeinheit 26 gibt dann Daten zu erkannten Hindernissen aus, beispielsweise in Form einer Warnung (akustisch, visuell und/oder haptisch), durch einen Eingriff in die Fahrzeugsteuerung und/oder durch eine Veränderung der Fahrzeugeigenschaften z.B. durch Ausgabe eines entsprechenden Steuersignals für Steuergeräte des Fahrzeugs, die für die Fahrzeugsteuerung zuständig sind (z.B. aktive Bremsen), entsprechend dem oben erläuterten Verfahrensschritt S14. Der Kern der Erfindung besteht in der Erkennung von Bereichen im Fahrzeugumfeld, die aufgrund der Fahrzeugeigenschaften nicht befahren werden können oder sollten oder deren Befahrbarkeit eingeschränkt ist oder die Schäden am Fahrzeug beim Befahrens verursachen können. Die Bereiche im Fahrzeug zeichnen sich hierbei durch Hindernisse aus, die quer zur Fahrtrichtung liegen und daher von herkömmlichen Algorithmen zur Umfeldbewertung nicht oder nur schwer ermittelt werden können, insbesondere da sie in er Regel keine Sprünge in einem Höhenverlauf quer zur Fahrtrichtung bewirken. Weitere Aspekte der Erfindung sind im Folgenden nochmals aufgelsitet:

- Berechnung ob eine Fläche mit den gegebenen Fahrzeugeigenschaften (Radstand, Federwege, Abstand Chassis zum Boden) überfahrbar ist (wie in Fig. 4 beispielhaft gezeigt ist). - Anzeige oder Warnung, falls Bereiche nicht überfahren werden können.

- Aus der Erkennung abgeleitete Eingriffe in die Fahrzeugeigenschaften (z.B. Fahrwerkanhebung), so dass die Bereiche dennoch befahren werden können.

- Aus der Erkennung abgeleitete Eingriffe in die Fahrzeugeigenschaften (z.B. Feder/Dämpfer-Verstellung), so dass die Bereiche (z.B. Übergangsbereiche an Parkhausrampen) möglichst „komfortabel" überfahren werden können.

Bezugszeichen

1 0 Bereich mit abgehobener Fahrbahnoberfläche (Hindernis)

1 00 Fahrbahnabschnitt mit angehobener/erhöhter Fahrbahnoberfläche 1 02 vordere Kante des Fahrbahnabschnitts 1 00

1 04 hintere Kante des Fahrbahnabschnitts 1 00

1 2 Bereich mit angehobener Fahrbahn zur Verkehrsberuhigung

(Hindernis)

120 angehobener/erhöhter Fahrbahnabschnitt

122 vordere Auffahrt zum angehobenen/erhöhten Fahrbahnabschnitt 1 20

1 24 hintere Abfahrt vom angehobenen/erhöhten Fahrbahnabschnitt 1 20

14 Fahrbahn

20 videobasierte Hinderniserkennungsvorrichtung

22 Bilddatenempfangseinheit

24 Bilddatenauswerteeinheit

26 Hindernisausgabeeinheit

28 linker Imager einer 3D-Kamera

30 rechter Imager einer 3D-Kamera