Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND DEVICE FOR ANAYLZING TRAFFICABILITY
Document Type and Number:
WIPO Patent Application WO/2014/090245
Kind Code:
A1
Abstract:
The invention relates to a method for analyzing trafficability using a computer, said method comprising the following steps: • - receiving image data of surroundings (10) in front of a vehicle (S10); • - analyzing the image data to identify different zones (12, 14, 16, 18, 24) in an image of the surroundings (S12, S14, S16, S18, S20); and • - analyzing identified different zones (16, 18) in terms of trafficability for the vehicle (S22, S24); • - stereo images being used for image analysis, and only the pixels of the estimated ground plane being segmented.

Inventors:
GREWE, Ralph (Friedrichshafener Straße 56, Lindau, 88131, DE)
HEGEMANN, Stefan (Karl-Saurmann-Straße 6, Wangen, 88239, DE)
ZOBEL, Matthias (Untere Ebenhalde 26, Wasserburg, 88142, DE)
Application Number:
DE2013/200336
Publication Date:
June 19, 2014
Filing Date:
December 06, 2013
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
CONTI TEMIC MICROELECTRONIC GMBH (Sieboldstraße 19, Nürnberg, 90411, DE)
International Classes:
G06K9/00
Foreign References:
US20100013615A12010-01-21
EP1684142A12006-07-26
US20100104199A12010-04-29
DE102005045017A12007-03-22
Other References:
None
Download PDF:
Claims:
Patentansprüche

1 . Verfahren zur Befahrbarkeitsanalyse unter Einsatz eines Rechners mit den folgenden Schritten:

- Empfangen von Bilddaten einer Umgebung (10) vor einem

Fahrzeug (S10),

- Analysieren der Bilddaten zum Erkennen von unterschiedlichen Bereichen (12, 14, 16, 18, 24) in einem Umgebungsbild (S12, S14, S16, S18, S20), und

- Analysieren von erkannten unterschiedlichen Bereichen (16, 18) hinsichtlich der Befahrbarkeit durch das Fahrzeug (S22, S24).

2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Analysieren der Bilddaten zum Erkennen von unterschiedlichen Bereichen folgende Schritte aufweist:

- Berechnen der Position von Bildpunkten im Raum aus den

empfangenen Bilddaten mehrerer Bilder mit Hilfe eines Stereo- Vision-Verfahrens (S12),

- Schätzen einer Bodenebene (12) basierend auf den berechneten Positionen von Bildpunkten im Raum (S14),

- Bestimmen von für eine Segmentierung der geschätzten

Bodenebene (12) relevanten Bildpunkten (S16),

- Durchführen einer Segmentierung der geschätzten Bodenebene auf den relevanten Bildpunkten (S18), und

- Ausgeben von durch die Segmentierung erkannten

unterschiedlichen Bereichen (14, 16, 18, 20, 22; S20).

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass als Stereo-Vision-Verfahren ein auf mit mehreren Kamera-Optiken oder Kamera-Imagern erfassten Umgebungsbildern beruhendes Verfahren oder ein auf der Aufnahme mit einer Kamera-Optik an verschiedenen Positionen unter Ausnutzung der Eigenbewegung beruhendes

Verfahren eingesetzt wird.

4. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die Segmentierung der geschätzten Bodenebene auf den relevanten Bildpunkten anhand von Färb-, Sättigungs-, Intensitäts- und/oder Textur-Informationen durchgeführt wird.

5. Verfahren nach Anspruch 2, 3 oder 4, dadurch gekennzeichnet, dass die Segmentierung der geschätzten Bodenebene auf den relevanten Bildpunkten anhand von Varianz-Information der berechneten

Positionen von Bildpunkten im Raum durchgeführt wird.

6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Analysieren von erkannten unterschiedlichen Bereichen

hinsichtlich der Befahrbarkeit durch das Fahrzeug das Erkennen von Hindernissen (20, 22; 30, 32; S22), insbesondere erhabenen Objekten, und/oder das Erkennen von Fahraktivitäten (28; S24) aufweist.

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das Erkennen von Fahraktivitäten das Empfangen und Auswerten von Daten einer kamera-, radar- und/oder lidarbasierten Objekterkennung und/oder das Empfangen und Auswerten einer mit einer kamera-, radar- und/oder lidarbasierten Objekterkennung erzeugten Objektliste aufweist.

8. Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass das Erkennen von Fahraktivitäten ferner eine Langzeitbeobachtung von Fahraktivitäten zur Erhöhung der Erkennungssicherheit, das Übertragen einer Befahrbarkeits-Klassifikation auf ähnliche

Bildbereiche und/oder ein dynamisches Ausschließen der

Befahrbarkeit bei erkannter Gefahr durch Fahraktivitätsbeobachtung aufweist.

9. Vorrichtung zur Befahrbarkeitsanalyse unter Einsatz eines Rechners mit

- ersten Mitteln (106, 1 10) zum Empfangen von Bilddaten einer

Umgebung (10) vor einem Fahrzeug,

- zweiten Mitteln (108, 1 10, 1 12, 1 14) zum Analysieren der Bilddaten zum Erkennen von unterschiedlichen Bereichen (12, 14, 16, 18, 24) in einem Umgebungsbild, und

- dritten Mitteln (1 16) zum Analysieren von erkannten

unterschiedlichen Bereichen (16, 18) hinsichtlich der Befahrbarkeit durch das Fahrzeug.

10. Vorrichtung nach Anspruch 9 dadurch gekennzeichnet, dass die zweiten Mittel (108, 1 10, 1 12, 1 14) ausgebildet sind, ein Verfahren nach einem der Ansprüche 2 bis 5 auszuführen, und

die dritten Mittel (1 16) ausgebildet sind, ein Verfahren nach einem der

Ansprüche 6 bis 7 auszuführen.

Description:
VERFAHREN UND VORRICHTUNG ZUR BEFAHRBARKEITSANALYSE

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Befahrbarkeitsanalyse, die insbesondere für den Einsatz in Fahrerassistenzsystemen geeignet sind.

Kamerabasierte Fahrerassistenzsysteme, die den Verlauf der eigenen Fahrspur anhand der Fahrbahnmarkierungen erkennen, sind mittlerweile im Markt etabliert, und ihr Einsatz ist in bestimmten Anwendungsgebieten bereits gesetzlich vorgeschrieben. Typischerweise erkennen diese Fahrerassistenzsysteme den Verlauf der Markierungen der eigenen und der benachbarten Fahrspuren und schätzen daraus die Lage des eigenen Fahrzeugs relativ zu den Spurmarkierungen. Ein unbeabsichtigtes Verlassen der Spur kann somit frühzeitig erkannt werden und das System kann eine geeignete Reaktion einleiten, die z. B. den Fahrer vor dem Verlassen warnt oder durch Ansteuerung der Lenkung ein Verlassen der Fahrspur verhindert.

Weiter entwickelte Fahrerassistenzsysteme, die nicht nur beim Verlassen einer Fahrspur warnen oder das Verlassen verhindern, sondern einen Fahrer beispielsweise bei einem Ausweichmanöver unterstützen sollen, benötigen für eine derartige Funktion mehr Informationen über den möglichen Fahrweg des eigenen Fahrzeugs als dies durch die oben erwähnten rein Spurmarkierungs- erkennenden Systeme ermittelt wird. Ist beispielsweise das Ziel eines Fahrerassistenzsystems die Verhinderung eines Unfalls durch geeignetes automatisches Ausweichen, so benötigt ein derartiges System zusätzlich zu Informationen über die eigene Fahrspur auch zuverlässige Information darüber, ob ein möglicher Ausweichpfad überhaupt befahrbar ist, damit das Fahrzeug durch das Ausweichen nicht mehr Schaden nimmt oder verursacht, als es durch einen Unfall bei Nichtausweichen der Fall wäre. Das Ermitteln solcher Informationen wird hierin als Befahrbarkeitsanalyse bezeichnet.

Aufgabe der vorliegenden Erfindung ist es nun, ein Verfahren und eine Vorrichtung zur Befahrbarkeitsanalyse vorzuschlagen. Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.

Ein der Erfindung zugrunde liegender Gedanke besteht darin, bei der Analyse von Bilddaten bzw. Daten einer Umgebung vor einem Fahrzeug unterschiedliche Bereiche zu erkennen und diese hinsichtlich einer Befahrbarkeit durch das eigene Fahrzeug zu analysieren. Unter Bilddaten werden im Sinne der vorliegenden Erfindung nicht nur von Kamera-basierten System erzeugte Daten verstanden, sondern die von allen Systemen zur Umgebungserfassung, also beispielsweise auch Radar-, Lidar-basierte Systeme, die Daten einer Umgebung liefern können. Gemäß einem besonderen Aspekt wird die Erkennung von unterschiedlichen Bereichen auf Basis einer geschätzten Bodenebene der Umgebung durchgeführt, wodurch Rechenzeit eingespart werden kann und damit in der Regel schneller Analyseergebnisse erhalten werden. Gemäß einem weiteren besonderen Aspekt der Erfindung werden bei der Befahrbarkeitsanalyse erkannte Fahraktivitäten in unterschiedlichen Bereichen berücksichtigt, wodurch ein zuverlässigeres Analyseergebnis erhalten werden kann. Diese beiden besonderen Aspekte der vorliegenden Erfindung können beispielsweise in einem Fahrerassistenzsystem gemeinsam implementiert sein, was das System zu einer relativ zuverlässigen und schnellen Befahrbarkeitsanalyse befähigen kann.

Eine Ausführungsform der Erfindung betrifft nun ein Verfahren zur Befahrbarkeitsanalyse unter Einsatz eines Rechners mit den folgenden Schritten: Empfangen von Bilddaten einer Umgebung vor einem Fahrzeug, Analysieren der Bilddaten zum Erkennen von unterschiedlichen Bereichen in einem Umgebungsbild, und Analysieren von erkannten unterschiedlichen Bereichen hinsichtlich der Befahrbarkeit durch das Fahrzeug. Das Analysieren der Bilddaten zum Erkennen von unterschiedlichen Bereichen kann folgende Schritte aufweisen:

Berechnen der Position von Bildpunkten im Raum aus den empfangenen Bilddaten mehrerer Bilder mit Hilfe eines Stereo-Vision-Verfahrens,

Schätzen einer Bodenebene basierend auf den berechneten Positionen von Bildpunkten im Raum,

Bestimmen von für eine Segmentierung der geschätzten Bodenebene relevanten Bildpunkten,

Durchführen einer Segmentierung der geschätzten Bodenebene auf den relevanten Bildpunkten, und

Ausgeben von durch die Segmentierung erkannten unterschiedlichen Bereichen.

Als Stereo-Vision-Verfahren kann ein auf mit mehreren Kamera-Optiken oder Kamera-I magern erfassten Umgebungsbildern beruhendes Verfahren oder ein auf der Aufnahme mit einer Kamera-Optik an verschiedenen Positionen unter Ausnutzung der Eigenbewegung (Motion Stereo) beruhendes Verfahren eingesetzt werden. Die Segmentierung der geschätzten Bodenebene auf den relevanten Bildpunkten kann anhand von Färb-, Sättigungs-, Intensitäts- und/oder Textur- Informationen durchgeführt werden.

Die Segmentierung der geschätzten Bodenebene auf den relevanten Bildpunkten kann anhand von Varianz-Information der berechneten Positionen von Bildpunkten im Raum durchgeführt werden.

Das Analysieren von erkannten unterschiedlichen Bereichen hinsichtlich der Befahrbarkeit durch das Fahrzeug kann das Erkennen von Hindernissen, insbesondere erhabenen Objekten, und/oder das Erkennen von Fahraktivitäten aufweisen. Unter einer Fahraktivität wird hierbei insbesondere verstanden, dass ein anderes Fahrzeug als das eigene in einen Bereich aktuell fährt oder bereits gefahren ist. Die Fahraktivität kann insbesondere Informationen über die Fahrtrichtung des anderen Fahrzeugs umfassen, wodurch Gegen- oder auch Querverkehr berücksichtigt werden kann. Insbesondere kann aufgrund einer erkannten Fahraktivität ein Bereich von einer Befahrbarkeit ausgeschlossen werden. Dies gilt z.B. bei Gegenverkehr selbst dann, wenn das Befahren prinzipiell möglich wäre, ein tatsächliches Befahren aber ein großes Risiko eines Frontalunfalls bietet.

Möglich ist auch ein temporäres Ausschließen eines derartigen Bereichs aus einer generellen Freigabe, wenn aktuell eine Gefahr erkannt wurde. Das Erkennen von Fahraktivitäten kann das Empfangen und Auswerten von Daten einer kamera-, radar- und/oder lidarbasierten Objekterkennung und/oder das Empfangen und Auswerten einer mit einer kamera-, radar- und/oder lidarbasierten Objekterkennung erzeugten Objektliste aufweisen. Das Erkennen von Fahraktivitäten kann ferner eine Langzeitbeobachtung von Fahraktivitäten zur Erhöhung der Erkennungssicherheit, das Übertragen einer Befahrbarkeits-Klassifikation auf ähnliche Bildbereiche und/oder ein dynamisches Ausschließen der Befahrbarkeit bei erkannter Gefahr durch Fahraktivitätsbeobachtung aufweisen.

Eine weitere Ausführungsform der Erfindung betrifft eine Vorrichtung zur Befahrbarkeitsanalyse unter Einsatz eines Rechners mit ersten Mitteln zum Empfangen von Bilddaten einer Umgebung vor einem Fahrzeug, zweiten Mitteln zum Analysieren der Bilddaten zum Erkennen von unterschiedlichen Bereichen in einem Umgebungsbild, und dritten Mitteln zum Analysieren von erkannten unterschiedlichen Bereichen hinsichtlich der Befahrbarkeit durch das Fahrzeug.

Die zweiten Mittel können ausgebildet sein, ein Verfahren nach der Erfindung und wie oben beschrieben auszuführen, und die dritten Mittel können ausgebildet sein, ein Verfahren nach der Erfindung und wie oben beschrieben auszuführen. Eine weitere Ausführungsform der Erfindung betrifft ein Fahrerassistenzsystem mit einer Vorrichtung nach der Erfindung und wie hierin beschrieben. Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit dem/den in der/den Zeichnung(en) dargestellten Ausführungsbeispiel(en).

In der Beschreibung, in den Ansprüchen, in der Zusammenfassung und in der/den Zeichnung(en) werden die in der hinten angeführten Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen verwendet.

Die Zeichnung(en) zeigt/zeigen in

Fig. 1 ein Flussdiagramm eines Ausführungsbeispiels eines Verfahrens zur Befahrbarkeitsanalyse gemäß der Erfindung; und

Fig. 2 ein Beispiel eines mit einer digitalen Kamera erfassten

Umgebungsbildes vor einem Fahrzeug, das mit einem Verfahren gemäß der vorliegenden Erfindung für eine Befahrbarkeitsanalyse segmentiert ist;

Fig. 3 ein weiteres Beispiel eines mit einer digitalen Kamera erfassten

Umgebungsbildes vor einem Fahrzeug, das mit einem Verfahren gemäß der vorliegenden Erfindung für eine Befahrbarkeitsanalyse segmentiert ist; ein Blockschaltbild eines Ausführungsbeispiels einer Vorrichtung zur Befahrbarkeitsanalyse gemäß der Erfindung.

In der folgenden Beschreibung können gleiche, funktional gleiche und funktional zusammenhängende Elemente mit den gleichen Bezugszeichen versehen sein. Absolute Werte sind im Folgenden nur beispielhaft angegeben und sind nicht als die Erfindung einschränkend zu verstehen.

Das in Fig. 1 gezeigte Flussdiagramm eines von einem Rechner ausgeführten Programms dient zur Analyse von Bilddaten, die beispielsweise mit einer Stereovisionskamera erzeugt wurden, welche Bilder von der Umgebung vor einem Fahrzeug erfasst und zu einem kamerabasierten Fahrerassistenzsystem gehören kann, hinsichtlich einer Befahrbarkeit durch das Fahrzeug, beispielsweise um im Falle eines Ausweichmanövers schnell eine geeignete Ausweichroute ermitteln zu können.

Bei dem durch das Programm implementierten Verfahren werden zunächst in einem Schritt S10 digitale Bilddaten der Umgebung vor dem Fahrzeug von der Stereovisionskamera für die Befahrbarkeitsanalyse empfangen. beispielsweise über eine spezielle Bilddaten-Übertragungsleitung, einen Fahrzeugbus oder eine Funkverbindung.

Die empfangenen Bilddaten werden dann in nachfolgenden Schritten S12- S20 analysiert, um unterschiedliche Bereiche im Umgebungsbild zu erkennen. Mit einer weiteren Analyse in den Schritten S22-S24 werden die in den vorhergehenden Schritten erkannten unterschiedlichen Bereiche hinsichtlich ihrer Befahrbarkeit durch das Fahrzeug analysiert und befahrbare Bereiche erkannt. Die als befahrbar erkannten Bereiche können dann ausgegeben werden, um durch ein Fahrerassistenzsystem verarbeitet zu werden, das einen Fahrer bei einem Ausweichmanöver unterstützen und ihn befahrbare Ausweichrouten signalisieren soll.

Für eine Befahrbarkeitsanalyse kann ein befahrbarer Bereich typischerweise über die Analyse von sich ändernden oder gleichbleibenden Texturen, z. B. durch Erkennen eines Übergangs von einer Teerfahrbahn zu einer Grasnarbe am Fahrbahnrand ermittelt werden. Allerdings ist eine Beurteilung der Befahrbarkeit der an die eigene Fahrbahn grenzenden Bereiche aus Bildinformationen alleine oftmals nicht zuverlässig möglich. So könnte eine angrenzende Fahrspur mit einem anderen Belag ausgestattet sein als die eigene Fahrspur, sich im Bild aber wie ein nicht befestigter Sandstreifen abbilden. Dieses Problem der Trennung und Erkennung von unterschiedlichen Bereichen kann auch bei den heutzutage oftmals eingesetzten Stereovisions-Verfahren auftreten, die zu jedem Bildpunkt von mit einer 3D-Kamera erfassten Bildern eine räumliche (3D-)Koordinate berechnen. Mit Hilfe dieser Verfahren ist es grundsätzlich möglich, erhabene Objekte von der Bodenebene zu trennen, wie es in Fig. 2 exemplarisch an einem Beispielbild 10 einer typischen Szenerie des Umfelds vor einem Fahrzeug angedeutet ist. Erhabene Objekte 20 und 22 können hierbei von der Bodenebene 12 getrennt werden. Falls sich jedoch innerhalb der Bodenebene 12 verschiedene Bereiche befinden, beispielsweise eine von Wiesen (rechter und linker Seitenbereich 16 bzw. 18) begrenzte Asphaltstraße 14, ist häufig keine zuverlässige Trennung der Bereiche möglich (Trennung in befahrbar / nicht befahrbar).

Eine Trennung von verschiedenen Bereichen auch innerhalb einer Ebene wie der Bodenebene 12 könnte grundsätzlich mittels einer beispielsweise Färb-, Intensitäts- oder Textur-basierten Segmentierung von Mono-Bildern durchgeführt werden, also der Trennung verschiedener Bereich innerhalb der Bodenebene 12 wie der Asphaltstrasse 14 und der angrenzenden Wiesen 16 und 18 und des rechten Objekts/Hindernisses 20 (Fig. 2) bzw. 30, 32 (Fig. 3), das bzw. die nicht über die Horizontallinie der Bodenebene 12 herausragt bzw. herausragen. Ein wesentlicher Nachteil dieser Verfahren besteht allerdings in dem erforderlichen hohen Rechenaufwand, der bisher gegen einen Serieneinsatz vor allem in Fahrerassistenzsystemen spricht.

Das erfindungsgemäße Verfahren kombiniert nun in den folgenden Schritten eine texturbasierte Segmentierung mit Stereovision, um die Vorteile beider Verfahren bei reduziertem Rechenaufwand zu erhalten. Die Segmentierung kann dazu nur auf dem Bereich, der mit dem Stereovisions- bzw. Stereoverfahren nicht weiter unterteilt werden kann, durchgeführt werden (nur die Bodenebene 12 in Fig. 2 statt des kompletten, umrahmten Bereiches inklusive der Objekte). Gegenüber einem reinen Stereoverfahren wird eine segmentierte Bodenebene, in der befahrbare von nicht befahrbaren Bereichen getrennt werden, erhalten, wobei der Rechenaufwand gegenüber eine Segmentierung des Vollbildes reduziert ist.

Dazu wird im Schritt S12 aus mehreren mit der Stereovisionskamera erfassten Bildern mit Hilfe eines Stereovision-Ansatzes die Position von Bildpunkten im Raum berechnet. Basierend auf den Raumpunkten wird eine Schätzung der Bodenebene 12 im nächsten Schritt S14 durchgeführt. Mit Hilfe der bestimmten Bodenebene lassen sich die relevanten Pixel bzw. Bildpunkte für eine Segmentierung der Bodenebene 12 im Schritt S16 bestimmen. Auf diesen Pixeln wird im Schritt S18 eine Segmentierung der Bodenebene 12 durchgeführt. Da die Zahl der zu segmentierenden Pixel deutlich geringer als im Originalbild ist, lässt sich der Rechenaufwand für den Segmentierungsschritt S18 deutlich reduzieren. Als Ergebnis erhält man eine Segmentierung der Bodenebene 12, die zusätzliche Informationen über befahrbare / nicht befahrbare Bereiche zur Verfügung stellt.

Als Stereoverfahren können Verfahren, die auf mehreren Optiken/I magern beruhen oder Motion-Stereo-Ansätze verwendet werden. Die Segmentierung der ausgewählten Pixel kann anhand von Farbe, Intensität oder Textur durchgeführt werden. Neben diesen aus dem Mono-Bild verfügbaren Merkmalen für eine Segmentierung (z.B. Farbe, Sättigung, Intensität, Textur) können aus dem Stereoverfahren zusätzliche Informationen für eine Segmentierung gewonnen werden, z.B. kann die Varianz der Höhe der Raumpunkte (die Varianz ist z.B. für eine Wiese neben der Fahrbahn höher als für einen ebenen Fahrbahnbelag) oder eine geringe Höhenabweichung verwendet werden. Der technische Vorteil dieser Vorgehensweise ist eine Segmentierung von Punkten in der Bodenebene anhand von Merkmalen im Bild (z.B. Intensität, Farbe, Textur), bei der gegenüber einer Segmentierung des Vollbildes durch eine geeignete Auswahl der Pixel (Stereo-Bodenebene) Rechenzeit eingespart wird und zudem zusätzliche Informationen für die Segmentierung (z.B. Varianz der Höhe der Raumpunkte) zur Verfügung gestellt werden. Entscheidend ist hierbei die Auswahl zu segmentierenden Pixel aus dem Bild mit Hilfe einer Schätzung der (relevanten) Bodenebene, die mit Hilfe eines Stereoverfahrens durchgeführt wird.

Die durch die Segmentierung im Schritt S18 erhaltenen unterschiedlichen Bereiche 14, 16, 18 der Bodenebene 12 (siehe Fig. 2 und 3) werden in einem nachfolgenden Schritt S20 für eine weitere Verarbeitung durch ein Fahrerassistenzsystem ausgegeben. Im Rahmen der weiteren Verarbeitung werden die ausgegebenen unterschiedlichen Bereiche in nachfolgenden Schritten S22 und S24 hinsichtlich ihrer Befahrbarkeit analysiert.

Im Schritt S22 werden beispielsweise Hindernisse 20 und 22 im rechten und linken Seitenbereich 16 bzw. 18 der Strasse 14 (Fig. 2) bzw. Hindernisse 30 und 32 im rechten Seitenbereich 16 der Strasse 14 (Fig. 3) erkannt, beispielsweise durch eine Textur-, Färb- oder Intensitätsanalyse. Werden in einem Bereich Hindernisse 20 und 22 bzw. 30 und 32 erkannt, wird der entsprechende Bereich 16 und 18 mit einem Hindernis 20 bzw. 22 (Fig. 2) und der Bereich 16 mit Hindernissen 30 und 32 (Fig. 3) als „nicht befahrbar" markiert. Bereiche ohne Hindernisse werden dagegen als „befahrbar" markiert.

Im weiteren Schritt S24 zur Befahrbarkeitsanalyse fließt in die Befahrbarkeitseinschätzung oder -analyse von Bereichen um das Fahrzeug Information darüber ein, ob in den untersuchten Gebieten bereits eine Fahraktivität wahrgenommen wurde oder wird. Solche Fahraktivität könnte durch einen Fahrzeug-eigenen Sensor ermittelt werden, z. B. durch eine kamerabasierte Objekterkennung, oder aber auch durch die Fusion mit anderen Sensoren, z. B. mit der Objektliste eines radarbasierten Sensors.

Wurde wie in Fig. 3 gezeigt in einem Bereich 18 im Bild Fahraktivität 28 erkannt, so kann dieser Bereich mit hoher Wahrscheinlichkeit als befahrbar angesehen werden. Eine Beobachtung des Bereichs über einen längeren Zeitraum kann dabei zu einer entsprechend höheren Sicherheit dieser Einschätzung beitragen. Darüber hinaus ist es möglich, eine vorhandene Einschätzung auf ähnliche Bildregionen zu übertragen, ohne dass dort explizit eine Fahraktivität erkannt wurde. Ergibt die Analyse, dass der Bereich 18 befahrbar ist, wird dieser Bereich als Ergebnis als„befahrbar" markiert.

Es ist natürlich denkbar, auf Basis der Beobachtung von Fahraktivität auch Regionen von einer Befahrbarkeit explizit auszuschließen, wenn zwar das Befahren des Bereichs prinzipiell möglich wäre, das tatsächliche Befahren aber ein zu hohes Risiko oder eine Gefahr darstellen würde, z. B. weil dort Gegenverkehr erkannt wurde. Dies könnte auch nur temporär passieren, d. h. generelle Freigabe der Befahrbarkeit aber zwischenzeitliches Sperren, wenn Gefahr erkannt wurde.

Generell ist der Ansatz gemäß Schritt S24 nicht auf kamerabasierte Systeme begrenzt, sondern die Analyse und fusionierte Berücksichtigung von Fahraktivtät kann in allen Systemen zur Befahrbarkeitseinschätzung verwendet werden.

Die als „nicht befahrbar" und „befahrbar" markierten Bereiche können vom Fahrerassistenzsystem weiter verarbeitet werden, insbesondere können sie zum Ermitteln einer möglichen Ausweichroute bei einem auf der Strasse 14 befindlichen Hindernis herangezogen werden. Falls ein Ausweichmanöver notwendig ist, kann eine ermittelte Ausweichroute entweder passiv dem Fahrer signalisiert werden, beispielsweise durch eine visuelle Anzeige oder durch eine Sprachausgabe ähnlich wie bei einem Navigationssystem, oder kann eine ermittelte Ausweichroute kann für einen aktiven Eingriff in die Fahrzeugsteuerung genutzt werden, beispielsweise zum Generieren autonomer Lenkeingriffe zum Einleiten und ggf. Durchführen eines Ausweichmanövers. Fig. 4 zeigt ein Blockschaltbild einer Befahrbarkeitsanalysevorrichtung 100 gemäß der Erfindung, die Daten einer Stereovisions-Kamera mit einer ersten und zweiten Kamera 102 bzw. 104 verarbeitet. Die beiden Kameras 102 und 104 liefern Bilddaten von der Umgebung vor einem Fahrzeug. Diese Bilddaten werden einer Stereovisionsverarbeitungseinheit 106 zugeführt, welche die Position von Bildpunkten im Raum berechnet, d.h. den oben erläuterten Verfahrensschritt S12 ausführt. Die berechneten Bildpunktpositionen im Raum werden an eine Bodenebene-Schätzeinheit 108 übermittelt, welche anhand der erhaltenen Raumpunkte eine Bodenebene in den Umgebungsbildern schätzt entsprechend dem oben erläuterten Verfahrensschritt S14. Eine Relevante-Pixel-Auswahleinheit 1 1 0 bestimmt anhand der von der Einheit 108 geschätzten Bodenebene und den Bilddaten von den beiden Kameras 1 02 und 1 04 relevante Bildpunkte für eine Segmentierung der Bodenebene (entsprechend dem oben erläuterten Verfahrensschritt S1 6). Basierend auf den von der Einheit 1 1 0 ermittelten relevanten Bildpunkten führt eine Bild-Segmentierungseinheit 1 1 2 eine Segmentierung der Bodenebene durch (Verfahrensschritt S1 8). Die von der Einheit 1 1 2 ermittelten unterschiedlichen Bereiche der Bodenebene werden von einer Bodenebene-Bereichs-Ausgabeeinheit 1 14 in einer für die weitere Verarbeitung geeigneten Form an eine Befahrbarkeitsanalyseeinheit 1 1 6 ausgegeben, die jeden der ausgegebenen unterschiedlichen Bereiche hinsichtlich seiner Befahrbarkeit analysiert (entsprechend den oben erläuterten Verfahrensschritten S22 und S24 und das Ergebnis der Analyse beispielsweise in Form einer Liste wie folgt ausgibt:

Fig. 1 :

Bereich 14 -> befahrbar

Bereich 1 6 -> nicht befahrbar

Bereich 1 8 -> nicht befahrbar

Fig. 2:

Bereich 14 -> befahrbar

Bereich 1 6 -> nicht befahrbar Bereich 1 8 -> befahrbar.

Die obigen Listen können wie bereits oben beschrieben von einem Fahrerassistenzsystem weiter verarbeitet werden.

Die in Fig. 4 gezeigte Vorrichtung kann in Hard- und/oder Software implementiert sein. Beispielsweise kann sie in Form eines ASIC (Application Specific Integrated Circuit) oder PGA/FPGA (Programable Gate Arrey/Field Programable Gate Array) oder eines Mikroprozessors oder - kontrollers, der eine das in Fig. 1 gezeigte Verfahren implementierende Firmware ausführt, implementiert sein.

Die vorliegende Erfindung ermöglicht eine rechen-effiziente Befahrbarkeitsanalyse insbesondere für den Einsatz in Fahrerassistenzsystemen.

Bezugszeichen

1 0 Umgebungsbild

1 2 Bodenebene

14 Asphaltstrasse mit zwei Fahrspuren

1 6 Wiese/rechter Seitenbereich der Strasse 14 1 8 Wiese/linker Seitenbereich der Strasse 14 20 Hindernis im rechten Seitenbereich 1 6 22 Hindernis im linken Seitenbereich 1 8 24 Horizontalbereich

28 Fahraktivität im linken Seitenbereich 30 Hindernis auf im rechten Seitenbereich 32 Hindernis auf im rechten Seitenbereich 1 00 Vorrichtung zur Befahrbarkeitsanalyse 1 02 erste Kamera

1 04 zweite Kamera

1 06 Stereovisionsverarbeitungseinheit

1 08 Bodenebene-Schätzeinheit

1 10 Relevante-Pixel-Auswahleinheit

1 12 Bild-Segmentierungseinheit

1 14 Bodenebene-Bereichs-Ausgabeeinheit 1 16 Befahrbarkeitsanalyseeinheit