mittels einer 3D-Kamera

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erkennung der Beschaffenheit einer Fahrbahnoberfläche mit ^¬ tels einer (räumlich auflösenden) 3D-Kamera.

Die DE 102009033219 AI zeigt ein Verfahren und eine Vor ^¬ richtung zur Ermittlung eines einem Fahrzeug vorausliegen- den Straßenprofils einer Fahrspur. Mittels einer Bilderfas ^¬ sungsvorrichtung bzw. aus Fahrzeugeigenbewegungsdaten wird ein Straßenhöhenprofil der dem Fahrzeug vorausliegenden Fahrspur ermittelt. Die Bilderfassungsvorrichtung kann hierbei eine Kamera sein, die im Frontbereich des Fahrzeugs fest angeordnet ist und zwei Bildaufnahmeeinheiten umfasst. In Abhängigkeit des ermittelten Straßenhöhenprofils kann eine aktive Fahrwerksregelung oder Verstelldämpfung geregelt werden. Die Unfallvermeidung gewinnt bei Fahrerassistenzsystemen zunehmend an Bedeutung. Insbesondere Notbremssysteme leis ^¬ ten hierzu einen wichtigen Beitrag. Ihre Wirkung hängt je ^¬ doch entscheidend vom Reibwert bzw. Reibungskoeffizienten des Untergrundes in Bezug zum Reifen des Fahrzeugs ab. Ins- besondere Nässe erniedrigt den Reibwert gegenüber dem auf einer trockenen Fahrbahn erheblich.

WO 2011/007015 AI zeigt ein laserbasiertes Verfahren zur Reibwertklassifikation in Kraftfahrzeugen. Signale eines Lidar- bzw. CV-Sensors, die auf die Fahrbahnoberfläche ge- richtet sind, werden hierzu ausgewertet und anschließend wird insbesondere anhand der Amplitude der vermessenen Fahrbahnoberfläche ein Reibwert zugeordnet. Es kann bei ^¬ spielsweise geschätzt werden, ob Schnee, Asphalt oder Eis die Fahrbahnoberfläche bilden.

Es zeigt sich, dass Verfahren zur Erkennung der Beschaffenheit einer Fahrbahnoberfläche nach dem Stand der Technik Nachteile mit sich bringen, da entweder die Bilderfassung und -auswertung ausschließlich zur Fahrwerksregelung eingesetzt wird oder Lidarsensoren erforderlich sind, die teuer sind und gezielt auf die Fahrbahn gerichtet werden müssen, so dass die Beschaffenheit der Fahrbahnoberfläche unter Um ^¬ ständen nicht ausreichend weit im Voraus eigeschätzt wer- den kann.

Es ist Aufgabe der vorliegenden Erfindung diese Nachteile zu überwinden und eine günstigere, zuverlässigere und vo ^¬ rausschauende Erkennung der Beschaffenheit einer Fahrbahn- Oberfläche zu ermöglichen.

Die Aufgabe wird gelöst, indem mit einer 3D-Kamera mindes ^¬ tens ein Bild von der Umgebung des Fahrzeugs aufgenommen wird. Aus den Bilddaten der 3D-Kamera werden entlang einer Mehrzahl von Linien Höhenverläufe der Fahrbahnoberfläche quer zur Fahrtrichtung des Fahrzeugs ermittelt. Diese Li ^¬ nien werden auch als Scanlines bezeichnet. Entlang jeder Linie wird der somit Höhenverlauf „gescannt". Aus den er ^¬ mittelten Höhenverläufen wird die Beschaffenheit der Fahr- bahnoberfläche erkannt. Als Beschaffenheit wird hierbei insbesondere das Material, das die Fahrbahnoberfläche bil ^¬ det (Teer, Sand, Eis, Schnee) , die Form der Oberfläche (eben, rau, buckelig) sowie lokale Änderungen des Materials oder der Ebenheit der Fahrbahnoberfläche (Ölspur, Pfütze, Schlagloch, Spurrillen usw.) verstanden.

Bevorzugt wird die Beschaffenheit der Fahrbahnoberfläche aus einem Vergleich der ermittelten Höhenverläufe mit gespeicherten Höhenverläufen bekannter Beschaffenheit er- kannt . Dazu kann ein Beschaffenheitsklassifikator vortrai ^¬ niert werden, der dadurch lernt, welche detektierten Höhenverläufe welchen Beschaffenheiten von Fahrbahnoberflächen entsprechen . Alternativ oder kumulativ kann eine quantitative Auswertung der ermittelten Höhenverläufe durchgeführt werden, z.B. ei ^¬ ne Frequenzanalyse (bzw. Breite und/oder Ausdehnung in Fahrtrichtung einzelner Vertiefungen oder Erhebungen der Fahrbahnoberfläche) , Amplitudenbestimmung, Gradientenbildung oder ähnliches. Aus dieser quantitativen Auswertung können typische Beschaffenheiten aufgrund charakteristischer Größen erkannt werden, z.B. starkes Rauschen der Höhenverläufe bei einem Kiesweg. Wasser oder eine Eisschicht auf der Fahrbahn führen dagegen zu einer glatten Fahrbahnoberfläche. Eis tritt häufig zusammen mit Schnee neben der Fahrbahn auf.

In einer bevorzugten Ausführungsform können zusätzlich zu den ermittelten Höhenverläufen 2D-Bilddaten mindestens ei- ner monokularen Kamera der 3D-Kamera ausgewertet werden und in die Erkennung der Beschaffenheit der Fahrbahnoberfläche einfließen. Die Auswertung der 2D-Bilddaten muss hierbei nicht auf den Bereich der Fahrbahnoberfläche begrenzt sein, sondern kann insbesondere Bereiche neben der Fahrbahn um- fassen.

Gemäß einer vorteilhaften Weiterbildung der Erfindung können die 2D-Bilddaten mittels einer Textur- bzw. Musteranalyse ausgewertet werden. Die Textur- und/oder Musteranalyse kann insbesondere eine Klassifikation anhand trainierter Texturen und/oder Muster sein, z.B. mittels eines neuronalen Netzwerks. Beispielsweise kann ein KopfSteinpflaster aufgrund der charakteristischen Texturen bzw. Muster gut im 2D-Bild erkannt werden.

Bevorzugt werden die 2D-Bilddaten mittels einer Kanten- und/oder Farbanalyse ausgewertet. Zur Kantendetektion können an sich bekannte Algorithmen zur Kantenerkennung verwendet werden. Die Lage der Kanten ermöglicht oder unter- stützt insbesondere die Erkennung von Beschaffenheiten der Fahrbahnoberfläche, deren Kantenprofil bekannt ist. Mittels einer Grauwert- oder Farbanalyse kann beispielsweise Schnee aus weißen Bereichen auf oder neben der Fahrbahn erkannt werden .

Vorteilhaft wird aus der erkannten Beschaffenheit der Fahr ^¬ bahnoberfläche ein (lokal aufgelöster) Reibwert zwischen vorausliegender Fahrbahnoberfläche und Fahrzeugreifen abgeschätzt . Für vorausliegende Fahrbahnoberflächenbereiche unterschied ^¬ licher Beschaffenheit kann dadurch jeweils ein lokaler Reibwert abgeschätzt werden.

In einer bevorzugten Ausführungsform wird der mindestens eine abgeschätzte Reibwert zu einer Vorsteuerung von Lenk- und/oder Bremseingriffen (ABS, ESP, ACC, Notbremsassistent, Spurhalte-, Ausweich- und/oder Notlenkassistent) genutzt.

Die 3D-Kamera ist bevorzugt eine Stereokamera oder eine Photomischdetektor-Kamera bzw. PMD-Sensor (englisch: Photonic Mixing Device) .

Die Erfindung umfasst ferner eine Vorrichtung zur Erkennung der Beschaffenheit einer Fahrbahnoberfläche. Hierzu sind eine 3D-Kamera, Auswertemittel und Erkennungsmittel vorge ^¬ sehen. Die 3D-Kamera ermöglicht die Aufnahme mindestens ei ^¬ nes Bildes der vor dem Fahrzeug liegenden Umgebung inklusive der vorausliegenden Fahrbahn. Die Auswertemittel dienen zum Ermitteln von Höhenverläufen der Fahrbahnoberfläche entlang einer Mehrzahl von Linien quer zur Fahrtrichtung des Fahrzeugs aus den Bilddaten der 3D-Kamera. Die Erken ^¬ nungsmittel dienen zum Erkennen der Beschaffenheit der Fahrbahnoberfläche aus den ermittelten Höhenverläufen.

Im Folgenden wird die Erfindung anhand von Figuren und Ausführungsbeispielen näher erläutert. Es zeigen: Fig. 1 Linien quer zur Fahrtrichtung, entlang derer der Höhenverlauf der Fahrbahnoberfläche ermittelt wird;

Fig. 2 einen exemplarischen Höhenverlauf der Fahrbahnoberfläche quer zur Fahrtrichtung bei Vorliegen eines Schlag- lochs;

Fig. 3 die Ermittlung von Höhenverläufen quer zur Fahrtrichtung bei einem KopfSteinpflaster ;

Fig. 4 einen Höhenverlauf bei KopfSteinpflaster ;

Fig. 5 eine Fahrbahnoberfläche mit Spurrillen;

Fig. 6 einen exemplarischen Höhenverlauf quer zur Fahrtrichtung bei Spurrillen;

Fig. 7 eine 2D-Kameraaufnähme bei nasser Fahrbahn und

Fig. 8 eine 2D-Kameraaufnähme bei trockener Fahrbahn.

In Fig. 1 ist das Scannen des Höhenverlaufs (h) entlang von Linien (5) quer (y) zur Fahrtrichtung (1) des Fahrzeugs schematisch dargestellt. Die Fahrbahnoberfläche wird von rechts nach links, links nach rechts oder in beiden Querrichtungen (y) entlang der Scan-Linien (5) , die eine beliebige vorgegebene Dichte aufweisen, überwacht. Eine erhabene Fahrbahnbegrenzung wie beispielsweise ein Bordstein begrenzt die Fahrbahnoberfläche links (3) und rechts (4) . Die im Wesentlichen ebene Fahrbahnoberfläche ist im linken vor ^¬ deren Bereich durch ein Schlagloch (2) oder eine vergleichbare Unterbrechung lokal abgesenkt.

Diese Absenkung ist im Höhenverlauf (h) der Fahrbahnoberfläche quer (y) zur Fahrtrichtung (1) wie in Fig. 2 dargestellt deutlich zu erkennen. Hier ist exemplarisch der Höhenverlauf (h) entlang einer Linie (5) in Querrichtung (y) aufgetragen. Dieser Höhenverlauf (h) weist neben zwei Sprüngen aufgrund der erhabenen Fahrbahnbegrenzungen (3, 4) eine gepunktet dargestellte Absenkung im linken Bereich auf, die dem Schlagloch (2) aus Fig. 1 zugeordnet werden kann .

In Fig. 3 ist eine Fahrbahn dargestellt, die durch ein KopfSteinpflaster (6) gebildet ist. Bei der Erkennung eines vorausliegenden KopfSteinpflasters könnten Fahrwerkskompo- nenten entsprechend angesteuert werden und/oder Maßnahmen zur Fahrgeräuschverbesserung (Gegenschall bzw. Reifendruckveränderungen) ergriffen werden.

Ein exemplarischer Höhenverlauf (h) des KopfSteinpflasters (6) in Querrichtung (y) ist in Fig. 4 dargestellt. Weitere Höhenverläufe entlang weiterer Scanlines (5) in Fig. 3 wür ^¬ den ähnlich aussehen. Die typische Breite und Höhe der Schwankungen im Höhenverlauf (h) erlaubt die Zuordnung derartiger charakteristischer Höhenverläufe zu einem Kopf- Steinpflaster als Beschaffenheit der Fahrbahnoberfläche. Unterstützt werden kann die Erkennung zusätzlich durch eine Textur- bzw. Musteranalyse des 2D-Kamerabilds (vgl. Fig. 3) . Auch durch diese Analyse kann die Fahrbahnoberfläche als KopfSteinpflaster erkannt und somit die Erkennung aus den Höhenverläufen aus den 3D-Kameradaten bestätigt werden.

In Fig. 5 ist eine Fahrbahn mit zwei Spurrillen (7, 8) parallel zur Fahrtrichtung (1) im rechten Teil der Fahrbahnoberfläche zu sehen. Entsprechend sind im Höhenverlauf (h) in Fig. 6 zwei Absen ^¬ kungen (gepunktet) im rechten Teil der Fahrbahnoberfläche zu erkennen. In Fig. 7 ist eine nasse Fahrbahnoberfläche in einem 2D- Kamerabild (Grauwertbild einer monokularen Kamera) zu se ^¬ hen. Spiegelungseffekte auf der nassen Fahrbahnoberfläche können zum einen aus dem 2D-Bild erkannt werden, da Bäume (oder allgemein die Umgebung) auf der Fahrbahnoberfläche gespiegelt erscheinen. Zum anderen führen Spiegelungseffekte zu einem größeren vermeintlichen Abstand im Disparitätsbild der Stereokamera. Dieser vermeintliche Abstand ent ^¬ spricht dem tatsächlichen Abstand zu den Bäumen, die aus dem Disparitätsbild der Umgebung neben der Fahrbahn ermit- telt werden können. Somit kann erkannt werden, dass eine nasse Fahrbahnoberfläche vorausliegt und der Reibwert kann auf μ=0,4 geschätzt werden.

In Fig. 8 ist ein 2D-Kamerabild einer trockenen Fahrbahn- Oberfläche zu sehen. Diese kann unter anderem daraus er ^¬ kannt werden, dass keine Spiegelungseffekte auftreten und der Reibwert kann auf μ=0,9 geschätzt werden.