WIEDEMANN, Christoph (Jägersteig 1, Wasserburg, 88142, DE)
KLEIN, Wladimir (Im Kürzenen 5, Lindau, 88131, DE)
BRÜGGEMANN, Christoph (Magdelstieg 67, Jena, 07745, DE)
MEIS, Urban (Friedrichshafener Str. 77, Lindau, 88131, DE)
WIEDEMANN, Christoph (Jägersteig 1, Wasserburg, 88142, DE)
KLEIN, Wladimir (Im Kürzenen 5, Lindau, 88131, DE)
BRÜGGEMANN, Christoph (Magdelstieg 67, Jena, 07745, DE)
| Patentansprüche Verfahren zur Bestimmung des Fahrbahnverlaufes für ein bewegtes Kraftfahrzeug mit wenigstens einem Umgebungssensorsystem, wobei die von dem auf die Fahrbahn gerichteten Umgebungssensorsystem erzeugten Sensordaten einer Auswertung zur Erkennung von fahrspurrelevanten Merkmalen unterzogen werden, dadurch gekennzeichnet, dass - ein Fahrspurmodell mit wenigstens einem den Spurverlauf bestimmenden Spurmodellparameter für die Fahrbahn erzeugt wird, - in den Sensordaten fahrbahnparallele Strukturen wenigstens eines Entfernungsbereichs detektiert werden, - die tangentiale Richtung wenigstens der einen fahrbahnparallelen Struktur bestimmt wird, und - zur Bestimmung wenigstens des einen Spurmodellparameters mittels eines prädiktiven Schätzverfahrens im Fahrspurmodell der Wert der tangentialen Richtung der fahrbahnparallelen Struktur als Wert für die Tangentenrichtung im Berührungspunkt mit der fahrbahnparallelen Struktur übernommen wird. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass als Fahrspurmodell stetig differenzierbare Segmente verwendet werden, vorzugsweise im Rahmen eines klothoidisches Fahrbahnmodels, eines Kreisbogenmodells oder eines Spline- modells . Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass fahrbahnparallele Strukturen mittels eines Kantendetekti- onsverfahrens bestimmt werden, indem Grauwertgradienten ermittelt und ausgewertet werden. Verfahren nach Anspruch 3 , dadurch gekennzeichnet, dass die Auswertung der Grauwertgradienten mittels einer Hough Transformation durchgeführt wird. Verfahren nach einem der Ansprüche 2 oder 3, dadurch gekennzeichnet, dass mittels eines Parallelitätskriterium sich in gleicher Ent fernung vor dem Kraftfahrzeug sich befindende fahrbahnparallele Strukturen detektiert werden und nicht-parallele Strukturen ausgeschlossen werden. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die prädiktive Schätzung des Spurmodellparameters mittels eines Kalman-Filter-Models oder vergleichbaren Schätzverfahrens durchgeführt wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass aus den den Nahbereich der Fahrbahn erfassenden Sensordaten die Spurbreite der Fahrbahn, die Abweichung des Kraft fahrzeugs von der Spurmitte und der Gierwinkel des Kraftfahrzeugs bestimmt wird und der weitere Fahrspurverlauf mittels des wenigstens einen erzeugten Spurmodellparameters bestimmt wird. 8. Fahrzeug mit einer Vorrichtung, vorzugsweise einem Fahrerassistenzsystem zur Durchführung des erfindungsgemäßen Verfahrens nach einem der vorhergehenden Ansprüche. |
Ein wichtiger Bestandteil von Fahrerassistenzsystemen, die z. Bsp. zur Abstandsregelung oder zur Spurhaltung eingesetzt werden, ist die Spurerkennung.
Bekannte Spurerkennungssysteme basieren auf der Zuordnung der erkannten Strukturen zur Fahrspurseite und deren Abstand zur Spurmitte. Je weiter entfernt sich das Messsystem von den Strukturen befindet, desto schwieriger ist diese Zuordnung vorzunehmen. Weiterhin bezieht sich die Beschreibung der erkannten Spur üblicherweise auf die Position des Fahrzeugs und liefert keine explizite Informationen über den entfernten Bereich. Das übliche Fahrspurmodell verwendet die Krümmung und die Krümmungsänderung eines Klothoidenmodells zur Beschrei- bung des weiteren Straßenverlaufs. Dabei sind die Schätzwerte eine Mittelung an die Eigenposition des Fahrzeugs. Daher sind bisherige Verfahren nicht in der Lage, den genauen Übergang zwischen zwei Klothoidensegmenten zu bestimmen, da Straßen durch eine Aneinanderreihung von Klothoidensegmenten angelegt werden. So kann z.B. der Übergang einer Kurve in eine Gerade nicht präzise bestimmt werden. Dies bedeutet für einen Fahrzeug-Querregler eines Fahrerassistenzsystems ein unnatürliches Regelverhalten an diesen Übergangsstellen. Diese Problem wird gemäß der US 6,718,2-59 Bl dadurch gelöst, dass die von einem Sensorsystem erzeugten Umfelddaten einer Filterbank aus mehreren Kaiman-Filtern zugeführt werden, wo- bei das Fahrspurmodell auf einem Klothoidenmodell beruht, bei dem der vor dem Fahrzeug liegende Fahrbahnbereich in einen Nahbereich bis in eine Distanz dl und einen Fernbereich mit einer Distanz von dl bis d2 mit unterschiedlichen Klothoiden- parametern geteilt wird, wobei angenommen wird, dass der Übergang zwischen diesen beiden Bereichen kontinuierlich ist. Damit wird ein Übergangspunkt zwischen zwei Klothoidensegmen- ten der Fahrbahn nicht geschätzt, sondern in der Distanz dl der Übergangspunkt angenommen. Die einzelnen Kaiman-Filter der Filterbank sind jeweils an ein Fahrspurmodell angepasst, die sich in der Lage des Übergangspunktes relativ zur Distanz dl unterscheiden. Jedes Kaiman-Filter dieser Filterbank liefert eine Schätzung der Spurmodelparameter des jeweiligen Models, wobei anschließend diese Schätzwerte jeweils mit einem der Wahrscheinlichkeit des Auftretens des jeweiligen Models entsprechenden Gewichtswert gewichtet werden. Die gewichteten
Ausgangsdaten werden fusioniert .
Der Nachteil dieses bekannten Verfahrens gemäß der US
6,718,259 Bl liegt in der hohen Komplexität der aus Kalman- Filtern bestehenden Filterbank und führt zu langen Laufzeiten. Die Übergangsstelle wird nicht erkannt, sondern weggefiltert, der Modellfehler bleibt damit erhalten.
Aufgabe der Erfindung ist es, ein gegenüber dem bekannten Verfahren verbessertes Verfahren der eingangs genannten Art anzugeben, dass die Übergangstellen des Kurvenverlaufs der Fahrbahn erkennen und damit den Fahrspurverlauf bis in den Fernbereich korrekt modellieren kann. Diese Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 Dieses Verfahren zur Bestimmung des Fahrbahnverlaufes für ein bewegtes Kraftfahrzeug mit wenigstens einem Umgebungssensorsystem, bei dem die von dem auf die Fahrbahn gerichteten Umgebungssensorsystem erzeugten Sensordaten einer Auswertung zur Erkennung von fahrspurrelevanten Merkmalen unterzogen werden, zeichnet sich erfindungsgemäß dadurch aus, dass
- ein Fahrspurmodell mit wenigstens einem den Spurverlauf bestimmenden Spurmodellparameter für die Fahrbahn erzeugt wird,
- in den Sensordaten fahrbahnparallele Strukturen wenigstens eines Entfernungsbereichs detektiert werden,
- die tangentiale Richtung wenigstens der einen fahrbahnparallelen Struktur bestimmt wird, und
- zur Bestimmung wenigstens des einen Spurmodellparameters mittels eines prädiktiven Schätzverfahrens im Fahrspurmodell der Wert der tangentialen Richtung der fahrbahnparallelen Struktur als Wert für die Tangentenrichtung im Berührungspunkt mit der fahrbahnparallelen Struktur übernommen wird.
Mit diesem erfindungsgemäßen Verfahren werden sämtliche fahrbahnparallele Strukturen, wie Fahrspurmarkierungen, Bordstei- ne, Leitplanken, Randbebauungen und dgl . zur Schätzung des
Fahrspurverlaufs verwendet, ohne dass hierzu zusätzlich Filtergrößen für das Schätzverfahren eingeführt werden müssen. Ferner ist dieses erfindungsgemäße Verfahren unabhängig vom seitlichen Abstand der fahrbahnparallelen Strukturen und es ist auch nicht erforderlich, für das Kraftfahrzeug eine Abweichung von der Spurmitte zu schätzen, wodurch wegen der dadurch bedingten geringen Anzahl von Freiheitsgraden das
Schätzverfahren robuster, laufzeiteffizienter und weniger fehleranfällig ist. Damit lässt sich der Verlauf der Fahrspur über den gesamten betrachteten Entfernungsbereich mittels eines Fahrspurmodells mit äußerst präzisen Schätzwerten modellieren, wobei alle Fahrspurmodelle geeignet sind, die zu ste- tig differenzierbaren Funktionen führen. Das ist neben einem klothoidischen Fahrbahnmodel, bspw. das Kreisbogenmodell, das Zweifach-Klothoidenmodell und das Spline-Mode11.
Weiterhin ist das erfindungsgemäße Verfahren auch unabhängig von der Art des verwendeten Umgebungssensorsystems. Somit ist sowohl ein bildbasierter Sensor, also bspw. eine Kamera, als auch ein Radarsensor, ein Lidarsensor oder eine digitale Karte mit GPS im Rahmen eines Navigationssystems oder eine Kombination hiervon verwendbar.
Schließlich lassen sich mit dem erfindungsgemäßen Verfahren auch fahrspurbezogene Systemgrenzen prädizieren, die vorteilhaft in Fahrerassistenzsystemen genutzt werden können. So kann z. Bsp. bei einer Zufahrt eine enger werdenden Kurve im Voraus erkannt werden kann, so dass im Rahmen eines Fahrerassistenzsystems der Fahrer des Fahrzeugs auf eine Systemübergabe vorbereitet oder es ein Kurvenradius in 60 m Entfernung vor dem Fahrzeug bzw. ein minimaler Kurvenradius angezeigt werden kann.
Gemäß einer vorteilhaften Weiterbildung der Erfindung ist es vorgesehen, fahrbahnparallele Strukturen aus den Sensordaten mittels eines Kantendetektionsverfahrens zu bestimmen, indem Grauwertgradienten ermittelt und ausgewertet werden, vorzugs- weise wird hierfür eine Hough-Transformation verwendet, mit der Formen, bspw. Geraden oder Kreise, die von Kantenpunkten gebildet werden, detektiert werden können. Um falsche Strukturen auszuschließen ist es vorteilhaft, ein Parallelitäts- kriterium einzuführen, mit dem in gleicher Entfernung vor dem Kraftfahrzeug sich auf beiden Seiten der Fahrbahn sich befindende fahrbahnparallele Strukturen detektierbar sind und nicht -parallele Strukturen ausgeschlossen werden können.
Weiterhin wird gemäß einer vorteilhaften Ausgestaltung der Erfindung die prädiktive Schätzung des Spurmodellparameters mittels eines Kaiman-Filter-Models durchgeführt, das bspw. mittels eines dem Fachmann bekannten Polynoms dritter Ordnung approximiert wird. Es können natürlich auch dem Kaiman-
Filter-Modell vergleichbare Schätzverfahren verwendet werden.
Schließlich zeigt sich gemäß einer Weiterbildung der Erfindung die vorteilhaften Eigenschaften des erfindungsgemäßen Verfahrens dadurch, dass aus den den Nahbereich der Fahrbahn erfassenden Sensordaten die Spurbreite der Fahrbahn, die Abweichung des Kraftfahrzeugs von der Spurmitte und der Gierwinkel des Kraftfahrzeugs bestimmt wird und der weitere Fahrspurverlauf mittels des wenigstens einen erzeugten Spurmo- dellparameters bestimmt wird.
Damit zeigt sich, dass das erfindungsgemäße Verfahren aufgrund der Unabhängigkeit von der Fahrspurbreite und der Abweichung des Fahrzeugs von der Spurmitte zu einer Reduktion des Zustandsraumes führt, wodurch das Verfahren robuster und laufzeiteffizienter wird. Diese Partitionierung des Zustandsraumes in Nahbereich und Fernbereich bewirkt, dass Breitenänderungen der Fahrspur, z. Bsp. SpuraufWeitungen oder Ausfahrten keinen negativen Einfluss auf die Spurmodellparameter ha- ben. Die Fahrspurbreite und de Abweichung des Fahrzeugs von der Spurmitte lassen sich auf den relevanten Nahbereich beschränken und müssen nicht über den gesamten Messbereich geschätzt und gemittelt werden. Das erfindungsgemäße Verfahren kann vorteilhaft in einem Fahrzeug mit einem Fahrerassistenzsystem verwendet werden, bspw. im Rahmen eines AbstandsregelSystems , eines Spurhalte- Systems oder eines Systems zur Warnung des Fahrers bei Verlassen der Fahrspur.
Die Erfindung wird nachfolgend unter Bezugnahme auf die einzige beigefügte Figur 1 näher erläutert, die in einem Fahr- bahn-Koordinatensystem einer Fahrbahn dargestellte fahrbahnparallele und nicht fahrbahnparallele Strukturen zur Erläuterung des erfindungsgemäßen Verfahrens zeigt .
Von einem Umgebungssensorsystem, das sowohl eine Kamera, ein Radar- oder Lidarsensor als auch eine digitale Karte mit GPS (bspw. im Rahmen eines Navigationssystems) darstellen kann, werden Sensordaten für eine Auswerteeinheit bereitgestellt, mit der das erfindungsgemäße Verfahren durchgeführt wird. Anhand dieser Sensordaten wird eine Merkmalsextraktion durchgeführt, indem fahrbahnparallele Strukturen, wie Leitplanken, Fahrbahnränder, Fahrspurmarkierungen, Bordsteine oder sonstige fahrbahnparallel verlaufende Begrenzungen detektiert werden..
Bei einer Videoverarbeitung wird hierzu beispielsweise ein Kantendetektionsverfahren verwendet, mit dem die Konturen solcher fahrbahnparalleler Strukturen detektiert werden können. Dabei wird eine Kante als Änderung der Grauwerte be- trachtet, d. h. die Grauwertgradienten ermittelt und mittels einer Hough-Transformation ausgewertet. Hierzu werden die Sensordaten in Suchbereiche mit auf die Umgebung bezogenen horizontalen und vertikalen Begrenzungen eingeteilt, wobei zur vertikalen Begrenzung die im Nahbereich detektierte Spur verwendet wird.
Als Fahrspurmodell wird ein Klothoidenmodell mit Klothoiden- abschnitten verwendet, die jeweils durch eine Startkrümmung c 0 und eine Krümmungsanderung ci beschrieben und mittels eines Polynoms dritten Grades im x-y-Koordinatensystem der Fahrbahn approximiert wird: i( x ) = y = £ x i +£L X
2 6
Aus den Sensordaten wird ein Kantenbild extrahiert, das der tangential zur Fahrspurmitte verlaufenden Struktur entspricht und als Tangente im Punkt x vor dem Fahrzeug eine Steigung m aufweist, die mittels einer Hough-Transformation bestimmt wird.
Die Steigung m dieser Tangente wird im Fahrspurmodell als Wert für die Tangentenrichtung im Berührungspunkt mit der die Tangente darstellenden fahrbahnparallelen Struktur übernom- men.
Eine solche Situation zeigt Figur 1, die im Koordinatensystem der Fahrbahn dargestellt ist. Die Fahrbahn ist als zweispurige Straße mit einer von einem Fahrbahnrand 2 und einer Mit- tellinie 3 begrenzten Fahrspur 1 dargestellt. Die Spurmitte 4 der Fahrspur 1 verläuft durch den Koordinatenursprung und ist tangential zur x-Achse . Der Fahrbahnrand 2 stellt einen Klo- thoidenabschnitt dar, dessen Ende mit einem Bezugszeichen 7 bezeichnet ist, das auch eine Übergangsstelle zum nächsten Fahrbahnabschnitt darstellen kann. In dieser Figur 1 ist an der Position x x ein einzelner Mittelstreifen 3 als fahrbahnparallele Struktur dargestellt, die aus Bilddaten eines mit einer Kamera aufgenommenen Straßenszene extrahiert wurde. Im Schwerpunkt dieses einzelnen Mittelstreifens 3 wird eine Tangente Tl mit einer Steigung m x bestimmt, die parallel zur Spurmitte (angedeutet durch einen Pfeil) verläuft.
Des Weiteren zeigt Figur 1 an der Position x 2 eine weitere fahrbahnparallele Struktur 5, die aus mehreren, in einer ge- raden Reihe angeordneten Gegenständen besteht, die bspw. mittels eines Radarsensors als feststehende Radarziele detek- tiert werden. Im Schwerpunkt dieser Struktur verläuft parallel zur Spurmitte 4 (angedeutet durch einen Pfeil) eine Tangente T2 mit einer Steigung m 2 .
Schließlich zeigt Figur 1 eine weitere Fahrbahnrandstruktur 6 mit einer geradenförmigen Struktur, die jedoch nicht fahrbahnparallel verläuft. Die auf der Basis der Sensordaten durchgeführte Messung der Steigungen mi und der zugehörigen Positionen xi wird zur Schätzung der Spurmodellparameter c 0 und Ci des Klothoidenmo- dells mittels eines Kaiman-Filters verwendet, das im i-yi- Koordinatensystem des Fahrzeugs in der oben genannten Appro- ximation folgende Form aufweist: wobei y 0L/R die Abweichung (Offset) des Fahrzeugs von der Spurmitte nach links oder rechts und Θ den Gierwinkel des Fahrzeugs darstellt.
Die zugehörige Messgleichung im Kaiman-Filter-Modell ergibt sich durch Ableitung der obigen Gleichung /( ,·) und Gleichsetzung mit der Steigung mi :
m f =θ + c 0 x { + ,· 2 ·
Mit dieser Messgleichung wird die Korrektur der geschätzten Spurmodellparameter c 0 und Ci durchgeführt um somit den weiteren Verlauf der Fahrspur, in Figur 1 durch Abschnitte Kl und K2 dargestellt, zu bestimmten. Damit lässt sich der Fahrspurverlauf über den gesamten betrachteten Entfernungsbereich, insbesondere über den Fernbereich modellieren.
Als Fahrspurmodell können neben dem hier beschriebenen einfa- chen Klothoidenmodell auch ein Doppel -Klothoiden-Modell oder ein auf Stützpunkten beruhendes Splines-Modell verwendet werden .
Es ist auch möglich, vor der Schätzung der Spurmodellparame- ter c 0 und Ci mittels der Steigung m zunächst die Krümmung c 0 in dem betrachteten Entfernungsabschnitt zu ermitteln. Hierzu wird in jedem Entfernungsabschnitt der Spurverlauf durch die Parabel
l(x) approximiert, wobei c 0 die Krümmung in der x-Position darstellt. Die aus den Sensordaten ermittelte Steigung m von de- tektierten bahnparallelen Strukturen entspricht der Steigung der Parabel an der gleichen x-Position und ist durch die ers- te Ableitung gegeben, d. h. es ist c 0 x = m . Somit ergibt sich für die Krümmung c 0 : m
c 0 =— .
X Um falsche Strukturen auszuschließen, also solche, die nicht fahrbahnparallel sind, kann mittels eines zweidimensionalen Hough-Verfahrens im erfassten Entfernungsbereich nach Geradenpaaren gesucht werden, die parallel auf gegenüberliegenden Fahrbahnseiten verlaufen. Durch ein solches Parallelitätskri- terium können Geraden, wie die in Figur 1 dargestellten Fahrbahnrandstrukturen 6 ausgeschlossen werden.
Für das dargestellte erfindungsgemäße Verfahren ist es zur Detektion von fahrbahnparallelen Strukturen nicht erforder- lieh, deren seitlichen Abstand zu kennen, wodurch auch die Schätzung des seitlichen Offsets des Fahrzeugs entfällt.
Die im Nahbereich zu ermittelnden Parameter y 0LIR (Distanz bzw. Offset des Fahrzeugs zur Spurmitte) und die Spurbreite lassen sich mittels Einzelmessungen bestimmen. Damit ergibt sich eine vorteilhafte Partitionierung des Zustandsräumes mit Offset und Spurbreite aus dem Nahbereich und den Spurmodell - Parametern c 0 und c x im Fernbereich. Der Gierwinkel Θ wird ebenfalls in der Nahbereichs-Partition bestimmt. Eine solche Partitionierung des Zustandsraumes bewirkt, dass Spurbreitenänderungen, bspw. bei SpuraufWeitungen oder Ausfahrten keinen negativen Einfluss auf die Spurmodellparameter, also unabhän- gig hiervon ist und somit eine Reduktion der Freiheitsgrade bewirkt. Dadurch wird das Filtersystem, hier im Ausführungsbeispiel das Kaiman-Filter robuster, also weniger fehleranfällig und laufzeiteffizienter und führt zu präziseren
Schätzwerten.
Da der im Nahbereich erfasste Spurverlauf mit dem erfindungs- gemäßen Verfahren in den Fernbereich extrapoliert wird, entfällt die Mittelung und Schätzung des Offsets und der Fahr- Spurbreite im Fernbereich.
Um in Figur 1 dargestellte, falsche geradenförmige Fahrbahnrandstrukturen 6 auszuschließen, deren Geraden G im Schwerpunkt nicht in fahrbahnparalleler Richtung verlaufen, wird beim Auswerten des Sensordaten ein wie oben bereits beschrieben, ein Parallelitätskriterium verwendet, wonach bspw. nur in der gleichen Position, links und rechts der Fahrspur verlaufende fahrbahnparallele Strukturen bestimmt werden, die zueinander parallel sind.
Jede Einzelmessung (Tangente) lässt sich in eine Krümmungsinformation an der x-Stelle umrechnen. Werden die einzelnen Tangentialmessungen sequentiell in x-Richtung betrachtet, zeigen die Messungen ab der Klothoiden-Übergangsstelle 7 (Fi- gur 1) eine Abweichung zum gefilterten Fahrspurmodell, wodurch sich diese Übergangsstelle 7 bestimmen lässt. Damit kann im Rahmen eines Fahrerassistenzsystems eine dem natürlichen Fahrverhalten entsprechende Querregelung des Fahrzeugs durchgeführt werden.
Im Rahmen eines Fahrerassistenzsystems lässt sich auch das Erreichen von fahrspurbezogenen Systemgrenzen prädizieren. So kann z. Bsp. bei einer Zufahrt eine enger werdenden Kurve im Voraus erkannt werden kann, so dass im Rahmen eines Fahrerassistenzsystems der Fahrer des Fahrzeugs auf eine Systemübergabe vorbereitet oder ein Kurvenradius in 60 m Entfernung vor dem Fahrzeug bzw. ein minimaler Kurvenradius angezeigt werden kan .
Mit dem erfindungsgemäßen Verfahren wird aufgezeigt, dass die zusätzliche Verwendung von fahrbahnparallelen Strukturen, wie Markierungen, Bordsteine, Leitplanken und Bebauungen für die vorausschauende Bestimmung von Kurvenradien möglich ist, ohne dass eine Filtererweiterung erforderlich ist.