DE102012004198A1 | 2012-10-04 |
ERIC ROYER ET AL: "Monocular Vision for Mobile Robot Localization and Autonomous Navigation", INTERNATIONAL JOURNAL OF COMPUTER VISION, KLUWER ACADEMIC PUBLISHERS, BO, vol. 74, no. 3, 13 January 2007 (2007-01-13), pages 237 - 260, XP019534965, ISSN: 1573-1405, DOI: 10.1007/S11263-006-0023-Y
JU WON HWANGBO ET AL: "INTEGRATION OF ORBITAL AND GROUND IMAGE NETWORKS FOR THE AUTOMATION OF ROVER LOCALIZATION", ASPRS 2009 ANNUAL CONFERENCE BALTIMORE, MARYLAND ? MARCH, 9 March 2009 (2009-03-09), pages 1 - 13, XP055440924, Retrieved from the Internet
RONGXING LI ET AL: "Spirit rover localization and topographic mapping at the landing site of Gusev crater, Mars : SPIRIT ROVER LOCALIZATION AT GUSEV CRATER", JOURNAL OF GEOPHYSICAL RESEARCH, vol. 111, no. E2, 12 January 2006 (2006-01-12), US, pages 1 - 13, XP055440920, ISSN: 0148-0227, DOI: 10.1029/2005JE002483
Patentansprüche 1. Verfahren zur Selbstlokalisierung eines Fahrzeugs, bei dem - Umgebungsbilder (B, B1) des Fahrzeugs mittels zumindest einer Bilderfassungseinheit erfasst werden, - Bildmerkmale (M, M1) aus den Umgebungsbildern (B, B1) extrahiert und in einer digitalen Umgebungskarte hinterlegten Umgebungsmerkmalen (U) überlagert werden, dadurch gekennzeichnet, dass - zusätzlich fahrbahnprofilabhängige Parameter, umfassend ein Oberflächenprofil einer Fahrbahn (1), ein Nickwinkel und ein Wankwinkel des Fahrzeugs sowie eine Höhe der mindestens einen Bilderfassungseinheit relativ zu einer Fahrbahnoberfläche, ermittelt werden, - eine Position und eine Orientierung des Fahrzeugs in der Umgebungskarte anhand des Vergleichs der Bildmerkmale (B, B1) mit den Umgebungsmerkmalen (U) und anhand der ermittelten fahrbahnprofilabhängigen Parameter ermittelt wird, und - die fahrbahnprofilabhängigen Parameter anhand einer Auswertung mindestens eines der erfassten Umgebungsbilder (B, B1) unter Verwendung eines numerischen Optimierungsalgorithmus ermittelt werden. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als numerischer Optimierungsalgorithmus ein Gauß-Newton-Algorithmus angewandt wird. 3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als numerischer Optimierungsalgorithmus ein Levenberg-Marquard-Algorithmus angewandt wird. 4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die extrahierten Bildmerkmale (M, M1) und das ermittelte Oberflächenprofil der Fahrbahn (1) in der Umgebungskarte abgelegt und bei der Ermittlung der Position und Orientierung des Fahrzeugs berücksichtigt werden. |
Die Erfindung betrifft ein Verfahren zur Selbstlokalisierung eines Fahrzeugs gemäß dem Oberbegriff des Anspruchs 1.
Verfahren zur Selbstlokalisierung eines Fahrzeugs sind aus dem Stand der Technik bekannt und werden insbesondere für einen autonomen Fahrbetrieb durchgeführt. Des Weiteren sind in der DE 10 2012 004 198 A1 ein Verfahren und eine Vorrichtung zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs im Gelände beschrieben. Hierbei wird mittels zumindest einer Erfassungseinheit eine Umgebung des Fahrzeugs erfasst und aus mittels der Erfassungseinheit erfassten Daten ein Geländeprofil ermittelt. Dabei ist vorgesehen, dass anhand des erfassten Geländeprofils kritische
Fahrsituationen, insbesondere ein Aufsetzen des Fahrzeugs auf den Boden, ein
Umkippen des Fahrzeugs, ein Rutschen des Fahrzeugs in Längsrichtung und/oder ein seitliches Rutschen des Fahrzeugs, vor einem Überfahren eines vorausliegenden Abschnitts des Geländeprofils für den vorausliegenden Abschnitt prädiziert und im Innenraum des Fahrzeugs mittels zumindest einer Anzeigeeinheit grafisch ausgegeben wird.
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Selbstlokalisierung eines Fahrzeugs anzugeben.
Die Aufgabe wird erfindungsgemäß mit den in Anspruch 1 angegebenen Merkmalen gelöst.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Bei einem Verfahren zur Selbstlokalisierung eines Fahrzeugs werden Umgebungsbilder des Fahrzeugs mittels zumindest einer Bilderfassungseinheit erfasst. Anschließend werden Bildmerkmale aus den Umgebungsbildern extrahiert und mit in einer digitalen Umgebungskarte hinterlegten Umgebungsmerkmalen verglichen. Erfindungsgemäß werden zusätzlich fahrbahnprofilabhängige Parameter, umfassend ein Fahrbahnprofil, ein Nickwinkel und ein Wankwinkel des Fahrzeugs sowie eine Höhe der mindestens einen Bilderfassungseinheit relativ zu einer Fahrbahnoberfläche, ermittelt und eine Position des Fahrzeugs in der Umgebungskarte anhand des Vergleichs der Bildmerkmale mit den Umgebungsmerkmalen und anhand der ermittelten fahrbahnprofilabhängigen Parameter ermittelt. Die fahrbahnprofilabhängigen Parameter werden anhand einer Bildauswertung mindestens eines der erfassten Umgebungsbilder unter Verwendung eines numerischen Optimierungsalgorithmus ermittelt.
Das Verfahren ermöglicht eine gegenüber dem Stand der Technik verbesserte
Selbstlokalisierung des Fahrzeugs, da die Ermittlung der fahrbahnprofilabhängigen Parameter auf Basis eines aktuellen Umgebungsbilds und/oder eines aktuellen Stereo- Disparitätsbilds erfolgt. Das Stereo-Disparitätsbild umfasst dabei das aktuelle
Umgebungsbild und die digitale Umgebungskarte, wobei das Umgebungsbild in die Umgebungskarte projiziert und dieser somit überlagert wird. D. h., die Ermittlung der fahrbahnprofilabhängigen Parameter kann ohne Einbeziehung einer aktuellen
Geschwindigkeit und Gierrate des Fahrzeugs erfolgen, so dass eine Fehleranfälligkeit reduziert und eine Genauigkeit bei der Ermittlung erhöht wird. Somit ist das Verfahren gegenüber konventionellen Verfahren zur Selbstlokalisierung robuster.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:
Fig.1 bis Fig. 3 schematisch mittels einer Bilderfassungseinheit eines Fahrzeugs erfasste
Umgebungsbilder mit extrahierten Bildmerkmalen.
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
Die Figuren 1 bis 3 zeigen jeweils schematisch ein Umgebungsbild B, welches mittels einer nicht dargestellten Bilderfassungseinheit, insbesondere einer Kamera, eines ebenfalls nicht gezeigten, insbesondere autonom geführten, Fahrzeugs erfasst wurde. Das in Figur 1 gezeigte Umgebungsbild B zeigt eine dem Fahrzeug vorausliegende Fahrbahn 1 , deren Verlauf und Abmessungen anhand von Fahrspurmarkierungen und Fahrbahnbegrenzungen ermittelbar ist.
Ziel ist es hierbei, das Fahrzeug für einen autonomen Fahrbetrieb innerhalb einer digitalen Umgebungskarte zu lokalisieren. Dazu wird das Umgebungsbild B mit einer
Bilderfassungseinheit, z. B. einer Monokamera, des Fahrzeugs erfasst.
In dem erfassten Umgebungsbild B werden Bildmerkmale M, hierbei die
Fahrspurmarkierungen und Fahrbahnbegrenzungen, anhand von Markierungsmessungen extrahiert. Mittels eines iterativen Lösungsverfahrens, wie z. B. dem sogenannten Levenberg-Marquard-Algorithmus, werden die extrahierten Bildmerkmale M mit
Umgebungsmerkmalen U überlagert, die in der digitalen Umgebungskarte hinterlegt sind. Beispielsweise wird hierbei ein Winkel zwischen den Bildmerkmalen M und den
Umgebungsmerkmalen U ermittelt. Die Ergebnisse werden anschließend in einer nichtlinearen Ausgleichsrechnung kombiniert, um eine Eigenposition und eine
Orientierung des Fahrzeugs zu ermitteln.
Damit kann eine Position des Fahrzeugs in einer möglicherweise fehlerbehafteten Umgebungskarte und somit in einer Umgebung lokalisiert werden. Die ermittelte Position des Fahrzeugs kann anschließend einer Bahnplanungseinheit für einen autonomen Fahrbetrieb des Fahrzeugs zugeführt werden.
Figur 2 zeigt das Umgebungsbild B gemäß Figur 1.
Hierbei ist die Fahrbahn 1 in mehrere Segmente S unterteilt, die ein Oberflächenprofil der Fahrbahn 1 repräsentieren. Insbesondere stellen die Segmente S einen Höhenverlauf der Fahrbahn 1 ausgehend von einer festgelegten und/oder ermittelten Mittellinie dar. Das Oberflächenprofil der Fahrbahn 1 wird hierbei ohne Einbeziehung einer momentanen Geschwindigkeit und einer momentanen Gierrate des Fahrzeugs auf Basis des aktuellen Umgebungsbilds B ermittelt. Dies kann beispielsweise mittels nichtlinearer
Ausgleichsrechnungen, insbesondere mittels eines numerischen
Optimierungsalgorithmus, wie z. B. der Levenberg-Marquard-Algorithmus oder der sogenannte Gauß-Newton-Algorithmus, erfolgen. Da in der digitalen Umgebungskarte üblicherweise keine Informationen bezüglich des Oberflächenprofils der Fahrbahn 1 hinterlegt werden, verbessert die Einbeziehung des Oberflächenprofils der Fahrbahn 1 die Lokalisierung der Position des Fahrzeugs relativ zur Umgebungskarte erheblich. Konventionelle Verfahren verwenden dazu bekannte Ansätze, wie z. B. den sogenannten Kaiman-Filter oder ähnliche Trackingverfahren.
Hierbei werden jedoch die momentane Gierrate und die momentane Geschwindigkeit des Fahrzeugs benötigt, die störungsbehaftet sind, so dass daraus resultierend die
Lokalisierung der Position des Fahrzeugs ebenfalls fehlerbehaftet sein kann.
Daher wird hierbei das Oberflächenprofil der Fahrbahn 1 unter Einbeziehung weiterer fahrbahnprofilabhängiger Parameter, insbesondere eines Nickwinkels, eines Wankwinkels und einer Höhe der Bilderfassungseinheit relativ zur Fahrbahnoberfläche, auf Basis des aktuellen Umgebungsbilds B wie zuvor beschrieben ermittelt. Dies ermöglicht eine verbesserte Genauigkeit bei der oben beschriebenen Ermittlung der Position des
Fahrzeugs relativ zur Umgebungskarte und somit eine erhöhte Robustheit des Verfahrens gegenüber konventionellen Verfahren.
Figur 3 zeigt zwei weitere Umgebungsbilder B1 , die eine vor dem Fahrzeug befindliche Straßenkreuzung mit bestimmten weiteren Bildmerkmalen M1, hierbei Haltelinien und ein Richtungspfeil, zeigt. Dabei wird die Extraktion der weiteren Bildmerkmale M1 im linken weiteren Umgebungsbild B1 ohne Einbeziehung des Oberflächenprofils der Fahrbahn 1 gezeigt. Hierbei ist eine deutliche Abweichung zwischen den extrahierten
Bildmerkmalen M und dem tatsächlichen Verlauf der Merkmale in der Umgebung, also der Haltelinie und des Richtungspfeils, erkennbar. Dies ist insbesondere dadurch begründet, dass das Oberflächenprofil der Fahrbahn 1 nach rechts abfällt, dieses jedoch bei der Extraktion der weiteren Bildmerkmale M1 nicht berücksichtigt wird. D. h. die Fahrbahn 1 wird nur zweidimensional betrachtet.
Im rechten weiteren Umgebungsbild B1 ist die Extraktion der weiteren Bildmerkmale M1 mit Einbeziehung des Oberflächenprofils der Fahrbahn 1 gezeigt. Der Verlauf der extrahierten weiteren Bildmerkmale M1 entspricht hier weitestgehend dem tatsächlichen Verlauf der Merkmale.
Zudem ist es möglich, sowohl die extrahierten Bildmerkmale M, M1 als auch die
Merkmale für das Oberflächenprofil der Fahrbahn 1 in der Umgebungskarte abzulegen und mitzuführen. Unter Verwendung dieser zusätzlichen Informationen kann auch die nichtlineare Ausgleichsrechnung bei kurzzeitig ungünstigen Messbedingungen durchgeführt werden, wie z. B. bei Sonnenblendungen, Verdeckung durch andere Fahrzeuge, Schattenwürfe usw. Dieses Vorgehen erhöht die Robustheit und die Lokalisierungsgenauigkeit des Verfahrens weiter.
Next Patent: ACTIVE SUPPRESSION OF THE OCCLUSION EFFECT IN HEARING AIDS