Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR THE SELF-LOCATION OF A VEHICLE
Document Type and Number:
WIPO Patent Application WO/2018/059735
Kind Code:
A1
Abstract:
The invention relates to a method for the self-location of a vehicle, in which method environment images (B, B1) of the vehicle are recorded by means of at least one image-recording unit and image features (M, M1) are extracted from the environment images (B, B1) and are superposed with environment features (U) stored in a digital environment map. According to the invention, roadway-profile-dependent parameters, comprising a surface profile of a roadway (1), a pitch angle, and a roll angle of the vehicle and a height of the at least one image-recording unit relative to a roadway surface, are additionally determined, a position and an orientation of the vehicle in the environment map are determined on the basis of the comparison of the image features (B, B1) with the environment features (U) and on the basis of the determined roadway-profile-dependent parameters, and the roadway-profile-dependent parameters are determined on the basis of an evaluation of at least one of the recorded environment images (B, B1) by using a numerical optimization algorithm.

Inventors:
KNOEPPEL CARSTEN (DE)
Application Number:
PCT/EP2017/001149
Publication Date:
April 05, 2018
Filing Date:
September 27, 2017
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
DAIMLER AG (DE)
International Classes:
G01C21/26; G06K9/00; G01C21/36
Foreign References:
DE102012004198A12012-10-04
Other References:
LATEGAHN HENNING ET AL: "Vision-Only Localization", IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, IEEE, PISCATAWAY, NJ, USA, vol. 15, no. 3, 1 June 2014 (2014-06-01), pages 1246 - 1257, XP011549675, ISSN: 1524-9050, [retrieved on 20140529], DOI: 10.1109/TITS.2014.2298492
ERIC ROYER ET AL: "Monocular Vision for Mobile Robot Localization and Autonomous Navigation", INTERNATIONAL JOURNAL OF COMPUTER VISION, KLUWER ACADEMIC PUBLISHERS, BO, vol. 74, no. 3, 13 January 2007 (2007-01-13), pages 237 - 260, XP019534965, ISSN: 1573-1405, DOI: 10.1007/S11263-006-0023-Y
JU WON HWANGBO ET AL: "INTEGRATION OF ORBITAL AND GROUND IMAGE NETWORKS FOR THE AUTOMATION OF ROVER LOCALIZATION", ASPRS 2009 ANNUAL CONFERENCE BALTIMORE, MARYLAND ? MARCH, 9 March 2009 (2009-03-09), pages 1 - 13, XP055440924, Retrieved from the Internet [retrieved on 20180115]
RONGXING LI ET AL: "Spirit rover localization and topographic mapping at the landing site of Gusev crater, Mars : SPIRIT ROVER LOCALIZATION AT GUSEV CRATER", JOURNAL OF GEOPHYSICAL RESEARCH, vol. 111, no. E2, 12 January 2006 (2006-01-12), US, pages 1 - 13, XP055440920, ISSN: 0148-0227, DOI: 10.1029/2005JE002483
Download PDF:
Claims:
Patentansprüche

1. Verfahren zur Selbstlokalisierung eines Fahrzeugs, bei dem

- Umgebungsbilder (B, B1) des Fahrzeugs mittels zumindest einer

Bilderfassungseinheit erfasst werden,

- Bildmerkmale (M, M1) aus den Umgebungsbildern (B, B1) extrahiert und in einer digitalen Umgebungskarte hinterlegten Umgebungsmerkmalen (U) überlagert werden,

dadurch gekennzeichnet, dass

- zusätzlich fahrbahnprofilabhängige Parameter, umfassend ein Oberflächenprofil einer Fahrbahn (1), ein Nickwinkel und ein Wankwinkel des Fahrzeugs sowie eine Höhe der mindestens einen Bilderfassungseinheit relativ zu einer

Fahrbahnoberfläche, ermittelt werden,

- eine Position und eine Orientierung des Fahrzeugs in der Umgebungskarte anhand des Vergleichs der Bildmerkmale (B, B1) mit den

Umgebungsmerkmalen (U) und anhand der ermittelten fahrbahnprofilabhängigen Parameter ermittelt wird, und

- die fahrbahnprofilabhängigen Parameter anhand einer Auswertung mindestens eines der erfassten Umgebungsbilder (B, B1) unter Verwendung eines numerischen Optimierungsalgorithmus ermittelt werden.

2. Verfahren nach Anspruch 1,

dadurch gekennzeichnet, dass

als numerischer Optimierungsalgorithmus ein Gauß-Newton-Algorithmus angewandt wird.

3. Verfahren nach Anspruch 1 oder 2,

dadurch gekennzeichnet, dass

als numerischer Optimierungsalgorithmus ein Levenberg-Marquard-Algorithmus angewandt wird.

4. Verfahren nach einem der vorhergehenden Ansprüche,

dadurch gekennzeichnet, dass

die extrahierten Bildmerkmale (M, M1) und das ermittelte Oberflächenprofil der Fahrbahn (1) in der Umgebungskarte abgelegt und bei der Ermittlung der Position und Orientierung des Fahrzeugs berücksichtigt werden.

Description:
Verfahren zur Selbstlokalisierung eines Fahrzeugs

Die Erfindung betrifft ein Verfahren zur Selbstlokalisierung eines Fahrzeugs gemäß dem Oberbegriff des Anspruchs 1.

Verfahren zur Selbstlokalisierung eines Fahrzeugs sind aus dem Stand der Technik bekannt und werden insbesondere für einen autonomen Fahrbetrieb durchgeführt. Des Weiteren sind in der DE 10 2012 004 198 A1 ein Verfahren und eine Vorrichtung zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs im Gelände beschrieben. Hierbei wird mittels zumindest einer Erfassungseinheit eine Umgebung des Fahrzeugs erfasst und aus mittels der Erfassungseinheit erfassten Daten ein Geländeprofil ermittelt. Dabei ist vorgesehen, dass anhand des erfassten Geländeprofils kritische

Fahrsituationen, insbesondere ein Aufsetzen des Fahrzeugs auf den Boden, ein

Umkippen des Fahrzeugs, ein Rutschen des Fahrzeugs in Längsrichtung und/oder ein seitliches Rutschen des Fahrzeugs, vor einem Überfahren eines vorausliegenden Abschnitts des Geländeprofils für den vorausliegenden Abschnitt prädiziert und im Innenraum des Fahrzeugs mittels zumindest einer Anzeigeeinheit grafisch ausgegeben wird.

Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Selbstlokalisierung eines Fahrzeugs anzugeben.

Die Aufgabe wird erfindungsgemäß mit den in Anspruch 1 angegebenen Merkmalen gelöst.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.

Bei einem Verfahren zur Selbstlokalisierung eines Fahrzeugs werden Umgebungsbilder des Fahrzeugs mittels zumindest einer Bilderfassungseinheit erfasst. Anschließend werden Bildmerkmale aus den Umgebungsbildern extrahiert und mit in einer digitalen Umgebungskarte hinterlegten Umgebungsmerkmalen verglichen. Erfindungsgemäß werden zusätzlich fahrbahnprofilabhängige Parameter, umfassend ein Fahrbahnprofil, ein Nickwinkel und ein Wankwinkel des Fahrzeugs sowie eine Höhe der mindestens einen Bilderfassungseinheit relativ zu einer Fahrbahnoberfläche, ermittelt und eine Position des Fahrzeugs in der Umgebungskarte anhand des Vergleichs der Bildmerkmale mit den Umgebungsmerkmalen und anhand der ermittelten fahrbahnprofilabhängigen Parameter ermittelt. Die fahrbahnprofilabhängigen Parameter werden anhand einer Bildauswertung mindestens eines der erfassten Umgebungsbilder unter Verwendung eines numerischen Optimierungsalgorithmus ermittelt.

Das Verfahren ermöglicht eine gegenüber dem Stand der Technik verbesserte

Selbstlokalisierung des Fahrzeugs, da die Ermittlung der fahrbahnprofilabhängigen Parameter auf Basis eines aktuellen Umgebungsbilds und/oder eines aktuellen Stereo- Disparitätsbilds erfolgt. Das Stereo-Disparitätsbild umfasst dabei das aktuelle

Umgebungsbild und die digitale Umgebungskarte, wobei das Umgebungsbild in die Umgebungskarte projiziert und dieser somit überlagert wird. D. h., die Ermittlung der fahrbahnprofilabhängigen Parameter kann ohne Einbeziehung einer aktuellen

Geschwindigkeit und Gierrate des Fahrzeugs erfolgen, so dass eine Fehleranfälligkeit reduziert und eine Genauigkeit bei der Ermittlung erhöht wird. Somit ist das Verfahren gegenüber konventionellen Verfahren zur Selbstlokalisierung robuster.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.

Dabei zeigen:

Fig.1 bis Fig. 3 schematisch mittels einer Bilderfassungseinheit eines Fahrzeugs erfasste

Umgebungsbilder mit extrahierten Bildmerkmalen.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.

Die Figuren 1 bis 3 zeigen jeweils schematisch ein Umgebungsbild B, welches mittels einer nicht dargestellten Bilderfassungseinheit, insbesondere einer Kamera, eines ebenfalls nicht gezeigten, insbesondere autonom geführten, Fahrzeugs erfasst wurde. Das in Figur 1 gezeigte Umgebungsbild B zeigt eine dem Fahrzeug vorausliegende Fahrbahn 1 , deren Verlauf und Abmessungen anhand von Fahrspurmarkierungen und Fahrbahnbegrenzungen ermittelbar ist.

Ziel ist es hierbei, das Fahrzeug für einen autonomen Fahrbetrieb innerhalb einer digitalen Umgebungskarte zu lokalisieren. Dazu wird das Umgebungsbild B mit einer

Bilderfassungseinheit, z. B. einer Monokamera, des Fahrzeugs erfasst.

In dem erfassten Umgebungsbild B werden Bildmerkmale M, hierbei die

Fahrspurmarkierungen und Fahrbahnbegrenzungen, anhand von Markierungsmessungen extrahiert. Mittels eines iterativen Lösungsverfahrens, wie z. B. dem sogenannten Levenberg-Marquard-Algorithmus, werden die extrahierten Bildmerkmale M mit

Umgebungsmerkmalen U überlagert, die in der digitalen Umgebungskarte hinterlegt sind. Beispielsweise wird hierbei ein Winkel zwischen den Bildmerkmalen M und den

Umgebungsmerkmalen U ermittelt. Die Ergebnisse werden anschließend in einer nichtlinearen Ausgleichsrechnung kombiniert, um eine Eigenposition und eine

Orientierung des Fahrzeugs zu ermitteln.

Damit kann eine Position des Fahrzeugs in einer möglicherweise fehlerbehafteten Umgebungskarte und somit in einer Umgebung lokalisiert werden. Die ermittelte Position des Fahrzeugs kann anschließend einer Bahnplanungseinheit für einen autonomen Fahrbetrieb des Fahrzeugs zugeführt werden.

Figur 2 zeigt das Umgebungsbild B gemäß Figur 1.

Hierbei ist die Fahrbahn 1 in mehrere Segmente S unterteilt, die ein Oberflächenprofil der Fahrbahn 1 repräsentieren. Insbesondere stellen die Segmente S einen Höhenverlauf der Fahrbahn 1 ausgehend von einer festgelegten und/oder ermittelten Mittellinie dar. Das Oberflächenprofil der Fahrbahn 1 wird hierbei ohne Einbeziehung einer momentanen Geschwindigkeit und einer momentanen Gierrate des Fahrzeugs auf Basis des aktuellen Umgebungsbilds B ermittelt. Dies kann beispielsweise mittels nichtlinearer

Ausgleichsrechnungen, insbesondere mittels eines numerischen

Optimierungsalgorithmus, wie z. B. der Levenberg-Marquard-Algorithmus oder der sogenannte Gauß-Newton-Algorithmus, erfolgen. Da in der digitalen Umgebungskarte üblicherweise keine Informationen bezüglich des Oberflächenprofils der Fahrbahn 1 hinterlegt werden, verbessert die Einbeziehung des Oberflächenprofils der Fahrbahn 1 die Lokalisierung der Position des Fahrzeugs relativ zur Umgebungskarte erheblich. Konventionelle Verfahren verwenden dazu bekannte Ansätze, wie z. B. den sogenannten Kaiman-Filter oder ähnliche Trackingverfahren.

Hierbei werden jedoch die momentane Gierrate und die momentane Geschwindigkeit des Fahrzeugs benötigt, die störungsbehaftet sind, so dass daraus resultierend die

Lokalisierung der Position des Fahrzeugs ebenfalls fehlerbehaftet sein kann.

Daher wird hierbei das Oberflächenprofil der Fahrbahn 1 unter Einbeziehung weiterer fahrbahnprofilabhängiger Parameter, insbesondere eines Nickwinkels, eines Wankwinkels und einer Höhe der Bilderfassungseinheit relativ zur Fahrbahnoberfläche, auf Basis des aktuellen Umgebungsbilds B wie zuvor beschrieben ermittelt. Dies ermöglicht eine verbesserte Genauigkeit bei der oben beschriebenen Ermittlung der Position des

Fahrzeugs relativ zur Umgebungskarte und somit eine erhöhte Robustheit des Verfahrens gegenüber konventionellen Verfahren.

Figur 3 zeigt zwei weitere Umgebungsbilder B1 , die eine vor dem Fahrzeug befindliche Straßenkreuzung mit bestimmten weiteren Bildmerkmalen M1, hierbei Haltelinien und ein Richtungspfeil, zeigt. Dabei wird die Extraktion der weiteren Bildmerkmale M1 im linken weiteren Umgebungsbild B1 ohne Einbeziehung des Oberflächenprofils der Fahrbahn 1 gezeigt. Hierbei ist eine deutliche Abweichung zwischen den extrahierten

Bildmerkmalen M und dem tatsächlichen Verlauf der Merkmale in der Umgebung, also der Haltelinie und des Richtungspfeils, erkennbar. Dies ist insbesondere dadurch begründet, dass das Oberflächenprofil der Fahrbahn 1 nach rechts abfällt, dieses jedoch bei der Extraktion der weiteren Bildmerkmale M1 nicht berücksichtigt wird. D. h. die Fahrbahn 1 wird nur zweidimensional betrachtet.

Im rechten weiteren Umgebungsbild B1 ist die Extraktion der weiteren Bildmerkmale M1 mit Einbeziehung des Oberflächenprofils der Fahrbahn 1 gezeigt. Der Verlauf der extrahierten weiteren Bildmerkmale M1 entspricht hier weitestgehend dem tatsächlichen Verlauf der Merkmale.

Zudem ist es möglich, sowohl die extrahierten Bildmerkmale M, M1 als auch die

Merkmale für das Oberflächenprofil der Fahrbahn 1 in der Umgebungskarte abzulegen und mitzuführen. Unter Verwendung dieser zusätzlichen Informationen kann auch die nichtlineare Ausgleichsrechnung bei kurzzeitig ungünstigen Messbedingungen durchgeführt werden, wie z. B. bei Sonnenblendungen, Verdeckung durch andere Fahrzeuge, Schattenwürfe usw. Dieses Vorgehen erhöht die Robustheit und die Lokalisierungsgenauigkeit des Verfahrens weiter.