Verfahren zum Detektieren einer Verkehrskartenänderung mit Classifiern

Die Erfindung bezieht sich auf ein Verfahren und ein System zum Detektieren einer Verkehrskartenänderung mit Classifiern, ein Computerprogramm und ein computerlesbares Speichermedium.

HD Karten werden beim autonomen Fahren verwendet, um voraus zu planen. Beispielsweise werden Vermessungsfahrzeuge benutzt um die HD Karten zu generieren. Alternativ werden die HD Karten auch aus Luft- oder Satellitenbildern generiert.

Wenn sich das Straßennetz ändert, veralten die HD Karten schnell. Das ist ein Problem für autonomes Fahren, zum Beispiel, wenn ein Fahrzeug vier Fahrbahnen hinter einer Kurve erwartet aber lediglich drei Fahrbahnen vorhanden sind kann dies zu einer gefährlichen Situation führen.

Somit ist es Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren zum Detektieren einer Kartenänderung bereitzustellen. Die Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Weiter bevorzugte Ausführungsformen sind Gegenstand der abhängigen Patenansprüche.

Gemäß einem Aspekt umfasst ein Verfahren zum Detektieren einer Verkehrskartenänderung folgende Schritte. Bestimmen einer Fahrzeugposition eines Fahrzeugs innerhalb der Verkehrskarte durch das Fahrzeug. Bestimmen einer Fahrzeugansichtskarte abhängig von der bestimmten Fahrzeugposition und der Verkehrskarte, wobei die Fahrzeugansichtskarte eine fahrzeugzentrische Ansicht der Verkehrskarte umfasst. Bestimmen von Änderungsdaten durch Vergleichen von Sensordaten des Fahrzeugs und der Fahrzeugansichtskarte abhängig von mindestens einem trainierten Classifier. Der mindestens eine Classifier wird mit den Sensordaten und der Fahrzeugansichtskarte trainiert. Die Änderungsdaten umfassen einen Änderungsindikator, der angibt, ob durch den Vergleich eine Änderung zu der Verkehrskarte detektiert wurde, und eine Änderungsposition umfassen, die angibt, wo die Änderung auf der Verkehrskarte detektiert wurde. Der Begriff „Verkehrskartenänderung“, wie er hier benutzt wird, umfasst eine Änderung eines Straßennetzes und/oder eines Objekts in der realen Welt im Vergleich zu der Darstellung des Straßennetzes und/oder des Objekts in einer Verkehrskarte.

Vorzugsweise werden die Sensordaten von Sensoren des Fahrzeugs aufgenommen. Die Sensordaten umfassen insbesondere Kameradaten und/oder Lidardaten.

Vorzugsweise gibt die Änderungsposition an, wo die Änderung auf der Fahrzeugansichtskarte detektiert wurde.

Durch den mit Sensordaten und der Fahrzeugansichtskarte trainierten Classifier können Verkehrskartenänderungen ohne manuelles Optimieren des Detektionsalgorithmus detektiert werden.

Die Verkehrsansichtskarte ist abhängig von der Fahrzeugposition. Somit wird vorzugsweise der Classifier mit der Fahrzeugposition trainiert. Insbesondere werden künstliche Bilder mit einem künstlichen Versatz erzeugt, mit deren Hilfe der Classifier trainiert wird. Der künstliche Versatz, auch Offset genannt, gibt an, wie ein Objekt in dem Bild im Vergleich zu einer Verkehrskarte abhängig von der Fahrzeugposition versetzt ist.

Je besser der Classifier auf die Fahrzeugpositionen trainiert ist, desto genauer ist die Fahransichtskarte. Auf diese Weise kann die Robustheit des Verfahrens zum Detektieren der Verkehrskartenänderung verbessert werden.

Vorzugsweise werden durch den Classifier Fehler in der Bestimmung der Fahrzeugposition, beispielsweise durch GPS, ausgebessert, was die Robustheit des Verfahrens zum Detektieren der Verkehrskartenänderung verbessert.

Vorzugsweise werden die Änderungsdaten an ein Backend übertragen.

Auf diese Weise können die Änderungsdaten einer Vielzahl von Fahrzeugen zentral verarbeitet werden.

Somit wird ein verbessertes Verfahren zum Detektieren einer Verkehrskartenänderung bereitgestellt. Nach einer bevorzugten Ausführungsform umfasst das Verfahren ein Bestimmen von Validierungsdaten durch Kommentieren des Änderungsindikators und der Änderungsposition von einem Kommentator und Anpassen der Machine-Learning-Einheit abhängig von den bestimmten Validierungsdaten.

Vorzugsweise ist der Kommentator ein menschlicher Kommentator.

Auf diese Weise ist ein manueller Eingriff lediglich beim Trainieren des Classifiers nötig.

Somit wird ein verbessertes Verfahren zum Detektieren einer Verkehrskartenänderung bereitgestellt.

Nach einer bevorzugten Ausführungsform bestimmt das Fahrzeug seine Fahrzeugposition in der Verkehrskarte abhängig von einem globalen Navigationssystem, Landmarkenmatching und/oder einer Eigenbewegungsabschätzung.

Eine Genauigkeit der bestimmten Fahrzeugposition beeinflusst direkt eine Qualität der Fahrzeugansichtskarte.

Somit wird ein verbessertes Verfahren zum Detektieren einer Verkehrskartenänderung bereitgestellt.

Nach einer bevorzugten Ausführungsform umfasst die Fahrzeugansichtskarte eine Vektordarstellung oder eine Projektion.

Die Projektion umfasst vorzugsweise eine Projektion eines Inhalts der Verkehrskarte in eine Perspektive eines Sensors des Fahrzeugs abhängig von der Fahrzeugposition in der Verkehrskarte. Zum Beispiel wird eine 3D-Abbildung, insbesondere 3D-Vektor-Abbildung, eines Verkehrsschilds, das in der Verkehrskarte abgebildet ist, in eine Perspektive einer Kamera des Fahrzeugs projiziert. In anderen Worten wird simuliert, wie das Verkehrsschild, das in einer 3D-Abbildung in der verkehrskarte eingezeichnet ist, in 2D aussehen würde, wenn es aus der Perspektive der Kamera des Fahrzeugs aufgenommen worden wäre. Auf diese Weise kann die simulierte 2D Ansicht des Verkehrsschilds mit der 2D-Ansicht des Verkehrsschilds, das von den Sensoren des Fahrzeugs bestimmt wird, verglichen werden.

Somit wird ein verbessertes Verfahren zum Detektieren einer Verkehrskartenänderung bereitgestellt.

Nach einer bevorzugten Ausführungsform werden abhängig von demselben Classifier die Fahrzeugposition in der Verkehrskarte und die Änderungsdaten bestimmt, wobei die Änderungsdaten ausgehend von der Fahrzeugposition detektiert werden.

Somit wird ein verbessertes Verfahren zum Detektieren einer Verkehrskartenänderung bereitgestellt.

Nach einer bevorzugten Ausführungsform umfassen die Änderungsdaten eine Position des Fahrzeugs in der Verkehrskarte beim Detektieren der Verkehrskartenänderung, eine Projektion der Fahrzeugansichtskarte in Fahrzeugsensorkoordinaten, die Sensordaten und/oder Umgebungsdaten.

Vorzugsweise werden die Änderungsdaten von einer Vielzahl von Fahrzeugen jeweils an das Backend übertragen. Weiter vorzugsweise weist jedes Fahrzeug der Vielzahl der Fahrzeuge eine Kopie der Verkehrskarte auf. Folglich wird die Verkehrskarte oder ein Objekt der Verkehrskarte abhängig von den Sensordaten und der bestimmten Änderungsposition der Vielzahl von Fahrzeugen angepasst. Vorzugsweise wird eine Änderungsposition die Verkehrskarte oder das Objekt der Verkehrskarte durch Mitteln der entsprechenden Änderungspositionen der Vielzahl von Fahrzeugen angepasst. Falls eine Projektion benutzt worden ist, wird eine Änderungsposition basierend auf der Fahrzeugposition und der Projektion durch benutzen eines Strahls bestimmt.

Somit wird ein verbessertes Verfahren zum Detektieren einer Verkehrskartenänderung bereitgestellt.

Nach einer bevorzugten Ausführungsform umfasst das Verfahren den Schritt Anpassen der Verkehrskarte abhängig von den Sensordaten und der bestimmten Änderungsposition. Beispielsweise wird basierend auf einer Vielzahl von 2D-Abbildungen von der Vielzahl von Fahrzeugen, insbesondere aus Sensordaten der Fahrzeuge, und der jeweiligen Fahrzeugposition eine Multi-View-Wiederherstellung benutzt werden, um eine 3D-Abbildung des geänderten Objekts, also der Änderung selbst, zu bestimmen. Dies wird vorzugsweise durch eine 3D-Modeleinheit durchgeführt. Die 3D-Modeleinheit umfasst vorzugsweise zusätzliche Randbedingungen, die von der 3D-Modeleinheit beachtet werden, bevor die Multi-View-Wiederherstellung ausgeführt wird. Zum Beispiel werden die 2D-Abbildungen vorangeordnet, um eine Position der Sensoren, insbesondere Kameras, der Fahrzeuge in 3D, die 2D-Abbildungen und die Verkehrskarte, insbesondere 3D-Verkehrskarte, konsistent zu halten.

Somit wird ein verbessertes Verfahren zum Detektieren einer Verkehrskartenänderung bereitgestellt.

Gemäß einem weiteren Aspekt ist ein System eingerichtet, das Verfahren, wie es hier beschrieben ist, auszuführen.

Gemäß einem weiteren Aspekt ist ein Computerprogramm vorgesehen, das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, die Schritte des Verfahrens, wie es hier beschrieben ist, auszuführen.

Gemäß einem weiteren Aspekt ist ein computerlesbares Speichermedium vorgesehen, auf dem ein Computerprogramm, wie es hier beschrieben ist, gespeichert ist.

Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Die beiliegenden Zeichnungen veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Konzepten der Erfindung.

Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die dargestellten Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.

Es zeigen:

Fig. 1 : eine schematische Darstellung der Machine-Learning-Einheit; Fig. 2: eine schematische Darstellung einer Anpassung eines Ausgangsmodels einer Verkehrskarte;

Fig. 3: eine schematische Darstellung des Trainings des Classifiers mit einer Fahrzeugposition;

Fig. 4: eine schematische Darstellung des Trainings des Classifiers mit einer Fahrzeugposition und einer Kartenänderung; und

Fig. 5: eine schematische Darstellung des Verfahrens zum Detektieren einer Verkehrskartenänderung.

Fig. 1 zeigt eine schematische Darstellung der Machine-Learning-Einheit 10. Die Machine-Learning-Einheit 10 ist eingerichtet einen Classifier zu trainieren, mit dem ein Vergleichen von Sensordaten Ds eines Fahrzeugs mit einer Fahrzeugansichtskarte KA möglich ist. Die Fahrzeugansichtskarte KA stellt eine Verkehrskarte eines vorliegenden Verkehrsabschnitts aus einer fahrzeugzentrischen Ansicht, also aus Sicht des Fahrzeugs, dar.

Die Machines-Learning-Einheit 10 wird mit Sensordaten Ds des Fahrzeugs und der Fahrzeugansichtskarte KA als Eingang trainiert. Die Machine-Learning-Einheit 10 vergleicht die Sensordaten Ds des Fahrzeugs mit der Fahrzeugansichtskarte KA. Wenn ein Unterschied festgestellt wird, beispielsweise eine andere Anzahl von Fahrstreifen oder ein fehlendes oder verändertes Verkehrsschild, bestimmt die Machine-Learning-Einheit 10 einen Änderungsindikator I, der angibt, ob eine Änderung erkannt worden ist oder nicht, und falls eine Änderung erkannt worden ist eine Änderungsposition P, die angibt, wo sich die Änderung auf der Fahrzeugansichtskarte KA befindet.

Die Änderungsposition P und der Änderungsindikator I werden an eine Validierungseinheit 20 gesendet. Hier kommentiert ein Kommentator K die Änderungsposition P und den Änderungsindikator I und bestimmt Validierungsdaten V. Die Validierungsdaten V geben an, wie genau der Änderungsindikator I und/oder die Änderungsposition P ist.

Basierend auf den Validierungsdaten V kann die Machine-Learning-Einheit 10 eine Parametrisierung der Machine-Learning-Einheit 10 derart anpassen, dass zukünftige Änderungsindikatoren I und Änderungspositionen P eine höhere Genauigkeit aufweisen. Fig. 2 zeigt eine schematische Darstellung einer Anpassung eines Ausgangsmodels MA einer Verkehrskarte. Das Ausgangsmodel MA ist eine 3D-Darstellung eines Stoppschildes, das auf der Verkehrskarte an einer bestimmten Verkehrsstelle eingezeichnet ist. Von einem ersten Fahrzeug und einem zweiten Fahrzeug, die entlang der Verkehrsstelle fahren, werden jeweils Sensordaten Ds bestimmt, die ein erstes Sensorobjekt Osi und ein zweites Sensorobjekt Os2 darstellen. Die Sensordaten Ds umfassen beispielsweise Kameradaten. Das erste Sensorobjekt Osi ist ein Vorfahrt-gewähren-Schild in einer 2D-Ansicht. Das zweite Sensorobjekt Os2 ist ebenfalls ein

Vorfahrt-gewähren-Schild in einer 2D-Ansicht. Das erste Sensorobjekt Osi und das zweite Sensorobjekt Os2 sind von unterschiedlicher Größe, da das erste Fahrzeug und das zweite Fahrzeug die jeweiligen Sensorobjekte Osi, Os2 von unterschiedlichen Fahrzeugpositionen aus aufgenommen haben.

Aus der Verkehrskarte wird nun jeweils eine Fahrzeugansichtskarte KA generiert, abhängig von der jeweiligen Fahrzeugposition des ersten Fahrzeugs und des zweiten Fahrzeugs. In der jeweiligen Fahrzeugansichtskarte KA wird das Ausgangsmodel MA in eine Fahrzeugansicht übertragen. Auf diese Weise wird basierend auf der jeweiligen Fahrzeugposition das Ausgangsmodel MA ZU einem ersten fahrzeugzentrischen Model MFI und einem zweiten fahrzeugzentrischen Model MF2 transformiert. Das erste fahrzeugzentrische Model MFI ist somit eine 2D Ansicht des Ausgangsmodels MA, wie es von dem ersten Fahrzeug gesehen würde, und das zweite fahrzeugzentrische Model MF2 ist somit eine 2D Ansicht des Ausgangsmodels MA, wie es von dem zweiten Fahrzeug gesehen würde.

Basierend auf einem Classifier, der mit Sensordaten und Fahrzeugansichtskarten einer Vielzahl von Fahrzeugen trainiert wurde, wird folglich das erste Sensorobjekt Osi mit dem ersten fahrzeugzentrischen Model MFI verglichen und das zweite Sensorobjekt Os2 mit dem zweiten fahrzeugzentrischen Model MF2 verglichen.

Offensichtlich wurde das in der Verkehrskarte eingezeichnete Stoppschild durch ein Vorfahrt-gewähren-Schild ausgetauscht. Diese Änderung kann nun detektiert werden und eine Änderungsindikator I und eine Änderungsposition P bestimmt werden.

Basierend darauf wird die Verkehrskarte angepasst. Hierfür muss aus dem ersten Sensorobjekt Osi und der Fahrzeugposition des ersten Fahrzeugs und dem zweiten Sensorobjekt Os2 und der Fahrzeugposition des zweiten Fahrzeugs ein rekonstruiertes Model MR rekonstruiert werden. In anderen Worten wird aus dem ersten Sensorobjekt Osi und dem zweiten Sensorobjekt Os2 ein 3D-Modell bestimmt, das die jeweiligen Fahrzeugpositionen beachtet. Das rekonstruierte Model MR stellt somit ein 3D-Model des neuen Vorfahrt-gewahren Schilds dar. Die Verkehrskarte kann somit basierend auf dem bestimmten rekonstruierten Model MR an der bestimmen Änderungsposition P angepasst werden.

Auf diese Weise kann basierend auf dem trainierten Classifier eine Änderung eines Objekts im realen Leben im Vergleich zu dem Objekt in einer Verkehrskarte detektiert werden. Zudem kann die Verkehrskarte verbessert angepasst werden.

Fig. 3 zeigt eine schematische Darstellung des Trainings des Classifiers mit einer Fahrzeugposition. Als Eingang IN werden verschiedene Bilder, insbesondere aus künstlichen Daten, gewählt. In diesem Fall wird eine Straße aus einer ersten Ansicht A1 , einer zweiten Ansicht A2 und einer dritten Ansicht A3 verwendet. Die Straße wird in der ersten Ansicht A1 von einem Fahrzeug gesehen, das zentral in der Verkehrskarte angeordnet ist. In der zweiten Ansicht A2 wird die Straße von einem Fahrzeug gesehen, das am rechten Rand der Verkehrskarte angeordnet ist. Deshalb ist die Straße in der zweiten Ansicht A2 im Vergleich zu der Straße in der ersten Ansicht A1 nach links verschoben. Demgegenüber wird in der dritten Ansicht A3 die Straße von einem Fahrzeug gesehen, das am linken Rand der Verkehrskarte angeordnet ist. Deshalb ist die Straße in der dritten Ansicht A3 im Vergleich zu der Straße in der ersten Ansicht A1 nach rechts verschoben.

Die erste Ansicht A1 wird in eine erste Projektion P1 projiziert, die zweite Ansicht A2 wird in eine zweite Projektion P2 projiziert und die dritte Ansicht A3 wird in eine dritte Projektion P3 projiziert. Jede der Projektionen projiziert die jeweilige Ansicht in eine zentrale Ansicht. Als Ausgang OUT wird anschließend ein Versatz ausgegeben, der angibt, wie weit die Straße im Zuge der Projektion verschoben wurde.

Folglich ergibt sich zu der ersten Projektion P1 ein leerer Ausgang, da kein Versatz beim Projizieren angefallen ist. Zu der zweiten Projektion P2 ergibt sich ein erster Versatz D1 in Form eines Vektors, der angibt, dass im Zuge der Projektion die Straße nach rechts um den ersten Versatz D1 verschoben wurde. Zu der dritten Projektion P3 ergibt sich ein zweiter Versatz D2 in Form eines Vektors, der angibt, dass im Zuge der Projektion die Straße nach links um den zweiten Versatz D2 verschoben wurde. Fig. 4 zeigt eine schematische Darstellung des Trainings des Classifiers mit einer Fahrzeugposition wie in Fig. 3 gezeigt. Im Unterschied zu Fig. 3 weisen die jeweiligen Projektionen P1, P2, P3 zusätzlich eine Änderung C auf. In diesem Fall handelt es sich bei der Änderung C um ein Verkehrsschild am Rand der Straße. Dementsprechend umfasst der Ausgang OUT ebenfalls die jeweilige Änderung C, die detektiert wird und deren Position für die Projektion angepasst wird.

Der Classifier wird somit mit der Fahrzeugposition und den Sensordaten derart trainiert, dass eine Verkehrskartenänderung verbessert detektiert werden kann.

Fig. 5 zeigt ein Verfahren zum Detektieren einer Verkehrskartenänderung, umfassend folgende Schritte. In einem ersten Schritt S10 wird eine Fahrzeugposition eines Fahrzeugs innerhalb der Verkehrskarte durch das Fahrzeug bestimmt. In einem zweiten Schritt S20 wird eine Fahrzeugansichtskarte KA abhängig von der bestimmten Fahrzeugposition und der Verkehrskarte bestimmt, wobei die Fahrzeugansichtskarte KA eine fahrzeugzentrische Ansicht der Verkehrskarte umfasst. In einem dritten Schritt S30 werden Änderungsdaten durch Vergleichen von Sensordaten Ds des Fahrzeugs und der Fahrzeugansichtskarte KA abhängig von mindestens einem trainierten Classifier durch eine Machine-Learning-Einheit 10 bestimmt, wobei der mindestens eine Classifier mit den Sensordaten Ds und der Fahrzeugansichtskarte KA trainiert wird und wobei die Änderungsdaten einen Änderungsindikator I umfassen, der angibt, ob durch den Vergleich eine Änderung zu der Verkehrskarte detektiert wurde, und eine Änderungsposition P umfassen, die angibt, wo die Änderung auf der Verkehrskarte detektiert wurde.