Verfahren und Vorrichtung zum Bestimmen einer Eigenposition eines Fahrzeugs

Die vorliegende Erfindung betrifft ein Verfahren zum Bestimmen einer Eigenposition eines Fahrzeugs durch Erfassen einer Landmarke und eines Datensatzes betreffend eine Erfassungsposition des Fahrzeugs, Zuordnen der erfassten Landmarke zu einer Kartenmarke einer Karte und Gewinnen der Eigenposition aus dem Datensatz betreffend die Erfassungsposition und einer kartierten Position der Kartenmarke. Darüber hinaus betrifft die vorliegende Erfindung eine entsprechende Vorrichtung zum Bestimmen einer Eigenposition sowie ein korrespondierendes Fahrzeug mit einer solchen Vorrichtung. Im vorliegenden Dokument wird das Wort Position auch stellvertretend für das Wort Pose, d.h. Position und Orientierung, verwendet.

Kraftfahrzeuge und insbesondere autonom fahrende Kraftfahrzeuge besitzen eine Vielzahl an Sensoren, um ihre Umgebung wahrzunehmen. In der Regel sind in den Kraftfahrzeugen jeweils eine oder mehrere Kameras und gegebenenfalls auch Ultraschallsensoren, Radarsensoren und dergleichen eingesetzt. Speziell sollen die Kameras dazu genutzt werden, natürliche Landmarken wie Poller und Bodenmarkierungen zu extrahieren. Dazu werden die aufgenommenen Bilder meist mit externen 3D-Karten abgeglichen, womit die Eigenposition des Fahrzeugs bestimmt werden kann.

Die Detektion von Objekten aus Kamerabildern geschieht traditionell mit Methoden des maschinellen Lernens. Insbesondere wurden sogenannte „Deep-Learning-Verfahren“ in den letzten Jahren zum Stand der Technik. Diese Verfahren können entweder Objekte anhand von umschreibenden Rechtecken (Bounding Boxes) aus dem Bild extrahieren oder für jedes Pixel des Bildes eine Zuordnung zu einer semantischen Klasse bestimmen (semantische Segmentierung). Obwohl diese Verfahren sehr leistungsfähig sind, haben sie einige strukturelle Nachteile.

Einer dieser Nachteile ist, dass sie einen hohen Annotationsaufwand erfordern, da eine große Menge von Beispielen für die jeweiligen Klassen durch menschliche Bediener manuell markiert werden müssen, um die entsprechenden Netze zu trainieren. Insbesondere sind neue manuelle Annotationen erforderlich, wenn eine neue Kamerageneration mit stark unterschiedlichen Abbildungseigenschaften eingeführt wird oder das Verfahren in einem bislang unbekannten Szenario verwendet werden soll (z.B. Übergang von Parkhaus auf Open Sky Parking, Asphaltboden zu gepflastertem Boden et cetera). Ein weiterer Nachteil ist, dass im Fahrzeug für solche Verfahren leistungsfähige Grafikkarten benötigt werden, um sie überhaupt anwenden zu können. Nachteilig ist aber auch, dass gerade die Bounding- Box-Verfahren keinen präzisen Haltepunkt der Objekte zur Verfügung stellen, der zur geometrischen Lokalisierung benötigt wird. Außerdem stellen die Verfahren neben den reinen Objektdetektionen keine weiteren Beschreibungen zur Verfügung, die geeignet sind, um Mehrdeutigkeiten bei den Zuordnungen zur 3D-Karte zu reduzieren.

Die Druckschrift US 2016/0305794 A1 offenbart ein System zur Schätzung der Fahrzeugposition, das eine Position eines Fahrzeugs unter Verwendung einer Landmarke schätzt. Eine an Bord eines Fahrzeugs installierte Steuervorrichtung erfasst Landmarkeninformationen einschließlich Positionsinformationen einer Landmarke, die auf einer Straße erkannt werden kann, auf der sich das Fahrzeug voraussichtlich befindet. Die fahrzeugseitige Steuervorrichtung wertet die Erkennungsergebnisse der Landmarke als Erkennungsgegenstand aus und überträgt die Erkennungsergebnisse an den Server mit dem von der Kamera erkannten Landmarkenbild. Der Server fasst die Ergebnisse der Erkennungsauswertung der Landmarke und die von der Kamera empfangenen, erkannten Bilder zusammen und spiegelt sie in Erkennungsbewertungen für die Landmarkeninformationen wider, die an das bordseitige Steuergerät übertragen werden.

Des Weiteren sind aus der Druckschrift US 2019/0226853 A1 ein Verfahren und ein System zur Klassifizierung von Datenpunkten einer Punktewolke bekannt, die die Umgebung eines Fahrzeugs anzeigt. Dabei werden Merkmale einer digitalen Karte, die sich auf eine angenommene aktuelle Position des Fahrzeugs beziehen, verwendet. Derartige Verfahren und Systeme können verwendet werden, um Straßenakteure, wie z.B. andere Fahrzeuge, in der Umgebung eines Fahrzeugs zu erkennen. Vorzugsweise kann das Verfahren beziehungsweise System bei hoch- und vollautomatisierten Fahranwendungen genutzt werden.

Die Aufgabe der vorliegenden Erfindung besteht darin, ein Verfahren und eine Vorrichtung vorzustellen, mit denen verschiedene Arten von Objekten aus Sensorbildern (insbesondere Kamerabildern) extrahiert werden können, um damit die Eigenposition feststellen zu können.

Erfindungsgemäß wird diese Aufgabe gelöst durch ein Verfahren und eine Vorrichtung gemäß den unabhängigen Ansprüchen. Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen. Entsprechend der vorliegenden Erfindung wird demnach ein Verfahren zum Bestimmen einer Eigenposition eines Fahrzeugs bereitgestellt. Bei dem Fahrzeug handelt es sich vorzugsweise um ein Kraftfahrzeug, aber es kann sich prinzipiell um jede Art von Fahrzeug handeln, das sich in einer Umgebung bewegt und gegebenenfalls orientieren muss. Dazu erfolgt ein Erfassen einer Landmarke und eines Datensatzes betreffend eine Erfassungsposition des Fahrzeugs. Das Erfassen der Landmarke erfolgt beispielsweise durch eine Kamera, die ein entsprechendes Bild der Landmarke erzeugt. Gegebenenfalls wird die Landmarke auch in einer Folge von mehreren Bildern erfasst. Die Erfassung kann aber auch mit einer anderen Sensorik erfolgen, die beispielsweise auf Ultraschall, Radar oder Lasertechnik basiert. Außerdem wird ein Datensatz erfasst, der eine Erfassungsposition des Fahrzeugs betrifft. Dieser Datensatz kann beispielsweise Odometriedaten und eine relative Position des Fahrzeugs gegenüber der Landmarke umfassen. Gegebenenfalls kann der Datensatz aber auch grobe absolute Positionierungsdaten (z.B. GPS-Daten) umfassen. Anschließend erfolgt ein Zuordnen der erfassten Landmarke zu einer Kartenmarke einer Karte. Bei der Karte handelt es sich vorzugsweise um eine digitale 3D-Karte, in der Landmarken mehr oder weniger detailliert eingetragen sind. Die in der Karte eingetragenen Landmarken werden im vorliegenden Dokument als Kartenmarken bezeichnet im Gegensatz zu den realen Landmarken. Schließlich erfolgt ein Gewinnen der Eigenposition des Fahrzeugs aus dem Datensatz betreffend die Erfassungsposition und einer kartierten Position der Kartenmarke. Da die exakte Position der Landmarke durch die korrespondierende Kartenmarke bekannt ist, kann aufgrund des Datensatzes, der die Erfassungsposition des Fahrzeugs beim Erfassen der Landmarke direkt oder indirekt enthält, auf die absolute Erfassungsposition, d.h. die Eigenposition des Fahrzeugs, geschlossen werden.

Das Erfassen der Landmarke umfasst eine Extraktion von mindestens zwei Linien eines Rohbilds der Landmarke. Das Rohbild der Landmarke ist beispielsweise ein Pixelbild, das mit einer entsprechenden Sensorik (z.B. Kamera) des Fahrzeugs gewonnen wird. Bei dem Rohbild kann es sich aber auch um ein vorverarbeitetes Bild der Sensorik handeln. Aus dem Rohbild werden mittels Linienextraktion mindestens zwei Linien extrahiert. Diese Extraktion findet im Rahmen der Erfassung der Landmarke statt. Grundsätzlich können natürlich auch mehr als zwei Linien für eine Landmarke erfasst werden. Oft ist es notwendig, eine Vielzahl von Linien zu extrahieren, um einen bestimmten Typ von Landmarke erkennen zu können.

Erfindungsgemäß wird jeder Linie eine Richtung zugewiesen. Dadurch entsteht ein Vektor, der nicht nur den Verlauf der Linie wiedergibt, sondern anhand seiner Richtung eine zusätzliche Information tragen kann. Um nun ressourcenschonend eine Landmarke zu erfassen, wird für jede Linie ein Deskriptor erzeugt. Der Deskriptor enthält eine Information darüber, welcher Farbübergang oder Helligkeitsübergang senkrecht zu der betreffenden Linie in Bezug auf die jeweilige Richtung vorliegt. Wird beispielsweise eine Linie entlang der zugewiesenen Richtung betrachtet, so kann die Linie in dem Rohbild einen Hell-Dunkel- Übergang oder einen Dunkel-Hell-Übergang charakterisieren. Aufgrund der festgelegten Richtung kann damit auch ein Übergang von links nach rechts beziehungsweise rechts nach links berücksichtigt werden. Beispielsweise stellt eine weiße Bodenmarkierung einen weißen Streifen auf dunklem Asphalt dar. Der weiße Streifen besitzt zwei parallele Linien. Den Linien kann eine Richtung zugewiesen werden, z.B. eine Richtung weg von der Kamera. Die eine der beiden Linien stellt in Bezug auf die zugewiesene Richtung einen Dunkel-Hell-Übergang und die andere Linie einen Hell-Dunkel-Übergang dar. Die entsprechende Information bezüglich der Übergänge wird als Deskriptor bezeichnet. Mithilfe der beiden parallelen Linien zusammen mit ihren beiden Deskriptoren (Dunkel-Hell-Übergang und Hell-Dunkel-Übergang) kann in ressourcenschonender Weise auf eine Bodenmarkierung geschlossen werden. Es wird also aus den mindestens zwei Linien und den dazugehörigen Deskriptoren die korrespondierende Landmarke ermittelt.

In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens ist vorgesehen, dass unter Verwendung einer vorgegebenen Kameraintrinsik und Kameraextrinsik jeder Linie eine Lageinformation darüber zugeordnet wird, ob sie hauptsächlich waagrecht oder senkrecht verläuft, und die Lageinformation zum Ermitteln der Landmarke herangezogen wird. Während die extrinsischen Parameter die Lage der Kamera in einem externen Koordinatensystem (z.B. Weltkoordinatensystem) bestimmen, hängen die intrinsischen Parameter nicht von der Position und Orientierung der Kamera ab, sondern beschreiben die interne Geometrie der Kamera (z.B. Brennweite et cetera). Aufgrund dieser Kameraparameter können die erfassten Linien in waagrechte und senkrechte Linien klassifiziert werden. Dabei ist es nicht zwingend, dass Linien exakt waagrecht oder senkrecht verlaufen. Ausschlaggebend kann die Hauptrichtungskomponente der Linie sein, die entweder waagrecht oder senkrecht verläuft. Diese Lageinformation (senkrecht oder waagrecht) wird nun zum Ermitteln der Landmarke herangezogen. So besitzen Bodenmarkierungen meist waagrechte Hauptrichtungskomponenten (abhängig von der Kameraposition) und Poller besitzen üblicherweise senkrechte Linien.

In einer Weiterbildung des Verfahrens kann festgestellt werden, ob die zwei Linien einen Schnittpunkt besitzen, wobei eine diesbezügliche Information zum Ermitteln der Landmarke herangezogen wird. Wenn die beiden Linien keinen Schnittpunkt besitzen, sondern beispielsweise parallel sind, kann es sich um eine geradlinige, streifenförmige Bodenmarkierung oder um einen Poller handeln. Besitzen die beiden Linien hingegen einen Schnittpunkt, so kann es sich spezifisch um eine Ecke einer mittels Bodenmarkierung eingefassten Parkbox handeln. Der Schnittpunkt kann also auf eine sehr spezielle Landmarke, nämlich eine Ecke einer Parkbox, hindeuten. Speziell in einem Parkhaus oder auf einem Parkplatz kann ein solcher Schnittpunkt einen sehr hilfreichen Hinweis für die Orientierung darstellen.

Den zwei Linien, die sich in dem Schnittpunkt schneiden, kann nun ausgehend von dem Schnittpunkt jeweils eine Richtung zugeordnet werden. Dies bedeutet, dass der Schnittpunkt für jede Linie den Anfangspunkt darstellt und das distale Ende jeder Linie den jeweiligen Endpunkt. Mittels des Schnittpunkts ergibt sich dadurch eine eindeutige Richtungszuordnung. Es ergeben sich damit zwei Vektoren, die von dem Schnittpunkt wegweisen. Das Vektorprodukt von beiden Vektoren ergibt einen Produktvektor, der auf beiden Vektoren senkrecht steht. Die Vektoren zusammen mit dem Produktvektor bilden ein Rechtssystem, wodurch sich die Orientierung des Produktvektors eindeutig ergibt. Das Vektorprodukt beziehungsweise die Richtung des Produktvektors kann auf einfache Weise dazu verwendet werden, eine Landmarke näher zu klassifizieren. Beispielsweise besitzt ein linkes Eck einer Parkbox aufgrund seiner Linien mit Schnittpunkt einen nach oben weisenden Produktvektor, während ein rechtes Eck einen nach unten weisenden Produktvektor besitzt. Auf diese Weise können Ecken von Parkboxen einfach unterschieden werden.

Generell kann diese Eigenschaft des Vektorprodukts für rechteckförmige Landmarken genutzt werden. Solche rechteckförmigen Landmarken können auch beispielsweise geringelte Poller sein, für die sich beispielsweise in einem Kamerabild abwechselnd rote und weiße Rechtecke ergeben. Auch diese Konstellation der Rechtecke kann mithilfe der Vektorprodukte einfach analysiert werden. Es werden dafür nämlich mindestens zwei Ecken ermittelt, an denen sich Schnittpunkte von Linien befinden. An einer der mindestens zwei Ecken besitzt das Vektorprodukt eine erste Richtung und an der anderen der mindestens zwei Ecken besitzt das Vektorprodukt eine der ersten Richtung entgegengesetzte zweite Richtung. Dies liegt daran, dass einer der Vektoren an beispielsweise der linken vorderen Ecke der rechteckförmigen Landmarke eine entgegengesetzte Richtung besitzt gegenüber dem entsprechenden Vektor des rechten vorderen Ecks der rechteckförmigen Landmarke. Aufgrund dieser Antiparallelität besitzen die Produktvektoren auch entgegengesetzte Richtungen. In einem weiteren Ausführungsbeispiel kann vorgesehen sein, dass zwei parallele vertikale Linien ermittelt werden, auf der Basis der Deskriptoren der beiden Linien diesen Linien ein Objekt zugeordnet wird, anhand einer Odometrie eine Veränderung eines Abstands der beiden Linien bei einer Fahrt des Fahrzeugs ermittelt wird, anhand der Veränderung auf eine Breite des Objekts geschlossen wird und aufgrund der Breite das Objekt identifiziert wird. Speziell kann dieses Vorgehen für die Identifikation von Pollern nützlich sein. Ein Poller oder ein anderer vertikal ausgerichteter Gegenstand (z.B. Schilderstange) besitzt zwei parallele, vertikale Linien. Die Deskriptoren beschreiben auch hier einen Helligkeits- oder Farbübergang an den Kanten des Objekts. Zur weiteren Eingrenzung muss die tatsächliche Breite des Objekts bestimmt werden. Dies ist beispielsweise durch Odometrie beziehungsweise entsprechende Odometriedaten möglich, indem beobachtet wird, wie sich der Abstand der beiden Linien bei einer Fahrt des Fahrzeugs verändert. Durch die Odometrie ist der Bewegungspfad bekannt, sodass damit auf die Entfernung des Objekts und somit auf den Abstand der beiden Linien geschlossen werden kann. Ist nämlich ein Objekt weiter entfernt, ändert sich bei der Fahrt des Fahrzeugs der Abstand der Linien weniger als bei einem Objekt, das näher am Fahrzeug ist. Da nun aufgrund der Veränderung des Abstands auf die Breite des Objekts geschlossen werden kann, kann das Objekt aufgrund dieser Breite näher identifiziert werden. Wenn also beispielsweise eine Breite von 10 Zentimetern ermittelt wird, kann dieses Objekt als Poller identifiziert werden. Die Stange eines Straßenschilds kann in diesem Fall ausgeschlossen werden.

In einem speziellen Ausführungsbeispiel ist vorgesehen, dass bei dem Erfassen der Landmarke extrahierte Linien in drei Gruppen klassifiziert werden: Senkrechte Linien, nichtsenkrechte Linien unterhalb eines erfassten Horizonts und nicht-senkrechte Linien oberhalb des Horizonts. Eine derartige Klassifikation ist hilfreich für das Identifizieren der erfassten Landmarken. So sind beispielsweise die senkrechten Linien Kandidaten für senkrechte Objekte wie Poller. Demgegenüber sind nicht-senkrechte Linien unterhalb des Horizonts Kandidaten für Bodenmarkierungen. Nicht-senkrechte Linien oberhalb des Horizonts können in der Regel verworfen werden.

Bei einem weiteren Ausführungsbeispiel werden bei dem Erfassen der Landmarke extrahierte Linien, die Endpunkte in einem vorgegebenen Höchstabstand besitzen, unter Verwendung einer vorgegebenen Kameraintrinsik und Kameraextrinsik gruppiert, und die Gruppierung wird zum Ermitteln der Landmarke herangezogen. So können beispielsweise Linienpaare mit unmittelbar benachbarten Endpunkten Segmente einer gemeinsamen 3D- Geraden darstellen. Andere Linienpaare hingegen, die ebenfalls Endpunkte in unmittelbarer Nachbarschaft beziehungsweise mit vorgegebenem Höchstabstand besitzen, können Schnittpunkte aufweisen. Ein solches Linienpaar mit Schnittpunkt kann dann beispielsweise zur Identifikation eines Ecks einer rechteckförmigen Landmarke (z.B. Parkbox) dienen. Eine derartige Gruppierung von Linien mit benachbarten Endpunkten kann also zur weiteren Identifikation der Landmarken herangezogen werden.

Die oben genannte Aufgabe wird erfindungsgemäße auch gelöst durch eine Vorrichtung zum Bestimmen einer Eigenposition mit einer Erfassungseinrichtung zum Erfassen einer Landmarke und eines Datensatzes betreffend eine Erfassungsposition, einer Zuordnungseinrichtung zum Zuordnen der erfassten Landmarke zu einer Kartenmarke einer Karte und einer Ermittlungseinrichtung zum Gewinnen der Eigenposition aus dem Datensatz betreffend die Erfassungsposition und einer kartierten Position der Kartenmarke, wobei von der Erfassungseinrichtung beim Erfassen der Landmarke mindestens zwei Linien eines Rohbilds der Landmarke extrahierbar sind, von der Erfassungseinrichtung jeder Linie eine Richtung zuweisbar ist, von der Erfassungseinrichtung für jede Linie ein Deskriptor erzeugbar ist, der eine Information darüber enthält, welcher Farbübergang oder Helligkeitsübergang senkrecht zu der betreffenden Linie in Bezug auf die jeweilige Richtung vorliegt, von der Erfassungseinrichtung aus den mindestens zwei Linien und den dazugehörigen Deskriptoren die Landmarke ermittelbar ist.

Zu der Erfindung gehören auch Weiterbildungen der erfindungsgemäßen Vorrichtung, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen der erfindungsgemäßen Vorrichtung hier nicht noch einmal beschrieben.

Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.

Im Folgenden werden Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

Fig. 1 ein schematisches Blockdiagramm eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens; und Fig. 2 ein Diagramm zur Wirkungsweise der erfindungsgemäßen Landmarkenerkennung am Beispiel von Bodenmarkierungen; und

Fig. 3 eine schematische Ausführungsform eines Ausführungsbeispiels eines erfindungsgemäßen Fahrzeugs.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsbeispiele der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsbeispiele auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.

In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.

Das Beispiel von Fig. 1 zeigt eine mögliche Ausführungsform eines erfindungsgemäßen Verfahrens mit mehreren Einzelschritten S1 bis S7. In einem ersten Schritt S1 erfolgt das Erfassen eines Rohbilds. Dies kann beispielsweise durch eine Kamera, einen Ultraschallsensor, einen Radarsensor und dergleichen erfolgen. In einem zweiten Schritt S2 werden im Rahmen der Erfassung einer Landmarke mindestens zwei Linien aus dem Rohbild der Landmarke extrahiert. Gegebenenfalls werden auch mehr als zwei Linien extrahiert. Anhand der extrahierten Linien soll ein vorgebbarer Typ einer Landmarke identifiziert werden. Dazu wird in einem Schritt S3 jeder Linie eine Richtung zugewiesen. Die Richtung kann durch einen Anfangspunkt und einen Endpunkt der Linie definiert sein. In einem anschließenden Schritt S4 wird für jede Linie ein Deskriptor erzeugt, der eine Information darüber enthält, welcher Farbübergang oder Helligkeitsübergang senkrecht zu der betreffenden Linie in Bezug auf die jeweilige Richtung vorliegt. Der Deskriptor beinhaltet beispielsweise die Information über einen Hell-Dunkel-Übergang. Hierzu ist auch die Information notwendig, an welcher Seite der Linie der dunkle Bereich und auf welcher Seite der helle Bereich liegt. Daher wird auf die zugewiesene Richtung der Linie Bezug genommen. Durch die Richtung kann eindeutig definiert werden, auf welcher Seite der helle Bereich und der dunkle Bereich liegen (z.B. links oder rechts). In einem weiteren Schritt S5 wird aus den mindestens zwei Linien und den dazugehörigen Deskriptoren die Landmarke ermittelt. Die Linien und die Deskriptoren, die in Bezug auf die Linienrichtung eine Farbinformation beziehungsweise eine Helligkeitsinformation senkrecht zur Linie tragen, ermöglichen im einfachsten Fall die Zuordnung zu einer Landmarke. Falls weitere Informationen zur Verfügung stehen, können auch diese genutzt werden, um eine Landmarke näher zu identifizieren.

Falls nun die Landmarke feststeht, kann in einem Schritt S6 ein Zuordnen der erfassten Landmarke zu einer Kartenmarke einer Karte erfolgen. Im einfachsten Fall befindet sich auf der Karte nur genau eine Kartenmarke, die der erfassten Landmarke entspricht. Damit ist unmittelbar eine eindeutige Zuordnung möglich. Falls die Karte jedoch mehrere Kartenmarken aufweist, die der erfassten realen Landmarke entsprechen könnten, sind gegebenenfalls zusätzliche Informationen beispielsweise über die Odometrie oder andere Positionierungssysteme notwendig. In diesem Fall müssen also Informationen bezüglich der Erfassungsposition oder -pose des Fahrzeugs gewonnen werden. Diese lassen sich in einem entsprechenden Datensatz zusammenfassen. Dabei enthält der Datensatz beispielsweise auch eine Information über die relative Position oder Pose des Fahrzeugs zu der Landmarke. Anhand des Datensatzes betreffend die Erfassungsposition und der kartierten Position der Kartenmarke kann nun gemäß Schritt S7 die Eigenposition des Fahrzeugs gewonnen werden. Da beispielsweise die absolute Position der Kartenmarke und die relative Position des Fahrzeugs beim Erfassen der Landmarke bekannt sind, kann daraus die Eigenposition des Fahrzeugs beim Erfassen der Landmarke ermittelt werden.

Nachfolgend wird ein Ausführungsbeispiel mit mehreren optionalen Verfahrensstufen vorgestellt, bei dem ressourcensparend verschiedene Arten von Objekten aus Kamerabildern extrahiert werden können.

Zunächst kann in einem ersten Schritt eine Linienextraktion erfolgen, bei der beispielsweise Linien beziehungsweise Liniensegmente aus einem Grauwert-Kamerabild mithilfe eines Standard-Liniendetektors (z.B. das LSD-Verfahren; Line Segment Detector) erfolgen. Dabei kann jedes Segment durch einen Anfangs- und Endpunkt im Bild repräsentiert werden, wobei die Reihenfolge von Anfangs- und Endpunkt verwendet wird, um der Linie eine Richtung zuzuweisen, anhand der ein Hell-Dunkel-Übergang senkrecht zur Linie codiert werden kann.

In einer optionalen zweiten Stufe des Verfahrens kann eine Linien-Grobklassifikation stattfinden. Dabei können unter Verwendung einer vorgegebenen Kameraintrinsik und - extrinsik die extrahierten Linien beispielsweise in drei Gruppen aufgeteilt werden: Potentiell senkrechte Linien (d.h. Linien, die in einer Ebene liegen, die senkrecht zur Bodenebene steht und durch das Kamerazentrum verläuft). Diese Linien sind Kandidaten für senkrechte Objekte wie Poller.

Nicht-senkrechte Linien unterhalb des Horizonts. Diese Linien sind Kandidaten für Bodenmarkierungen.

Nicht-senkrechte Linien oberhalb des Horizonts. Diese Linien können verworfen werden.

In einer optionalen nächsten Stufe können Gruppierungen und gegebenenfalls Schnittpunktberechnungen erfolgen. Dazu werden Paare von Linien beziehungsweise Liniensegmenten analysiert, die Endpunkte in unmittelbarer Nachbarschaft haben, d.h. in einem vorgegebenen Höchstabstand. Unter Berücksichtigung der Kameraparameter (Intrinsik und Extrinsik) können diese Paare beispielsweise in zwei Klassen eingeteilt werden:

Linienpaare, die von einer gemeinsamen 3D-Geraden stammen könnten, welche aufgrund beispielsweise der Kameraverzerrung bei der Projektion in mehrere Segmente zerfällt, die dabei nicht auf einer Geraden liegen (Diese Linienpaare könnten eventuell verworfen werden).

Linienpaare, bei denen dies nicht der Fall ist. Die Schnittpunkte dieser Linienpaare im Bild werden zur weiteren Verarbeitung gespeichert.

In einer optionalen vierten Stufe des Verfahrens kann eine Extraktion von Bodenmarkierungen erfolgen. Derartige Bodenmarkierungen sind üblicherweise weiße Streifen auf dunklen Asphaltböden. Derartige Bodenmarkierungen sind aufgrund ihrer Geometrie und ihres Kontrasts zuverlässig erkennbar. Daher werden Bodenmarkierungen oft als erste Landmarkentypen aus den Daten extrahiert. Insbesondere handelt es sich dabei um Linien beziehungsweise Segmente unterhalb des Horizonts, die als Deskriptor beziehungsweise Zusatzinformation die Richtung des Hell-Dunkel-Übergangs tragen können.

In einer optionalen fünften Stufe kann die Extraktion von Schnittpunkt-Landmarken erfolgen. Derartige Schnittpunkt-Landmarken sind beispielsweise die Bodenmarkierungen 1 von Parkboxen 2, wie sie beispielhaft in Fig. 2 dargestellt sind. Die eingezeichneten vier Parkboxen 2 sind gegenüber einer Fahrbahn 3 durch einen ersten Markierungsabschnitt 4 getrennt. Die Parkboxen 2 sind durch zweite Markierungsabschnitte 5 wiederum voneinander getrennt. Die zweiten Markierungsabschnitte 5 stehen senkrecht auf dem ersten Markierungsabschnitt 4, sodass sich rechteckförmige Parkboxen 2 ergeben.

Der erste Markierungsabschnitt 4 stößt unmittelbar auf die zweiten Markierungsabschnitte 5. Dadurch, dass die Parkboxen hier dunkel und die Bodenmarkierungen hell sind, kann ein Liniendetektor die Übergänge beziehungsweise Grenzen klar als Linien erkennen.

In Fig. 2 sind zwei erfasste Linien 6 und 7 eingezeichnet. Eine erste Linie 6 befindet sich an dem Dunkel-Hell-Übergang einer Parkbox 2 zu dem ersten Markierungsabschnitt 4. Eine zweite Linie 7 befindet sich auf dem Dunkel-Hell-Übergang zu einem zweiten Markierungsabschnitt 5. Die beiden Linien 6 und 7 schneiden sich in einem Schnittpunkt 8. Ausgehend vom Schnittpunkt 8 wird der Linie 6 eine Richtung im Bild nach rechts und der Linie 7 eine Richtung im Bild nach oben zugewiesen. Vorzugsweise weist die jeweilige Richtung einer Linie von dem Schnittpunkt 8 weg. Anhand solcher Schnittpunkte 8 kann nun eine zweite Klasse von Landmarken identifiziert werden. Die Linien werden ebenfalls mit einem Deskriptor versehen, der die Richtungen enthält, die den Linien definitionsgemäß zugewiesen wurden. Die beiden Linien 6 und 7 zerlegen die Umgebung des Schnittpunkts 8 in zwei Sektoren, einen hellen und einen dunklen Sektor. Die Hauptrichtung des hellen Sektors kann als „weißer Vektor“ ebenfalls dem Deskriptor hinzugefügt werden.

Aus den beiden Vektoren, die durch die Linien 6 und 7 einschließlich ihrer Richtungen definiert sind, lässt sich durch Vektormultiplikation ein dritter Vektor 9 ermitteln. Dieser dritte Vektor 9 steht senkrecht auf den beiden anderen Vektoren, die auf den Linien 6 und 7 basieren. Im vorliegenden Beispiel ragt der dritte Vektor 9 aus der Bildebene heraus. Dadurch, dass er aus der Bildebene herausragt, kennzeichnet er eine linke Ecke einer Parkbox 2. An der rechten Ecke der Parkbox 2 hätte der Vektor, der auf der ersten Linie 6 basierte, eine entgegengesetzte Richtung, weshalb das Vektorprodukt zu einem dritten Vektor führt, der in die Zeichnungsebene hinein weist. Er hat also eine entgegengesetzte Richtung zu dem in Fig. 2 eingezeichneten dritten Vektor 9 der linken Ecke der Parkbox 2. Die linken und rechten Ecken einer Parkbox 2 sind somit einfach anhand des Vektorprodukts zu unterscheiden. Auf diese Weise ergibt sich eine sehr einfache Unterscheidung der Landmarken. Zur Erkennung dieser Ecken als Landmarken ist es auch nicht notwendig, dass eine Linie vollständig erfasst wird. Vielmehr genügt es, wenn von einer Linie nur ein Teil am Schnittpunkt erkannt beziehungsweise erfasst wird. Dies ist insbesondere dann von Vorteil, wenn die Parkboxen durch Kraftfahrzeuge belegt sind. In einer weiteren optionalen Stufe des Verfahrens kann eine Extraktion von linienförmigen Pollern erfolgen. Hierzu können linienförmige Poller als Paare paralleler Linien betrachtet werden. Als Deskriptor dient der Abstand der Linien. Der Abstand der Linien kann beispielsweise dadurch gewonnen werden, dass der Poller während einer Fahrt mehrfach analysiert wird. Auf der Basis von zusätzlichen Odometriedaten, die von der Fahrt resultieren, kann schließlich der tatsächliche Abstand der Linien, d.h. die Dicke des Pollers, ermittelt werden. Somit lässt sich ein Poller beispielsweise von der Stange eines Verkehrsschilds unterscheiden.

In einer weiteren optionalen Stufe des Verfahrens kann die Extraktion von geringelten Pollern erfolgen. Dazu ist es notwendig, dass die geringelten Poller bekannte Farben (z.B. rot/weiß) besitzen. Bei waagrechter Betrachtung stellen die einzelnen Ringe des Pollers Rechtecke dar, die wiederum ähnlich den rechteckförmigen Parkboxen identifiziert werden können. Die Rechtecke werden über die bekannten Kameraparameter zu linearen, vertikalen Objekten verknüpft. Diese Objekte stellen die extrahierten Poller dar. Dabei kann die Anzahl der Ringe und die Breite des Objekts als Deskriptor verwendet werden.

Fig. 3 gibt schematisch ein Fahrzeug (hier ein Kraftfahrzeug) 10 wieder, das eine Vorrichtung zum Bestimmen einer Eigenposition bzw. -pose des Fahrzeugs 10 aufweist. Die Vorrichtung 11 besitzt eine Erfassungseinrichtung 12, die hier symbolisch als Kamera am Seitenspiegel 13 dargestellt ist. Die Erfassungseinrichtung 12 kann aber auch auf anderer Sensorik basieren, wie dies oben bereits erwähnt wurde (zum Beispiel Ultraschall, Radar et cetera). Die Erfassungseinrichtung 12 dient aber auch dazu, einen Datensatz betreffend eine Erfassungsposition des Fahrzeugs zu erfassen. Dies bedeutet, dass die Erfassungseinrichtung 12 in der Lage sein muss, eine Position der Vorrichtung 11 beziehungsweise des Fahrzeugs 10 gegebenenfalls in Bezug auf die Landmarke zu erfassen. Bei dieser Erfassungsposition kann es sich um eine Grobposition beziehungsweise eine geschätzte Position handeln. Vielfach kann nur durch die Grobposition die erfasste Landmarke einer Kartenmarke zugeordnet werden. Gegebenenfalls werden für die Ermittlung der Grobposition Odometrietechniken und/oder andere Positionserfassungstechniken verwendet.

Die Vorrichtung 11 umfasst ferner eine Zuordnungseinrichtung 14 zum Zuordnen der von der Erfassungseinrichtung 12 erfassten Landmarke zu einer Kartenmarke einer Karte. Des Weiteren umfasst die Vorrichtung 11 eine Ermittlungseinrichtung 15 zum Gewinnen der Eigenposition aus dem Datensatz betreffend die Erfassungsposition und einer kartierten Position der Kartenmarke. Die Erfassungseinrichtung 12 ist in der Lage, beim Erfassen der Landmarke zumindest zwei Linien eines Rohbilds der Landmarke zu extrahieren und jeder Linie eine Richtung zuzuweisen. Außerdem ist die Erfassungseinrichtung dazu ausgelegt, für jede Linie einen Deskriptor zu erzeugen, der eine Information darüber enthält, welcher Farbübergang oder Helligkeitsübergang senkrecht zu der betreffenden Linie in Bezug auf die jeweilige Richtung vorliegt. Schließlich kann die Erfassungseinrichtung 12 aus den mindestens zwei Linien und den dazugehörigen Deskriptoren die Landmarke ermitteln.

In vorteilhafter Weise ermöglichen die Erfindung beziehungsweise die Ausführungsbeispiele das Identifizieren von Landmarken aus z.B. Kamerabildern unabhängig von speziellen Kameramodellen. Daher ist das beschriebene Verfahren auf beliebige Kameramodelle mit bekannten Parametern übertragbar. Außerdem ist das Detektionsverfahren der Landmarken weitgehend unabhängig von Beleuchtungs- und Witterungsbedingungen sowie der Art der betrachteten Szene. Das Verfahren kann zudem ohne manuellen Annotationsaufwand implementiert werden sowie ohne Grafikkarten und mit moderatem CPU-Aufwand. Ferner werden Deskriptoren zur Verfügung gestellt, die einen Abgleich mit einer 3D-Karte ermöglichen. Die 3D-Karte sollte dabei die gleichen Arten von Landmarken enthalten, wie sie aus den Bildern detektiert werden. Die 3D-Karte muss aber nicht notwendigerweise mit Informationen eines Kamerabilds generiert werden.

In einem bevorzugten Ausführungsbeispiel wird ein fest mit einem Fahrzeug verbautes Kamerasystem mit bekannter Intrinsik und Extrinsik verwendet. Ein im Fahrzeug integrierter Rechner kann Module aufweisen, die die Landmarkendetektion aus den Kamerabildern durchführt. Ein Lokalisierungsmodul des Rechners kann schließlich die extrahierten Landmarken mit der 3D-Karte abgleichen und daraus die Position oder auch die Pose des Fahrzeugs bestimmen.

Bezugszeichenliste

Bodenmarkierung

Parkbox

Fahrbahn erster Markierungsabschnitt zweiter Markierungsabschnitt erste Linie zweite Linie

Schnittpunkt dritter Vektor

Kraftfahrzeug

Vorrichtung zum Bestimmen einer Eigenposition

Erfassungseinrichtung

Außenspiegel

Zuordnungseinrichtung

Ermittlungseinrichtung

Verfahrensschritte