Die vorliegende Erfindung betrifft ein Verfahren zur Objektverfolgung, wobei mittels wenigstens einer Recheneinheit ein erster Zustand eines zu verfolgenden Objekts anhand eines vorgegebenen Bewegungsmodells für das zu verfolgende Objekt geschätzt wird, wobei der erste Zustand eine erste Bewegungsrichtung eines zu verfolgenden Punkts beinhaltet, dessen Position bezüglich des zu verfolgenden Objekts vorgegeben ist und mittels eines Umfeldsensorsystems Umfeldsensordaten erzeugt werden, welche das zu verfolgende Objekt darstellen. Die Erfindung betrifft außerdem ein Verfahren zum wenigstens teilweise automatischen Führen eines Ego-Fahrzeugs, ein elektrisches Fahrzeugführungssystem und ein Computerprogrammprodukt.

Beim automatischen oder teilweise automatischen Führen eines Ego-Fahrzeugs, also beispielsweise im Kontext von Fahrerassistenzsystemen oder autonomen beziehungsweise teilautonomen Fahrfunktionen, ist die Objektverfolgung aus Sicht des Ego-Fahrzeugs, wobei es sich bei dem Objekt beispielsweise um weitere Verkehrsteilnehmer oder weitere Fahrzeuge in der Umgebung des Ego-Fahrzeugs handelt, eine zentrale Aufgabe, um eine sichere und zuverlässige automatische oder teilweise automatische Fahrt oder Fahrerunterstützung gewährleisten zu können. Um zukünftige Zustände des zu verfolgenden Objekts abzuschätzen, werden beispielsweise iterative Verfahren verwendet, die bekannte Bewegungsmodelle voraussetzen, welche das dynamische Verhalten des zu verfolgenden Objekts näherungsweise beschreiben, eingesetzt. Ein mögliches und weit verbreitetes Bewegungsmodell ist das sogenannte Einspurmodell.

In der Veröffentlichung R. Schubert et.al.: „Comparison and evaluation of advanced motion models for vehicle tracking“, 2008, 11 th International Conference on Information Fusion, 2008, pp. 1-6, werden verschiedene weitere Bewegungsmodelle, die sich zur Objektverfolgung im Automobilkontext eignen, vorgestellt und verglichen.

Zur Zustandsvorhersage und Verifizierung beziehungsweise Verfeinerung werden beispielsweise Kalman-Filterverfahren oder Derivate davon, beispielsweise ein erweitertes Kalman-Filterverfahren, ein Unscented Kalman-Filterverfahren und so weiter verwendet. Es ist eine Aufgabe der vorliegenden Erfindung, die Genauigkeit der Objektverfolgung basierend auf einem Bewegungsmodell, insbesondere der Verfolgung externer Fahrzeuge aus Sicht eines Ego-Fahrzeugs basierend auf einem Bewegungsmodell, zu erhöhen.

Diese Aufgabe wird gelöst durch den jeweiligen Gegenstand der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.

Die Erfindung beruht auf der Idee, einen Punkt des zu verfolgenden Objekts, der anhand des Bewegungsmodells verfolgt wird beziehungsweise dessen Zustand anhand des Bewegungsmodells geschätzt wird, zu verschieben, sodass die resultierende Bewegungsrichtung des verschobenen Punkts besser mit einer geometrischen Orientierung des zu verfolgenden Objekts, wie es anhand von Umfeldsensordaten gegeben ist, übereinstimmt.

Gemäß einem Aspekt der Erfindung wird ein Verfahren zur Objektverfolgung angegeben. Dabei wird mittels wenigstens einer Recheneinheit, insbesondere eines Ego-Fahrzeugs, ein erster Zustand eines zu verfolgenden Objekts, das sich insbesondere in einer Umgebung des Ego-Fahrzeugs befindet, anhand eines vorgegebenen Bewegungsmodells für das zu verfolgende Objekt geschätzt. Der erste Zustand beinhaltet dabei eine erste Bewegungsrichtung eines zu verfolgenden Punkts. Mittels eines Umfeldsensorsystems, insbesondere des Ego-Fahrzeugs, werden Umfeldsensordaten erzeugt, welche das zu verfolgende Objekt darstellen. Mittels der wenigstens einen Recheneinheit wird basierend auf den Umfeldsensordaten eine geometrische Orientierung des zu verfolgenden Objekts bestimmt. Der zu verfolgende Punkt wird mittels der wenigstens einen Recheneinheit abhängig von einer ersten Abweichung der geometrischen Orientierung von der ersten Bewegungsrichtung verschoben. Mittels der wenigstens einen Recheneinheit wird ein zweiter Zustand des zu verfolgenden Objekts abhängig von dem ersten Zustand und dem verschobenen Punkt bestimmt.

Der zu verfolgende Punkt weist eine vordefinierte Position bezüglich des zu verfolgenden Objekts auf. Der zu verfolgende Punkt kann dabei auf oder in dem Objekt liegen, kann jedoch auch außerhalb des Objekts liegen. Es handelt sich also insbesondere um einen virtuellen Punkt, der anhand des Bewegungsmodells verfolgt wird. Der Zustand, insbesondere der erste und der zweite Zustand, des zu verfolgenden Objekts beinhaltet die entsprechende Bewegungsrichtung des zu verfolgenden Objekts und gegebenenfalls weitere Modellparameter, beispielsweise eine Geschwindigkeit, Beschleunigung und/oder Position des zu verfolgenden Punkts und so weiter. Gemäß dem Bewegungsmodell entspricht die Bewegungsrichtung des Zustands, also insbesondere des ersten Zustands, der Bewegungsrichtung des zu verfolgenden Punkts. Im Rahmen des erfindungsgemäßen Verfahrens wird dieser Punkt jedoch in den verschobenen Punkt überführt, sodass der zweite Zustand anstelle der Bewegungsrichtung des zu verfolgenden Punkts beispielsweise die Bewegungsrichtung des verschobenen Punkts beinhaltet.

Die Bewegungsrichtung des zu verfolgenden Objekts stellt einen besonders gut geeigneten Modellparameter dar. Die Bewegungsrichtung kann einerseits im Rahmen des Bewegungsmodells geschätzt werden und andererseits anhand des Umfeldsensorsystems des Ego-Fahrzeugs, beispielsweise anhand von Kameras, Lidarsystemen oder Radarsystemen, direkt oder indirekt gemessen werden. Hierzu können insbesondere Computer-Vision-Algorithmen oder sonstige Algorithmen zur automatisierten Wahrnehmung eingesetzt werden, um ausgehend von den Umfeldsensordaten entsprechende Messwerte für die Bewegungsrichtung zu erhalten.

Im Allgemeinen setzt sich die Bewegung des zu verfolgenden Punktes aus der Translationsbewegung und einer Rotationsbewegung zusammen. Die erste Bewegungsrichtung kann insbesondere als Bewegungsrichtung der Translationsbewegung des zu verfolgenden Punktes verstanden werden.

Die erste Bewegungsrichtung und die geometrische Orientierung können beispielsweise durch entsprechende Winkel in einem bekannten Koordinatensystem gegeben sein. Die erste Abweichung entspricht daher insbesondere einer Winkeldifferenz oder einem Absolutwert der entsprechenden Winkeldifferenz.

Die geometrische Orientierung des zu verfolgenden Objekts kann beispielsweise durch eine bezüglich des zu verfolgenden Objekts fest vorgegebene konstante Richtung gegeben sein. Die geometrische Orientierung eines Fahrzeugs kann beispielsweise durch dessen Längsachse beziehungsweise die Richtung der Längsachse gegeben sein. Diese kann beispielsweise wenigstens näherungsweise durch die Ausrichtung oder Orientierung einer Begrenzungsfigur, auch als Begrenzungsbox (englisch: „Bounding Box“) bezeichnet, bestimmt werden, welche die wenigstens eine Recheneinheit basierend auf den Umfeldsensordaten bestimmen kann. Die Begrenzungsfigur kann beispielsweise einem Rechteck oder einem Quader entsprechen, welches das zu verfolgende Objekt in der Darstellung durch die Umfeldsensordaten, also beispielsweise in einem entsprechenden Kamerabild oder in einer entsprechenden Lidar- oder Radarpunktwolke, einschließt.

Betrachtet man verschiedene Punkt auf dem zu verfolgenden Objekt oder mit einer vordefinierten Lage zu dem zu verfolgenden Objekt, so ist die Bewegungsrichtung der Punkte bei einer allgemeinen Bewegung des zu verfolgenden Objekts im Allgemeinen unterschiedlich. Dementsprechend weicht die Bewegungsrichtung des zu verfolgenden Punkts im Allgemeinen von der geometrischen Orientierung ab, sodass die erste Abweichung im Allgemeinen von null verschieden ist.

Durch die Berücksichtigung der ersten Abweichung zur Bestimmung des zweiten Zustands des zu verfolgenden Objekts kann daher eine genauere und zuverlässigere Schätzung weiterer Zustände des zu verfolgenden Objekts ermöglicht werden. Dazu kann die Verschiebung des zu verfolgenden Punkts, um den verschobenen Punkt zu erhalten, beispielsweise umso größer sein, je größer die erste Abweichung ist.

Die Schätzung des ersten Zustands kann beispielsweise anhand eines Kalman- Filteralgorithmus oder basierend auf einem anderen mathematischen Schätzalgorithmus, insbesondere einem iterativen Schätzalgorithmus, erfolgen. Solche Verfahren beinhalten es in der Regel, einen Zustand des zu verfolgenden Objekts zu schätzen, insbesondere basierend auf dem Bewegungsmodell, und den geschätzten Zustand unter Berücksichtigung von Messwerten, insbesondere der Umfeldsensordaten, zu verfeinern oder zu verbessern. Dadurch kann zum einen das Bewegungsmodell zugrunde gelegt werden, es können aber auch entsprechende tatsächliche Messwerte erfasst werden, um Abweichungen vom idealen oder erwarteten Verhalten zu berücksichtigen. Im Kontext der Erfindung kann dann der erste Zustand beispielsweise dem anhand des Bewegungsmodells geschätzten Zustand entsprechen und der zweite Zustand dem anhand der Umfeldsensordaten verbesserten oder verfeinerten Zustand. Der erste und der zweite Zustand beziehen sich in solchen Fällen insbesondere auf denselben Zeitabschnitt beziehungsweise denselben Iterationsschritt.

Erfindungsgemäß wird nun der Verfeinerungsschritt, also der Schritt zum Bestimmen des zweiten Zustands des zu verfolgenden Objekts, nicht basierend auf dem zu verfolgenden Punkt, dessen Bewegungsrichtung als erste Bewegungsrichtung und Teil des ersten Zustands geschätzt wurde, durchgeführt, sondern basierend auf dem verschobenen Punkt. Durch die Berücksichtigung der Abweichung der ersten Bewegungsrichtung von der geometrischen Orientierung kann insbesondere eine zweite Abweichung der Bewegungsrichtung des verschobenen Punkts von der geometrischen Orientierung kleiner sein als die erste Abweichung oder im Idealfall gleich null sein. Auf diese Weise wird eine bessere Übereinstimmung des verfeinerten Schätzzustands mit dem Bewegungsmodell erreicht. Insgesamt kann so, insbesondere bei wiederholter Ausführung der genannten Verfahrensschritte in iterativer Weise, ein Fehler bei der Objektverfolgung verringert werden und dementsprechend eine Genauigkeit und Zuverlässigkeit der Objektverfolgung erhöht werden. Schlussendlich wird dadurch die Sicherheit einer Fahrerassistenzfunktion oder einer Funktion zum automatischen oder teilweise automatischen Fahren des Ego-Fahrzeugs, das auf der Ausgabe des Objektverfolgungsverfahrens beruht, erhöht.

Die Verbesserung der Genauigkeit durch die Erfindung ist dabei umso größer, je größer die erste Abweichung der ersten Bewegungsrichtung von der geometrischen Orientierung des zu verfolgenden Objekts ist. Daher kann die Verbesserung der Genauigkeit insbesondere umso stärker ausfallen, je größer das Objekt ist.

Je nach Ausführungsform kann das Umfeldsensorsystem eines oder mehrere Teilsysteme beinhalten, beispielsweise eine oder mehrere Kameras, eines oder mehrere Lidarsensorsysteme und/oder eines oder mehrere Radarsensorsysteme. Dementsprechend können die Umfeldsensordaten eines oder mehrere Kamerabilder, eine oder mehrere Lidarpunktwolken und/oder eine oder mehrere Radarpunktwolken beinhalten.

Gemäß zumindest einer Ausführungsform des erfindungsgemäßen Verfahrens zur Objektverfolgung wird, insbesondere mittels der wenigstens einen Recheneinheit, basierend auf dem ersten Zustand ein momentaner Bewegungsradius des zu verfolgenden Punkts bestimmt. Das Verschieben des zu verfolgenden Punkts erfolgt dann abhängig von dem momentanen Bewegungsradius.

Dabei liegen sowohl der zu verfolgende Punkt als auch der verschobene Punkt auf einem Kreisbogen, der dem momentanen Bewegungsradius entspricht. Insbesondere kann die wenigstens eine Recheneinheit einen Kreismittelpunkt des Kreisbogens und den momentanen Bewegungsradius basierend auf dem ersten Zustand bestimmen. Das Verschieben des zu verfolgenden Punkts erfolgt abhängig von der ersten Abweichung und abhängig von dem momentanen Bewegungsradius. Insbesondere erfolgt eine umso stärkere Verschiebung, je größer die erste Abweichung ist und je größer der momentane Bewegungsradius ist. Dadurch kann die Abweichung der geometrischen Orientierung von einer zweiten Bewegungsrichtung des verschobenen Punkts gegenüber der ersten Abweichung der geometrischen Orientierung von der ersten Bewegungsrichtung des zu verfolgenden Punkts wenigstens teilweise kompensiert werden.

Gemäß zumindest einer Ausführungsform enthält der erste Zustand eine Translationsgeschwindigkeit des zu verfolgenden Objekts, insbesondere des zu verfolgenden Punkts und eine Winkelgeschwindigkeit des zu verfolgenden Punkts. Der momentane Bewegungsradius wird, insbesondere mittels der wenigstens einen Recheneinheit, als Verhältnis der Translationsgeschwindigkeit zu der Winkelgeschwindigkeit bestimmt, also als Quotient der Translationsgeschwindigkeit und der Winkelgeschwindigkeit.

Die Translationsgeschwindigkeit ist dabei insbesondere parallel zur ersten Bewegungsrichtung und die Winkelgeschwindigkeit entspricht einer Winkelgeschwindigkeit um den Kreismittelpunkt entsprechend des momentanen Bewegungsradius. Auf diese Weise kann der momentane Bewegungsradius zuverlässig bestimmt beziehungsweise abgeschätzt werden.

Gemäß zumindest einer Ausführungsform erfolgt das Verschieben des zu verfolgenden Punkts entlang eines Kreisbogens, der einem Radius gleich dem momentanen Bewegungsradius aufweist. Mit anderen Worten liegen der zu verfolgende Punkt und der verschobene Punkt auf einem Kreisbogen.

Gemäß zumindest einer Ausführungsform wird die erste Abweichung als erste Winkeldifferenz zwischen der geometrischen Orientierung und der ersten Bewegungsrichtung bestimmt. Das Verschieben erfolgt um einen Kreisbogenabschnitt des Kreisbogens, wobei der Kreisbogenabschnitt eine Länge L aufweist, die gegeben ist durch L = D ^* R, wobei D die erste Winkeldifferenz bezeichnet und R den momentanen Bewegungsradius bezeichnet.

Für kleine erste Winkeldifferenzen kann so eine sehr genaue Verschiebung derart erfolgen, dass die erste Abweichung möglichst kompensiert wird, die zweite Abweichung der zweiten Bewegungsrichtung des verschobenen Punkts zu der geometrischen Orientierung also näherungsweise gleich null ist. So wird eine besonders gute Übereinstimmung mit dem Bewegungsmodell erreicht.

Gemäß zumindest einer Au sfüh rungsform enthält der zweite Zustand die zweite Bewegungsrichtung des verschobenen Punkts. Die zweite Abweichung der geometrischen Orientierung von der zweiten Bewegungsrichtung ist kleiner als die erste Abweichung, insbesondere gleich null oder näherungsweise gleich null.

Gemäß zumindest einer Au sfüh rungsform ist die zweite Bewegungsrichtung gleich der geometrischen Orientierung oder näherungsweise gleich der geometrischen Orientierung.

Mit anderen Worten ist die zweite Abweichung in diesem Fall wenigstens näherungsweise gleich null. So lässt sich eine gute Übereinstimmung mit dem Bewegungsmodell erzielen.

Gemäß zumindest einer Ausführungsform wird basierend auf den Umfeldsensordaten eine Punktwolke erzeugt oder die Umfeldsensordaten beinhalten die Punktwolke. Es wird ein Teil der Punktwolke identifiziert, der das zu verfolgende Objekt darstellt. Eine Begrenzungsfigur wird bestimmt, insbesondere mittels der wenigstens einen Recheneinheit, die den Teil der Punktwolke einschließt, wobei die Begrenzungsfigur eine vordefinierte geometrische Form aufweist. Die geometrische Orientierung des zu verfolgenden Objekts entspricht einer räumlichen Ausrichtung der Begrenzungsfigur.

Durch die Vorgabe der geometrischen Form der Begrenzungsfigur, beispielsweise durch eine entsprechende Symmetrie oder, im Falle eines Polygons, die Anzahl der Seiten, kann die geometrische Orientierung entsprechend der räumlichen Ausrichtung der Begrenzungsfigur eindeutig definiert werden. Insbesondere handelt es sich bei der Begrenzungsfigur um ein Rechteck oder einen Quader. Dabei kann, je nach Ausführungsform, ein Seitenverhältnis des Rechtecks beziehungsweise des Quaders vorgegeben oder variabel sein.

Die Punktwolke entspricht insbesondere einer Lidarpunktwolke oder einer Radarpunktwolke. Die Punktwolke beinhaltet dabei eine Vielzahl von Punkten. Der Teil der Punktwolke, der das zu verfolgende Objekt darstellt, entspricht einer Untermenge der Punktwolke. Das Bestimmen beziehungsweise Identifizieren des Teils der Punktwolke, der das zu verfolgende Objekt darstellt, kann beispielsweise durch Anwendung eines Clusterverfahrens erreicht werden. Solche Ausführungsformen haben den Vorteil, dass entsprechende Begrenzungsfiguren anhand bekannter Methoden bestimmt werden können, sodass die erste Abweichung genau bestimmt und kompensiert werden kann. Insbesondere lässt sich durch die Verwendung einer rechteckigen oder quaderförmigen Begrenzungsfigur ein reproduzierbares und verlässliches Ergebnis der Bestimmung der geometrischen Orientierung erreichen.

Gemäß zumindest einer Ausführungsform wird basierend auf den Umfeldsensordaten ein Kamerabild erzeugt oder die Umfeldsensordaten beinhalten das Kamerabild. Es wird eine Begrenzungsfigur bestimmt, welche die Darstellung des zu verfolgenden Objekts in dem Kamerabild einschließt, wobei die Begrenzungsfigur eine vordefinierte Form hat. Die geometrische Orientierung des zu verfolgenden Objekts entspricht einer räumlichen Ausrichtung der Begrenzungsfigur.

Für die Begrenzungsfigur gilt dabei das oben zur Begrenzungsfigur des Teils der Punktwolke analog. Die Begrenzungsfigur kann in solchen Ausführungsformen beispielsweise anhand eines Objekterkennungsalgorithmus mittels der wenigstens einen Recheneinheit bestimmt werden. Dabei kann es sich beispielsweise um einen auf maschinelles Lernen basierenden Algorithmus handeln, beispielsweise um einen

Algorithmus, der auf einem trainierten künstlichen neuronalen Netzwerk beruht. Hierzu sind zahlreiche Architekturen bekannt, beispielsweise entsprechend dem sogenannten YOLO-Algorithmus. Gemäß zumindest einer Ausführungsform wird zum Bestimmen des zweiten Zustands ein auf einem Kalman-Filter basierendes Verfahren verwendet.

Das auf den Kalman-Filter basierende Verfahren kann beispielsweise einem Kalman- Filterverfahren, einem erweiterten Kalman-Filterverfahren, einem Unscented Kalman- Filterverfahren oder einem sonstigen Derivat des Kalman-Filterverfahrens entsprechen.

In einem Iterationsschritt des Kalman-Filterverfahrens wird dabei zunächst der erste Zustand geschätzt, was auch als Prädiktion bezeichnet wird. Sodann wird beispielsweise ein Kalman-Gain-Faktor oder dergleichen bestimmt und anhand diesem wird die Prädiktion verbessert, insbesondere abhängig von den entsprechenden Messwerten, hier den Umfeldsensordaten, um den zweiten Zustand zu bestimmen, was auch als Verfeinerung oder Refinement bezeichnet werden kann. Erfindungsgemäß erfolgt das Refinement jedoch nicht basierend auf dem ursprünglichen zu verfolgenden Punkt, sondern auf dem verschobenen Punkt. Auf diese Weise können etablierte auf dem Kalman-Filter basierende Verfahren oder dergleichen befähigt werden, eine genauere Objektverfolgung zu erzielen.

Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum wenigstens teilweise automatischen Führen eines Ego-Fahrzeugs, bei dem es sich insbesondere um ein Kraftfahrzeug handelt, angegeben. Mittels des Ego-Fahrzeugs, insbesondere eines elektronischen Fahrzeugführungssystems des Ego-Fahrzeugs, das das Umfeldsensorsystem sowie die wenigstens eine Recheneinheit beinhaltet, wird ein erfindungsgemäßes Verfahren zur Objektverfolgung durchgeführt. Mittels einer Steuereinheit des Ego-Fahrzeugs, insbesondere des elektronischen Fahrzeugführungssystems, beispielsweise der wenigstens einen Recheneinheit, wird abhängig von dem zweiten Zustand des zu verfolgenden Objekts wenigstens ein Steuersignal zum wenigstens teilweise automatischen Führen des Ego-Fahrzeugs erzeugt.

Beispielsweise wird das wenigstens eine Steuersignal wenigstens einem entsprechenden Aktuator des Ego-Fahrzeugs zugeführt, welcher das Ego-Fahrzeug basierend auf dem wenigstens einen Steuersignal dann wenigstens teilweise automatisch führen beziehungsweise die wenigstens teilweise automatische Führung implementieren können. Alternativ oder zusätzlich kann das wenigstens eine Steuersignal auch zur Fahrerassistenz für einen Fahrer des Ego-Fahrzeugs eingesetzt werden.

Gemäß einem weiteren Aspekt der Erfindung wird ein elektronisches Fahrzeugführungssystem für ein Ego-Fahrzeug angegeben. Das elektronische Fahrzeugführungssystem weist wenigstens eine Recheneinheit auf, die dazu eingerichtet ist, einen ersten Zustand eines zu verfolgenden Objekts, insbesondere in der Umgebung des Ego-Fahrzeugs, anhand eines vorgegebenen Bewegungsmodells für das zu verfolgende Objekt zu schätzen, wobei der erste Zustand eine erste Bewegungsrichtung eines zu verfolgenden Punkts beinhaltet. Das elektronische Fahrzeugführungssystem weist ein Umfeldsensorsystem für das Ego-Fahrzeug auf, das dazu eingerichtet ist, Umfeldsensordaten zu erzeugen, welche das zu verfolgende Objekt darstellen. Die wenigstens eine Recheneinheit ist dazu eingerichtet, basierend auf den Umfeldsensordaten eine geometrische Orientierung des zu verfolgenden Objekts zu bestimmen, den zu verfolgenden Punkt abhängig von einer ersten Abweichung der geometrischen Orientierung von der ersten Bewegungsrichtung zu verschieben und einen zweiten Zustand des zu verfolgenden Objekts abhängig von dem ersten Zustand und dem verschobenen Punkt zu bestimmen.

Weitere Au sfüh rungsformen des elektronischen Fahrzeugführungssystems folgen direkt aus den verschiedenen Ausgestaltungsformen des erfindungsgemäßen Verfahrens zur Objektverfolgung beziehungsweise des erfindungsgemäßen Verfahrens zum wenigstens teilweise automatischen Führen eines Ego-Fahrzeugs und jeweils umgekehrt. Insbesondere ist ein elektronisches Fahrzeugführungssystem gemäß der Erfindung dazu eingerichtet, ein erfindungsgemäßes Verfahren durchzuführen oder führt ein solches Verfahren durch.

Gemäß einem weiteren Aspekt der Erfindung wird ein Computerprogramm mit Befehlen angegeben. Wenn die Befehle durch ein elektronisches Fahrzeugführungssystem gemäß der Erfindung, insbesondere durch die wenigstens eine Recheneinheit des elektronischen Fahrzeugführungssystems, ausgeführt werden, veranlassen die Befehle das elektronische Fahrzeugführungssystem dazu, ein erfindungsgemäßes Verfahren zur Objektverfolgung oder ein erfindungsgemäßes Verfahren zum wenigstens teilweise automatischen Führen eines Ego-Fahrzeugs durchzuführen.

Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Speichermedium angegeben, das ein erfindungsgemäßes Computerprogramm speichert.

Das erfindungsgemäße Computerprogramm und das erfindungsgemäße computerlesbare Speichermedium können als jeweilige Computerprogrammprodukte mit den Befehlen aufgefasst werden.

Unter einem elektronischen Fahrzeugführungssystem kann ein elektronisches System verstanden werden, das dazu eingerichtet ist, das Kraftfahrzeug vollautomatisch oder vollautonom zu führen oder zu steuern, insbesondere ohne dass ein Eingriff in eine Steuerung durch einen Fahrer erforderlich ist. Das Kraftfahrzeug beziehungsweise das elektronische Fahrzeugführungssystem führt dabei alle erforderlichen Funktionen, wie gegebenenfalls erforderliche Lenk-, Brems- und/oder Beschleunigungsmanöver, die Beobachtung und Erfassung des Straßenverkehrs sowie die damit verbundenen erforderlichen Reaktionen selbsttätig und vollautomatisch durch. Insbesondere kann das elektronische Fahrzeugführungssystem zur Implementierung eines vollautomatischen oder vollautonomen Fahrmodus des Kraftfahrzeugs nach Stufe 5 der Klassifizierung gemäß SAE J3016 dienen. Unter einem elektronischen Fahrzeugführungssystem kann auch ein Fahrerassistenzsystem (englisch: „advanced driver assistance System“, ADAS) verstanden werden, welches den Fahrer bei einer teilweise automatisierten oder teilautonomen Fahrt des Kraftfahrzeugs unterstützt. Insbesondere kann das elektronische Fahrzeugführungssystem zur Implementierung eines teilweise automatisierten oder teilautonomen Fahrmodus des Kraftfahrzeugs nach einer der Stufen 1 bis 4 gemäß der SAE J3016-Klassifizierung dienen. Hier und im Folgenden bezieht sich „SAE J3016“ auf die entsprechende Norm in der Version vom Juni 2018.

Die wenigstens teilweise automatische Fahrzeugführung kann es daher beinhalten, das Kraftfahrzeug gemäß eines vollautomatischen oder vollautonomen Fahrmodus der Stufe 5 nach SAE J3016 zu führen. Die wenigstens teilweise automatische Fahrzeugführung kann auch beinhalten, das Kraftfahrzeug gemäß eines teilweise automatisierten oder teilautonomen Fahrmodus nach einer der Stufen 1 bis 4 nach SAE J3016 zu führen.

Unter einer Recheneinheit kann insbesondere ein Datenverarbeitungsgerät verstanden werden, die Recheneinheit kann also insbesondere Daten zur Durchführung von Rechenoperationen verarbeiten. Darunter fallen gegebenenfalls auch Operationen, um indizierte Zugriffe auf eine Datenstruktur, beispielsweise eine Umsetzungstabelle, LUT (englisch: „look-up table“), durchzuführen.

Die Recheneinheit kann insbesondere einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise enthalten, beispielsweise eine oder mehrere anwendungsspezifische integrierte Schaltungen, ASIC (englisch: „application-specific integrated Circuit“), eines oder mehrere feldprogrammierbare Gate-Arrays, FPGA, und/oder eines oder mehrere Einchipsysteme, SoC (englisch: „System on a Chip“). Die Recheneinheit kann auch einen oder mehrere Prozessoren, beispielsweise einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, CPU (englisch: „central Processing unit“), eine oder mehrere Grafikprozessoreinheiten, GPU (englisch: „graphics Processing unit“) und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere digitale Signalprozessoren, DSP, enthalten. Die Recheneinheit kann auch einen physischen oder einen virtuellen Verbund von Computern oder sonstigen der genannten Einheiten beinhalten.

In verschiedenen Ausführungsbeispielen beinhaltet die Recheneinheit eine oder mehrere Hardware- und/oder Softwareschnittstelle und/oder eine oder mehrere Speichereinheiten. Eine Speichereinheit kann als flüchtiger Datenspeicher, beispielsweise als dynamischer Speicher mit wahlfreiem Zugriff, DRAM (englisch: „dynamic random access memory“) oder statischer Speicher mit wahlfreiem Zugriff, SRAM (englisch: „static random access memory“), oder als nicht-flüchtiger Datenspeicher, beispielsweise als Festwertspeicher, ROM (englisch: „read-only memory“), als programmierbarer Festwertspeicher, PROM (englisch: „programmable read-only memory“), als löschbarer Festwertspeicher, EPROM (englisch: „erasable read-only memory“), als elektrisch löschbarer Festwertspeicher, EEPROM (englisch: „electrically erasable read-only memory“), als Flash-Speicher oder Flash-EEPROM, als ferroelektrischer Speicher mit wahlfreiem Zugriff, FRAM (englisch: „ferroelectric random access memory“), als magnetoresistiver Speicher mit wahlfreiem Zugriff, MRAM (englisch: „magnetoresistive random access memory“) oder als Phasenänderungsspeicher mit wahlfreiem Zugriff, PCRAM (englisch: „phase-change random access memory“), ausgestaltet sein.

Ist im Rahmen der vorliegenden Offenbarung die Rede davon, dass eine Komponente des erfindungsgemäßen elektronischen Fahrzeugführungssystems, insbesondere die wenigstens eine Recheneinheit oder die Steuereinheit des elektronischen Fahrzeugführungssystems dazu eingerichtet, ausgebildet, ausgelegt, oder dergleichen ist, eine bestimmte Funktion auszuführen oder zu realisieren, eine bestimmte Wirkung zu erzielen oder einem bestimmten Zweck zu dienen, so kann dies derart verstanden werden, dass die Komponente, über die prinzipielle oder theoretische Verwendbarkeit oder Eignung der Komponente für diese Funktion, Wirkung oder diesen Zweck hinaus, durch eine entsprechende Anpassung, Programmierung, physische Ausgestaltung und so weiter konkret und tatsächlich dazu in der Lage ist, die Funktion auszuführen oder zu realisieren, die Wirkung zu erzielen oder dem Zweck zu dienen.

Ein Objekterkennungsalgorithmus kann als Computeralgorithmus verstanden werden, der in der Lage ist, eines oder mehrere Objekte innerhalb eines bereitgestellten Eingabebildes zu identifizieren, indem er entsprechende Begrenzungsfiguren oder Begrenzungsboxen (englisch: "bounding boxes") festlegt und jeder der Begrenzungsboxen eine entsprechende Objektklasse zuordnet, wobei die Objektklassen aus einem vordefinierten Satz von Objektklassen ausgewählt werden können. Dabei kann die Zuweisung einer Objektklasse zu einer Begrenzungsbox derart verstanden werden, dass ein entsprechender Konfidenzwert oder eine Wahrscheinlichkeit dafür, dass das innerhalb der Begrenzungsbox identifizierte Objekt zu der entsprechenden Objektklasse gehört, bereitgestellt wird. Zum Beispiel kann der Algorithmus für eine gegebene Begrenzungsbox für jede der Objektklassen einen solchen Konfidenzwert oder eine Wahrscheinlichkeit bereitstellen. Die Zuweisung der Objektklasse kann zum Beispiel die Auswahl oder Bereitstellung der Objektklasse mit dem größten Konfidenzwert oder der größten Wahrscheinlichkeit beinhalten. Alternativ kann der Algorithmus auch lediglich die Begrenzungsboxen festlegen, ohne eine entsprechende Objektklasse zuzuordnen.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen von der Erfindung umfasst sein. Es sind insbesondere auch Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.

In den Figuren zeigen: Fig. 1 eine schematische Darstellung eines Ego-Fahrzeugs mit einer beispielhaften Ausführungsform eines erfindungsgemäßen elektronischen Fahrzeugführungssystems; und

Fig. 2 ein schematisches Ablaufdiagramm einer beispielhaften Ausführungsform eines erfindungsgemäßen Verfahrens zur Objektverfolgung.

In der Fig. 1 ist schematisch ein Ego-Fahrzeug 1 gezeigt, das eine beispielhafte Ausführungsform eines elektronischen Fahrzeugführungssystems 2 gemäß der Erfindung aufweist. Ferner ist ein zu verfolgendes Objekt 5 in der Umgebung des Ego-Fahrzeugs 1 dargestellt. Bei dem zu verfolgenden Objekt 5 handelt es sich insbesondere um ein weiteres Fahrzeug, das schematisch lediglich als Rechteck dargestellt ist.

Das elektronische Fahrzeugführungssystem 2 beinhaltet eine Recheneinheit 3, die beispielsweise als Steuergerät, ECU, des Ego-Fahrzeugs 1 ausgestaltet sein kann oder Teil eines Steuergeräts sein kann. Das elektronische Fahrzeugführungssystem 2 weist außerdem ein Umfeldsensorsystem 4a, 4b auf, beispielsweise eine Kamera 4b und/oder ein Lidarsystem 4a und/oder ein Radarsystem (nicht dargestellt).

Das Fahrzeugführungssystem 2 ist dazu in der Lage, ein erfindungsgemäßes Verfahren zur Objektverfolgung durchzuführen. Ein entsprechendes Ablaufdiagramm eines solchen Verfahrens ist schematisch in Fig. 2 dargestellt.

In Schritt S1 des Verfahrens wird beispielsweise ein initialer Zustand des zu verfolgenden Objekts 5 anhand eines vorgegebenen Bewegungsmodells, beispielsweise eines Einspurmodells, bestimmt. Dazu kann die Recheneinheit 3 beispielsweise Umfeldsensordaten des Umfeldsensorsystems 4a, 4b verwenden. Im Schritt S2 wird ein erster Zustand des zu verfolgenden Objekts 5 anhand des vorgegebenen Bewegungsmodells mittels der Recheneinheit 3 geschätzt oder prädiziert, wobei der erste Zustand eine erste Bewegungsrichtung 6a eines zu verfolgenden Punkts 8a des zu verfolgenden Objekts 5 beinhaltet. Ferner werden in Schritt S2 mittels des Umfeldsensorsystems 4a, 4b Umfeldsensordaten erzeugt, die das zu verfolgende Objekt 5 darstellen.

In Schritt S3 bestimmt die Recheneinheit 3 basierend auf den Umfeldsensordaten eine geometrische Orientierung des zu verfolgenden Objekts 5. Dazu kann die Recheneinheit 3 beispielsweise einen Objekterkennungsalgorithmus auf ein Kamerabild der Kamera 4b anwenden und/oder einen Clusteralgorithmus auf eine Punktwolke des Lidarsystems 4a. Auf diese Weise kann die Recheneinheit 3 eine Begrenzungsfigur ermitteln, die das zu verfolgende Objekt 5 einschließt. In Fig. 1 ist als Begrenzungsfigur 7 ein Rechteck dargestellt. Die geometrische Orientierung entspricht dann einer vorgegebenen räumlichen Ausrichtung der Begrenzungsfigur 7, beispielsweise ist die geometrische Orientierung parallel zu einer Seite der Begrenzungsfigur 7, insbesondere zu der längeren Seite des Rechtecks.

Die Recheneinheit 3 bestimmt basierend auf den Umfeldsensordaten ferner einen momentanen Bewegungsradius des zu verfolgenden Objekts, der einem Radius eines Kreises 9 entspricht. Der zu verfolgende Punkt 8a wird dann durch die Recheneinheit 3 entlang des Kreises 9 um einen Kreisbogenabschnitt 10 der Länge L = D ^* R verschoben, sodass ein verschobener Punkt 8b resultiert. Dabei entspricht R dem Radius des Kreises 9 und D entspricht einer Winkeldifferenz zwischen der ersten Bewegungsrichtung 6a des zu verfolgenden Punkts 8a und der geometrischen Orientierung des zu verfolgenden Objekts 5. Die zweite Bewegungsrichtung 6b des verschobenen Punkts 8b ist dann ebenfalls näherungsweise gleich der geometrischen Orientierung.

Im Schritt S4 kann die Recheneinheit basierend auf dem verschobenen Punkt 8b und insbesondere der zweiten Bewegungsrichtung 6b einen Korrekturfaktor berechnen. Wird beispielsweise ein auf einem Kalman-Filter basierender Ansatz verfolgt, so kann der Korrekturfaktor einem entsprechenden Kalman-Verstärkungsfaktor entsprechen. Im Schritt S4 wird dann der Zustand des zu verfolgenden Objekts 5 abhängig von dem Korrekturfaktor, der wiederum abhängig von dem verschobenen Punkt 8b bestimmt wird, aktualisiert.

Auf diese Weise kann erreicht werden, dass die zweite Bewegungsrichtung 6b, die zur Aktualisierung des Zustands des zu verfolgenden Objekts herangezogen wird, wenigstens näherungsweise mit der geometrischen Orientierung des zu verfolgenden Objekts 5 übereinstimmt, sodass eine exaktere Objektverfolgung ermöglicht wird.

In verschiedenen Au sfüh rungsformen der Erfindung wird der zu verfolgende Punkt auf einen Punkt verschoben, der insbesondere keine Quergeschwindigkeit aufweist, also einem Punkt entspricht, der sich in die geometrische Orientierungsrichtung des zu verfolgenden Objekts bewegt.

Bei dem zu verfolgenden Objekt handelt es sich insbesondere um ein Fahrzeug, beispielsweise einen Kraftwagen mit zwei Achsen. Falls kein Radschlupf in Querrichtung vorliegt, kann der verschobene Punkt beispielsweise auf einer nicht steuerbaren Achse, also einer Achse mit nicht steuerbaren Rädern, des Fahrzeugs liegen. Falls Radschlupf in Querrichtung vorliegt, das Fahrzeug jedoch nicht um sich selbst rotiert, und das Fahrzeug eine gesteuerte und eine nicht gesteuerte Achse aufweist, kann der verschobene Punkt beispielsweise zwischen den beiden Achsen liegen. Im allgemeinen Fall, in dem zusätzlich zum Radschlupf in Querrichtung auch eine Rotation des Fahrzeugs um sich selbst vorliegt und/oder beide Achsen steuerbare Achsen sind, kann der verschobene Punkt auch außerhalb des Fahrzeugs liegen.

Im Allgemeinen kann der verschobene Punkt bestimmt werden, indem die Abweichung zwischen der geometrischen Orientierung des zu verfolgenden Objekts von der Bewegungsrichtung basierend auf dem Bewegungsmodell minimiert wird. In manchen Ausführungsformen kann ein Objektfilter, beispielsweise ein erweiterter Kalman-Filter, verwendet werden, der auf einem entsprechenden Zustandsvektor basiert. Der Zustandsvektor kann beispielsweise zweidimensionale Ortskoordinaten eines zu verfolgenden Punkts, eine Translationsgeschwindigkeit, eine Gierrate, einen Gierwinkel und so weiter beinhalten. Die Recheneinheit kann basierend auf dem Bewegungsmodell oder basierend auf dem Verhältnis der Translationsgeschwindigkeit zur Winkelgeschwindigkeit des Objekts, den momentanen Bewegungsradius bestimmen. Der Mittelpunkt des entsprechenden Kreises kann ebenfalls bestimmt werden, wobei die Verbindungslinie zwischen Kreismittelpunkt und zu verfolgendem Punkt senkrecht zur Bewegungsrichtung des zu verfolgenden Punkts ist. Der zu verfolgende Punkt kann dann auf dem Kreis um einen Winkel verschoben werden, welcher der Winkeldifferenz zwischen der geometrischen Orientierung und der Bewegungsrichtung entspricht, um so einen optimal verschobenen Punkt zur Verfolgung zu bestimmen.