Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug. Darüber hinaus betrifft die Erfindung ein Computerprogramm sowie ein computerlesbares Speichermedium.

Zur Erkennung von Objekten in Umgebung eines Fahrzeugs, insbesondere zur Erkennung anderer Verkehrsteilnehmer und relevanter Eigenschaften derer werden oftmals heterogene Sensorvorrichtungen eingesetzt. Erkannte Objekte im

Fahrzeugumfeld können zur sicheren Umsetzung von

Assistenzfunktionen herangezogen werden, insbesondere für längs regelnde Funktionen wie Active Cruise Control oder einen Kreuzungsassistent und für querregelnde Funktionen wie Lateral Collision Avoidance, Lenk- und Spurführungsassistent.

Bedingt durch unterschiedliche Messprinzipien der

eingesetzten Sensorvorrichtungen können die durch die

Sensorvorrichtungen erfassten Informationen über die Objekte unterschiedlich sein. Aufgrund beschränkter Rechenleistung in Fahrzeugen werden die durch die Sensorvorrichtungen

bereitgestellten Informationen üblicherweise auf High-Level- Ebene fusioniert. Das bedeutet, dass die Sensorvorrichtungen jeweils anhand der erfassten Informationen separat Objekte erkennen und diese in einer abstrakten, sensorunabhängigen Objektrepräsentation als Informationen bereitstellen

(sogenannte „Sensorobjekte") ; die bereitgestellten

Informationen werden dann durch eine separate

Sensordatenfusionseinheit zu jeweils einer Objektrepräsentation je tatsächlichem Objekt zusammengeführt bzw. fusioniert (sogenannte „Fusionsobjekte") .

Typischerweise werden hierzu „smarte" Sensorvorrichtungen verbaut, deren Erkennungsleistung neben der physikalischen Vermessung der Umgebung auch auf einer nachgelagerten, internen Informationsverarbeitung beruht. Ein wesentlicher Bestandteil dieser Informationsverarbeitung sind rekursive Schätzprozesse, die auch Objekteigenschaften über die Zeit beobachten können, die sich nicht direkt aus einer einzigen Messung bestimmen lassen. Neben einer Schätzung der

Objekteigenschaften anderer Verkehrsteilnehmer kann der rekursive Schätzprozess zudem auch ein Maß für deren

Unsicherheit liefern.

Aufgrund der rekursiven Formulierung des Schätzprozesses sind die von den Sensorvorrichtungen gelieferten Sensorobjektdaten eventuell statistisch nicht unabhängig von den

Sensorobjektdaten zu einem früheren Zeitpunkt. Da

verschiedene Sensorvorrichtungen zudem oft auf ähnlichen Schätzprozessen beruhen und teilweise sogar gleiche

Eingangsdaten, etwa zur Bewegung des eigenen Fahrzeugs, erhalten, kann es sein, dass auch die Sensorobjektdaten verschiedener Sensorvorrichtungen statistisch nicht

unabhängig voneinander sind. Zur Fusion derart korrelierter Sensorobjektdaten kann ein sogenannter Information Matrix Fusion-Algorithmus (IMF) eingesetzt werden, bei dem der rekursive Schätzprozess um eine Dekorrelation der

Sensorobjektdaten erweitert ist. In diesem Zusammenhang wird auf die Ausführungen von Aeberhard, M., Rauch, A., Rabiega, M., Kaempchen, N., & Bertram, T. (2012, June) in „Track-to- track fusion with asynchronous sensors and out-of-sequence tracks using Information matrix fusion for advanced driver assistance Systems", Intelligent Vehicles Symposium (IV) ,

2012 IEEE (pp. 1-6) verwiesen.

Zur Dekorrelation der Sensorobjektdaten erfordert der IMF- Algorithmus im theoretischen „worst case" allerdings eine unendlich lange Historie aller Sensorobjektdaten, die insbesondere aufgrund begrenzter Speicherressourcen auf in Fahrzeugen eingesetzten, eingebetteten Systemen nicht zur Verfügung steht. Ein weiterer Nachteil des IMF-Algorithmus sind den Sensorobjektdaten zugrunde liegende Annahmen, insbesondere hinsichtlich der berichteten Unsicherheiten, die in der Praxis oft verletzt werden. Der IMF-Algorithmus liefert dann teils inkonsistente Schätzungen mit grob

fehlerhaften Objekteigenschaften, wobei sich der Fehler nicht entsprechend in der bestimmten Unsicherheit widerspiegelt und hingegen zu kleine Unsicherheiten ausgegeben werden. Dies kann zu einem groben Fehlverhalten in den der Fusion

nachgelagerten Assistenzfunktionen führen.

Die Aufgabe, die der Erfindung zugrunde liegt, ist es, ein Verfahren zur Sensordatenfusion für ein Fahrzeug sowie eine entsprechende Vorrichtung, ein Computerprogramm sowie computerlesbares Speichermedium zu schaffen, das zu einer sicheren Zuordnung von Sensor- und Fusionsobjekten beiträgt und eine zuverlässige Sensordatenfusion ermöglicht.

Die Aufgabe wird gelöst durch die unabhängigen

Patentansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen gekennzeichnet .

Gemäß einem ersten Aspekt betrifft die Erfindung ein

Verfahren zur Sensordatenfusion für ein Fahrzeug. Dem

Fahrzeug ist eine Sensorvorrichtung zugeordnet. Bei dem Verfahren werden aktuelle Sensorobjektdaten bereitgestellt. Die aktuellen Sensorobjektdaten sind

repräsentativ für ein durch die Sensorvorrichtung in einer Umgebung des Fahrzeugs zu einem Zeitpunkt t ermitteltes

Sensorobjekt s _t .

Darüber hinaus wird ein Fusionsobjektdatensatz

bereitgestellt. Der Fusionsobjektdatensatz umfasst

Fusionsobjektdaten, die jeweils repräsentativ sind für eines aus j = 1...p in der Umgebung des Fahrzeugs ermittelte

Fusionsobjekte . Die Fusionsobjekte sind jeweils zur

Sensordatenfusion zu dem Zeitpunkt t vorgesehen.

Weiterhin wird ein Sensorobjektdatensatz

bereitgestellt. Der Sensorobjektdatensatz

H umfasst historische Sensorobjektdaten, die jeweils

repräsentativ sind für eines aus i = 1...q durch die

Sensorvorrichtung in der Umgebung des Fahrzeugs zu einem vorangegangen Zeitpunkt t— k ermittelte Sensorobjekte

wobei n,q ³ 1.

Bei dem Verfahren wird abhängig von dem Sensorobjektdatensatz H ein reduzierter Sensorobjektdatensatz

ermittelt. bezeichnet dabei ein zum Zeitpunkt t zu einem

Fusionsobjekt assoziiertes Sensorobjekt.

Ferner wird abhängig von dem reduzierten

Sensorobjektdatensatz H' das Sensorobjekt s _t zu einem

Fusionsobjekt assoziiert und ein innoviertes Fusionsobjekt

ermittelt . In vorteilhafter Weise ermöglicht das vorgeschlagene

Verfahren eine sichere und effiziente Zuordnung von Sensor- und Fusionsobjekten. Insbesondere trägt das Verfahren zu einer zuverlässigen Fusion korrelierter Sensorobjektdaten bei .

Die Sensorvorrichtung ist dazu ausgebildet, die Umgebung des Fahrzeugs zu erfassen und ein Sensorobjekt in der Umgebung des Fahrzeugs zu ermitteln. Insbesondere kann die

Sensorvorrichtung ausgebildet sein, eine laterale Erstreckung und/oder Orientierung eines Objekts zu erfassen. Bei der Sensorvorrichtung handelt es sich beispielhaft um einen

Kamera-, LiDAR-, Light Detection And Ranging, LaDAR-, Laser Detection And Ranging, RaDAR, Radio Detection And Ranging, Ultraschall-, Punktlaser-, oder einen Infrarotsensor.

Der Sensorobjektdatensatz H umfasst historische

Sensorobjektdaten derselben Sensorvorrichtung. Im Falle, dass dem Fahrzeug m > 1 verschiedene Sensorvorrichtungen

zugeordnet sind, wird je Sensorvorrichtung ein

SensorobjektdatensatzH ₁ ... H _m bereitgestellt und die

entsprechenden Schritte des Verfahrens je Sensorvorrichtung einmal durchgeführt.

Der reduzierte Sensorobjektdatensatz

umfasst insbesondere nur mehr solche Sensorobjekte des

Sensorobjektdatensatzes H, die zuvor, zum entsprechenden Zeitpunkt t— k zu einem beliebigen Fusionsobjekt

assoziiert wurden. In vorteilhafter Weise werden so, statt alle q von der Sensorvorrichtung zum Zeitpunkt t ermittelten Sensorobjekte i = 1...q aufzuzeichnen, nur die p £ q

tatsächlich zu einem Fusions-Objekt assoziierten Objekte ί = 1...r in die Assoziationshistorie

aufgenommen. Dabei kann für jede Sensorvorrichtung eine eigene Assoziationshistorie unabhängig von den

Assoziationshistorien anderer Sensorvorrichtungen

aufgezeichnet werden.

Üblicherweise wird zu jedem Zeitpunkt t ferner maximal ein Sensorobjekt i = 1...p jeder Sensorvorrichtung zu demselben Fusionsobjekt assoziiert. Dann genügt es, dem jeweiligen Fusionsobjekt für jeden Zeitpunkt t je Sensorvorrichtung lediglich ein Sensorobjekt k = 1...n als reduzierten

Sensorobjektdatensatz H' zuzuordnen. Im Falle, dass dem

Fahrzeug m > 1 Sensorvorrichtungen zugeordnet sind, können folglich die wenigen jeweils zuletzt zu dem jeweiligen

Fusionsobjekt assoziierten Sensorobjekte

k = 1..n je

Fusionsobjekt vermerkt werden.

Der Schritt, in dem abhängig von dem reduzierten

Sensorobjektdatensatz H' das Sensorobjekt s _t zu einem

Fusionsobjekt assoziiert und ein innoviertes Fusionsobjekt ermittelt wird, kann beispielhaft dem IMF-Algorithmus entsprechen, wobei statt auf eine unendlich lange bzw.

vollständige Historie auf den reduzierten

Sensorobjektdatensatz H' zurückgegriffen wird.

In einer vorteilhaften Ausgestaltung gemäß dem ersten Aspekt gilt: 1 £ n £ 5, bevorzugt n = 2.

In vorteilhafter Weise können so einmalige Mehrdeutigkeiten gehandhabt werden. Zugleich wird ein effizienter Einsatz auf Ressourcenbeschränkter Hardware ermöglicht. In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten Aspekt wird das Sensorobjekt s _t mittels des IMF, Information Matrix Fusion, -Algorithmus zu einem

Fusionsobjekt assoziiert und das innovierte Fusionsobjekt

ermittelt .

In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten Aspekt wird der reduzierte Sensorobjektdatensatz H' jeweils den Fusionsobjekten zugeordnet und in den

Fusionsobjektdaten hinterlegt.

Daraufhin wird abhängig von dem Fusionsobjektdatensatz das Sensorobjekt s _t zu einem Fusionsobjekt assoziiert und das

innovierte Fusionsobjekt ermittelt.

Das Sensorobjekt s _t kann in dieser Ausgestaltung also insbesondere abhängig von den den Fusionsobjekten jeweils

zugeordneten reduzierten Sensorobjektdatensätzen H' zu einem

Fusionsobjekt assoziiert und das innovierte Fusionsobjekt entsprechend ermittelt werden.

In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten Aspekt wird im Falle, dass der einem jeweiligen

Fusionsobjekt zugeordnete, reduzierte

Sensorobjektdatensatz H' zu keinem vorangegangenen Zeitpunkt t—k, k = 1...n, ein assoziiertes Sensorobjekt umfasst,

das Sensorobjekt s _t mittels des use of cross covariance -

Algorithmus zu einem Fusionsobjekt assoziiert und das innovierte Fusionsobjekt ermittelt. Bezüglich des use of cross covariance - Algorithmus wird auf die Ausführungen von S. Matzka und R. Altendorfer in "A comparison of track-to- track fusion algorithms for automotive sensor fusion", 2008 IEEE International Conference on Multisensor Fusion and

Integration for Intelligent Systems, Seoul, 2008, pp. 189-194 verwiesen. In anderen Worten kann im Falle einer

unzulänglichen Historie auf ein alternatives Fusionsverfahren statt des IMF-Algorithmus zurückgegriffen werden.

Insbesondere wird die Fusion dabei nur mit approximativer Berücksichtigung etwaiger Korrelationen durchgeführt.

In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten Aspekt sind dem Sensorobjekt s _t-1 , s _t Merkmalsdaten

zugeordnet. Die Merkmalsdaten sind

repräsentativ für eine laterale Erstreckung, Position und Orientierung des Sensorobjekts s _t-1 , s _t . Ferner sind dem

Sensorobjekt s _t-1 , s _t Indikatordaten zugeordnet. Die

Indikatordaten sind repräsentativ für eine

Unsicherheit bei der Ermittlung der lateralen Erstreckung, Position bzw. Orientierung.

Des Weiteren sind dem Fusionsobjekt Merkmalsdaten

zugeordnet. Die Merkmalsdaten sind

repräsentativ für eine laterale Erstreckung, Position und Orientierung des Fusionsobjekts . Ferner sind dem

Fusionsobjekt Indikatordaten zugeordnet. Die

Indikatordaten sind repräsentativ für eine

Unsicherheit bei der Ermittlung der lateralen Erstreckung, Position bzw. Orientierung.

Bei dem Verfahren wird abhängig von den Merkmalsdaten

ein Merkmalsfusionszustand ermittelt. Der

Merkmalsfusionszustand ist repräsentativ für die

laterale Erstreckung, Position und Orientierung des

Fusionsobjekts zu dem Zeitpunkt t nach Sensordatenfusion

mit .

Darüber hinaus wird abhängig von den Merkmalsdaten

und von den Indikatordaten ein innovierter

Merkmalsfusionszustand ermittelt. Der innovierte

Merkmalsfusionszustand ist repräsentativ für die laterale

Erstreckung, Position und Orientierung des Fusionsobjekts zu dem Zeitpunkt t nach Sensordatenfusion mit .

Hierauf wird abhängig von dem Merkmalsfusionszustand

dem innovierten Merkmalsfusionszustand und den

Merkmalsdaten geprüft, ob der innovierte

Merkmalsfusionszustand die Gleichung

erfüllt. Im Falle, dass die Gleichung erfüllt

ist, wird das innovierte Fusionsobjekt abhängig von dem innovierten Merkmalszustand ermittelt. Anderenfalls wird

das Sensorobjekt s _t mittels des use of cross covariance -

Algorithmus zu einem Fusionsobjekt assoziiert und das

innovierte Fusionsobjekt ermittelt.

In vorteilhafter Weise können so insbesondere für den IMF- Algorithmus typische Fehlerfälle vermieden werden, bei denen die Merkmalsdaten des Fusionsobjekts grob von den Merkmalsdaten des Sensorobjekts s _t abweichen. In diesem Fall kann wiederum auf ein alternatives Fusionsverfahren statt des IMF-Algorithmus zurückgegriffen werden. Der Merkmalsfusionszustand sowie der innovierte

Merkmalsfusionszustand ist insbesondere repräsentativ für ein zur Überprüfung temporär zwischengespeichertes Ergebnis einer Fusion von Fusionsobjekt und Sensorobjekt gemäß dem IMF-Algorithmus .

Die Gleichung ist insbesondere repräsentativ dafür, dass die aktualisierten Eigenschaften nach der Fusion zwischen den ursprünglichen Eigenschaften und den Eigenschaften des fusionierten Sensorobjekts liegen, verletzt ist. Wird die Gleichung verletzt, so wird das temporär zwischengespeicherte Ergebnis verworfen.

Die entsprechenden Merkmalsdaten können neben der lateralen Erstreckung, Position und Orientierung des jeweiligen Objekts auch weitere Eigenschaften des Objekts umfassen, wie dessen Geschwindigkeits- und Beschleunigungskomponenten sowie

Gierrate. Unter der lateralen Erstreckung wird dabei eine Ausdehnung des Objekts parallel sowie quer zur Mess- oder Fahrtrichtung bzw. Längsachse des Fahrzeugs verstanden. Die Orientierung bezeichnet insbesondere einen Winkel, den eine Längsachse des Objekts zu der Mess- oder Fahrtrichtung bzw. Längsachse des Fahrzeugs einschließt. Die Position des

Objekts kann beispielhaft einen Referenzpunkt des Objekts bezeichnen, bezüglich dem die weiteren Eigenschaften des Objekts angegeben werden.

Gemäß einem zweiten Aspekt betrifft die Erfindung eine

Vorrichtung zur Sensordatenfusion für ein Fahrzeug. Die

Vorrichtung ist ausgebildet, ein Verfahren gemäß dem ersten Aspekt auszuführen. Die Vorrichtung kann auch als

Sensordatenfusionseinheit bezeichnet werden. Gemäß einem dritten Aspekt betrifft die Erfindung ein

Computerprogramm zur Sensordatenfusion für ein Fahrzeug. Das Computerprogramm umfasst Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das

Verfahren gemäß dem ersten Aspekt auszuführen.

Gemäß einem vierten Aspekt betrifft die Erfindung ein computerlesbares Speichermedium, auf dem das Computerprogramm gemäß dem vierten Aspekt gespeichert ist.

Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnungen näher erläutert.

Es zeigen:

Figur 1 ein beispielhaftes Fahrzeug mit einer Vorrichtung zur Sensordatenfusion;

Figur 2 ein beispielhaftes Ablaufdiagramm eines Verfahrens zur Sensordatenfusion; und

Figur 3 eine beispielhafte Zuordnung eines jeweiligen

reduzierten Sensorobjektdatensatzes zu

Fusionsobjekten.

Elemente gleicher Konstruktion oder Funktion sind

figurenübergreifend mit den gleichen Bezugszeichen versehen.

Im Folgenden wird ein Verfahren zur High-Level-Objektfusion auf Basis des Information Matrix Fusion-Algorithmus (IMF) vorgeschlagen, das einen zuverlässigen Einsatz auf

eingebetteten Systemen erlaubt. Anhand des

Ausführungsbeispiels der Figur 1 ist ein erfindungsgemäßes Fahrzeug F mit einer Vorrichtung V zur Sensordatenfusion sowie einer Sensorvorrichtung S1 dargestellt, die zur

Erfassung von Objekten, insbesondere anderer

Verkehrsteilnehmer und relevanter Eigenschaften derer, und zur Ermittlung eines entsprechenden Sensorobjekts s _t eingerichtet ist. Dabei kann es sich z.B. um einen Kamera-, LiDAR-, Light Detection And Ranging, LaDAR-, Laser Detection And Ranging, RaDAR, Radio Detection And Ranging, Ultraschall- Punktlaser-, oder einen Infrarotsensor handeln. Unabhängig von der verwendeten Methode zur High-Level-Objektfusion wird im Automobilbereich als Ergebnis der Objektfusion

üblicherweise eine Liste von Rechtecken bzw. Quadern als Objektrepräsentation ausgegeben, welche erkannte,

insbesondere bewegliche, Objekte in der Umgebung des

Fahrzeugs F repräsentieren. Figur 1 zeigt ein solches

Fusionsobjekt , dem als relevante Eigenschaften

beispielhaft ein Referenzpunkt A, eine Länge und Breite bezüglich des Referenzpunkts A, eine Orientierung a _f des

Fusionsobjekts bezüglich eines Referenzkoordinatensystems

R des Fahrzeugs F zugeordnet sind. Zudem können dem

Fusionsobjekt Indikatordaten zugeordnet sein, die

repräsentativ sind für eine Unsicherheit bei der Ermittlung der Länge, Breite und Orientierung a _s . Die Unsicherheit kann beispielsweise durch eine Varianz ausgedrückt sein. Figur 1 zeigt ferner ein durch die Sensorvorrichtung S1 ermitteltes Sensorobjekt s _t .

Das Fahrzeug F weist ferner beispielhaft eine weitere

Sensorvorrichtung S2 auf, die ebenfalls zur Erfassung der Umgebung des Fahrzeugs F eingerichtet ist. Die

Sensorvorrichtungen S1, S2 sind mit der Vorrichtung V zur Sensordatenfusion signaltechnisch gekoppelt. Durch die Sensorvorrichtungen S1, S2 bereitgestellte Sensorobjektdaten können durch die Vorrichtung V nach einem beliebigen

Verfahren zur High-Level-Objektfusion fusioniert und in einem Fusionsobjektdatensatz gespeichert werden.

Bei dem Verfahren zur High-Level-Objektfusion kann es sich um einen rekursiven Schätzprozess auf Basis des Information Matrix Fusion-Algorithmus (IMF) handeln.

Aus der formalen Beschreibung des IMF-Algorithmus ergibt sich, dass zu jedem Sensorobjekt mit Eigenschaften

und deren Unsicherheiten , das zum Zeitpunkt t zu einem aus j = 1...p Fusionsobjekten fusioniert werden soll, der

Zustand des Sensorobjekts s _t-k zum letzten Fusionszeitpunkt bekannt sein muss. Da theoretisch sehr große k»1 möglich sind, ist es auf einem eingebetteten System mit geringen Speicherressourcen nicht ohne weiteres möglich, alle

benötigten Informationen für den IMF-Algorithmus zur

Verfügung zu stellen.

Der Vorrichtung V ist in diesem Zusammenhang insbesondere ein Daten- und Programmspeicher zugeordnet, in dem ein

Computerprogramm gespeichert ist, das anhand des

Ablaufdiagramms der Figur 2 im Folgenden näher erläutert wird .

In einem ersten Schritt P10 werden ein aktuelle

Sensorobjektdaten bereitgestellt, die repräsentativ sind für ein durch die Sensorvorrichtung S1 in einer Umgebung des Fahrzeugs F zu einem Zeitpunkt t ermitteltes Sensorobjekt s _t . Insbesondere können in diesem Schritt mehrere

Sensorobjektdaten durch die Sensorvorrichtung S1 ermittelt werden, sodass insgesamt q > 1 verschiedene, durch die

Sensorvorrichtung S1 ermittelte Sensorobjekte , i = 1...q bereitgestellt werden. Beispielsweise werden in dem ersten Schritt P10 darüber hinaus auch aktuelle Sensorobjektdaten der weiteren Sensorvorrichtung S2 bereitgestellt.

Das Programm wird in einem Schritt P20 fortgesetzt, in dem ein Fusionsobjektdatensatz bereitgestellt wird. Der

Fusionsobjektdatensatz umfasst Fusionsobjektdaten, die jeweils repräsentativ sind für eines aus j = 1...p in der

Umgebung des Fahrzeugs F ermittelte Fusionsobjekte , die jeweils zur Sensordatenfusion zu dem Zeitpunkt t vorgesehen sind. Beispielsweise ist der Fusionsobjektdatensatz in einem Datenspeicher der Vorrichtung V hinterlegt und wurde in einem vorangegangenen Fusionsverfahren aus den Sensorobjektdaten der Sensorvorrichtungen S1, S2 ermittelt.

In einem darauffolgenden Schritt P30 wird ein

Sensorobjektdatensatz bereitgestellt.

Der Sensorobjektdatensatz H umfasst historische

Sensorobjektdaten, die jeweils repräsentativ sind für eines aus i = 1...m durch die Sensorvorrichtung Sl in der Umgebung des Fahrzeugs F zu einem vorangegangen Zeitpunkt t— k

ermittelte Sensorobjekte , wobei n,m ³1. Beispielsweise wird in dem ersten Schritt P30 darüber hinaus auch ein

Sensorobjektdatensatz der weiteren Sensorvorrichtung S2 bereitgestellt .

Der Sensorobjektdatensatz H kann auch als

Assoziationshistorie bezeichnet werden. Eine Fusion ergibt sich erst aus zuvor erfolgter Assoziation von Sensor- und Fusionsobjekt. Statt also alle q von der Sensorvorrichtung S1 zu dem Zeitpunkt t erkannten Sensorobjekte , i = 1...q

aufzuzeichnen, genügt es, nur die p £ q tatsächlich zu einem Fusionsobjekt assoziierten Sensorobjekte , i = 1...p in die Assoziationshistorie aufzunehmen. In anderen Worten kann in einem dem Schritt P30 vorausgehenden und einem dem Schritt P10, in dem die aktuellen Sensordaten ermittelt werden, nachfolgenden Schritt jeweils eine Auswahl getroffen werden, welche der ermittelten aktuellen Sensordaten in die

Assoziationshistorie aufgenommen werden. Dabei kann für jede Sensorvorrichtung S1, S2 eine eigene Assoziationshistorie unabhängig von den Assoziationshistorien anderer

Sensorvorrichtungen im Fusionssystem aufgezeichnet werden. Im Folgenden wird daher nur die Assoziationshistorie der

Sensorvorrichtung S1 betrachtet.

Das Verfahren wird im Anschluss an den Schritt P30 in einem Schritt P40 fortgesetzt, in dem abhängig von dem

Sensorobjektdatensatz H ein reduzierter

Sensorobjektdatensatz ermittelt wird, wobei ein zum Zeitpunkt t zu einem Fusionsobjekt f _t assoziiertes Sensorobjekt bezeichnet. Der reduzierte Sensorobjektdatensatz

H' wird dann jeweils den Fusionsobjekten zugeordnet und in

den Fusionsobjektdaten hinterlegt.

Für den Sensorobjektdatensatz H ergibt sich die

Notwendigkeit von n > 1 erst aus einer möglichen Assoziation unterschiedlicher Sensorobjekte zu unterschiedlichen

Zeitpunkten zum selben Fusionsobjekt. In der Regel kann aber davon ausgegangen werden, dass die Sensorvorrichtung S1 die Objekte in der Umgebung des Fahrzeugs F durchgehend verfolgt und es allenfalls in dichten Verkehrssituationen zu

mehrdeutigen Objektbildungen kommen kann, wobei ein tatsächliches Objekt in der Umgebung zur Bildung mehrerer (räumlich oder zeitlich getrennter) Sensorobjekte führt.

Außerdem wird zu jedem Zeitpunkt maximal ein Objekt der Sensorvorrichtung S1 zu demselben Fusionsobjekt assoziiert.

Daher genügt es, die wenigen jeweils zuletzt zu einem

Fusionsobjekt assoziierten Sensorobjekte k = 1..n am

Fusionsobjekt zu vermerken. Die Historie enthält so nun unterschiedliche Sensorobjekte zu unterschiedlichen

Zeitpunkten, . In der Praxis hat sich ein

Wert von n = 2 bewährt, sodass einmalige Mehrdeutigkeiten gehandhabt werden können. Das resultierende Modell bei n = 2 für die Realisierung der Assoziationshistorie ist in Figur 3 gezeigt. Dabei ist jedem Fusionsobjekt jeweils ein

reduzierter Sensorobjektdatensatz H' _S1 der Sensorvorrichtung S1 und ein reduzierter Sensorobjektdatensatz H' _S2 der weiteren Sensorvorrichtung S2 zugeordnet. Der reduzierte

Sensorobjektdatensatz H' _S1 umfasst dabei die zu den

Zeitpunkten t— 1 und t— 2 assoziierten Sensorobjekte und

der Sensorvorrichtung Sl, während der reduzierte

Sensorobjektdatensatz H' _S2 die zu den Zeitpunkten t— 1 und t—

2 assoziierten Sensorobjekte und der weiteren

Sensorvorrichtung S2 umfasst.

In einem darauffolgenden Schritt P50 wird abhängig von dem reduzierten Sensorobjektdatensatz H' das Sensorobjekt s _t zu einem Fusionsobjekt assoziiert und ein innoviertes

Fusionsobjekt ermittelt.

Hierzu wird zunächst geprüft, ob der dem jeweiligen

Fusionsobjekt zugeordnete, reduzierte

Sensorobjektdatensatz H' ein zu einem früheren Zeitpunkt t— k, k = 1...n, assoziiertes Sensorobjekt umfasst.

Im Falle, dass der reduzierte Sensorobjektdatensatz H' zu keinem vorangegangenen Zeitpunkt t— k, k = 1...n, ein

assoziiertes Sensorobjekt umfasst, wird das Sensorobjekt

s _t in einem Schritt P60 mittels des use of cross covariance -

Algorithmus zu einem Fusionsobjekt assoziiert und das

innovierte Fusionsobjekt ermittelt. Anderenfalls wird das Sensorobjekt s _t in einem Schritt P70 mittels des IMF,

Information Matrix Fusion, -Algorithmus basierend auf dem reduzierten Sensorobjektdatensatz H' zu einem Fusionsobjekt assoziiert und ein innoviertes Fusionsobjekt ermittelt.

Kann aus der wie oben erläutert begrenzten

Assoziationshistorie kein zu einem früheren Zeitpunkt

fusioniertes Sensorobjekt gefunden werden, beispielsweise bei erstmaliger Fusion des Sensorobjekts oder weil die Wahl von q die Mehrdeutigkeit der Sensorvorrichtung nicht auflösen kann, so findet die Fusion nur mit approximativer Berücksichtigung etwaiger Korrelationen unter Verwendung der „use of cross covariance"-Methode Anwendung.

Das Programm wird anschließend beendet oder gegebenenfalls nach einer vorgegebenen Unterbrechung in dem Schritt P10 mit aktualisiertem Objektdatensatz fortgesetzt.

In einer alternativen Ausführungsvariante ist der Schritt P70 um eine Plausibilisierung des innovierten Fusionsobjekts ergänzt . In der praktischen Anwendung des IMF Algorithmus zur Fusion der Sensorobjektdaten mehrerer Sensorvorrichtungen auf einem eingebetteten System kann es zu einem Fehlerfall kommen, der zur Bestimmung fusionierter Eigenschaften führt, die grob von den von der entsprechenden Sensorvorrichtung berichteten Eigenschaften abweichen.

Dem jeweiligen Sensorobjekt s _t-1 , s _t sind in dieser

Ausführungsvariante Merkmalsdaten zugeordnet, die

repräsentativ sind für die durch die Sensorvorrichtung berichteten Eigenschaften wie einer lateralen Erstreckung, Position und Orientierung des Sensorobjekts s _t-1 , s _t . Darüber hinaus sind dem jeweiligen Sensorobjekt s _t-1 , s _t

Indikatordaten zugeordnet, die repräsentativ sind

für eine Unsicherheit bei der Ermittlung der Eigenschaften.

Ebenso sind dem jeweiligen Fusionsobjekt

Merkmalsdaten , die repräsentativ sind für

Eigenschaften des entsprechenden Fusionsobjekts und

Indikatordaten , die repräsentativ sind für eine

Unsicherheit bei der Ermittlung der Eigenschaften,

zugeordnet .

In einem dem Schritt P50 nachfolgenden Schritt P72 wird abhängig von den Merkmalsdaten ein

Merkmalsfusionszustand ermittelt, der repräsentativ ist

für die Eigenschaften des Fusionsobjekts zu dem Zeitpunkt

t nach Sensordatenfusion mit ·

Daraufhin wird in einem Schritt P74 abhängig von den

Merkmalsdaten und von den Indikatordaten

ein innovierter Merkmalsfusionszustand ermittelt, der

repräsentativ ist für die Eigenschaften des Fusionsobjekts zu dem Zeitpunkt t nach der Sensordatenfusion mit .

Schließlich wird in einem Schritt P76 abhängig von dem

Merkmalsfusionszustand dem innovierten

Merkmalsfusionszustand und den Merkmalsdaten geprüft, ob der innovierte Merkmalsfusionszustand die Gleichung

erfüllt. In anderen Worten wird

in dem Schritt P76 geprüft, ob die intuitive Annahme, dass die aktualisierten Eigenschaften nach der Fusion zwischen den ursprünglichen Eigenschaften und den Eigenschaften des fusionierten Sensor-Objekts liegen, verletzt ist.

Im Falle, dass die Gleichung erfüllt ist, wird das innovierte Fusionsobjekt in dem Schritt P70 abhängig von dem innovierten

Merkmalszustand ermittelt. Anderenfalls wird das

Sensorobjekt s _t in dem Schritt P60 mittels des use of cross covariance -Algorithmus zu einem Fusionsobjekt assoziiert

und das innovierte Fusionsobjekt ermittelt.

Zur Behandlung dieses Fehlerfalls wird die IMF-Fusion von Fusions- und Sensor-Objekt insbesondere wie gehabt ausgeführt und das Ergebnis zur Überprüfung temporär

zwischengespeichert. Verletzt das Ergebnis die oben

beschriebene intuitive Annahme, so wird das temporäre

Ergebnis verworfen. Es findet stattdessen eine Fusion nur mit approximativer Berücksichtigung etwaiger Korrelationen unter Verwendung der „use of cross covariance"-Methode statt.