Verfahren und Netzwerk zur Sensordatenfusion

Gebiet der Erfindung

Die Erfindung betrifft ein Verfahren zur Sensordatenfusion, ein entsprechendes Netzwerk, sowie ein entsprechendes Computerprogrammprodukt.

Stand der Technik

Durch eine Sensordatenfusion werden Daten von unterschiedlichen Sensoren zusammengeführt. Für die Sensordatenfusion werden in den unterschiedlichen Daten abgebildete Objekte verfolgt und assoziiert. Dazu werden insbesondere zum ähnlichen Zeitpunkt am ähnlichen Ort befindliche Objekte mit ähnlicher Kinematik assoziiert.

Offenbarung der Erfindung

Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zur Sensordatenfusion, ein entsprechendes Netzwerk, sowie ein entsprechendes Computerprogrammprodukt gemäß den unabhängigen Ansprüchen vorgestellt. Vorteilhafte Weiterbildungen und Verbesserungen des hier vorgestellten Ansatzes ergeben sich aus der Beschreibung und sind in den abhängigen Ansprüchen beschrieben.

Vorteile der Erfindung

Bei dem hier vorgestellten Ansatz werden von unterschiedlichen Sensoren erfasste Objekte anhand ihrer Kinematik assoziiert und zusammengeführt. Zusätzlich werden andere, für die kinematische Assoziation nicht verwendete Merkmale zwischengespeichert und nach der Assoziation zu den zusammengeführten Objekten hinzugefügt.

Durch den hier vorgestellten Ansatz können Merkmale, die für die kinematische Assoziation nicht verwendet werden, für nachfolgende Schritte weitergegeben werden. Diese Merkmale können so nicht mehr verloren gehen.

Es wird ein Verfahren zur Sensordatenfusion vorgeschlagen, wobei von zumindest zwei Sensoren Objektlisten mit Merkmalen erfasster Objekte eingelesen werden, aus den Objektlisten jeweils Kinematikmerkmale und Zusatzmerkmale der erfassten Objekte extrahiert werden und zeitlich zusammen erfassten Kinematikmerkmalen und Zusatzmerkmalen jeweils eine gemeinsame Kennung zugewiesen wird, wobei die von den verschiedenen Sensoren zu einem Objekt erfassten Kinematikmerkmale unter Verwendung einer Kinematikfusion zu einem Fusionsobjekt zusammengeführt werden, wobei bei der Kinematikfusion die zugewiesenen Kennungen der Kinematikmerkmale erhalten werden, wobei unter Verwendung der Kennungen der zu dem Fusionsobjekt zusammengeführten Kinematikmerkmale die Zusatzmerkmale mit den entsprechenden Kennungen zu dem Fusionsobjekt hinzugefügt werden.

Ideen zu Ausführungsformen der vorliegenden Erfindung können unter anderem als auf den nachfolgend beschriebenen Gedanken und Erkenntnissen beruhend angesehen werden.

Ausgestaltungen des hierin beschriebenen Sensordatenfusionsverfahrens und des zu dessen Implementierung eingesetzten Netzwerks können beispielsweise dazu eingesetzt werden, einem Fahrzeug zu ermöglichen, mithilfe einer Mehrzahl von Sensoren empfangene Sensordaten in einer vorteilhaften Weise auszuwerten, um letztendlich eine Information über eine Umgebung des Fahrzeugs zu erzeugen. Die erzeugte Information kann beispielsweise dazu genutzt werden, um das Fahrzeug oder einzelne seiner Funktionalitäten zu steuern und/oder um einen Fahrer des Fahrzeugs beim Steuern desselben zu unterstützen. Das Netzwerk kann hierbei Teil einer Wahrnehmungssensorik sein oder mit dieser kommunizieren. Insbesondere kann das Netzwerk in einem Fahrzeugassistenzsystem eingesetzt sein.

Ein Sensor kann Objekte in einem Erfassungsbereich erfassen, die Objekte und Merkmale der Objekte erkennen und die Merkmale der erkannten Objekte als Objektliste ausgeben. Eine Objektliste kann unterschiedliche Merkmale enthalten. Von unterschiedlichen Sensoren können unterschiedliche Objektlisten bereitgestellt werden. Die Sensoren können zumindest anteilig überlappende Erfassungsbereiche aufweisen. Somit kann ein und dasselbe Objekt von mehreren Sensoren erfasst werden, von mehreren Sensoren Merkmale des Objekts erkannt werden und die Merkmale in mehreren Objektlisten abgebildet werden.

Eine Sensordatenfusion kann die in mehreren Objektlisten abgebildeten Merkmale zusammenführen. Dazu kann eine Kinematik beziehungsweise Bewegung des Objekts beobachtet werden. Die Kinematik kann durch Kinematikmerkmale des Objekts in der Objektliste abgebildet sein. Kinematikmerkmale können beispielsweise eine Geschwindigkeit des Objekts, eine Beschleunigung des Objekts, eine Position des Objekts und/oder eine Ausrichtung des Objekts abbilden. Wenn dasselbe Objekt von mehreren Sensoren erfasst wird, wird auch dieselbe Kinematik des Objekts erfasst und die Kinematikmerkmale aus unterschiedlichen Objektlisten bilden dieselbe Kinematik ab. Diese Kinematikmerkmale können durch eine Kinematikfusion zusammengeführt werden.

Zusatzmerkmale können Informationen zu dem Objekt abbilden, die keinen Bezug zur Kinematik des Objekts aufweisen. Die Zusatzmerkmale können beispielsweise eine Farbe des Objekts, eine Größe des Objekts, eine Masse des Objekts, ein Material des Objekts und/oder einen Typ beziehungsweise eine Klasse des Objekts abbilden.

Eine Kennung kann beispielsweise einen Erfassungszeitpunkt des Merkmals repräsentieren. Die Kennung kann eindeutig sein. Die Kennung kann den erfassenden Sensor kennzeichnen. Die Kennung kann die zusammen erfassten Merkmale eindeutig identifizieren.

Ein Fusionsobjekt kann ein durch zumindest zwei Sensoren erfasstes Objekt sein. Das Fusionsobjekt kann von den unterschiedlichen Sensoren erfasste Merkmale aufweisen.

Die Zusatzmerkmale mit ihren Kennungen können in einem Merkmalspuffer gespeichert werden. Die Zusatzmerkmale können zwischengespeichert werden, während die Kinematikfusion ausgeführt wird. Der Merkmalspuffer kann beispielsweise ein Ringpufferspeicher sein. Die Zusatzmerkmale können nach der Kinematikfunktion aus dem Merkmalspuffer ausgelesen werden. Dabei können die Zusatzmerkmale pro Sensor in einem eigenen Merkmalspuffer gespeichert werden. Ebenso können die Zusatzmerkmale von mehreren Objektlisten gemeinsam gespeichert werden. Die Kennungen können eine chronologische Reihenfolge der Zusatzmerkmale der verschiedenen Sensoren definieren.

Die Kinematikmerkmale mit ihren Kennungen können in einem Kinematikpuffer gespeichert werden. Der Kinematikpuffer kann beispielsweise ein Ringpufferspeicher sein. Die Kinematikmerkmale können pro Sensor in einem eigenen Kinematikpuffer gespeichert werden. Ebenso können die Kinematikmerkmale von mehreren Objektlisten gemeinsam gespeichert werden. Die Kennungen können eine chronologische Reihenfolge der Kinematikmerkmale definieren. Die Kinematikmerkmale der verschiedenen Sensoren können bei der Kinematikfusion unter Verwendung der chronologischen Reihenfolge zu dem Fusionsobjekt zusammengeführt werden. Zeitverzögert eingelesene Kinematikmerkmale können unter Verwendung der Kennungen in die chronologische Reihenfolge eingereiht werden. Wenn Kinematikmerkmale beispielsweise aufgrund von Signallaufzeiten und/oder vorgelagerter Verarbeitungsschritte zeitverzögert eingelesen werden, kann die Kinematikfusion erneut durchlaufen werden.

Die Zusatzmerkmale im Merkmalspuffer können nach einer vordefinierten Speicherdauer gelöscht werden. Wenn die Zusatzmerkmale innerhalb der Speicherdauer nicht ausgelesen werden, können die Zusatzmerkmale gelöscht werden. Die Zusatzmerkmale können schnell veralten. Ebenso können in der Kinematikfusion nicht verwendete Kinematikmerkmale nach einer vordefinierten Speicherdauer gelöscht werden. Die Kinematikmerkmale können schnell veralten.

Das Fusionsobjekt kann unter Verwendung der hinzugefügten Zusatzmerkmale plausibilisiert werden. Insbesondere können Zusatzmerkmale von unterschiedlichen Sensoren zum Plausibilisieren verwendet werden.

Beispielsweise kann das Fusionsobjekt mit einer verringerten Zuverlässigkeit bewertet werden, wenn beim Plausibilisieren eine Inkonsistenz der Zusatzmerkmale erkannt wird. Eine Inkonsistenz kann beispielsweise erkannt werden, wenn ein Sensor ein erstes Zusatzmerkmal erkennt, der andere Sensor aber ein widersprüchliches anderes Zusatzmerkmal erkennt, also beispielsweise der erste Sensor einen ersten Objekttyp erkennt, der andere Sensor aber einen anderen Objekttyp erkennt. Ebenso kann eine Inkonsistenz erkannt werden, wenn sich zumindest ein Zusatzmerkmal im Verlauf der betrachteten Kinematik verändert, also wenn beispielsweise eine Farbe des Objekts plötzlich verändert erkannt wird.

Kinematikmerkmale, deren Zusatzmerkmale eine Inkonsistenz aufweisen, können verworfen werden. Diese Kinematikmerkmale können möglicherweise zu einem anderen Objekt gehören. Die Kinematikfusion kann ohne die verworfenen Kinematikmerkmale erneut durchgeführt werden. Eine weitere Kinematikfusion kann unter Verwendung der verworfenen Kinematikmerkmale durchgeführt werden, um das andere Objekt als weiteres Fusionsobjekt zu erkennen.

Das Verfahren ist vorzugsweise computerimplementiert und kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.

Der hier vorgestellte Ansatz schafft ferner ein Netzwerk, das dazu ausgebildet ist, um die Schritte einer Variante des hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen.

Das Netzwerk kann ein elektrisches Gerät mit zumindest einer Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest einer Speichereinheit zum Speichern von Signalen oder Daten, und zumindest einer Schnittstelle und/oder einer Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten, die in ein Kommunikationsprotokoll eingebettet sind, sein. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein sogenannter System-ASIC oder ein Mikrocontroller zum Verarbeiten von Sensorsignalen und Ausgeben von Datensignalen in Abhängigkeit von den Sensorsignalen sein. Die Speichereinheit kann beispielsweise ein Flash-Speicher, ein EPROM oder eine magnetische Speichereinheit sein. Die Schnittstelle kann als Sensorschnittstelle zum Einlesen der Sensorsignale von einem Sensor und/oder als Aktorschnittstelle zum Ausgeben der Datensignale und/oder Steuersignale an einen Aktor ausgebildet sein. Die Kommunikationsschnittstelle kann dazu ausgebildet sein, die Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben. Die Schnittstellen können auch Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind. Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.

Es wird darauf hingewiesen, dass einige der möglichen Merkmale und Vorteile der Erfindung hierin mit Bezug auf unterschiedliche Ausführungsformen beschrieben sind. Ein Fachmann erkennt, dass die Merkmale des Steuergeräts und des Verfahrens in geeigneter Weise kombiniert, angepasst oder ausgetauscht werden können, um zu weiteren Ausführungsformen der Erfindung zu gelangen.

Kurze Beschreibung der Zeichnung

Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beigefügte Zeichnung beschrieben, wobei weder die Zeichnung noch die Beschreibung als die Erfindung einschränkend auszulegen sind.

Fig. 1 zeigt eine Darstellung eines Netzwerks zur Sensordatenfusion gemäß einem Ausführungsbeispiel.

Die Figur ist lediglich schematisch und nicht maßstabsgetreu. Gleiche Bezugszeichen bezeichnen gleiche oder gleichwirkende Merkmale.

Ausführungsformen der Erfindung

Fig. 1 zeigt eine Darstellung eines Netzwerks 100 zur Sensordatenfusion gemäß einem Ausführungsbeispiel. Die zu fusionierenden Sensordaten werden von zumindest zwei Sensoren 102 bereitgestellt. Hier werden beispielsweise von zwei Sensoren 102 Sensordaten bereitgestellt. Die Sensoren 102 können gleichartig oder unterschiedlich sein. Beispielsweise kann ein Sensor 102 ein Radarsensor sein, während der andere Sensor 102 eine Kamera ist. Die Sensoren 102 erfassen je einen Erfassungsbereich 104. Die Erfassungsbereiche 104 von zumindest zwei der Sensoren 102 überlappen sich zumindest anteilig. Die Sensoren 102 erfassen Objekte 106 innerhalb der Erfassungsbereiche 104 und bilden Merkmale der Objekte 106 in Objektlisten 108 ab. Die zu fusionierenden Sensordaten liegen damit hier in Form der Objektlisten 108 vor. Die Sensordaten können auch als Vorstufe der Objektlisten 108 vorliegen, beispielsweise als Punktwolken. Dann ist eine zwischengeschaltete Objekterkennung erforderlich.

Wenn ein Objekt von mehreren Sensoren 102 erfasst wird, werden Merkmale des Objekts 106 in den Objektlisten 108 aller erfassenden Sensoren 102 abgebildet. Da das Objekt 106 jeweils aus einer Perspektive des erfassenden Sensors 102 erfasst wird, unterscheiden sich die in den Objektlisten 108 abgebildeten Merkmale zumindest geringfügig. Ebenfalls können unterschiedliche Sensoren 102 aufgrund ihrer unterschiedlichen Sensortechnik unterschiedliche Merkmale des gleichen Objekts 106 erfassen.

Das Netzwerk 100 liest die Objektlisten 108 von den Sensoren 102 ein. In einer Extraktionseinrichtung 110 des Netzwerks 100 werden Kinematikmerkmale 112 der erfassten Objekte 106 und Zusatzmerkmale 114 der erfassten Objekte 106 aus den Objektlisten extrahiert.

Die Kinematikmerkmale 112 bilden kinematische Eigenschaften der Objekte 106, wie beispielsweise eine Geschwindigkeit, eine Beschleunigung und/oder eine Position des jeweiligen Objekts 106 ab. Die kinematischen Eigenschaften werden bei einer anschließenden Kinematikfusion verwendet.

Die Zusatzmerkmale 114 bilden Eigenschaften der Objekte 106 ab, die bei der Kinematikfusion nicht verwendet werden, wie beispielsweise eine Farbe, eine Größe, eine Masse, ein Material und/oder einen Typ des jeweiligen Objekts 106.

Bei der Extraktion in der Extraktionseinrichtung 110 werden den Kinematikmerkmalen 112 und den Zusatzmerkmalen 114 Kennungen 116 zugeordnet. Die Kennungen 116 sind dabei jeweils für zeitgleich erfasste Merkmale gleich. Die Kennungen 116 kennzeichnen damit zusammengehörige Kinematikmerkmale 112 und Zusatzmerkmale 114. Die Kinematikmerkmale 112 aus den unterschiedlichen Objektlisten 108 werden in einer Fusionseinrichtung 118 des Netzwerks 100 durch Kinematikfusion fusioniert. Dabei werden die Kinematikmerkmale 112 eines von mehreren Sensoren 102 erfassten Objekts 106 zu einem Fusionsobjekt 120 zusammengeführt. Die Kennungen 116 der jeweils fusionierten Kinematikmerkmale 112 bleiben erhalten und werden dem Fusionsobjekt 120 zugeordnet.

Nach der Kinematikfusion werden dem zumindest einen Fusionsobjekt 120 in einer Zusammenführungseinrichtung 122 des Netzwerks 100 die Zusatzmerkmale 114 mit den entsprechenden Kennungen 116 hinzugefügt.

In einem Ausführungsbeispiel werden die Kinematikmerkmale 112 und Zusatzmerkmale 114 mit ihren Kennungen 116 in Ringpuffern 124 des Netzwerks 100 zwischengespeichert. In den Ringpuffern 124 werden die Kinematikmerkmale 112 und Zusatzmerkmale 114 chronologisch gespeichert. Speicherplätze der Ringpuffer 124 werden dabei nacheinander verwendet. Beim Speichern wird so jeweils der Speicherplatz mit dem ältesten Inhalt überschrieben. Wenn die Sensordaten eines oder mehrerer der Sensoren 102 mit einem Zeitversatz eingelesen werden, kann der Zeitversatz durch die Zwischenspeicherung kompensiert werden. Wenn Sensordaten mit dem Zeitversatz eingelesen werden, kann die Kinematikfusion mit den nachträglich extrahierten Kinematikmerkmalen 112 wiederholt werden. So können für die Kinematikfusion jeweils zeitgleich erfasste Kinematikmerkmale 112 verwendet werden und eine Genauigkeit der Kinematikfusion erhöht werden. Die Zusatzmerkmale 114 verbleiben zumindest so lange im Ringpuffer 124, bis sie dem passenden Fusionsobjekt 120 zugeordnet werden können.

In einem Ausführungsbeispiel werden die Kinematikmerkmale 112 und Zusatzmerkmale 114 pro Sensor 102 in eigenen Ringpuffern 124 zwischengespeichert. So kann eine Vermischung der Merkmale bei zufällig gleichlautenden Kennungen 116 verhindert werden.

In einem Ausführungsbeispiel wird das Fusionsobjekt 120 unter Verwendung der Zusatzmerkmale 114 in einer Plausibilisierungseinrichtung 126 des Netzwerks 100 plausibilisiert. Die Plausibilisierungseinrichtung 126 ordnet dem Fusionsobjekt 120 einen Zuverlässigkeitswert 128 zu. Beispielsweise kann bei einem Fusionsobjekt 120 eine Inkonsistenz erkannt werden, wenn sich ein Zusatzmerkmal 114 plötzlich ändert. Dem Fusionsobjekt 120 kann bei einer Inkonsistenz ein verringerter Zuverlässigkeitswert 128 zugewiesen werden. Der Zuverlässigkeitswert 128 kann bei nachfolgenden Verarbeitungsschritten berücksichtigt werden.

Eine Inkonsistenz kann beispielsweise erkannt werden, wenn sich der Typ des Fusionsobjekts 120, die Farbe des Fusionsobjekts 120, die Größe des Fusionsobjekts 120, die Masse des Fusionsobjekts 120 und/oder das Material des Fusionsobjekts 120 plötzlich ändert.

In einem Ausführungsbeispiel werden die Kinematikmerkmale 112 aus den Sensordaten des Sensors 102, der das veränderte Zusatzmerkmal 114 erfasst hat, aus der Kinematikfusion ausgeschlossen und die Kinematikfusion unter Verwendung der verbleibenden Kinematikmerkmale 112 wiederholt, um ein verbessertes Fusionsobjekt 120 zu erhalten.

Nachfolgend werden mögliche Ausgestaltungen der Erfindung nochmals zusammengefasst bzw. mit einer geringfügig anderen Wortwahl dargestellt.

Es wird eine Fusionsverbesserung vorgestellt.

Ein computergesteuertes Auto benötigt ein Wahrnehmungssystem. Da es viele verschiedene Parameter gibt, die von den Sensoren erfasst werden müssen, und auch für eine bessere Leistung in Präzision und Zuverlässigkeit, ist es üblich, alle Sensoren in eine sogenannte "Fusion" einzubeziehen, die versucht, die Eingaben aller Sensoren abzugleichen und ein konsolidiertes Bild der Umgebung auszugeben.

Die Fusion bezieht sich dabei insbesondere auf eine Objektfusion, im Gegensatz zu anderen Arten, die möglich sind.

Typische Implementierungen solcher Fusionssysteme beinhalten einen Assoziationsalgorithmus, der versucht, Übereinstimmungen zwischen bereits verfolgten Objekten und neuen eingehenden Objekten herzustellen. Die Assoziation basiert auf einer Art "Entfernungsmessung", die einen Wert der Ähnlichkeit zwischen den bereits verfolgten Objekten und den neu eingehenden Objekten zuweist. Dieses Matching erfolgt typischerweise auf der Grundlage kinematischer Merkmale der Objekte basierend auf Position, Geschwindigkeit, Beschleunigung usw. Selten hängt dieses Matching von anderen Merkmalen der Objekte, wie z.B. Farbe ab, da nur die Kamera die Farbe bestimmen kann.

Einige Fusionsimplementierungen verwenden einen Ringpuffer für die eingehenden Messungen, um mit Messinformationen außerhalb der Reihenfolge umgehen zu können, die beispielsweise von einer Quelle, wie einer Kameraeinheit am Straßenrand stammen, die aufgrund von Verarbeitungs- und Kommunikationsverzögerungen alte Informationen senden kann.

Wertvolle verfügbare Informationen, wie die Farbe des Fahrzeugs (von der Kamera), die Metallmasse (vom Radar) und andere, gehen typischerweise während dieses Fusionsprozesses verloren und/oder werden für den Assoziationsprozess nicht berücksichtigt. Auch bei der Betrachtung können nur die verfolgten Informationen berücksichtigt werden, bei denen es sich um eine fusionierte Information aller Eingaben bis zu diesem Zeitpunkt handelt.

Hier wird eine Fusion vorgestellt, bei der zumindest ein erster Ringpuffer verwendet wird, um mit Informationen außerhalb der Reihenfolge umzugehen, zusätzlich wird ein zweiter Ringpuffer verwendet, der alle aus jeder Messung verfügbaren Informationen enthält. Insbesondere werden alle Informationen, die nicht im Assoziations-/Fusionsprozess verwendet werden, in dem zweiten Ringpuffer parallel zum ersten Ringpuffer gespeichert, der die für die Algorithmen relevanten Informationen enthält. Insbesondere werden für jedes verfolgte Objekt dabei nicht nur die relevanten Tracking-Informationen verfolgt, sondern auch eine Liste von Verweisen auf die Originaldaten in den Ringpuffern.

Die Verfügbarkeit dieser Informationen ermöglicht es, die Ausgabe der Fusion mit allen gesammelten Daten, die bei der Fusion keine Rolle spielen, zu verbessern und/oder anzureichern. Darüber hinaus können diese verfügbaren Informationen für eine bessere Fusion genutzt werden. Wenn beispielsweise festgestellt wird, dass ein verfolgtes Objekt ein Produkt von Messungen ist, bei denen sich beispielsweise die Farbe von einer Messung zur anderen Messung ändert, können abweichende Messungen eliminiert werden (z. B. mit einem Algorithmus der RANSAC-Familie).

Die eingehenden Messungen werden in relevante Informationen für Assoziations-/Fusions-/Tracking- Algorithmen und "zusätzliche Informationen aufgeteilt. Beide Informationen werden in Ringpuffern gespeichert, die für jeden Sensor unabhängig sind.

Der Assoziations-/Fusionspfad entspricht dem eines hochmodernen Fusionssystems. Der einzige Unterschied besteht darin, dass zu jedem verfolgten Objekt eine Liste von Zeigern/Verweisen auf die ursprünglichen eingehenden Informationen gespeichert wird. Jedes Mal, wenn Messinformationen verwendet werden, um das verfolgte Objekt zu aktualisieren, wird der Liste ein Zeiger hinzugefügt.

Am Ende der Fusionsalgorithmen wird die Liste der Originalinformationen gescannt, und alle "nicht für die Algorithmen relevanten" Informationen werden der Ausgabe hinzugefügt. Dabei werden Plausibilitätsprüfungen durchgeführt, um sicherzustellen, dass die für das Objekt verwendeten Informationen konsistent sind. Wenn z.B. das Objekt einmal als Fahrrad und einmal als LKW in der Historie erkannt wurde, können die Informationen als "weniger zuverlässig" eingestuft werden, indem beispielsweise die Varianz erhöht oder die Konfidenzbewertung verringert wird. Ausreißer können unter Verwendung von RANSAC oder anderen ähnlichen Algorithmen herausgefiltert werden.

Abschließend ist darauf hinzuweisen, dass Begriffe wie „aufweisend“, „umfassend“, etc. keine anderen Elemente oder Schritte ausschließen und Begriffe wie „eine“ oder „ein“ keine Vielzahl ausschließen. Bezugszeichen in den Ansprüchen sind nicht als Einschränkung anzusehen.