HARTWIG CHRISTOPH (DE)
| DE102019205008B3 | 2020-07-02 | |||
| DE102020005597A1 | 2020-11-05 | |||
| DE102019214628A1 | 2021-03-25 | |||
| DE102015201747A1 | 2016-08-04 | |||
| DE102020005597A1 | 2020-11-05 | |||
| DE102016209704A1 | 2017-12-07 | |||
| DE102017217972A1 | 2019-04-11 |
| Patentansprüche 1. Verfahren zum Erstellen eines Umgebungsmodells für ein hochautomatisiert oder autonom betriebenes Fahrzeug mit mindestens zwei Sensoren zur Umgebungserfassung, wobei die Umgebung mittels eines Belegungsgitters als zusammenhängende Anordnung von Gitterzellen repräsentiert, jeder Gitterzelle ein Gitterzellenmaß zugeordnet und die Auflösung des Belegungsgitters durch die Anzahl der Gitterzellen für einen definierten Ausschnitt der Umgebung bestimmt wird, umfassend folgende Schritte: - Projektion erfasster Rohdaten mindestens eines ersten Sensors auf das Belegungsgitter durch Erzeugen eines Gitterzellenmaßes in Abhängigkeit eines inversen Sensormodells, - Projektion vorverarbeiteter Objektdaten eines Gitterzellenmaßes in Abhängigkeit eines inversen Sensorobjektmodells, - Fusionieren der projizierten Rohdaten und der projizierten vorverarbeiteten Objektdaten zu einem Belegungsgitter durch Berechnen eines fusionierten Gitterzellenmaßes, - Verarbeiten des Belegungsgitters zum Extrahieren von Gitterdaten, - Verarbeiten der extrahierten Gitterdaten zur Erstellung des Umgebungsmodells und - Bereitstellen des Umgebungsmodells zum hochautomatisierten oder autonomen Betrieb des Fahrzeugs. 2. Verfahren nach Anspruch 1 , wobei die Auflösung des Belegungsgitters, die Größe der Gitterzellen und/oder die Form der Gitterzellen in Abhängigkeit einer Umgebungskategorie und/oder eines Szenarios veränderlich sind. 3. Verfahren nach einem der vorhergehenden Ansprüche, wobei dem Belegungsgitter wenigstens ein dynamischer Datenlayer zum Flinterlegen von Gitterzellenattributen in den Gitterzellen zugeordnet ist. 4. Verfahren nach Anspruch 3, wobei die Projektion der erfassten Rohdaten zusätzlich das Projizieren von aus den Rohdaten abgeleiteten Gitterzellenattributen in den wenigstens einen dynamischen Datenlayer umfasst. 5. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Fusionieren der projizierten Rohdaten und der projizierten vorverarbeiteten Objektdaten das Kombinieren des aktuellen fusionierten Gitterzellenmaßes mit dem fusionierten Gitterzellenmaß des vorhergehenden Zeitschrittes sowie das Kompensieren der Eigenbewegungen des Fahrzeugs und/oder der projizierten vorverarbeiteten Objektdaten und/oder von Gitterzellen mit Dynamikinformationen umfasst. 6. Verfahren nach Anspruch 5, wobei das Fusionieren der projizierten Rohdaten und der projizierten vorverarbeiteten Objektdaten das Kombinieren des aktuellen fusionierten Gitterzellenmaßes mit dem fusionierten Gitterzellenmaß des vorhergehenden Zeitschrittes mittels eines Grid-Updates umfasst. 7. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verarbeiten des Belegungsgitters morphologische Operationen über alle Gitterzellen zur konsistenten Verteilung der fusionierten Gitterzellenmaße im Belegungsgitter umfasst. 8. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verarbeiten des Belegungsgitters eine Clusteranalyse zum Extrahieren der Gitterdaten umfasst. 9. Verfahren nach Anspruch 8, wobei die Clusteranalyse das Bestimmen verbundener Regionen von Gitterzellen des Belegungsgitters auf Basis von Nachbarschaftsbeziehungen der Gitterzellenmaße und/oder auf Basis der den Gitterzellen zugeordneten Attributen umfasst. 10. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verarbeiten der extrahierten Gitterdaten ein Tracking von Objekten zum Erhalten von Dynamikinformationen der Objekte umfasst. 11 .Verfahren nach Anspruch 10, wobei das Tracking von dynamischen Objekten mittels eines Interacting Multiple Models mit zwei Kalmanfiltern erfolgt, wobei der erste Kalmanfilter ein Konstant-Bewegungsmodell mit konstanter Geschwindigkeit und der zweite Kalmanfilter ein Konstant-Kurven-Modell mit konstanter Geschwindigkeit und konstantem Bahnkurvenradius umfasst. 12. Steuergerät, wobei das Steuergerät als Recheneinheit ausgebildet ist, um alle Schritte des Verfahrens nach einem der Ansprüche 1 bis 11 auszuführen. 13. Computerimplementiertes Verfahren, wobei das computerimplementierte Verfahren zum Erstellen eines Umgebungsmodells für ein hochautomatisiert oder autonom betriebenes Fahrzeug nach einem Verfahren entsprechend der vorhergehenden Ansprüche 1 bis 11 konfiguriert ist. 14. Computerprogramm, wobei das Computerprogramm ein Steuergerät dazu veranlasst, alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 11 auszuführen, wenn es auf dem Steuergerät ausgeführt wird. 15. Programmcode mit Verarbeitungsanweisungen zum Erstellen eines auf einem Computer ablauffähigen Computerprogramms, wobei der Programmcode das Computerprogramm nach Anspruch 14 ergibt, wenn der Programmcode gemäß den Verarbeitungsanweisungen in ein ablauffähiges Computerprogramm umgewandelt wird. |
Beschreibung
Die Erfindung betrifft ein System zur Fusion von Daten unterschiedlicher Sensoren auf dem Gebiet der Umgebungswahrnehmung, speziell für die Umgebungswahrnehmung hochautomatisierter bzw. autonomer Verkehrsteilnehmer, wie selbstfahrende Fahrzeuge, mobile Roboter und fahrerlose Transportsysteme.
Stand der Technik
In dynamischen Umgebungen, wie z.B. im innerstädtischen Bereich, ist eine große Anzahl unterschiedlichster Verkehrsteilnehmer unterwegs. Daraus folgt eine Vielzahl möglicher Situationen, deren Kenntnis eine Voraussetzung für hochautomatisches oder autonomes Fahren ist. Daher ist eines der zentralen Elemente, welches für das autonome Fahren notwendig ist, die Umgebungswahrnehmung zur zuverlässigen Erfassung und Interpretation der Umgebungssituation. Diese erfolgt aktuell unter Verwendung von Radar-, Lidar-, Ultraschall- und Kamerasensoren. Für die Verarbeitung bzw. das Zusammenführen und Analysieren der Daten dieser unterschiedlichen Sensoren sind grundsätzlich zwei Methoden zu nennen. Der erste Ansatz ist die klassische Objektfusion. In diesem Fall generieren die einzelnen Sensoren aus ihren Messdaten Objekte, beispielsweise in Form von Objektlisten, welche in einem weiteren Schritt mit den Objektlisten anderer Sensoren fusioniert werden. Dies bedeutet, dass die Datenfusion rein auf Objektbasis oder auf Rohdatenbasis stattfindet. Beispiele wären die Fusion mehrerer Radare, z.B. für einen Abstandsregeltempomaten, oder die Lidar-Kamera-Fusion, bei der Lidar-Punktwolken in das Kamerabild transformiert und anschließend mit den von der Kamera erkannten Objektklassen fusioniert werden. Dann werden aus den klassifizierten Lidar-Punkten Objekte im Fahrzeugkoordinatensystem generiert.
Nachteilig ist die notwendige Vorverarbeitung der Sensordaten im Sensor, da nur definierte Objektdaten verarbeitet werden können. Um diese Objektdaten zu erzeugen, müssen die jeweiligen Sensoren zur Rohdatenauswertung und Objektextraktion ausgebildet sein und benötigen daher jeweils hohe dezentrale Rechenleistung. Außerdem kann die klassische Objektdatenfusion nicht mit weiteren Informationsschichten, z.B. unbelegten Flächen, und/oder Daten anderer Sensorquellen ohne Objektextraktion erweitert werden.
Der zweite Ansatz nutzt Occupancy Grid- bzw. Belegungsgitter-basierte Partikelfilter, welche die statischen und dynamischen Elemente der Umgebung auf Basis einzelner Gitterzellen bestimmen. Partikelfilter ist eine geläufige Bezeichnung sequentieller Monte-Carlo-Methoden. Damit soll die gerade aktuell vorliegende aber unbekannte Wahrscheinlichkeitsdichte der Verteilung einer Zustandsgröße geschätzt werden. Dazu wird eine Vielzahl von Partikeln (Paare aus Ausprägung und Punktkoordinaten im Zustandsraum) erzeugt. Die Gesamtheit der Partikel repräsentiert die Wahrscheinlichkeitsdichte. Der Partikelfilteransatz hat den Nachteil, dass eine Vielzahl parallel zu berechnender Verarbeitungsschritte zur Schätzung des Zustandes auf Basis einer Vielzahl von Schätzverfahren und eine hohe Anzahl von Partikeln eine sehr hohe Rechenleistung benötigt. Diese wird derzeit von Grafikprozessoren (GPU) durchgeführt, die auf parallele Datenverarbeitung ausgelegt sind. Diese hohe Rechenleistung steigt zusätzlich noch stark mit weiteren Sensorquellen an, was die Skalierbarkeit für Applikationen mit einer hohen Anzahl an Sensoren, wie z.B. urbane automatisierte Shuttlesysteme, reduziert. Schließlich sind derartige auf Partikelfilter basierte Umgebungsmodelle in der Regel auf bestimmte Anwendungsfälle abgestimmt und können nur mit erheblichem Aufwand für neue Umgebungsszenarien oder Funktionen angepasst werden.
Die DE 102015201 747 A1 offenbart ein Sensorsystem für ein Fahrzeug, bei dem die Sensoreinrichtungen aus den jeweiligen Rohdaten ein Belegungsgitter berechnen und eine Steuereinrichtung aus den einzelnen Belegungsgittern ein fusioniertes Belegungsgitter berechnet.
Die DE 102020005597 A1 beschreibt ein Verfahren zur Erzeugung einer Umgebungskarte zur Umgebungsrepräsentation in Form eines Belegungsgitters, dessen Koordinatenursprung in Abhängigkeit der Fahrgeschwindigkeit, der Fahrsituation oder einer die Umgebungsrepräsentation nutzende Fahrzeuganwendung dynamisch angepasst und die Auflösung und der dargestellte Erfassungsbereich des Belegungsgitters in Abhängigkeit des Koordinatenursprungs eingestellt werden. In dem Belegungsgitter werden die Eingangsdaten verschiedener Sensoren, wie Kameras, Radare, Lidare usw., dargestellt.
Die DE 102016209704 A1 betrifft ein Verfahren zur Ansteuerung einer Personenschutzeinrichtung eines Fahrzeugs, bei dem unfallrelevante Informationen in einem Umgebungsraster (occupancy grid) verarbeitet werden. Auf Basis dieses Umgebungsrasters liegen die verarbeiteten Informationen in einem zeitkritischen Fahrzustand bereits vor und können somit zum schnellen und robusten Auslösen der Personenschutzreinrichtung verwendet werden.
Die DE 102017217972 A1 betrifft ein Verfahren zum Erzeugen eines inversen Sensormodells für Radarsensorvorrichtungen. Dazu werden reale Hindernisse im Umfeld der Radarsensorvorrichtung positioniert und dann durch die Radarsensorvorrichtung vermessen. Das inverse Sensormodell wird unter Verwendung der erzeugten Radarmessdaten und der vorgegebenen Abmessungen und räumlichen Positionen der Hindernisse generiert und ordnet einer Zelle eines Belegungsgitters eine Belegtheitswahrscheinlichkeit in Abhängigkeit von vorgegebenen Radarmessdaten zu.
Aufgabe der Erfindung
Die Aufgabe der vorliegenden Erfindung ist es, ein Umfeldmodell für hochautomatisiert oder autonom fahrende Fahrzeuge mit einer hohen Zahl an Sensoren ressourcenminimiert mit hoher Vertrauenssicherheit zu erstellen.
Darstellung und Vorteile der Erfindung
Die Aufgabe wird durch ein Verfahren zum Erstellen eines Umgebungsmodells für ein hochautomatisiert oder autonom betriebenes Fahrzeug mit mindestens zwei Sensoren zur Umgebungserfassung entsprechend den Maßnahmen des unabhängigen Anspruchs 1, sowie durch ein Steuergerät, ein computerimplementiertes Verfahren, ein Computerprogramm und einen Programmcode entsprechend der Ansprüche 11 bis 14 gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche. Umgebungsmodelle, auch Umfeldmodelle genannt, sind für mobile Anwendungen, wie Fahrerassistenzsysteme von Kraftfahrzeugen oder mobile Roboter an sich bekannt. Für die Anwendung in einem hochautomatisiert oder autonom betriebenen Fahrzeug (Automatisierungsgrad Level 3 bis 5 nach SAE-Standard J3016; automatisierter und autonomer Modus nach Bundesanstalt für Straßenwesen-BASt) bestehen besonders hohe Anforderungen an die Güte des Umgebungsmodells.
Umgebungsmodelle sind ein möglichst genaues Abbild der das Fahrzeug umgebenden Umwelt. Sie erstrecken sich vom Fahrzeug bis zur Erfassungsgrenze der Umgebungssensoren, die bei Langstreckensensoren in 100m Entfernung oder mehr liegen kann. Umgebungsmodelle beinhalten möglichst alle stationären und dynamischen, also beweglichen Objekte. Dies können andere Fahrzeuge oder Fußgänger sein. Stationäre Objekte sind ortsfeste Objekte, wie Infrastrukturelemente, Ampeln, Verkehrsschilder, aber auch Spurmarkierungen. Idealerweise enthält das Umgebungsobjekt nicht nur die Belegung von Gitterzellen durch diese Objekte, referenziert über ein Fahrzeug-Koordinatensystem, sondern auch weitere Informationen über diese Objekte. Dies können Dynamikinformationen, wie Geschwindigkeit, Bewegungsrichtung oder eine prädizierte Position, aber auch Objekteigenschaften, wie Objektklasse, Fahrspurdaten, Verkehrsinformationen oder Freiräume, sein. Zur Erfassung der zur Gewinnung dieser Inhalte erforderlichen Umgebungsdaten ist in Fahrzeugen eine Vielzahl unterschiedlicher Sensoren zur Erfassung der Umgebung verbaut. Diese unterscheiden sich nach Anordnung, Erfassungsprinzip und Sensordatenauswertung.
Lidarsensoren senden strahlenförmige Laserimpulse im nicht sichtbaren Spektrum aus und empfangen die Lichtreflektionen punktuell. Dadurch entsteht ein hochaufgelöstes Abbild der abgedeckten Umgebung, das allerdings eine sehr hohe Anzahl einzelner Sensorwerte aufweist.
Radarsensoren senden elektromagnetische Wellen im Radiofrequenzbereich aus und detektieren reflektierte Signale ebenfalls punktuell. Die Punktdichte und die Auflösung sind aber deutlich geringer als bei Lidarsensoren. Sowohl Lidar als auch Radar haben unter den üblichen Umfeldsensoren die größte Messentfernung (Langstreckensensoren) und können auf Basis von Laufzeitdifferenzen und Dopplereffekt prinzipiell Abstände (Radar, ToF-Lidar- Time of Flight) und Relativgeschwindigkeiten (Radar, FMCW-Lidar - Frequency Modulated Continuous Wave) von Objekten in der Umgebung ermitteln.
Optische Sensoren, wie Kameras weisen eine wesentlich höhere Auflösung/Pixeldichte gegenüber Radarsensoren und häufig auch als Lidarsensoren auf. Die Schätzung von Positionen von Objekten ist jedoch deutlich ungenauer. Sie werden daher bevorzugt als Mittel- bis Kurzstreckensensoren eingesetzt. Die Bilder der optischen Sensoren werden verarbeitet, wobei anhand von Merkmalsvektoren zur Objektklassifikation, anhand von identifizierten geometrischen Formen oder auch unter Nutzung des optischen Flusses Objekte erkannt und identifiziert werden. Häufig wird dies mit Methoden des Maschinellen Lernens umgesetzt, zum Beispiel bei der Objekterkennung eines Convolutional Neural Networks (CNN). Die Vorverarbeitung der Objektdaten ist üblicherweise bereits in der Kamera integriert. Diese Sensoren gibt es in verschiedenen Ausführungen mit unterschiedlichen Messbereichen und Auflösungen. Alle Sensoren sind im Fahrzeugkoordinatensystem in Abhängigkeit des Sichtbereichs kalibriert, das heißt, ein erfasster Sensorwert kann in der Umgebung relativ zum Fahrzeug verortet werden.
Die hohe Anforderung an die Güte des Umgebungsmodells erfordert eine Vielzahl von Umgebungssensoren mit unterschiedlich ausgedehnten und sich teilweise überlappenden Messbereichen, um auf Objekte in der Umgebung möglichst frühzeitig und gleichzeitig präzise und flexibel reagieren zu können, beispielsweise durch Bestimmen einer Ausweichtrajektorie. Das erfindungsgemäße Verfahren nutzt dazu wenigstens zwei, vorzugsweise eine Vielzahl von Sensoren. Eine beispielhafte Sensorkonfiguration für hochautomatische Anwendungen in urbanen Gebieten besteht aus zwei auf dem Dach angeordneten Lidarsensoren zur Überwachung des vorderen und rückwärtigen Bereichs auf langen Distanzen und vier an den Ecken des Fahrzeugbodens angeordneten Lidarsensoren zur Erfassung der Umgebung auf mittleren Distanzen. Vier weitere Lidarsensoren sind mittig an den Dachkanten des Fahrzeugs angeordnet. Deren Erfassungsbereich ist nach unten gerichtet, um den Nahbereich um das Fahrzeug zu erfassen. Die erfassten Umgebungsdaten werden zusätzlich zur Eigenlokalisierung innerhalb der Umgebung unter anderem zur Fußgänger- oder Spurerkennung genutzt.
Acht Radarsensoren sind an den Fahrzeugecken in zwei Ebenen angeordnet, um mittlere Distanzen zu überwachen. Diese weisen unterschiedliche Erfassungseigenschaften zur Reduzierung des Einflusses unterschiedlicher Wetterbedingungen sowie zur Erhöhung der Erfassungssicherheit durch redundante bzw. überlappende Erfassungsbereiche auf.
Weiterhin umfasst die beispielhafte Sensorkonfiguration fünf optische Kameras, wobei eine in Fahrtrichtung ausgerichtet ist, um Objekte und Spurinformationen im Nah- bis Mittelstreckenbereich zur Verfügung zu stellen, und vier weiteren an den Fahrzeugkanten angeordneten Kameras zur Erfassung der unmittelbaren Umgebung um das Fahrzeug herum.
Schließlich kann auch ein V2X-basierter Sensor installiert sein, der über Fahrzeug-zu- Fahrzeug bzw. Fahrzeug-zu-lnfrastruktur-Kommunikation drahtlos Informationen von anderen Verkehrsteilnehmern oder Infrastruktureinrichtungen in Form von Objekten empfängt. Dabei ist eine Zuordnungsvorschrift zwischen den Koordinatensystemen des Fahrzeugs und des Kommunikationspartners (weiteres Fahrzeug, stationäre Verkehrsraumüberwachung) erforderlich, um die übertragenen Objektpositionen nutzen zu können. Beispielsweise kann die Zuordnung über ein globales Koordinatensystem erfolgen.
Das erfindungsgemäße Verfahren ist besonders vorteilhaft bei derartigen Sensorkonfigurationen mit verschieden generierten Umgebungsdaten (Lidar und Radar liefern Punktwolken, Kameras und V2X-basierte Sensoren liefern Objekte) einsetzbar, da es einen sehr effizienten Ressourceneinsatz zur Erstellung des Umgebungsmodells bei höchster Erfassungs- bzw. Modellgüte ermöglicht. Prinzipiell ist das Verfahren aber auch bei einer geringeren Anzahl von Sensoren vorteilhaft einsetzbar.
Bei dem erfindungsgemäßen Verfahren wird die Umgebung mittels eines Belegungsgitters als zusammenhängende Anordnung von Gitterzellen repräsentiert. Jeder Gitterzelle wird ein Gitterzellenmaß zugeordnet und die Auflösung des Belegungsgitters wird durch die Anzahl der Gitterzellen für einen definierten Ausschnitt der Umgebung bestimmt.
Belegungsgitter, auch Occupancy Grid genannt, sind diskrete Repräsentationen der stetig vorhandenen Umgebung und an sich bekannt. Bei deren Erstellung muss der abzudeckende Ausschnitt der Umgebung definiert werden. Form und Größe der Gitterzellen sowie die Auflösung des Belegungsgitters, also die Anzahl Gitterzellen in Relation zum abgedeckten Umgebungsausschnitt, müssen ebenfalls festgelegt werden. Belegungsgitter können als Polargitter oder auch als Kartesisches Gitter ausgeführt sein.
Das Verfahren wird in Zeitschriften mit Schleifenfunktion ausgeführt, also quasi permanent wiederholt. Übliche Erfassungsfrequenzen reichen von mehreren Erfassungen pro Sekunde bis zu Zeitabständen von mehreren Sekunden zwischen den Zeitschriften und ist abhängig von der Anzahl an Messpunkten und Objekten.
Funktional sichere Umgebungserfassungen sollten im Schnitt mehr als zehn Erfassungen pro Sekunde ermöglichen. Bei der Erstellung des Belegungsgitters, also beim ersten Zeitschrift, wird jeder Gitterzelle ein Gitterzellenmaß zugewiesen. Das ist im einfachsten und bevorzugten Fall eine Belegungs- bzw. Besetzungswahrscheinlichkeit. Diese gibt an, wie groß die Wahrscheinlichkeit ist, dass in dem von einer Gitterzelle repräsentierenden Ausschnitts der Umgebung ein Objekt vorhanden ist. Das Gitterzellenmaß kann auch als Kostenwert ausgedrückt werden. Bei jedem weiteren Zeitschrift können die Gitterzellenmaße auf einen Ausgangswert zurückgesetzt oder aus dem vorherigen Zeitschrift übernommen werden. Der Ausgangswert des Gitterzellenmaßes beträgt beispielsweise 0,5. Dies entspricht einer unklaren Belegung der Gitterzelle. Ein Wert von null entspricht einer sicher unbelegten und ein Wert von 1 entspricht einer sicher belegten Gitterzelle.
Im ersten Schritt des erfindungsgemäßen Verfahrens erfolgt eine Projektion erfasster Rohdaten mindestens eines ersten Sensors auf das Belegungsgitter durch Erzeugen eines Gitterzellenmaßes in Abhängigkeit eines inversen Sensormodells. Ein inverses Sensormodell gibt die Genauigkeit bzw. den Fehlerbereich der einzelnen Messpunkte der Rohdaten an und bildet Prinzip bedingte Messfehler bzw. Erfassungstoleranzen als Verteilung um den Messpunkt herum ab. Die Verteilung kann eine definierte Form und Ausdehnung aufweisen und/oder einer Wahrscheinlichkeitsverteilung um den Messpunkt herum entsprechen.
Dabei können die Eigenschaften des Sensors, wie die Messgenauigkeit in radialer Richtung (Entfernungsmessung) und die Winkelauflösung, genauso berücksichtigt werden wie die Kalibrierungsgenauigkeit und andere Einflussgrößen. Die inversen Sensormodelle können spezifisch für Messprinzip, Einbauort und Ausrichtung a priori festgelegt sein und können einfach durch einen Bediener oder in Abhängigkeit von Umgebungsbedingungen (Lichtverhältnisse, Niederschlag) ausgewählt und angepasst werden. Erstreckt sich die Verteilung eines Messpunkts über mehrere Gitterzellen, so wird das Gitterzellenmaß anteilig erzeugt. Dies kann über den von der Verteilung flächenmäßig abgedeckten Anteil der Gitterzelle oder die Abbildung der Wahrscheinlichkeitsverteilung um den Messpunkt herum erfolgen. Die vom inversen Sensormodell bestimmte Verteilung ist sensorindividuell unterschiedlich konfigurierbar. So kann z. B. ein Radar aufgrund seiner Fähigkeit zur Erkennung von Relativbewegungen in den Rohdaten eine Verschiebung der Verteilung entgegen seiner Bewegungsrichtung aufweisen. Diese Eigenschaft wird vom inversen Sensormodell kompensiert oder verstärkt, je nach erforderlicher Ausgestaltung.
Abhängig von der Auflösung der Rohdaten, z.B. bei Lidar und Radar, liegen je nach Auflösung des Belegungsgitters mehrere Messpunkte in jeder Gitterzelle. Über alle projizierten Rohdatenpunkte und deren Fehlerbereiche wird das Gitterzellenmaß beispielsweise in Form einer Belegungswahrscheinlichkeit berechnet.
Im nächsten Schritt des erfindungsgemäßen Verfahrens erfolgt eine Projektion der vorverarbeiteten Objektdaten mindestens eines weiteren Sensors auf das Belegungsgitter durch Erzeugen eines weiteren Gitterzellenmaßes in Abhängigkeit eines inversen Sensorobjektmodells. Ein inverses Sensorobjektmodell gibt die Erfassungsgenauigkeit der vorverarbeiteten Objektdaten parallel oder strahlenförmig zur Sensorsichtlinie wieder und bezieht die Eigenheiten des objekterzeugenden Sensors (Kamera, V2X-basierter Sensor), wie das Sichtfeld, die Erfassungsgenauigkeit oder die Genauigkeit der Objekterkennung in den Rohdaten ebenso mit ein, wie mögliche Projektionsfehler, z.B. aufgrund von Ungenauigkeiten der Zuordnung von Sensorkoordinatensystem und Belegungsgitter-Koordinatensystem (Kalibrierungsqualität). Die Erfassungsgenauigkeit in Form von geometrischen oder statistischen Unsicherheitsintervallen kann durch Abgleich mit Referenzdaten, beispielsweise das Abrufen von Objektmaßen bei klassifizierten Objekten aus einer Datenbank, erhöht werden. Praktisch werden beispielsweise Objektkanten und Objektflächen mit einer Unsicherheitsverteilung versehen und so auf das Belegungsgitter bzw. die einzelnen Gitterzellen abgebildet. Das inverse Sensorobjektmodell wird ebenfalls a priori sensorspezifisch festgelegt, ausgewählt oder angepasst. Die Erzeugung des Gitterzellenmaßes erfolgt analog der Verteilung um den Messpunkt bei der Rohdatenprojektion.
Im nächsten Schritt des erfindungsgemäßen Verfahrens erfolgt ein Fusionieren der projizierten Rohdaten und der projizierten vorverarbeiteten Objektdaten zu einem Belegungsgitter durch Berechnen eines fusionierten Gitterzellenmaßes. Das Belegungsgitter als einheitliche Schnittstelle führt die Gitterzellenmaße der einzelnen roh- oder objektdatenbasierten Messpunkte aller verwendeten Umgebungssensoren zu einem fusionierten Gitterzellenmaß zusammen. Die Berechnung kann normalisiert über die Anzahl der Gitterzellenmaße erfolgen. Außerdem kann eine entfernungsabhängige Unsicherheit unbelegter Zellen (Belegungswahrscheinlichkeit <0,5) einberechnet werden, so dass ab einer bestimmten Entfernung jede als nicht belegt erfasste Gitterzelle das Ausgangsmaß 0,5 annimmt, also als unbestimmt gilt.
Im nächsten Schritt des erfindungsgemäßen Verfahrens erfolgt ein Verarbeiten des Belegungsgitters zum Extrahieren von Gitterdaten. Zweck des Belegungsgitters ist die Repräsentanz der Umgebung. Dazu sollen Objekte, wie andere Verkehrsteilnehmer, Infrastrukturobjekte, Fahrbahnmarkierungen usw. und nicht belegte Freiflächen erkannt und abgebildet werden. Diese Objekte (auch Freiflächen werden als Objekte behandelt) sind die zu extrahierenden Gitterdaten. Die Verarbeitung des Belegungsgitters kann eine qualitative Aufbereitung der Gitterzellenmaße und/oder eine Ermittlung geometrischer Formen zusammenhängender bzw. in Verbindung stehender objektspezifischer Gitterzellenmaße umfassen. Im nächsten Schritt des erfindungsgemäßen Verfahrens erfolgt ein Verarbeiten der extrahierten Gitterdaten zur Erstellung des Umgebungsmodells. Dabei wird jedes extrahierte Objekt mit seinen Eigenschaften erkannt und entsprechend verarbeitet. So können Objekte in Verkehrsteilnehmer, wie Fahrzeuge oder Fußgänger, klassifiziert werden. Diese werden anders verarbeitet als stationäre Objekte, wie Fahrbahnmarkierungen, Ampeln oder andere Hindernisse. Letztere müssen beispielsweise nicht individuell getrackt oder deren Verhalten vorhergesagt werden.
Schließlich wird durch das erfindungsgemäße Verfahren das Umgebungsmodell zum hochautomatisierten oder autonomen Betrieb des Fahrzeugs bereitgestellt, vorzugsweise durch Speichern der verarbeiteten extrahierten Gitterdaten in dem Belegungsgitter. Dieses aktuelle Belegungsgitter wird den Fahrfunktionen oder auch Fahrerassistenzfunktionen in Form einer einheitlichen Schnittstelle zur Verfügung gestellt.
Vorteilhafterweise ermöglicht das erfindungsgemäße Verfahren eine sensorunabhängige Umgebungsdatenverarbeitung bzw. Umgebungsdatenfusion, besonders bei einer großen Anzahl verschiedener Sensoren, da die Objektextraktion, - Verfolgung und -Vorhersage eigenständig auf Basis einer einheitlichen Repräsentanz sämtlicher Sensordaten durchgeführt wird. Dadurch ergibt sich eine Modulierbarkeit also Austauschbarkeit und Integration weiterer Sensoren, bei denen lediglich das inverse Sensormodell angepasst und/oder übernommen werden muss. Dies ermöglicht die Auswahl einer am besten für ein Nutzungsszenario angepassten Sensorkonfiguration ohne aufwändige Anpassungen beim Verarbeiten der erfassten Umgebungsdaten.
Ein weiterer großer Vorteil ist der relativ geringe notwendige Ressourceneinsatz an Rechentechnik zum Erstellen des Umgebungsmodells im Vergleich zur hohen Aussagekraft bzw. Verlässlichkeit des Umgebungsmodells für alle Anwendungen im Fahrzeug. Dies spielt vor allem bei mobilen Anwendungen eine erhebliche Rolle. Die erfindungsgemäße Verarbeitung der erfassten Umgebungsdaten ist damit hoch skalierbar, also mit einer großen Anzahl an Umgebungssensoren bei geringem Ressourceneinsatz anwendbar. Weiterhin wird durch das zur Verfügung stellen einer einheitlichen Schnittstelle für sämtliche Fahrerassistenzfunktionen eine Vereinfachung und damit Optimierung der auf das Umgebungsmodell zugreifenden assistierenden oder autonomen Fahrfunktionen möglich, da diese nicht an verschiedene Schnittstellen adaptiert werden müssen. Dadurch können auch verteilt angeordnete Steuergeräte eingespart werden. Die einheitliche Schnittstelle ermöglicht eine einheitliche und vollständige Repräsentation dynamischer und statischer Anteile der Umgebung. Dabei können auch Objekte ausgegeben werden, die von der klassischen Objektfusion nicht darstellbar sind (z. B. Leitplanken oder eine Häuserwand). Diese mussten bisher separat, also zusätzlich betrachtet werden.
In einer vorteilhaften Weiterbildung des erfindungsgemäßen Verfahrens sind die Auflösung des Belegungsgitters, die Größe der Gitterzellen und/oder die Form der Gitterzellen in Abhängigkeit einer Umgebungskategorie und/oder eines bestimmten Szenarios veränderlich. Die Umgebung kann anhand spezifischer Bewegungsmuster der Verkehrsteilnehmer, wie zu erwartender Geschwindigkeiten oder Aktionen, kategorisiert werden. Dies kann anhand von Straßenkategorien, wie Autobahn oder Wohngebietsstraße, des Vorhandenseins vulnerabler Verkehrsteilnehmer, wie Fußgänger oder Radfahrer, oder funktionsspezifischer Umgebungen, wie einem Parkhaus, erfolgen. Anwendungsszenarios können in Abhängigkeit des bestimmten Autonomiegrades oder spezifischer Anwendungsfälle, wie autonomes Einparken oder autonome Personenbeförderung, vorgegeben werden. Das autonome Führen eines Fahrzeugs im urbanen Umfeld benötigt eine deutlich größere räumliche Ausdehnung des Umgebungsmodells, um vorausschauend durchgeführt werden zu können. Ein Einparkassistent benötigt demgegenüber eine hohe Auflösung in der unmittelbaren Fahrzeugumgebung. Umgebungskategorien und Szenarios können vorgegeben sein oder auf Basis von Sensordaten oder Datenbankabfragen, z.B. in Abhängigkeit der Position innerhalb einer digitalen Karte, ausgewählt werden oder von außerhalb des Fahrzeugs vorgegeben bzw. aktiviert werden, beispielsweise bei der Einfahrt in ein Parkhaus.
In einer sehr vorteilhaften Weiterbildung des erfindungsgemäßen Verfahrens ist dem Belegungsgitter ein dynamischer Datenlayer zum Hinterlegen von Gitterzellenattributen zugeordnet. Gitterzellenattribute sind zusätzliche Eigenschaften der Messpunkte bzw. der jeweiligen Gitterzelle, die über die Belegung an sich, also das Vorhandensein eines Gitterzellenmaßes hinausgeht. Dies können Dynamikinformationen, wie Geschwindigkeit oder Bewegungsrichtung des erfassten Objektpunktes, oder Informationen über die Objektklasse, wie Fußgänger, Fahrbahnmarkierung bzw. Fahrspur oder die Befahrbarkeit (Freifläche), sein.
Die Gitterzellenattribute können aus einem vorhergehenden Zeitschritt bekannt sein und beim Fusionieren der projizierten Daten und Verarbeiten der Gitterdaten beibehalten werden. Die Gitterzellenattribute können auch direkt in den erfassten Roh- bzw. vorverarbeiteten Objektdaten codiert sein, wie die Relativgeschwindigkeit in einem Radar-Messpunkt oder die Objektklasse eines von einer Kamera erfassten und erkannten Objekts. Durch die Übernahme ohnehin im Sensor enthaltender Funktionen, wie das Anreichern von Messpunkten oder Objekten mit Zusatzinformationen, bei der Erstellung des Umgebungsmodells erhöht sich einerseits der Informationsgehalt und reduziert sich andererseits der Ressourceneinsatz durch das Wegfallen der Implementierung von Funktionen zum zusätzlichen oder alternativen Erzeugen dieser Zusatzinformationen beim Erstellen des Umgebungsmodells, sowohl bei der Entwicklung (Anpassungsaufwand verschiedener Sensorkonfigurationen) als auch im Betrieb (verteilte Abarbeitung).
Der Datenlayer kann aus einer Vielzahl von Datenlayern bestehen, die jeweils unterschiedliche Informationskategorien (z. B. Objektklassen, Dynamikinformationen, Befahrbarkeit) enthalten. Vorzugsweise modelliert das inverse Sensormodell bzw. Sensorobjektmodell, welche sensorspezifischen Informationen auf das Belegungsgitter in welchen Datenlayer projiziert und anschließend mit den weiteren Daten der Gitterzelle fusioniert werden. Die im entsprechenden Datenlayer hinterlegten Gitterzellenattribute können auch als Hauptmerkmal zur Fusion verwendet werden, wenn sie eine höhere Aussagekraft als die reine Belegungswahrscheinlichkeit aufweisen. Dynamische Datenlayer haben den Vorteil, eine Vielzahl an Zusatzinformationen mit layerindividuellen Informationsklassen bereitzustellen, die durch die Zuordnung zu den Gitterzellen Berechnungsressourcen und Berechnungszeiten minimieren. In einer besonders vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens umfasst die Projektion der erfassten Rohdaten zusätzlich das Projizieren von aus den Rohdaten abgeleiteten Gitterzellenattributen in den wenigstens einen dynamischen Datenlayer. Welche Attribute dabei auf welche Gitterzelle projiziert werden, kann durch das inverse Sensormodell bzw. das inverse Sensorobjektmodell festgelegt, also modelliert sein. Dadurch können sensorspezifische Informationen, die über das bloße Vorhandensein eines Objektes hinausgehen, unmittelbar auf das Belegungsgitter projiziert werden, ohne jedes Mal entscheiden zu müssen, welche Daten übernommen werden sollen.
In einer vorteilhaften Weiterbildung des erfindungsgemäßen Verfahrens umfasst das Fusionieren der projizierten Rohdaten und der projizierten vorverarbeiteten Objektdaten das Kombinieren des aktuellen fusionierten Gitterzellenmaßes mit dem fusionierten Gitterzellenmaß des vorhergehenden Zeitschrittes sowie das Kompensieren der Eigenbewegungen des Fahrzeugs und/oder der projizierten vorverarbeiteten Objektdaten und/oder von Gitterzellen mit Dynamikinformationen. Jeder Zeitschritt kann als eigenes Belegungsgitter angesehen werden. Da das Verfahren regelmäßig bzw. quasi permanent ausgeführt wird, liegt, bis auf den Systemstart, immer ein Belegungsgitter aus dem vorhergehenden Zeitschritt vor. Um die dort enthaltenen Informationen nicht bei jedem Zeitschritt aufwändig neu bestimmen zu müssen, wird der aktuelle Zeitschritt mit dem vorhergehenden fusioniert. Dazu ist eine Zuordnung der Gitterzellen zu den Gitterzellendaten des vorherigen Schrittes erforderlich. Dies wird durch das Herausrechnen, also Kompensieren, der Eigenbewegungen des Fahrzeugs sowie der Eigenbewegungen der Objekte in der Umgebung, repräsentiert durch die projizierten Daten, erreicht. Die Relativbewegungen stationärer Objekte in der Umgebung, wie Bäume oder Verkehrsschilder, werden bei der Kompensation der Eigenbewegung des Fahrzeugs berücksichtigt. Gitterzellen können auch eine Dynamikinformation ohne Objektbezug aufweisen, beispielsweise eine Relativgeschwindigkeit aus einem oder mehreren zu einem Gitterzellenmaß fusionierten Radar-Messpunkten.
In einer besonders vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens umfasst das Fusionieren der projizierten Rohdaten und der projizierten vorverarbeiteten Objektdaten das Kombinieren des aktuellen fusionierten Gitterzellenmaßes mit dem fusionierten Gitterzellenmaß des vorhergehenden Zeitschrittes mittels eines Grid- Updates. Ein Grid-Update ist eine Methode, bei der sich ändernde oder hinzukommende Informationen in ein bestehendes Belegungsgitter integriert werden, ohne alle anderen Daten neu zu berechnen. Dabei entsteht ein aktualisiertes Gitterzellenmaß, also beispielsweise eine aktualisierte Belegungswahrscheinlichkeit der Zelle. Die verwendete Updatefunktion kann in Abhängigkeit der Art des Gitterzellenmaßes (Belegungswahrscheinlichkeit, Kostenwert) oder durch einen Anwender bzw. Bediener vorgegeben werden. Beispielhafte Funktionen sind eine Bayes'sche Updatefunktion oder eine Dempster-Shafer-Updatefunktion.
In einer vorteilhaften Weiterbildung des erfindungsgemäßen Verfahrens umfasst das Verarbeiten des Belegungsgitters morphologische Operationen über alle Gitterzellen zur konsistenten Verteilung der fusionierten Gitterzellenmaße, also zur konsistenten Abbildung bzw. Reproduktion von Objektformen im Belegungsgitter. Morphologische Operationen sind aus der Bildbearbeitung bekannt. Sie dienen dazu, fehlerhafte Bildinformation aufgrund von Verunreinigungen oder ungenügender Vorlagen zu korrigieren bzw. zu reduzieren. Beispielhafte Grundoperationen sind Opening und Closing (unbestimmter Bildinhalt wird weggelassen oder verstärkt zum Öffnen oder Schließen geometrischer Formen) sowie Erosion und Dilatation, also das Auflösen oder Verbinden von Strukturen in (Bild-) Daten. Die vorteilhafte Anwendung der morphologischen Operationen auf das Belegungsgitter, also die Gesamtheit oder bestimmte Teilmengen der Gitterzellen, führt zur einer höheren Datenkonsistenz der erfassten Sensordaten und kompensiert Störungen oder Messabweichungen.
Besonders vorteilhaft (Ressourcen und Qualität) ist die Anwendung der Operationen auf bereits aggregierte Daten mehrerer Messpunkte und verschiedener Sensoren, da dadurch die Qualität bzw. Konsistenz der Daten bei geringerer gewichteten Operationsparametern (geringere Artefaktbildung) zusätzlich gesteigert und damit auch der rechnertechnische Ressourcenaufwand für die morphologischen Operationen reduziert werden können. Schließlich müssen derartige Verarbeitungsoperationen nicht für jeden Sensor einzeln, sondern für alle Sensordaten lediglich einmal zentral durchgeführt werden. In einer vorteilhaften Weiterbildung des erfindungsgemäßen Verfahrens umfasst das Verarbeiten des Belegungsgitters eine Clusteranalyse zum Extrahieren der Gitterdaten. Dabei werden vorteilhafterweise in den Gitterzellenmaßen oder Datenlayerattributen zusammenhängende Formen ohne großen Rechenaufwand als Objekte definiert. Einzelne Gitterzellen werden also zueinander assoziiert bzw. geclustert.
In einer besonders vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens umfasst die Clusteranalyse das Bestimmen verbundener Regionen von Gitterzellen des Belegungsgitters auf Basis von Nachbarschaftsbeziehungen der Gitterzellenmaße und/oder auf Basis der den Gitterzellen zugeordneten Attributen, beispielsweise auf Basis gleicher Bewegungsrichtungen, Geschwindigkeitsinformationen, dynamischer Zustände der Gitterzellen oder Objektklassen. Nachbarschaftsbeziehungen bestehen zwischen benachbarten Gitterzellen. Je nach Ausgestaltung des Belegungsgitters kann jede Gitterzelle eine unterschiedliche Anzahl benachbarter Gitterzellen aufweisen. Eine beispielhafte Nachbarschaftsbeziehung in einem quadratischen Raster ist die Moore- Nachbarschaft, bei der die Gitterzellen, die eine Ecke oder eine Kante mit der Ausgangszeile gemeinsam haben, als Nachbarn gelten (8er-Nachbarschaft). Eine weitere beispielhafte Nachbarschaftsbeziehung in einem quadratischen Raster ist die Von-Neumann-Nachbarschaft, bei der die Gitterzellen, die eine Kante mit der Ausgangszeile gemeinsam haben, als Nachbarn gelten. (4er-Nachbarschaft).
Um Objekte und andere Informationen aus dem Belegungsgitter zu extrahieren, wird ein Ansatz zur Analyse von verbundenen Komponenten verwendet. Dabei wird beim Start eine hinreichend sicher belegte Gitterzelle als „Kondensationskeim“ eines neuen Clusters definiert. Dann wird die Moore-Nachbarschaft dieser Gitterzelle auf weitere hinreichend sicher belegte Gitterzellen untersucht und diese zu dem Cluster hinzugefügt. Dann wird die Moore-Nachbarschaft der hinzugefügten Gitterzellen solange analysiert, bis keine weiteren hinreichend sicher belegten Gitterzellen in der Moore-Nachbarschaft vorhanden sind. Neben der Belegungswahrscheinlichkeit der Gitterzelle können auch andere Kriterien zur Clusterbildung verwendet werden, z. B. Objektklassifikationen oder dynamische Zustandsgrößen, wie Geschwindigkeit und Bewegungsrichtung. Vorteilhafterweise ist das Clustern von Gitterzellen deutlich weniger rechenintensiv, wie das Clustern von Punktewolken, deren Messpunktanzahl die Gitterzellenanzahl um mehrfache Größenordnungen übersteigt. Bei der klassischen Objektdatenfusion ist diese Vorverarbeitung erforderlich.
In einer bevorzugten vorteilhaften Weiterbildung des erfindungsgemäßen Verfahrens umfasst das Verarbeiten der extrahierten Gitterdaten ein Tracking von Objekten zum Erhalten von Dynamikinformationen der Objekte. Dies beinhaltet stationäre Objekte in der Umgebung, wie Ampeln oder auch Freiflächen. Bei stationären Bewegungen ist das Tracking lediglich von den zuverlässig bekannten Bewegungsinformationen des Fahrzeugs abhängig und daher einfach durchzuführen. Dynamikinformationen über dynamische Objekte, z. B. Geschwindigkeit und Bewegungsrichtung, sind nicht nur von der Bewegung des Fahrzeugs abhängig und können daher nicht direkt aus den Ego- Daten berechnet werden. Diese Dynamikinformationen müssen daher aus der erfassten realen Bewegung geschätzt werden. Vorteilhafterweise ist das Tracking von Gitterobjekten eine Möglichkeit zum Schätzen dieser Dynamikinformationen. Der bevorzugte Trackingalgorithmus zeichnet sich durch geringe Ressourcenanforderungen bei gleichzeitig großer Robustheit und hoher Güte aus. Das Tracking kann auch eingesetzt werden, um die Zusatzinformationen der Gitterzellenattribute innerhalb des Belegungsgitters auf andere Gitterzellen zu übertragen, wenn sich das zugehörige Element (Objekt, Messwert) im Belegungsgitter verschiebt.
In einer besonders vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens erfolgt das Tracking von dynamischen Objekten mittels eines Interacting Multiple Models mit wenigstens zwei Kalmanfiltern (IMMKF), die entsprechend einer ausgewählten Grundcharakteristik erweitert werden. Grundsätzlich erlaubt ein IMMKF die Kopplung beliebig vieler Systeme und kann daher auch auf mehr als zwei Kalmanfilter erweitert werden, die dann andere Schätzcharakteristiken abbilden können. Die Anzahl der gekoppelten Systeme ist proportional zur notwendigen Rechenleistung, weshalb zwei Kalmanfilter einen guten Kompromiss beispielsweise für autonome Personentransporter im geschwindigkeitsreduzierten Innenstadtverkehr darstellen.
Der erste Kalmanfilter ist ein Konstant-Bewegungsmodell mit konstanter Geschwindigkeit und der zweite Kalmanfilter ein Konstant-Kurven-Modell mit konstanter Geschwindigkeit und konstantem Bahnkurvenradius. Dynamische Objekte sind Objekte, die sich in Relation zur Umgebung bewegen oder bewegen können. Das Tracking erfordert somit das Einbeziehen der Eigengeschwindigkeit der dynamischen Objekte. Das Interacting Multiple Model ist ein dynamisch gekoppeltes System von zwei Kalmanfiltern. Diese werden speziell für den Anwendungsfall mit der beabsichtigten Charakteristik ausgewählt. Im vorliegenden Fall handelt es sich bei den beiden Kalmanfiltern um die Extreme möglicher Bewegungen des Objektes: die Geradeaus- und die Kurvenfahrt. Der Vorteil dieses Ansatzes ist, dass ein spezieller Kalmanfilter bestimmte Bewegungen besonders gut beschreiben kann, bei anderen Bewegungen aber relativ schlechte Ergebnisse liefert. Die dynamische Kopplung erlaubt es, den jeweils besten Kalmanfilter bevorzugt zu verwenden. Die Ausgestaltung als an sich bekanntes Interacting Multiple Model ermöglicht die selbstständige Auswahl des bevorzugten Kalmanfilters ohne Eingriffe von außen. Besonders vorteilhaft kann dadurch auf den Einsatz rechenintensiver Partikelfilter verzichtet werden, was zusätzliche Hardware (z.B. GPU) unnötig macht.
Ein Aspekt der Erfindung betrifft ein Steuergerät, das als Recheneinheit ausgebildet ist, um alle Schritte des erfindungsgemäßen Verfahrens auszuführen.
Ein Aspekt der Erfindung betrifft ein computerimplementiertes Verfahren, wobei das computerimplementierte Verfahren zum Erstellen eines Umgebungsmodells für ein hochautomatisiert oder autonom betriebenes Fahrzeug nach dem erfindungsgemäßen Verfahren konfiguriert ist.
Ein Aspekt der Erfindung betrifft ein Computerprogramm, wobei das Computerprogramm ein Steuergerät dazu veranlasst, alle Schritte eines erfindungsgemäßen Verfahrens auszuführen, wenn es auf dem Steuergerät ausgeführt wird.
Ein Aspekt der Erfindung betrifft einen Programmcode mit Verarbeitungsanweisungen zum Erstellen eines auf einem Computer ablauffähigen Computerprogramms, wobei der Programmcode das erfindungsgemäße Computerprogramm ergibt, wenn der Programmcode gemäß den Verarbeitungsanweisungen in ein ablauffähiges Computerprogramm umgewandelt wird. Ausführungsbeispiel
Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen der Erfindung unter Bezugnahme auf die schematisch dargestellten Zeichnungen. Diese dienen lediglich zum Verständnis der Erfindung und haben keinerlei limitierende Wirkung auf den Erfindungsgegenstand, wie er in den Patentansprüchen dargelegt ist.
Hierbei zeigen:
Figur 1 ein beispielhaftes Ablaufschema des erfindungsgemäßen Verfahrens zur Erstellung eines Umgebungsmodells;
Figur 2 eine Projektion eines Messpunktes von Sensorrohdaten auf einen Ausschnitt eines Belegungsgitters zur Bestimmung von Gitterzellenmaßen;
Figur 3 eine Projektion eines von einem Sensor empfangenen vorverarbeiteten Objektes auf einen Ausschnitt eines Belegungsgitters zur Bestimmung von Gitterzellenmaßen;
Figur 4 ein beispielhaftes Ablaufschema eines Interacting Multiple Modells mit zwei erweiterten Kalmanfiltern.
Die beschriebenen Ausführungsbeispiele beziehen sich auf Teilaspekte der Erfindung und betreffen gleichermaßen das Verfahren, das computerimplementierte Verfahren, das Steuergerät, das Computerprogramm sowie den Programmcode. In anderen Worten lassen sich die im Folgenden beispielsweise im Hinblick auf die das Verfahren genannten Merkmale auch in dem Steuergerät, dem Computerprogramm und dem Programmcode implementieren und umgekehrt.
Figur 1 zeigt ein beispielhaftes Ablaufschema des erfindungsgemäßen Verfahrens zur Erstellung eines Umgebungsmodells. Ziel ist es, Sensorrohdaten und vorverarbeitete Objektdaten zu fusionieren, um eine Vielzahl unterschiedlicher Umgebungssensoren zur möglichst umfassenden Umgebungserfassung verwenden zu können und dabei einen effizienten bzw. minimierten Ressourceneinsatz an Rechentechnik zu ermöglichen. Damit wird das erfindungsgemäße Verfahren unabhängig von spezifischen Sensorkonfigurationen, ist hoch skalierbar, also durch verschiedene Sensorarten ergänzbar oder ersetzbar, und bleibt durch die Modularität einfach an technische Bedingungen anpassbar sowie nach Anwendungsfällen konfigurierbar.
Die Erstellung des Umgebungsmodells nutzt einen erweiterten Belegungsgitteransatz. Es startet mit der Dateneingabe 10. Dabei werden die Sensorrohdaten, vorverarbeitete Objekte und Zusatzinformationen, beispielsweise in Form von Gitterzellenattributen, von einer Berechnungseinheit, beispielsweise einem Steuergerät, empfangen. Die Daten werden von den Sensoren und einem eventuell bereits vorhandenen Belegungsgitter aus einem früheren Zeitschrift gewonnen.
Zur Datenfusion 11 werden zunächst die Sensorrohdaten mittels eines inversen Sensormodells auf das Belegungsgitter projiziert und zu einer gemittelten Belegungswahrscheinlichkeit verrechnet (Fig. 2). Parallel oder daraufhin folgend werden die vorverarbeiteten Objektdaten mittels eines inversen Sensorobjektmodells auf das Belegungsgitter projiziert (Fig. 3). Zu den vorverarbeiteten Objektdaten zählen neben dem reinen Vorhandensein des Objektes weitere vorverarbeitete Objektdaten, wie Objektklassen (PKW, Fußgänger, Infrastrukturelement) oder Dynamikdaten (Bewegungsrichtung, Bewegungsgeschwindigkeit). Diese werden ebenfalls mittels des inversen Sensormodells als Gitterzellenattribute auf das Belegungsgitter projiziert, beispielsweise auf einen dynamischen Datenlayer. Die inversen Sensor- bzw. Sensorobjektmodelle werden wie die Grid-Update-Funktionen als Fusionsmodelle 16 zur Datenfusion 11 eingegeben. Anschließend wird das eventuell vorhandene Belegungsgitter mittels einer Grid-Update-Funktion und den aktuellen Eingangsdaten aktualisiert. Das Vorgehen wird am Beispiel einer Bayes’schen Update-Funktion dargestellt.
Um das Belegungsgitter des aktuellen Zeitschritts t mit dem des vorhergehenden Zeitschritts t-1 zu fusionieren, ist eine Kompensation der Eigengeschwindigkeiten sowohl des Fahrzeugs als auch der Objekte und dynamischen Gitterzellen erforderlich. Dynamische Gitterzellen sind Gitterzellen mit Dynamikinformationen, zum Beispiel in Form von Gitterzellenattributen zusätzlicher Datenlayer. Dazu wird ein Eins-zu-Eins- Mapping zwischen den Gitterzellen beider Belegungsgitter durchgeführt. Zuerst werden dabei alle mit einem dynamischen Objekt 0 assoziierten Gitterzellen C 0 zum Zeitschrift t-1 bewegungskompensiert. Die Gitterzellen C 0 weisen einen Mittelpunkt r auf. Das Objekt besitzt die Geschwindigkeit v. Die Eigenschaften der Gitterzellen C 0 werden auf eine Gitterzelle mit dem Mittelpunkt r' übertragen bzw. verschoben: wobei Δt der zeitliche Abstand zwischen den Zeitschritten t-1 und t und die Eigengeschwindigkeit des Fahrzeugs ist. Weitere beispielhafte Bewegungskompensationen können alternativ oder zusätzlich die Winkelgeschwindigkeit oder andere dynamische Attribute des Objektes verwenden.
Anschließend wird die Gitterzelle zum Zeitpunkt t mit der Gitterzelle C t-1 zum Zeitpunkt t-1 für jedes Objekt 0 fusioniert. Die Bayes’sche-Update-Regel zur Berechnung der aktuellen Belegungswahrscheinlichkeit lautet: wobei die gemittelte Belegungswahrscheinlichkeit aus der Projektion der Sensorroh- oder vorverarbeiteten Objektdaten ist. ε ist eine
Übergangswahrscheinlichkeit zum Einbeziehen von Angleichungsfehlern. free ist komplementär zur Belegungswahrscheinlichkeit und beschreibt, wie frei bzw. unbelegt die Gitterzelle C', auf die das Objekt bzw. die Gitterzelleneigenschaft verschoben wurde, zum Zeitpunkt t ist.
Nach der Datenfusion 11 erfolgt die Verarbeitung 12 des Belegungsgitters. Dazu werden beispielsweise morphologische Operationen auf die Gitterdaten angewendet und anschließend zusammenhängende Gitterzellen zu Clustern zusammengeführt (siehe Beschreibung oben), um die Gitterdaten zu extrahieren.
Nach der Verarbeitung 12 des Belegungsgitters erfolgt die Verarbeitung 13 der extrahierten Gitterdaten. Dazu kann eine Eingabe 17 von Zusatzinformationen, beispielsweise in Form von Gitterzellenattributen, genutzt werden. Die Verarbeitung 13 der extrahierten Gitterdaten kann ein Objekt-Tracking (Fig. 4) unter Nutzung eines Interactive Multiple Models 18 und eine Freiraumberechnung in Abhängigkeit der extrahierten Gitterdaten und der Zusatzinformationen umfassen. Schließlich erfolgt die Ausgabe 14 der verarbeiteten Gitterdaten in Form von Belegungswahrscheinlichkeiten und Zusatzinformationen bzw. Gitterzellenattributen, wie Objektgeschwindigkeit, Objektbewegungsrichtung, Objektklasse oder eine Freiflächenklassifikation durch deren Übernahme in ein aktuelles Gittermodell als aktuelles Abbild der Umgebung (Umgebungsmodell). Dieses Umgebungsmodell kann mittels weiterer Verarbeitung auch durch weitere oder abgeleitete Daten erweitert werden. So können beispielsweise die Befahrbarkeit von Freiräumen, das Vorhandensein von Straßenzügen oder weitere Befahrbarkeitsattribute, wie die Güte des Asphalts, als Eigenschaften in den Gitterzellen hinterlegt werden. Fahrerassistenzfunktionen sowie hochautomatisierte oder autonome Fahrfunktionen greifen anschließend auf das aktuelle Umgebungsmodell zu. Das Umgebungsmodell aus dem vorherigen Zeitschritt t-1 kann archiviert, rollierend überschrieben oder gelöscht werden.
Parallel zur Ausgabe 14 des Umgebungsmodells geht das aktuelle Belegungsgitter zusammen mit einer im nächsten Zeitschritt aktualisierten Dateneingabe 10 als nächste Schleife 15 wieder in das erfindungsgemäße Verfahren ein.
Figur 2 zeigt die Projektion eines gemessenen Datenpunktes (Messpunkt 23) eines Radarsensors 22 auf ein Belegungsgitter 20, das aus einer Vielzahl zueinander angeordneten Gitterzellen 21 zusammengesetzt ist. Aufgrund der Charakteristik des Radarsensors ist der Messpunkt 23 ungenau. Ein spezifisches inverses Sensormodell für den Radarsensor 22 gibt eine Wahrscheinlichkeitsverteilung im Fehlerbereich 24 des Messpunktes 23 herum an, die die Wahrscheinlichkeit für den realen Ort (Entfernung, Richtung) der Messung angibt. Das inverse Sensormodell berücksichtigt dabei entfernungs- und raumwinkelabhängige Messabweichungen des Radarsensors 22, wobei die Wahrscheinlichkeit beispielsweise um den Messpunkt 23 herum erhöht ist und zum Rand hin abfällt. Andere inverse Sensormodelle können andere Verteilungen, z. B. eine Gleichverteilung, nutzen. Außerdem kann ein inverses Sensormodell auch eine Transformation der Messpunkte 23 in Abhängigkeit weiterer Messgrößen abbilden. So kann beispielsweise bei Radarsensoren die Verteilung der Belegungswahrscheinlichkeit entlang der Bewegungsrichtung der Detektion verschoben werden, um Messprinzip bedingte Abweichungen zu kompensieren.
Das inverse Sensormodell verändert das Gitterzellenmaß aller Gitterzellen 21, die innerhalb des Fehlerbereichs 24 des Messpunktes 23 liegen. Dies kann durch eine Erhöhung 26 des Gitterzellenmaßes proportional zur Überlappungsfläche der jeweiligen Gitterzelle 21 und dem Fehlerbereich 24 erreicht werden. Dabei kann auch die Ausprägung der Wahrscheinlichkeitsverteilung des inversen Sensormodells aggregiert über der Überlappungsfläche einbezogen werden. In Figur 2 sind in den vom Fehlerbereich 24 überlappten Gitterzellen 21 die Erhöhungen 26 des jeweiligen Gitterzellenmaßes anhand beispielhafter Zahlenwerte dargestellt.
Für jeden weiteren Messpunkt mit seinem zugehörigen Fehlerbereich erfolgt die Erhöhung der Gitterzellenmaße analog. Dabei können auch mehrere Messpunkte in einer Gitterzelle liegen. Das Gitterzellenmaß wird dann in Abhängigkeit aller Erhöhungen 26 resultierend aus allen Messpunkten 23 gebildet, beispielsweise als gemittelte Belegungswahrscheinlichkeit wobei ein Zählwert C, der die aggregierten Erhöhungen des Gitterzellenmaßes der jeweiligen Gitterzelle sowie ggf. das ursprüngliche Gitterzellenmaß repräsentiert, über die Anzahl projizierter Messpunkte N c normiert wird. Die tanh-Funktion stellt sicher, dass für plausible Werte für C und N c die Belegungswahrscheinlichkeit OCC m ≤ 1 bleibt.
Das ursprüngliche Gitterzellenmaß kann aus einem Gitterzellenmaß eines vorherigen Zeitschrittes bei der Erstellung des Umgebungsmodells gebildet werden. Der Ausgangswert aller Gitterzellen beträgt 0,5. Dies entspricht einer unbestimmten Belegung der Gitterzelle. Dieser Zustand liegt auch an der maximalen Grenze des Messbereichs vor.
Zwischen Radarsensor 22 und Messpunkt 23 bzw. dessen Fehlerbereich 24 liegt messprinzipbedingt kein Objekt, da es sich um die Sichtlinie des Sensors handelt. Die von der Sichtlinie durchquerten Gitterzellen 21 werden daher als unbelegt angesehen. Diesen wird eine Belegungswahrscheinlichkeit occ m = 0 zugewiesen. Die Belegungswahrscheinlichkeit unbelegter Zellen nähert sich mit steigender Messentfernung dem Wert 0,5 an, da die Messunsicherheit zunimmt. Die Belegungswahrscheinlichkeit unbelegter Gitterzellen wird dazu mit folgender Formel berechnet λ md entspricht der Wahrscheinlichkeit einer Fehlerkennung, d entspricht der Entfernung des Fahrzeugs von der jeweiligen Gitterzelle und D c entspricht einer sensorspezifischen Normalisierungskonstante. Die Minimumfunktion verhindert, dass die Belegungswahrscheinlichkeit über das Unbestimmtheitsmaß von 0,5 hinaus wächst und dann als wahrscheinlich belegt zählt. Die Projektion der Rohdaten auf ein Belegungsgitter mittels inverser Sensormodelle erlaubt somit vorteilhafterweise eine recheneffiziente Verarbeitung einer großen Anzahl von Sensoren, die Punktwolken erzeugen.
Figur 3 zeigt eine Projektion eines von einem Sensor empfangenen vorverarbeiteten Objektes 33 auf einen Ausschnitt 30 eines Belegungsgitters zur Bestimmung von Gitterzellenmaßen. Die Projektion erfolgt anhand einer repräsentativen Belegungswahrscheinlichkeit des Objektes 33, durchgeführt mittels eines inversen Sensorobjektmodells. Dabei werden die Eigenheiten des Sensors (hier eine Kamera 32), der das vorverarbeitete Objekt 33 zur Verfügung stellt, wie Erfassungsbereich, Erfassungsgenauigkeit oder Fähigkeit zur Klassifikation von Objekten, berücksichtigt. Zur Projektion des Objektes 33 auf das Belegungsgitter 30 müssen die Abmessungen des Objektes 33 und die Sicherheit der Belegungserfassung bzw. deren Verteilung über die Objektdimensionen modelliert werden. Die Sicherheit oder das Vertrauen (Konfidenz) in die Belegungserfassung kann als Gitterzellenmaß analog zur Belegungswahrscheinlichkeit der Rohdatenprojektion in das Belegungsgitter 30 geschrieben werden. Die Belegungswahrscheinlichkeit occ der jeweiligen Gitterzelle kann durch das inverse Sensorobjektmodell wie folgt aus der Erfassungssicherheit f(confidence) berechnet werden: occ = 0.5 + 0.5 * f(confidence), wobei f(confidence) eine Funktion mit der Zielmenge [0,1) ist, die die Verteilung der Erfassungssicherheit über die vom Objekt belegte Fläche beschreibt.
Das Belegungsgitter 30 besteht aus einer Vielzahl von Gitterzellen (34, 35, 36). Die hier dargestellte Auflösung des Belegungsgitters 30 in Relation zur Größe des Objektfahrzeugs ist lediglich schematisch zu verstehen. Das von der Kamera 32 erfasste Objekt 33 ist in seinen Dimensionen als Rechteck nicht maßstabsgerecht. Ein beispielhaftes, in der Praxis verwendetes kartesisches Belegungsgitter weist eine Größe von 100m mal 100m auf. Polare Belegungsgitter können einen Radius von 50m mit dem Fahrzeug als Mittelpunkt aufweisen. Die erforderliche Ausdehnung des Bewegungsgitters hängt vom Anwendungsfall ab. Anwendungsfälle mit hohen Eigengeschwindigkeiten von Fahrzeug und Objekten benötigen tendenziell größere Ausdehnungen. In urbanen, geschwindigkeitsbegrenzten Umgebungen modellierte Gitterzellen weisen Kantenlängen von 20cm mal 20cm auf. Ein Belegungsgitter mit 100m Kantenlänge und Gitterzellenabmaßen von 20 x 20cm umfasst ca. 250.000 Gitterzellen. Für Anwendungen mit deutlich höheren zu erwartenden Geschwindigkeiten, wie Autobahnen oder Landstraßen, ist eine entsprechend höhere Kantenlänge notwendig.
Das von der Kamera 32 übermittelte vorverarbeitete Objektfahrzeug 33 wird nun mit seinen ortsreferenzierten Abmaßen auf das Belegungsgitter 30 projiziert. Zunächst werden durch das inverse Sensorobjektmodell die Sichtkanten des Objektes 33 bestimmt. Diese sind in Figur 3 die durchgezogenen Kanten des Objektes 33. Die strich-punktierten Kanten sind durch das Objekt selbst verdeckt und daher von der Kamera 32 nicht erfassbar. Dies ist durch die Sichtlinien 31 veranschaulicht. Alles was außerhalb des spitzen Winkels zwischen den Sichtlinien 31 liegt, kann noch erfasst werden, solange es im Erfassungsbereich (Bildwinkel) der Kamera 32 liegt. Die Fläche, die durch die Sichtlinien 31 und die sichtbaren Kanten des Objektes 33 begrenzt wird, kann demgegenüber als sicher unbelegt in das Belegungsgitter 30 übernommen werden. Die Verteilung der Sicherheit der Belegungserfassung kann abhängig von der Sicherheit der Objekterkennung durch das inverse Sensorobjektmodell veränderlich modelliert sein. Erkennt die Bildauswertung der Kamera 32 mit hinreichender Sicherheit ein spezifisches Objekt mit seinen Abmaßen, kann die Sicherheit über die projizierte Objektfläche gleichverteilt sein. Dies kann der Fall sein, wenn das Objekt beispielsweise durch Abgleich mit einer Datenbank mittels Mustererkennung eindeutig als Fahrzeug mit spezifischen Abmaßen erkannt wurde. Da derartige Abgleiche ressourcenintensiv sind, wird dies in der Mehrzahl praktischer Vorgänge nicht der Fall sein. Dann kann die Verteilung der Erkennungssicherheit von den sichtbaren Kanten des Objektes in Richtung
Das inverse Sensorobjektmodell belegt dann die vom Objekt 33 überlappten Gitterzellen mit einem Gitterzellenmaß, das sich aus der Verteilung der Erfassungssicherheit ergibt. Das Gitterzellenmaß ist beispielsweise die oben berechnete Belegungswahrscheinlichkeit occ. In Figur 3 sind die Gitterzellen, die von den sichtbaren Objektkanten überlappt werden, als sicher belegt bewertet. Diese Gitterzellen sind durch ein Kreuz in Figur 3 markiert (vgl. Gitterzelle 34). Mit zunehmender Entfernung von der Kamera 32 nimmt die Erfassungssicherheit tendenziell ab. So sind die Gitterzellen, die an die als sicher belegt bewerteten Gitterzellen angrenzen, nur noch als wahrscheinlich belegt bewertet (vgl. Gitterzelle 35 mit Diagonale). Die anschließenden Gitterzellen in Richtung der vom Kamerasensor 32 abgewandte Ecke des Objektes 33 sind entsprechend des hier verwendeten inversen Sensorobjektmodells mit geringer Erfassungssicherheit modelliert. Die betreffenden Gitterzellen sind, wie alle außerhalb des Sichtbereichs der Kamera 32 (Bildwinkel, Sichtweite) liegenden Gitterzellen, als unbestimmt belegt bewertet. In dem Fall erfolgt kein Eintrag in das Belegungsgitter 30. Das inverse Sensorobjektmodell berücksichtigt also das Sichtfeld und die Fähigkeit zur Objekterkennung des eingesetzten Sensors.
Figur 4 zeigt ein beispielhaftes Ablaufschema eines Interacting Multiple Modells 40 mit zwei erweiterten Kalmanfiltern (42, 43) als dynamisch gekoppeltes System. In das Modell gehen die Zustandsdaten der Objekte und des Modells aus dem vorherigen Zeitschritt t-1 sowie die im aktuellen Zeitschritt t verarbeiteten, aus dem Belegungsgitter extrahierten Gitterdaten ein. Das Modell dient der Berechnung und Ausgabe geschätzter Zustandsdaten zum Zeitpunkt t. Der Modellzustand des vorherigen Zeitschritts t-1 wird als bedingte Modellwahrscheinlichkeit aus dem vorherigen Zeitschritt t übernommen. Die extrahierten Gitterdaten beschreiben die objektbezogenen, fusionierten Gitterdaten, beispielsweise in Form der objektbezogenen Belegung des Belegungsgitters sowie vorteilhafterweise extrahierter Zusatzinformationen, wie Geschwindigkeit oder Bewegungsrichtung des extrahierten Objektes.
Zustandsdaten sind Zustandsvektoren für das Konstant-Bewegungsmodell 42 und das Konstant-Kurven-Modell 43 wobei x und y die Position des Objekts im Belegungsgitter, φ die Bewegungsrichtung des Objektes, v die Objektgeschwindigkeit ω die Winkelgeschwindigkeit angeben. Das Konstant-Bewegungsmodell 42 (CV constant velocity) ist angepasst, um geradlinige gleichförmige Bewegungen passend zu beschreiben. Das Konstant-Kurven-Modell 43 (CTRV constant turn rate and velocity) ist sehr gut angepasst, um gekrümmte gleichförmige Bewegungen passend zu beschreiben.
Die Zustandsvektoren und werden mittels der bedingten Modellwahrscheinlichkeit verrechnet. Dabei wird das Modell mit der höheren Schätzgüte anhand höher gewichtet, also bevorzugt verwendet. Dies erfolgt bei der dynamischen Zustandskopplung 41. Die Kopplung beider Modelle, auch als Vermischen beider Modelle zu verstehen, ergibt gekoppelte Zustandsvektoren die bessere Schätzungen der objektbezogenen Dynamikinformationen als jeder der beiden unabhängigen Zustandsvektoren (CV, CTRV) darstellen.
Die gekoppelten Zustandsvektoren gehen zusammen mit den aktuellen (objektbezogenen) Gitter- bzw. Zustandsdaten aus Zeitschritt t in das jeweilige Modell (42, 43) ein. Das Konstant-Bewegungsmodell 42 ist als erweiterter Kalmanfilter ausgebildet und verarbeitet und zu einem aktuellen Zustandsvektor Dieser schätzt die Dynamik des Objektes seit dem letzten Zeitschritt unter der Annahme einer gleichförmigen, geradlinigen Bewegung des Objektes. Der Zustandsübergang der Zustandsvektoren zwischen den Zeitschritten wird für das Konstant-Bewegungsmodell 42 wie folgt bestimmt:
Das Konstant-Bewegungsmodell 42 unterstellt eine Objektbeschleunigung von null. Daher bleiben die Bewegungsrichtung φ und die Geschwindigkeit v konstant.
Das Konstant-Kurven-Modell 43 ist ebenfalls als erweiterter Kalmanfilter ausgebildet und verarbeitet und zu einem aktuellen Zustandsvektor Dieser schätzt die Dynamik des Objektes seit dem letzten Zeitschritt unter der Annahme einer gleichförmigen, gekrümmten Bewegung des Objektes auf einer Bahnkurve. Der Zustandsübergang der Zustandsvektoren zwischen den Zeitschritten wird für das Konstant-Kurven-Modell 43 wie folgt bestimmt:
Es wird ebenfalls eine Objektbeschleunigung von null unterstellt. Daher bleiben die Geschwindigkeit v und die Winkelgeschwindigkeit ω konstant.
Beide Modelle 42 und 43 können eine vorhandene Beschleunigung implizit über eine bei Kalmanfiltern bekannte Process Noise Matrix einbezogen werden. Diese gibt vereinfacht ausgedrückt das Systemrauschen wieder, dass sich aus dem Rauschen der Einzelgrößen ergibt, beispielsweise Schwankungen der Geschwindigkeit aufgrund von schwankenden Luft- oder Rollwiderständen, die als Rauschen interpretiert und entsprechend herausgefiltert oder berücksichtigt werden können.
Außerdem geben beide Modelle 42 und 43 die eigene Modell-Likelihood λ cv und λ CTRV aus. Diese beschreiben, wie gut die Schätzung des jeweiligen Modells auf die erfassten Zustandsdaten passt. Die Modell-Likelihood wird auch als Modellgüte, Modellplausibilität bzw. Modellmutmaßlichkeit bezeichnet und ist ein Maß für die Aussagekraft der aktuellen Schätzung.
Aus beiden Modellgüten λ cv und λ CTRV sowie der bedingten Modell-Wahrscheinlichkeit des vorherigen Zeitschrittes (t-1) wird bei der Aktualisierung 44 die bedingte Modell-Wahrscheinlichkeit für den aktuellen Zeitschritt t bestimmt.
Schließlich erfolgt die Ausgabe 45 des aktuell geschätzten Dynamikzustands für jedes Objekt. Der geschätzte Dynamikzustand wird aus den aktuellen Zustandsvektoren unter Berücksichtigung der Modellgüten λ cv und λ CTRV sowie der aktualisierten Modell-Wahrscheinlichkeit berechnet. Im Rahmen des erfindungsgemäßen Verfahrens wird der Dynamikzustand in das Belegungsgitter als aktueller Zustand übergeben. Für automatisierte oder autonome Fahrfunktionen steht damit ein aktuelles Abbild der Umgebung, beispielsweise zur Trajektorienplanung, zur Verfügung. Die dynamische Kopplung von zwei einfachen Bewegungsmodellen in Form von charakteristisch erweiterten Kalmanfiltern ermöglicht eine signifikante Steigerung der Ressourceneffizienz gegenüber herkömmlichen Kalmanfiltern mit Partikelfiltern. Aufgrund der Effizienz des Verfahrens können Abstände zwischen den Zeitschritten von deutlich unter 100ms erzielt werden. Damit kann auch mit handelsüblicher Rechentechnik funktionale Sicherheit gewährleistet bzw. weiter gesteigert werden und der Einsatz von teuren Graphikprozessoren kann unterbleiben.
Bezugszeichenliste
10 Dateneingabe
11 Datenfusion
12 Verarbeitung des Belegungsgitters
13 Verarbeitung der extrahierten Gitterdaten
14 Ausgabe Umgebungsmodell
15 Schleife (nächster Zeitschritt)
16 Eingabe Fusionsmodelle
17 Eingabe Zusatzinformationen
18 Interacting Multiple Model
20 Belegungsgitter
21 Gitterzelle
22 Radarsensor
23 Messpunkt
24 Fehlerbereich des Messpunktes
25 Sensorerfassungsbereich
26 Erhöhung Gitterzellenmaß
30 Ausschnitt Belegungsgitter
31 Sichtlinien Kamera
32 Kamera
33 Objektfahrzeug
34 sicher belegte Gitterzelle (mit Kreuz)
35 wahrscheinlich belegte Gitterzelle (mit Diagonale)
40 Interacting Multiple Model
41 Zustandskopplung
42 Konstant-Bewegungsmodell
43 Konstant-Kurven-Modell
44 Aktualisierung bedingte Modellwahrscheinlichkeit
45 Ausgabe Zustandsschätzung
Next Patent: DISINFECTION UNIT