NORTMANN NORA (DE)
EP3330946A1 | 2018-06-06 | |||
US20180090006A1 | 2018-03-29 | |||
US20120161951A1 | 2012-06-28 | |||
DE102009028578A1 | 2011-02-24 |
Patentansprüche 1. Verfahren zum Bereitstellen von Umgebungsdaten; wobei zu einem ersten Zeitpunkt erste Umgebungsdaten erfasst werden; wobei anhand der erfassten ersten Umgebungsdaten Objekte (21 , 22, 23, 31 , 32, 33) detektiert und für die Objekte (21 , 22, 23, 31 , 32, 33) jeweils Objektparameter bestimmt werden, wobei die Objektparameter den Objekten (21 , 22, 23, 31 , 32, 33) zugeordnet sind; anhand der erfassten ersten Umgebungsdaten ferner eine Verkehrssituation bestimmt wird; in Abhängigkeit von der bestimmten Verkehrssituation Filterkriterien bestimmt werden; wobei die Filterkriterien Priorisierungen und Prognosen für die Objekte (21 , 22, 23, 31 , 32, 33) und die ihnen zugeordneten Objektparameter umfassen; zu einem zweiten Zeitpunkt zweite, aktualisierte Umgebungsdaten erfasst werden; anhand der zweiten, aktualisierten Umgebungsdaten und der Filterkriterien Übertragungsdaten erzeugt werden; und die Übertragungsdaten ausgegeben werden. 2. Verfahren gemäß Anspruch 1 , dadurch gekennzeichnet, dass der Objektparameter eine Position, einen Abstand, eine Geschwindigkeit, eine Beschleunigung oder eine Beschleunigungsänderung umfasst. 3. Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Erfassen der ersten und zweiten Umgebungsdaten, das Bestimmen der Objektparameter für die Objekte (21 , 22, 23, 31 , 32, 33) sowie das Erzeugen der Übertragungsdaten mittels einer Erfassungseinheit (2) erfolgt; und das Bestimmen der Verkehrssituation und der Filterkriterien mittels einer Recheneinheit (6) erfolgt; wobei die ersten Objektparameter für den ersten Zeitpunkt von der Erfassungseinheit (2) an die Recheneinheit (6) übertragen werden; die Filterkriterien von der Recheneinheit (6) an die Erfassungseinheit (2) übertragen werden; und die Übertragungsdaten für den zweiten Zeitpunkt von der Erfassungseinheit (2) an die Recheneinheit (6) übertragen werden. 4. Verfahren gemäß Anspruch 3, dadurch gekennzeichnet, dass das Datenvolumen der Übertragungsdaten gegenüber dem Datenvolumen der ersten Objektparameter in Abhängigkeit von den Filterkriterien reduziert ist. 5. Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass anhand der erfassten ersten Umgebungsdaten ein erstes Umfeldmodell bestimmt wird; und anhand des erstes Umfeldmodells und der Übertragungsdaten ein zweites, aktualisiertes Umfeldmodell erzeugt wird. 6. Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Prognosen für bestimmte Objektparameter eine Information darüber umfassen, ob für die Objektparameter davon ausgegangen wird, dass sie für die aktualisierten Umgebungsdaten konstant bleiben. 7. Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Prognosen für bestimmte Objektparameter eine Information darüber umfassen, welche veränderten Werte der Objektparameter für die aktualisierten Umgebungsdaten erwartet werden. 8. Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Prognosen für die Objektparameter anhand eines geplanten Fahrmanövers bestimmt werden. 9. Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Übertragungsdaten Informationen über eine Abweichung erfasster Objektparameter von den Prognosen umfassen. 10. Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bestimmen der Verkehrssituation eine Klassifikation für Typen von Fahrmanövern, Konfigurationen von Fahrzeugen zueinander oder Verkehrsregelungen umfasst. 11. Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass anhand der Priorisierungen bestimmten Objektparametern Schwellenwerte zugeordnet werden; und beim Erzeugen der Übertragungsdaten Informationen über solche Objektparameter verworfen werden, die weniger als die jeweiligen Schwellenwerte von der jeweiligen Prognose abweichen. 12. System zum Bereitstellen von Umgebungsdaten mit einer Erfassungseinheit (2) zum Erfassen von ersten Umgebungsdaten zu einem ersten Zeitpunkt; einer Vorverarbeitungseinheit (4), die dazu eingerichtet ist, anhand der erfassten ersten Umgebungsdaten Objekte (21 , 22, 23, 31 , 32, 33) zu detektieren und für die Objekte (21 , 22, 23, 31 , 32, 33) jeweils Objektparameter zu bestimmen, wobei die Objektparameter den Objekten (21 , 22, 23, 31 , 32, 33) zugeordnet sind; und einer Recheneinheit (6), die dazu eingerichtet ist, anhand der erfassten ersten Umgebungsdaten ferner eine Verkehrssituation zu bestimmen und in Abhängigkeit von der bestimmten Verkehrssituation Filterkriterien zu bestimmen; wobei die Filterkriterien Priorisierungen und Prognosen für die Objekte (21 , 22, 23, 31 , 32, 33) und die ihnen zugeordneten Objektparameter umfassen; wobei die Erfassungseinheit (2) ferner dazu eingerichtet ist, zu einem zweiten Zeitpunkt zweite, aktualisierte Umgebungsdaten zu erfassen; und die Vorverarbeitungseinheit (4) ferner dazu eingerichtet ist, anhand der zweiten, aktualisierten Umgebungsdaten und der Filterkriterien Übertragungsdaten zu erzeugen und die Übertragungsdaten auszugeben. 13. System gemäß Anspruch 12, dadurch gekennzeichnet, dass die Erfassungseinheit (2) einen Lidar-, Radar- oder Ultraschalldetektor und/oder eine Kamera (3) umfasst. 14. System gemäß Anspruch 12 oder 13, dadurch gekennzeichnet, dass die Vorverarbeitungseinheit (4) von der Erfassungseinheit (2) umfasst ist; wobei die Erfassungseinheit (2) dazu eingerichtet ist, die ersten Objektparameter für den ersten Zeitpunkt sowie die Übertragungsdaten für den zweiten Zeitpunkt an die Recheneinheit (6) zu übertragen; und die Recheneinheit (6) dazu eingerichtet ist, die Filterkriterien an die Erfassungseinheit (2) zu übertragen. 15. System gemäß einem der Ansprüche 12 bis 14, dadurch gekennzeichnet, dass anhand der Priorisierungen die Erfassungseinheit (2) so gesteuert wird, dass die aktualisierten Umgebungsdaten anhand einer Teilmenge verschiedener Sensoren der Erfassungseinheit erfasst werden. 16. Fahrzeug (1 , 20, 30) mit einem System gemäß einem der Ansprüche 12 bis 15. |
Verfahren und System zum Bereitstellen von Umgebungsdaten
Die vorliegende Erfindung betrifft ein Verfahren und ein System zum Bereitstellen von
Umgebungsdaten, insbesondere in einer Umgebung eines Fahrzeugs, sowie ein Fahrzeug mit einem erfindungsgemäßen System.
Moderne Fahrerassistenzsysteme, deren Aufgaben bis hin zur automatischen Steuerung verschiedener Fahraufgaben eines Fahrzeugs reichen, erfordern ein hohes Maß an
Kenntnissen über das Umfeld das Fahrzeugs. Es ist typischerweise eine Vielzahl Sensoren vorgesehen, die vielfältige und umfangreiche Messdaten liefern. Diese sollen idealerweise in Echtzeit bereitgestellt und verarbeitet werden, um im laufenden Betrieb des Fahrzeugs korrekte Fahrentscheidungen zu treffen und diese schnellstmöglich umzusetzen. Hierbei stoßen die Bandbreiten zur Übertragung von Daten und die Rechenkapazitäten für deren Verarbeitung an Grenzen.
Bei dem in der DE 10 2009 028 578 A1 beschriebenen Verfahren tastet ein Lidar-Scanner ein Umfeld ab und erfasst eine Intensitätskurve. Störungen der Ausbreitungsbedingungen, etwa bei Regen, können so erkannt werden. Ferner kann eine Datenkompression erreicht werden, indem lediglich Abweichungen einer gemessenen von einer erwarteten Intensitätskurve an ein
Fahrerassistenzsystem gemeldet werden.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren und ein System zum Bereitstellen von Umgebungsdaten bereitzustellen, die eine besonders flexible und effiziente Nutzung begrenzter Ressourcen, etwa eines Fahrzeugs, erlauben.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs 1 und ein System mit den Merkmalen des Anspruchs 12 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den abhängigen Ansprüchen.
Bei dem erfindungsgemäßen Verfahren werden zu einem ersten Zeitpunkt erste
Umgebungsdaten erfasst. Anhand der erfassten ersten Umgebungsdaten werden Objekte detektiert und für die Objekte werden jeweils Objektparameter bestimmt, wobei die
Objektparameter den Objekten zugeordnet sind. Anhand der erfassten ersten Umgebungsdaten wird ferner eine Verkehrssituation bestimmt und in Abhängigkeit von der bestimmten
Verkehrssituation werden Filterkriterien bestimmt. Die Filterkriterien umfassen Priorisierungen und Prognosen für die Objekte und die ihnen zugeordneten Objektparameter. Zu einem zweiten Zeitpunkt werden zweite, aktualisierte Umgebungsdaten erfasst und anhand der zweiten, aktualisierten Umgebungsdaten und der Filterkriterien werden Übertragungsdaten erzeugt. Die Übertragungsdaten werden ausgegeben.
Dies erlaubt vorteilhafterweise eine besonders starke Verringerung des zu übertragenden und zu verarbeitenden Datenvolumens. Das Verfahren basiert dabei auf einer bidirektionale
Kommunikation zwischen den verschiedenen Ebenen von Wahrnehmung und Verarbeitung des Umfeldes.
Das Verfahren kann insbesondere iterativ für einen dritten Zeitpunkt und gegebenenfalls für weitere darauf folgende Zeitpunkte ausgeführt werden. In diesem Fall wird insbesondere anhand der ersten Umgebungsdaten und der Übertragungsdaten ein aktueller
Umgebungsdatensatz erzeugt. Anhand dieses aktuellen Umgebungsdatensatzes, der in jedem Zeitschritt aktualisiert werden kann, werden neue Filterkriterien erzeugt und verwendet, um in einem folgenden Zeitschritt aktuelle Übertragungsdaten zu erzeugen und auszugeben. Das heißt, an die Stelle der Erfassung der ersten Umgebungsdaten im ersten Zeitschritt tritt in weiteren Zeitschritten das Erzeugen des aktuellen Umgebungsdatensatzes anhand der im jeweils vorigen Zeitschritt erzeugten Überragungsdaten und eines zuvor vorhandenen
Umgebungsdatensatzes. Auf diese Weise können Veränderungen in der Umgebung
berücksichtigt werden. Ferner kann ein aktueller Übertragungsdatensatz auch erzeugt werden, indem die Umgebungsdaten wie im ersten Zeitschritt erfasst werden und das Verfahren wieder von Anfang an neu gestartet wird.
Bei klassischen Verfahren wird üblicherweise von einem Feed-Forward- Ansatz ausgegangen. Dabei werden zunächst Informationen aus der Umwelt mittels Sensoren erfasst und in Gänze an eine Einheit zur Verarbeitung der Daten und zum Treffen von Entscheidungen weitergeleitet. Anschließend werden Informationen an Aktoren übertragen, die bestimmte Steuerbefehle ausführen können. Bei der Entwicklung von Systemen zur Übernahme komplexer Aufgaben, etwa bei einer autonomen Fahrzeugfahrt, werden dadurch immer größere Bandbreiten und Rechenleistungen erforderlich.
Das Verfahren der Erfindung geht dagegen von einem„Feed-Backward“- Ansatz aus, bei dem Vorhersagen erzeugt und in„Rückwärts“-Richtung etwa an Einrichtungen auf der Ebene der Erfassung von Umgebungsdaten übertragen werden. Umgekehrt genügt es, nur noch
Abweichungen von den Vorhersagen zu übertragen, was die gesamte Datenmenge drastisch reduziert. Die Daten können also auf Fälle reduziert werden, in denen ein Objekt von seinem erwarteten Verhalten abweicht.
Im Unterschied zu bekannten Verfahren erfolgt die Filterung bei der Erfindung anhand einer Analyse der aktuellen Verkehrssituation, aus der wiederum Priorisierungen für Objekte und Objektparameter abgeleitet werden. Die Beobachtung der Objekte kann daher auf den Teil der Umgebung fokussiert werden, der für die Entscheidungsebene, bei der beispielsweise
Fahrfunktionen eines Fahrzeugs geplant und gesteuert werden, relevant ist. Die Beobachtung anderer Bereiche kann dagegen flexibel reduziert werden.
Zum Beispiel kann vermieden werden, dass eine Kamera zur Beobachtung des vor einem Fahrzeug liegenden Bereichs mit jedem Erfassungsschritt neu die Information überträgt, dass sich im Erfassungsbereich ein vorausfahrendes Fahrzeug mit einer bestimmten
Geschwindigkeit in einem bestimmten Abstand zum Ego-Fahrzeug befindet. Diese
Beobachtung wird erst dann wieder relevant, wenn sich der Abstand zu dem vorausfahrenden Fahrzeug oder seine Relativgeschwindigkeit ändert und beispielsweise Maßnahmen zum Vermeiden einer Kollision eingeleitet werden müssen.
Die Erfassung der Umgebungsdaten erfolgt auf an sich bekannte Weise. Es können
verschiedene Sensoren einzeln oder in Kombination verwendet werden, beispielsweise Lidar-, Radar-, Ultraschall- oder Lichtsensoren, Kameras für sichtbares oder Infrarotlicht, 3D-Kameras oder Einrichtungen zur Positionsbestimmung, wie etwa Empfänger für Signale von
Navigationssatelliten. Die Umgebungsdaten betreffen insbesondere die Umgebung eines Ego- Fahrzeugs mit einem System zur Ausführung des Verfahrens sowie Merkmale und Zustände des Ego-Fahrzeugs selbst. Die Umgebung erstreckt sich dabei auf einen räumlichen Bereich, in dem Objekte auftreten können, die für die Bewertung der Fahrsituation des Fahrzeugs und zur Ermittlung von geeigneten Fahrmanövern relevant sind. Dieser Bereich kann zum Beispiel anhand eines Radius von 100 m um das Ego-Fahrzeug herum definiert sein.
Die Erfassung der Umgebungsdaten kann ferner umfassen, dass Informationen von einem Fahrerassistenzsystem empfangen werden. Der Begriff„Fahrerassistenzsystem“ wird dabei breit verstanden und kann unterschiedliche Systeme im Zusammenhang mit Fahrfunktionen umfassen. Dabei werden Fahraufgaben teilweise oder vollständig automatisch ausgeführt. Zum Beispiel kann ein Fahrerassistenzsystem Hinweise für einen Fahrer ausgeben oder ihn bei der Steuerung ergänzend unterstützen; ferner können einzelne Aspekte der Fahrzeugsteuerung übernommen werden oder in einem höchsten Grad der Automatisierung kann eine vollständig autonome Fahrt des Fahrzeugs durchgeführt werden. Beispielsweise können Daten über bevorstehende automatische Fahrmanöver ausgewertet werden, die Auswirkungen auf die zu erwartenden Umgebungsdaten haben. Wird etwa eine Bremsung durchgeführt, so verändern sich die Relativgeschwindigkeiten von Objekten im Umfeld entsprechend dem Maß der eigenen Geschwindigkeitsänderung. Auch Richtungsänderungen des Fahrzeugs verändern die
Wahrnehmung der Umgebung durch Sensoren des Fahrzeugs.
Auch die Detektion von Objekten und die Bestimmung von Objektparametern anhand der erfassten Umgebungsdaten erfolgt auf an sich bekannte Weise. Insbesondere ist eine
Vorverarbeitungseinheit vorgesehen, welche die von Sensoren erfassten Umgebungsdaten vorverarbeitet und im Ergebnis Informationen über die detektierten Objekte und
Objektparameter bereitstellt, beispielsweise für eine Recheneinheit oder ein
Fahrerassistenzsystem, welches wiederum anhand dieser Ergebnisse ein Umfeldmodell bestimmt und geeignete Fahrmanöver ermittelt. Der Grad der vorgesehenen Vorverarbeitung kann je nachdem variieren, welche Rechenleistung eine Vorverarbeitungseinheit aufweist. Es kann eine Vorverarbeitungseinheit für einen einzelnen Sensor oder ein einzelnes Modul zur Erfassung der Umgebungsdaten vorgesehen sein, allerdings können auch die von mehreren solchen Modulen erfassten Umgebungsdaten von einer Vorverarbeitungseinheit vorverarbeitet werden.
Bei der Detektion werden die Umgebungsdaten analysiert und zu bestimmten physischen Objekten gehörige Daten bestimmt. Die Detektion schafft insbesondere die Voraussetzungen dafür, für physische Objekte anhand der erfassten Umgebungsdaten Merkmale zu bestimmen, die im Sinne der Erfindung als Objektparameter bezeichnet werden.
Bei der Detektion der Objekte kann als Objektparameter bestimmt werden, um welchen Typ von Objekt es sich handelt, beispielsweise einen weiteren Verkehrsteilnehmer, einen Gegenstand, ein Bauwerk oder ein Element einer Vegetation. Die Bestimmung kann auch differenzierter erfolgen, beispielsweise indem als Verkehrsteilnehmer PKW, LKW, Gespanne und Anhänger, Fußgänger oder Radfahrer erkannt werden. Es können Elemente einer Verkehrsinfrastruktur detektiert werden, etwa Lichtsignalanlagen, Pfosten, Fahrbahnmarkierungen, Pfeiler oder Merkmale von Verkehrsbauwerken. Anhand der erkannten Typen von Objekten kann beispielsweise zwischen statischen und dynamischen Objekten unterschieden werden. Ferner können spezifische Bewegungsmodelle für verschiedene Typen von Objekten verwendet werden, etwa zur Berücksichtigung der verschiedenen Geschwindigkeiten von Fahrzeugen und Fußgängern.
Die detektierten Objekte können ferner als eigene Einheiten innerhalb der Umgebung identifiziert werden, wobei sie beispielsweise mit einer Identifikationsnummer oder einer ähnlichen Markierung versehen werden, um sie etwa auch über mehrere Messungen hinweg zu verschiedenen Zeitpunkten erneut identifizieren und etwa eine Bewegung eines Objekts bestimmen zu können. Zum Beispiel kann ein Objekt mit einer Identifikation„ID1“ als„PKW“ erkannt werden.
Die Objektparameter werden für einzelne Objekte bestimmt und können unterschiedliche physikalische Merkmale der Objekte betreffen.
Bei einer Ausbildung des erfindungsgemäßen Verfahrens umfasst der Objektparameter eine Position, einen Abstand, eine Geschwindigkeit, eine Beschleunigung oder eine
Beschleunigungsänderung. Es werden dadurch vorteilhafterweise besonders relevante
Parameter bestimmt, die zur Beurteilung einer dynamischen Fahrsituationen von großer Bedeutung sind. Die Parameter können zudem in einem globalen Koordinatensystem oder in einem relativen Koordinatensystem, etwa relativ zur Position des Ego-Fahrzeugs, bestimmt werden.
Zum Beispiel wird für ein Objekt„ID1“ bestimmt, dass es sich frontal vor dem eigenen Fahrzeug in einem bestimmten Abstand befindet und mit einer bestimmten Geschwindigkeit bewegt. Es kann ferner bestimmt werden, dass eine Beschleunigung vorliegt, die sich zeitlich ändern kann, beispielsweise wenn eine Bremsung oder ein positiver Beschleunigungsvorgang eingeleitet wird.
Bei einer Weiterbildung umfasst der Objektparameter eine Richtung. Dadurch kann
vorteilhafterweise auch eine Orientierung eines Objekts im Raum ausgewertet werden.
Beispielsweise kann bestimmt werden, dass die Front eines Fahrzeugs in eine bestimmte Richtung relativ zum eigenen Fahrzeug ausgerichtet ist.
Bei einer Ausbildung umfasst der Objektparameter eine Farbe oder eine Helligkeit. Dadurch können vorteilhafterweise Lichtzeichen ausgewertet werden, die im Straßenverkehr weit verbreitet sind. Beispielsweise können Lichtsignale ausgewertet werden, die auf eine Bremsung oder einen geplanten Richtungswechsel eines Fahrzeugs hinweisen. Ferner können Signale von Lichtsignalanlagen ausgewertet werden, die beispielsweise das Passieren einer Kreuzung erlauben oder verbieten.
Das Verfahren ist insbesondere iterativ ausgestaltet. Dabei können die zweiten, aktualisierten Umgebungsdaten zur weiteren Ausführung des Verfahrens anstelle der ersten
Umgebungsdaten verwendet werden. Ferner können Umgebungsmodelle erzeugt und anhand der aktualisierten Umgebungsdaten aktualisiert werden, wobei die Übertragungsdaten genutzt werden, um das zu übertragende Datenvolumen zu verringern.
Bei einer weiteren Ausbildung des Verfahrens erfolgt das Erfassen der ersten und zweiten Umgebungsdaten, das Bestimmen der Objektparameter für die Objekte sowie das Erzeugen der Übertragungsdaten mittels einer Erfassungseinheit. Das Bestimmen der Verkehrssituation und der Filterkriterien erfolgt mittels einer Recheneinheit. Dabei werden die ersten
Objektparameter für den ersten Zeitpunkt von der Erfassungseinheit an die Recheneinheit übertragen, die Filterkriterien werden von der Recheneinheit an die Erfassungseinheit übertragen und die Übertragungsdaten für den zweiten Zeitpunkt werden von der
Erfassungseinheit an die Recheneinheit übertragen. Das Verfahren wird dabei
vorteilhafterweise dazu genutzt, die jeweils zu übertragenden Daten zu optimieren.
Zum Beispiel kann die Erfassungseinheit einen Sensor zum Erfassen der Umgebungsdaten anhand eines bestimmten physikalischen Prinzips und ferner ein integriertes oder separates Steuergerät zur Vorverarbeitung der so erfassten Daten umfassen. Die Aufgaben zur
Verarbeitung der erfassten Umgebungsdaten kann bei weiteren Ausbildungen unterschiedlich auf verschiedene Einheiten verteilt sein, insbesondere um die zur Verfügung stehende
Rechenleistung jeweils optimal zu nutzen.
Das Verfahren der Erfindung sieht also ein koordiniertes Zusammenspiel zwischen einer Sensorik beziehungsweise der Erfassungseinheit und der Recheneinheit, die etwa als
Steuereinheit für die Steuerung verschiedener Fahrfunktionen eines Fahrzeugs ausgebildet ist, vor.
Bei einer Weiterbildung ist das Datenvolumen der Übertragungsdaten gegenüber dem
Datenvolumen der ersten Objektparameter in Abhängigkeit von den Filterkriterien reduziert. Insbesondere umfassen die Übertragungsdaten eine Teilmenge derjenigen Objektparameter, die anhand der zweiten, aktualisierten Umgebungsdaten bestimmt werden könnten. Es wird also vorteilhafterweise eine erhebliche Reduktion des in allen Folgeschritten zu übertragenden Datenvolumens erreicht.
Bei einer Ausbildung wird anhand der erfassten ersten Umgebungsdaten ein erstes
Umfeldmodell bestimmt und anhand des erstes Umfeldmodells und der Übertragungsdaten wird ein zweites, aktualisiertes Umfeldmodell erzeugt. Dadurch kann vorteilhafterweise ein ständig aktuelles Umfeldmodell bereitgestellt werden.
Das Verfahren geht von einer initialen Erfassung der Umgebung aus, anhand derer ein erstes Umfeldmodell erzeugt werden kann. Das Umfeldmodell umfasst Informationen über ein Umfeld, insbesondere über Objekte in diesem Umfeld. Hierzu können Informationen über die Art der Objekte, ihre Positionen in relativen oder absoluten Koordinaten, ihre Geschwindigkeit, Beschleunigung oder eine Änderung der Beschleunigung, ihre Ausrichtung und bestimmte Zustände, etwa eine Beleuchtung, sein.
Das Umfeldmodell kann in einem iterativen Prozess in bestimmten Zeitschritten immer wieder aktualisiert werden, wobei insbesondere die Übertragungsdaten genutzt werden, um die den Objekten zugeordneten Objektparameter zu aktualisieren. Das heißt, zu einem dritten Zeitpunkt sowie weiteren darauf folgenden Zeitpunkten wird stets ein aktueller Umgebungsdatensatz erzeugt, der als Ausgangspunkt zum Erzeugen eines aktuellen Umfeldmodells dient, insbesondere anhand der zuletzt ausgegebenen Übertragungsdaten. Dabei werden
insbesondere auch die Filterkriterien mit Priorisierungen und Prognosen in jeden Schritt neu erzeugt und zur Erzeugung neuer Übertragungsdaten anhand neu erfasster Umgebungsdaten verwendet.
Ferner können zum Bestimmen von Prognosen, insbesondere anhand der Umfeldmodelle, physikalische Modelle verwendet werden, um die Entwicklung des Umfeldmodells mit der Zeit zu prognostizieren. Hierzu werden Annahmen getroffen wie beispielsweise, dass sich bestimmte Objektparameter der Objekte nicht verändern. Beispielsweise kann davon ausgegangen werden, dass sich die Geschwindigkeiten und Bewegungsrichtungen der Objekte nicht verändern, sodass statische Objekte weiterhin an ihrer Position in einem absoluten Koordinatensystem verbleiben, während die Positionen sich bewegender Objekte für spätere Zeitpunkte berechnet werden können. Es kann ferner die Annahme getroffen werden, dass Objekte eine bestimmte aktuelle Beschleunigung bis zum nächsten Zeitschritt fortsetzen, sodass die Geschwindigkeit und Position auch zu diesem nächsten Zeitschritt berechnet werden kann. Diese Prognosen werden zur Bildung der Filterkriterien verwendet. Die bei dem Verfahren gebildeten Prognosen betreffen Objekte und die ihnen zugeordneten Objektparameter. Sie können als Hypothesen über die Werte der Objektparameter betrachtet werden, beispielsweise die Hypothese„Wert des Parameters bleibt im nächsten Zeitschritt konstant“ oder„Wert des Parameters nimmt zum nächsten Zeitschritt einen bestimmten Wert an“.
Es können mehrere Prognosen für die gleichen Objekte und zugeordneten Objektparameter verwendet werden, beispielsweise um mehrere Hypothesen zu prüfen. Es kann eine Filterung in mehreren Schritten anhand dieser mehreren Prognosen erfolgen, wobei durch eine
Verknüpfung dieser Filter, etwa mittels einer logischen UND-, ODER- oder ENTWEDER-ODER- Verknüpfung, die Zahl der verbleibenden Elemente besonders gut reduziert werden kann.
Bei einer Ausbildung umfassen die Prognosen für bestimmte Objektparameter eine Information darüber, ob für die Objektparameter davon ausgegangen wird, dass sie für die aktualisierten Umgebungsdaten konstant bleiben. Diese konstanten Objektparameter müssen dadurch vorteilhafterweise nicht immer wieder neu übertragen werden.
Beispielsweise kann angenommen werden, dass sich alle Objekte mit konstanten
Geschwindigkeiten bis zum nächsten Zeitschritt bewegen, wobei in diesem Fall auch ihre Position zum nächsten Zeitschritt vorhergesagt werden kann. Bei statischen Objekten kann davon ausgegangen werden, dass sich ihre Position bis zum nächsten Zeitschritt nicht verändert, während bei bestimmten weiteren Objekten während einer Beschleunigung angenommen werden kann, dass sich die Geschwindigkeit weiter gleichförmig verändert
Die Objektparameter können insbesondere in verschiedenen Koordinatensystemen betrachtet werden, beispielsweise in einem statischen globalen Koordinatensystem, in welchem
beispielsweise eine Fahrbahn als unbewegt repräsentiert wird, oder einem Fahrzeugsystem, in dem das eigene Fahrzeug als ruhend angenommen wird, während sich beispielsweise statische Objekte entgegen der Fahrtrichtung des eigenen Fahrzeugs bewegen. Dies kann besonders einfache Filterkriterien erlauben, bei denen beispielsweise angenommen wird, dass alle Objekte in dem globalen Koordinatensystem ruhen, was beispielsweise für Fahrbahnmarkierungen und Elemente der Vegetation der Fall ist. In einem weiteren Beispiel kann angenommen werden, dass alle Objekte in dem Fahrzeugsystem beruhen, das heißt, dass sie sich mit der gleichen Geschwindigkeit wie das eigene Fahrzeug bewegen. Dies kann beispielsweise im dichten Verkehr für Fahrzeuge in der Umgebung des eigenen Fahrzeugs zutreffen. Bei einer weiteren Ausbildung umfassen die Prognosen für bestimmte Objektparameter eine Information darüber, welche veränderten Werte der Objektparameter für die aktualisierten Umgebungsdaten erwartet werden. Dadurch kann vorteilhafterweise genau spezifiziert werden, welche gemäß einem Umfeldmodell erwarteten Werte nicht wiederholt neu übertragen werden müssen.
Dabei werden konkrete Werte bestimmt und übertragen, die für einen Objektparameter eines Objekts erwartet werden. Beispielsweise wird anhand eines physikalischen Modells eine Prognose erzeugt, wonach unter Annahme einer konstanten Geschwindigkeit nach einem Zeitschritt eine bestimmte Position eines Objekts erwartet wird. Bei einer solchen Prognose wird der anhand der aktualisierten Umgebungsdaten bestimmte Objektparameter nur dann bei der Erzeugung der Übertragungsdaten berücksichtigt, wenn er von der Prognose abweicht, insbesondere wenn die Abweichung einen bestimmten Schwellenwert überschreitet. Auf diese Weise kann auf eine unnötige Übertragung von Objektparametern verzichtet werden, wenn ihr Wert bereits richtig prognostiziert wurde.
Bei einer Weiterbildung werden die Prognosen für die Objektparameter anhand eines geplanten Fahrmanövers bestimmt. Dadurch können vorteilhafterweise die Rückwirkungen eines
Fahrmanövers, das insbesondere teilautonom oder vollständig automatisch durch geführt wird, auf die erfassten Umgebungsdaten berücksichtigt werden, um eine unnötige Vergrößerung des übertragenen Datenvolumens zu vermeiden.
Beispielsweise führen Fahrmanöver wie eine geplante Beschleunigung, ein Überholvorgang oder ein Spurwechsel notwendigerweise zur Veränderung der Wahrnehmung des Umfelds relativ zu dem Fahrzeug. Beispielsweise ändern sich die Positionen und Geschwindigkeiten der Objekte relativ zu dem eigenen Fahrzeug, wenn dieses ein solches Fahrmanöver durchführt. Informationen über Fahrmanöver können von Fahrerassistenzsystemen bereitgestellt werden, die beispielsweise zur Unterstützung bestimmter Fahrmanöver dienen oder ein Fahrmanöver teilweise oder vollständig automatisch ausführen können. Es können ferner weitere Hinweise auf Fahrmanöver ausgewertet werden, beispielsweise das Betätigen eines Blinkers, was typischerweise auf eine Richtungsänderung hinweist. Die Prognosen können dann so erzeugt werden, dass beispielsweise für bestimmte Objektparameter und bestimmte Objekte angegeben wird, dass für diese ein bestimmter Wert erwartet wird oder dass der aktuelle Wert konstant bleibt. Bei dem Verfahren wird ferner eine Verkehrssituation bestimmt, die die Auswirkungen der Objekte mit bestimmten Objektparametern auf die Fahrt und die Fahrtmöglichkeiten des eigenen Fahrzeugs betrifft.
Bei einer Weiterbildung umfassen die Übertragungsdaten Informationen über eine Abweichung erfasster Objektparameter von den Prognosen. Insbesondere werden lediglich die
Abweichungen zwischen gemessenen und prognostizierten Werten übertragen, also etwa Differenzen zwischen den Werten der Prognose und der tatsächlichen Messung. Die
Übertragungsdaten können dadurch vorteilhafterweise auf die minimal notwendige Datenmenge reduziert werden.
Die Übertragungsdaten können daher eine besonders einfache Aktualisierung eines
Umfeldmodells erlauben, indem lediglich die erforderlichen Anpassungen der bestimmten Objektparameter vorgenommen werden. Dadurch wird die zu übertragende Datenmenge minimiert und es wird eine schnellere Übertragung ermöglicht.
Bei einer Ausbildung des erfindungsgemäßen Verfahrens umfasst das Bestimmen der
Verkehrssituation eine Klassifikation für Typen von Fahrmanövern, Konfigurationen von Fahrzeugen zueinander oder Verkehrsregelungen. Dies erlaubt es vorteilhafterweise, die Filterkriterien, die anhand der Verkehrssituation erzeugt werden, besonders gut an den jeweiligen Kontext der Umgebung des Fahrzeugs anzupassen. Die Klassifikation erfolgt insbesondere anhand der Objektparameter, die den Objekten zugeordnet sind.
Die bestimmte Verkehrssituation kann insbesondere das Verhältnis des eigenen Fahrzeugs zu Objekten und insbesondere weiteren Verkehrsteilnehmern in der Umgebung und dadurch bedingte Randbedingungen für die Fortsetzung der Fahrt betreffen. Die Verkehrssituation kann beispielsweise Informationen darüber umfassen, dass sich in Fahrtrichtung vor dem eigenen Fahrzeug ein vorausfahrendes Fahrzeug befindet. Sie kann in anderen Beispielen
Informationen über eine verwendete Fahrspur innerhalb einer bestimmten Anordnung von Fahrspuren, nachfolgende Fahrzeuge, weitere Fahrzeuge auf benachbarten Fahrspuren, entgegenkommende Fahrzeuge oder Hindernisse für eine Fahrt betreffen. Sie können ferner Verkehrsregelungen, etwa durch Lichtsignalanlagen oder Schilder, betreffen, die Regeln für die weitere Fahrt angeben.
Die Verkehrssituation kann auf an sich bekannte Weise bestimmt werden, beispielsweise anhand eines Fahrerassistenzsystems oder eines Systems zur teilweise oder vollständigen autonomen Steuerung, welches die erfassten Umgebungsdaten analysiert und ein Fahrmanöver für das eigene Fahrzeug plant. Es können regelbasierte Verfahren oder
Maschinenlernen eingesetzt werden, um die Klassifikation und Bestimmung der
Verkehrssituation durchzuführen.
Bei der Erfindung werden in Abhängigkeit von der Verkehrssituation Filterkriterien bestimmt. Diese umfassen Regeln für die Filterung der zweiten, aktualisierten Umgebungsdaten für das Erzeugen der Übertragungsdaten. Die Filterkriterien umfassen insbesondere Informationen über Bedingungen dafür, ob bestimmte Daten und Objektparameter für bestimmte Objekte übertragen werden sollen. Um diese Kriterien zu definieren, werden Priorisierungen und Prognosen verwendet.
Bei der Erfindung wird durch die Priorisierungen für bestimmte Objekte und Objektparameter angegeben, wie wichtig eine jederzeit hochgenaue Kenntnis der Objektparameter für die Objekte ist. Beispielsweise können die Priorisierungen definieren, dass bestimmte
Objektparameter für bestimmte Objekte stets möglichst genau bekannt sein müssen, während sie in einem anderen Fall weniger relevant sind.
Zum Beispiel kann es bei einer Fahrt im dichten Verkehr besonders wichtig sein, den Abstand zu einem vorausfahrenden Fahrzeug zu überwachen, um schnell auf Veränderungen reagieren zu können. Der Abstand zu einem nachfolgenden Fahrzeug kann jedoch von nachgeordneter Wichtigkeit sein, solange hier keine größeren Veränderungen auftreten und beispielsweise eine Kollision droht. Die Geschwindigkeit eines im dichten Verkehr auf einer Nachbarspur fahrenden Fahrzeugs kann als weniger wichtig bewertet werden als der seitliche Abstand, der sich beispielsweise beim Ausscheren des anderen Fahrzeugs verändert und auf eine drohende Kollision hinweisen kann.
Die Priorisierungen werden insbesondere für jedes der anhand der Umgebungsdaten bestimmten Objekte und jeden der ihnen zugeordneten Objektparameter bestimmt. Ferner können bestimmte Priorisierungen für bestimmte Gruppen von Objekten gelten, beispielsweise für Objekte in einem bestimmten räumlichen Bereich relativ zur Position des eigenen
Fahrzeugs.
Bei einer weiteren Ausbildung werden anhand der Priorisierungen bestimmten
Objektparametern Schwellenwerte zugeordnet und beim Erzeugen der Übertragungsdaten werden Informationen über solche Objektparameter verworfen, die weniger als die jeweiligen Schwellenwerte von der jeweiligen Prognose abweichen. Dadurch kann vorteilhafterweise für bestimmte Objekte und Objektparameter festgelegt werden, wie empfindlich insbesondere auf Änderungen der bestimmten Parameter reagiert werden kann und wie hoch die Relevanz bestimmter Objekte und Parameter für die Erfüllung einer Fahreraufgabe ist.
So können die Übertragungsdaten etwa bei dem obigen Beispiel bereits Informationen über eine geringfügige Änderung des Abstands zum vorausfahrenden Fahrzeug oder eine kleinere seitliche Abweichung des Fahrzeugs auf der Nachbarspur umfassen. Gleichzeitig können die Übertragungsdaten eine Änderung der lateralen Position des vorausfahrenden Fahrzeugs nur dann umfassen wenn es zu einer größeren Abweichung gegenüber der Prognose kommt, wie beispielsweise bei einem Spurwechsel.
Die Priorisierungen können ferner Informationen darüber umfassen, von welchen Sensoren die Umgebungsdaten für ein bestimmtes Objekt oder einen bestimmten Objektparameter erfasst werden sollen. Das heißt, die Filterkriterien können während des Erfassens der zweiten, aktualisierten Umgebungsdaten zu dem zweiten Zeitpunkt berücksichtigt werden.
Beispielsweise können bestimmte Objektparameter besonders gut anhand von Daten eines bestimmten Sensortyps erfasst werden. Nicht benötigte Daten anderer Sensoren können vermieden werden, indem diese Sensoren nicht aktiviert werden oder indem die erfassten Umgebungsdaten so gefiltert werden, dass die von den entsprechenden Sensoren erfassten Daten nicht berücksichtigt werden. Zudem kann die Erfassung der Umgebungsdaten durch verschiedene Sensoren variabel eingestellt werden, etwa indem ein Bereich definiert wird, in dem die Erfassung mit einer höheren oder niedrigeren zeitlichen oder räumlichen Auflösung erfolgt. Hierdurch kann vorteilhafterweise vermieden werden, dass unnötige Daten erfasst werden, die anschließend gefiltert oder verarbeitet werden müssen. Umgekehrt wird durch das Vermeiden solcher Daten eine besonders schnelle Verarbeitung erreicht.
Bei der Erfindung werden ferner die Übertragungsdaten ausgegeben, insbesondere über eine Schnittstelle. Die Ausgabe kann beispielsweise durch Übertragung an eine Umfeld- Bestimmungseinheit erfolgen, die dazu eingerichtet ist, anhand der Übertragungsdaten ein Umfeldmodell zu aktualisieren beziehungsweise zu überprüfen. Die Schnittstelle kann bidirektional ausgebildet sein und auch der Übertragung der Filterkriterien dienen, die insbesondere von der Umfeld-Bestimmungseinheit erzeugt werden.
Das erfindungsgemäße System zum Bereitstellen von Umgebungsdaten umfasst eine
Erfassungseinheit zum Erfassen von ersten Umgebungsdaten zu einem ersten Zeitpunkt und eine Vorverarbeitungseinheit, die dazu eingerichtet ist, anhand der erfassten ersten Umgebungsdaten Objekte zu detektieren und für die Objekte jeweils Objektparameter zu bestimmen, wobei die Objektparameter den Objekten zugeordnet sind. Das System umfasst ferner eine Recheneinheit, die dazu eingerichtet ist, anhand der erfassten ersten
Umgebungsdaten ferner eine Verkehrssituation zu bestimmen und in Abhängigkeit von der bestimmten Verkehrssituation Filterkriterien zu bestimmen. Dabei umfassen die Filterkriterien Priorisierungen und Prognosen für die Objekte und die ihnen zugeordneten Objektparameter. Die Erfassungseinheit ist ferner dazu eingerichtet, zu einem zweiten Zeitpunkt zweite, aktualisierte Umgebungsdaten zu erfassen. Die Vorverarbeitungseinheit ist ferner dazu eingerichtet, anhand der zweiten, aktualisierten Umgebungsdaten und der Filterkriterien
Übertragungsdaten zu erzeugen und die Übertragungsdaten auszugeben.
Das erfindungsgemäße System ist insbesondere ausgebildet, das vorstehend beschriebene erfindungsgemäße Verfahren zu implementieren. Das System weist somit dieselben Vorteile auf wie das erfindungsgemäße Verfahren.
Bei einer Ausbildung des erfindungsgemäßen Systems umfasst die Erfassungseinheit einen Lidar-, Radar- oder Ultraschalldetektor und/oder eine Kamera. Alternativ oder zusätzlich können andere Sensoren oder Erfassungsmodule vorgesehen sein, die zum Erfassen von
Umgebungsdaten anhand verschiedener Messprinzipien geeignet sind. Ferner kann eine Positionsbestimmungseinheit vorgesehen sein, beispielsweise auf Basis eines globalen
Navigationssatellitensystems oder einer kartenbasierten Positionsbestimmung. Dadurch können vorteilhafterweise flexibel sehr verschiedene Typen von Sensoren genutzt werden.
Die von einem bestimmten Sensor oder Erfassungsmodul erfassten Umgebungsdaten können jeweils von einer Vorverarbeitungseinheit verarbeitet werden oder die von mehreren Sensoren oder Erfassungsmodulen erfassten Umgebungsdaten werden von einer gemeinsamen
Vorverarbeitungseinheit verarbeitet.
Bei einer weiteren Ausbildung des Systems ist die Vorverarbeitungseinheit von der
Erfassungseinheit umfasst. Dabei ist die Erfassungseinheit dazu eingerichtet, die ersten Objektparameter für den ersten Zeitpunkt sowie die Übertragungsdaten für den zweiten
Zeitpunkt an die Recheneinheit übertragen. Ferner ist die Recheneinheit dazu eingerichtet, die Filterkriterien an die Erfassungseinheit zu übertragen. Das System ist daher vorteilhafterweise so eingerichtet, dass die bei seinem Betrieb übertragenen Daten optimiert und die zur
Verfügung stehende Bandbreiten optimal ausgenutzt werden. Die Vorverarbeitungseinheit kann beispielsweise als Steuergerät ausgebildet und integraler Bestandteil der Erfassungseinheit sein. Sie kann ferner als separate Einheit, insbesondere zur Erfassungseinheit gehörig, ausgebildet sein. Ferner können die Rechenaufgaben während der Vorverarbeitung der erfassten Umgebungsdaten auf verschiedene Einheiten verteilt sein, die insbesondere teilweise von der Erfassungseinheit umfasst und zum anderen Teil von dieser separat ausgebildet sind.
Bei einer weiteren Ausbildung wird anhand der Priorisierungen die Erfassungseinheit so gesteuert, dass die aktualisierten Umgebungsdaten anhand einer Teilmenge verschiedener Sensoren der Erfassungseinheit erfasst werden. Dadurch kann vorteilhafterweise bereits bei der Erfassung der Umgebungsdaten vermieden werden, dass irrelevante Daten von
bestimmten Sensoren bereitgestellt werden.
Beispielsweise umfasst ein Fahrzeug eine Vielzahl von Sensoren, die in Abhängigkeit von den Priorisierungen einzeln aktiviert oder deaktiviert werden können, zumindest bei der Erfassung von Umgebungsdaten für ein bestimmtes Objekt oder einen bestimmten, dem Objekt zugeordneten Objektparameter. Ferner können die von den Sensoren erfassten Daten so gefiltert werden, dass die Umgebungsdaten für bestimmte Objekte und/oder zugeordnete Objektparameter nicht bereitgestellt werden.
Das erfindungsgemäße Fahrzeug umfasst ein System gemäß der Erfindung.
Die Erfindung wird nun anhand von Ausführungsbeispielen mit Bezug zu den Zeichnungen erläutert.
Figur 1 zeigt ein Ausführungsbeispiel des erfindungsgemäßen Systems,
Figuren 2A bis 2C zeigen ein erstes Ausführungsbeispiel des erfindungsgemäßen
Verfahrens und
Figuren 3A und 3B zeigen ein weiteres Ausführungsbeispiel des erfindungsgemäßen
Verfahrens.
Mit Bezug zu Figur 1 wird ein Ausführungsbeispiel des erfindungsgemäßen Systems erläutert.
Das Fahrzeug 1 umfasst eine Positionsbestimmungseinheit 5, die bei dem Ausführungsbeispiel auf einem globale Navigationssatellitensystem basiert, beispielsweise dem globalen Positionierungssystem, GPS. Bei anderen Ausführungsbeispielen können alternativ oder zusätzlich auch andere Positionsbestimmungsverfahren in einem globalen oder relativen Koordinatensystem verwendet werden, etwa eine landmarkenbasierte Ortung.
Das Fahrzeug 1 umfasst ferner eine Erfassungseinheit 2, die bei dem Ausführungsbeispiel eine Kamera 3 und eine Vorverarbeitungseinheit 4 umfasst. Die Vorverarbeitungseinheit 4 ist bei dem Beispiel als Vorverarbeitungsmodul von einem Steuergerät für die Kamera 3 umfasst, sie kann jedoch auf praktisch beliebige andere Weise ausgeführt sein. Bei anderen
Ausführungsbeispielen kann die Erfassungseinheit 2 alternativ oder zusätzlich beliebige Sensoreinrichtungen umfassen, etwa LI DAR- oder RADAR-Scanner, Time-of-flight-Kameras, Stereokameras, Infrarotkamera oder Ultraschallsensoren. Diesen können weitere
Vorverarbeitungseinheiten zugeordnet sein.
Das Fahrzeug 1 umfasst zudem eine Recheneinheit 6, mit der die Erfassungseinheit 2, die Positionsbestimmungseinheit 5 und ein Fahrerassistenzsystem 7 gekoppelt sind. Das
Fahrerassistenzsystem 7 kann bei dem Ausführungsbeispielen so betrieben werden, dass es lediglich eine den Fahrer des Fahrzeugs 1 unterstützende Funktion hat, etwa durch die Ausgabe von Hinweise oder durch unterstützende Eingriffe in die Fahrzeugsteuerung; es kann ferner so betrieben werden, dass das Fahrzeug 1 teilweise oder vollständig autonom gesteuert wird.
Mit Bezug zu den Figuren 2A bis 2D wird ein erstes Ausführungsbeispiel des
erfindungsgemäßen Verfahrens erläutert. Dabei wird von einem erfindungsgemäßen System ausgegangen, das analog zu dem oben mit Bezug zu Figur 1 erläuterten Ausführungsbeispiel aufgebaut ist und für das daher die gleichen Bezugszeichen verwendet werden.
Figur 2 A zeigt eine Verkehrssituation, bei der ein Ego-Fahrzeug 20 auf einer mittleren Spur einer Straße fährt. Auf einer linken Spur befindet sich ein weiteres Fahrzeug 21 , ferner ein weiteres Fahrzeug 22 auf der rechten Spur. Am Rand der Straße befinden sich Bäume 23. Das Ego-Fahrzeug 20 und das Fahrzeug 21 auf der linken Spur bewegen sich mit der gleichen Geschwindigkeit, die durch die gleich langen durchgezogenen Pfeile 25 dargestellt ist. Das Fahrzeug 22 auf der rechten Spur bewegt sich mit einer höheren Geschwindigkeit, dargestellt durch den längeren durchgezogenen Pfeil 25.
Die durchgezogenen Pfeile 25 weisen auf die Geschwindigkeiten der Fahrzeuge 20, 21 , 22 im Weltsystem hin, das so definiert ist, dass in ihm statische Objekte wie beispielsweise die Fahrbahnmarkierungen oder Bäume 23 ruhen. Ferner zeigen gestrichelte Pfeile 27 die jeweiligen Geschwindigkeiten der Objekte im Relativsystem des Ego-Fahrzeugs 20. In diesem System ruhen das Ego-Fahrzeug 20 und das Fahrzeug 21 auf der linken Spur, sodass hier keine gestrichelten Pfeile dargestellt sind. Die statischen Bäume 23 bewegen sich in diesem relativen Koordinatensystem entgegen der Fahrtrichtung des Ego-Fahrzeugs 20, was ebenfalls durch gestrichelte Pfeile 27 dargestellt ist. Die Geschwindigkeit des Fahrzeugs 22 auf der rechten Spur ist im Relativsystem des Ego-Fahrzeugs 20 um die Geschwindigkeit des Ego- Fahrzeugs 20 verringert, was durch den Längenunterschied des durchgezogenen Pfeils 25 gegenüber dem gestrichelten Pfeil 27 dargestellt ist.
Bei dem Verfahren erfasst das Fahrzeug 20 mittels der Kamera 3 der Erfassungseinheit 2 Videodaten in der Umgebung des Fahrzeugs 20. Es wird hier vereinfachend davon
ausgegangen, dass die so erfassten Umgebungsdaten den gesamten Umkreis des
Fahrzeugs 20 mit einem Radius von etwa 100 m betreffen. Bei weiteren Ausführungsbeispielen können alternativ oder zusätzlich weitere Sensoren oder Module zur Erfassung von
Umgebungsdaten vorgesehen sein, die Umgebungsdaten beispielsweise in verschiedenen räumlichen Bereichen um das Fahrzeug 20 herum erfassen.
Die von der Erfassungseinheit 2 umfasste Vorverarbeitungseinheit 4 empfängt die von der Kamera 3 aufgenommenen Videodaten und detektiert darin Objekte, bei dem
Ausführungsbeispiel das Fahrzeug 21 auf der linken Spur, das Fahrzeug 22 auf der rechten Spur sowie die Bäume 23 neben der Straße und die Fahrbahnmarkierung auf der
Fahrbahnoberfläche. Die Detektion erfolgt auf an sich bekannte Weise, insbesondere mittels einer Bildverarbeitung und Mustererkennung. Es wird eine Klassifizierung der Objekte vorgenommen, wobei erkannt wird, ob es sich um statische oder dynamische Objekte handelt. Zum Beispiel können Bäume 23 als statische Objekte, nämlich Bestandteile einer Vegetation, erkannt werden. Ferner kann erkannt werden, dass es sich bei den weiteren Fahrzeugen 21 , 22 um PKW und folglich dynamische Objekte handelt.
Den erkannten Objekten werden ferner Objektparameter zugeordnet, die bei dem
Ausführungsbeispiel anhand der Videodaten der Kamera 3 ermittelt werden. Für jedes der Objekte wird eine Position relativ zum Ego-Fahrzeug 20 bestimmt, bei dem Ausführungsbeispiel definiert durch einen Winkel und einen Abstand. Es wird ferner eine Geschwindigkeit relativ zum Fahrzeug 20 bestimmt. Weitere Umgebungsparameter können eine Beschleunigung oder eine Änderung der Beschleunigung, eine Richtung oder ein Zustand einer Beleuchtung sein.
Zusammen mit der durch die Positionsbestimmungseinheit 5 bestimmten Position und Richtung des Ego-Fahrzeugs 20 in einem globalen Koordinatensystem, sowie weitere im Fahrzeug 20 zur Verfügung stehenden Daten, beispielsweise über dessen Geschwindigkeit, können die durch die Vorverarbeitungseinheit 4 in einem Koordinatensystem relativ zum Ego-Fahrzeug 20 bestimmten Objektparameter auch in ein Weltkoordinatensystem transformiert werden oder umgekehrt.
Die so erfassten Daten über Objekte und den Objekten zugeordnete Objektparameter werden an die Recheneinheit 6 übertragen, die eine initiale Bestimmung eines initialen Umfeldmodells vornimmt. Dabei werden Daten zusammengeführt, die eine Zusammenfassung von
Informationen der Situation um das Ego-Fahrzeug 20 herum bilden. Das Umfeldmodell wird insbesondere durch das Fahrerassistenzsystem 7 genutzt, um geeignete Fahrmanöver für das Fahrzeug 20 zu bestimmen und entsprechende Empfehlungen für einen Fahrer auszugeben oder die Fahrmanöver automatisch zu unterstützen oder durchzuführen.
Die Recheneinheit 6 bestimmt anhand des Umfeldmodells eine Verkehrssituation. Hierzu wird eine Klassifizierung des Umfeldmodells durchgeführt, wobei auf an sich bekannte Weise eine Konfiguration von Objekten mit den bestimmten Objektparametern in der Umgebung des Fahrzeugs 20 einer bestimmten Verkehrssituation zugeordnet wird. Diese kann beispielsweise eine Rolle der anderen Fahrzeuge 21 , 22 und ihre Relevanz für die Fahrt des Ego- Fahrzeugs 20 betreffen. Beispielsweise umfasst die bestimmte Verkehrssituation eine
Bewertung der anderen Fahrzeuge 21 , 22 danach, ob sie sich auf der gleichen Fahrspur wie das Ego-Fahrzeug 20 befinden, ob sie überholt werden dürfen oder ob sie Hindernisse darstellen können.
In Abhängigkeit von der bestimmten Verkehrssituation werden Filterkriterien bestimmt, die Priorisierungen und Prognosen für die Objekte und die ihnen zugeordneten Objektparameter umfassen. Bei dem Ausführungsbeispiel umfassen die Filterkriterien beispielsweise die
Informationen, dass für die statischen Bäume 23 sowie die Fahrbahnmarkierungen keine Änderungen durch eine eigene Bewegung zu erwarten ist und ihre Geschwindigkeit im
Relativsystem des Ego-Fahrzeugs 20 im Wesentlichen als konstant angenommen wird, wenn sich das Ego-Fahrzeug 20 mit konstanter Geschwindigkeit auf der Fahrspur bewegt. Ferner befinden sich die Bäume 23 abseits der Fahrbahn, sodass Änderungen der ihnen zugeordneten Objektparameter nur dann für eine neue Bewertung der Verkehrssituation von Bedeutung sind, wenn es sich um besonders große Änderungen handelt, beispielsweise wenn erkannt wird, dass es sich wegen einer Fehldetektionen doch um ein dynamisches Objekt handelt, dass sich zur Fahrbahn hin bewegt. Ferner umfassen die Filterkriterien beispielsweise die Information, dass Objekte mit der gleichen Geschwindigkeit wie das Ego-Fahrzeug 20 von geringerer Relevanz sind als andere Objekte. Das heißt, das Fahrzeug 21 auf der linken Spur kann an einer konstanten Position relativ zu dem Egofahrzeug 20 angenommen werden, solange es seine Geschwindigkeit nicht verändert.
Bei dem Ausführungsbeispiel wendet die Recheneinheit 6 ferner ein physikalisches Modell an, welches die Objekte in dem Umfeldmodell beschreibt und bei dem durch Extrapolation auf bestimmte Werte der Objektparameter geschlossen werden kann.
Zu einem späteren Zeitpunkt erfasst die Erfassungseinheit 2 erneut das Umfeld des Ego- Fahrzeugs 20. Die Vorverarbeitungseinheit 4 führt wiederum die Detektion der Objekte und der ihnen zugeordneten Objektparameter durch, wobei gegenüber der letzten Erfassung gleiche Objekte erkannt werden. Das heißt, Detektionen der initialen Umgebungserfassung in einem ersten Zeitschritt werden aktualisierte Detektionen der zweiten Umgebungserfassung in einem zweiten Zeitschritt zugeordnet. Die Priorisierungen und Prognosen für die im ersten Zeitschritt detektierten Objekte können daher mit den im zweiten Zeitschritt detektierten Objekten verglichen werden. Anschließend werden Übertragungsdaten erzeugt und an die
Recheneinheit 6 übertragen. Es wird eine Filterung der Daten durchgeführt, um deren Umfang und die zur Übertragung notwendige Bandbreite zu verringern. Dabei werden durch die
Filterkriterien vorgegebene Bedingungen für die Objekte und die ihnen zugeordneten
Objektparameter geprüft. In Abhängigkeit davon, ob die Bedingungen erfüllt werden, sind die entsprechenden Daten von den Übertragungsdaten umfasst. Nachfolgend werden
verschiedene Möglichkeiten der Filterung an Beispielen erläutert.
Bei dem in Figur 2B gezeigten Fall wird für die Verkehrssituation, die in Figur 2A gezeigt ist, eine Filterung unter Verwendung der Prognose durchgeführt, dass alle Objekte im Weltsystem ruhen. Das heißt, es werden alle Objekte aus den Umgebungsdaten herausgefiltert, die eine Geschwindigkeit von 0 gegenüber dem Weltsystem aufweisen. Dies sind bei dem
Ausführungsbeispiel die Bäume 23, die in Figur 2B daher nicht mehr enthalten sind, sowie die Fahrbahnmarkierungen, die zur Orientierung gestrichelt gezeigt sind.
Bei dem in Figur 2C gezeigten Fall wird für die Verkehrssituation, die in Figur 2 A gezeigt ist, eine Filterung unter Verwendung der Prognose durchgeführt, dass alle Objekte relativ zum Ego- Fahrzeug 20 ruhen. Das heißt, es werden alle Objekte aus den Umgebungsdaten
herausgefiltert, welche die gleiche Geschwindigkeit gegenüber dem Weltsystem aufweisen wie das Ego-Fahrzeug 20. Dies ist bei dem Ausführungsbeispiel das Fahrzeug 21 auf der linken Spur, welches in Figur 2C daher nicht mehr enthalten ist. Das Ego-Fahrzeug 20 ist zur
Orientierung weiterhin dargestellt.
Bei dem in Figur 2D gezeigten Fall wird eine logische UND-Verknüpfung der in den Figuren 2B und 2C gezeigten Filterungen durchgeführt. Das heißt, es werden sowohl Objekte ignoriert, die im Weltsystem ruhen, als auch solche Objekte, die gegenüber der Bewegung des Ego- Fahrzeugs 20 ruhen. Es bleibt lediglich das Fahrzeug 22 auf der rechten Spur übrig. Das Ego- Fahrzeug 20 und die Fahrbahnmarkierungen sind lediglich der Orientierung wegen noch gestrichelt dargestellt.
Mit Bezug zu den Figuren 3A und 3B wird ein weiteres Ausführungsbeispiel des
erfindungsgemäßen Verfahrens erläutert. Dabei beschränken sich die folgenden Erläuterungen auf die Unterschiede gegenüber dem ersten Ausführungsbeispiel des erfindungsgemäßen Verfahrens.
Figur 3A zeigt eine Verkehrssituation, bei der ein Ego-Fahrzeug 30 auf einer mittleren Spur einer Straße fährt. In Fahrtrichtung vor dem Ego-Fahrzeug 30 befindet sich ein vorausfahrendes Fahrzeug 31 und auf der rechten Spur befindet sich ein weiteres Fahrzeug 32. Die
Fahrzeuge 30, 31 , 32 fahren zu diesem Zeitpunkt mit der gleichen Geschwindigkeit, was durch die gleichen Längen der Pfeile 35 angedeutet wird. Bei diesem Ausführungsbeispiel beziehen sich die Geschwindigkeiten auf das Weltsystem.
Die Verkehrssituation wird analysiert und es wird eine Priorisierung so bestimmt, dass für das Objekt„vorausfahrendes Fahrzeug 31“ die Objektparameter„Geschwindigkeit“ und„Abstand“ eine besonders hohe Priorität aufweisen. Dagegen haben die Objektparameter
„Geschwindigkeit“ und„Abstand“ für das Objekt„Fahrzeug auf der rechten Spur 32“eine geringere Priorität. Umgekehrt wird dem Objektparameter„laterale Position innerhalb der Spur“ für das Objekt„vorausfahrendes Fahrzeug 31“ eine geringere Priorität als für das Objekt „Fahrzeug auf der rechten Spur 32“ zugeordnet.
Bei der Priorisierung werden den Objektparametern für die Objekte Schwellenwerte zugeordnet und die Filterkriterien umfassen die Information, dass neu erfasste Objektparameter für die jeweiligen Objekte nur dann von den Übertragungsdaten umfasst sein sollen, wenn sie um mehr als den Schwellenwert von einer Prognose für den jeweiligen Wert abweichen. Die höhere Priorität des Abstandes für das vorausfahrende Fahrzeug 31 bedeutet bei dem
Ausführungsbeispiel konkret, dass im Vergleich zu dem Fahrzeug 32 auf der rechten Spur ein niedrigerer Schwellenwert festgelegt ist, der darüber bestimmt, ob eine Abweichung von den Übertragungsdaten umfasst sein soll.
Bei dem Ausführungsbeispiel wird prognostiziert, dass sich alle Objekte mit konstanter Geschwindigkeit bewegen beziehungsweise unverändert ruhen. In Figur 3B ist eine
Verkehrssituation bei einem späteren Zeitpunkt gezeigt, bei die Prognose der gleich bleibenden Bewegung für alle Objekte außer dem vorausfahrenden Fahrzeug 31 zutreffen, das heißt, alle anderen Objekte 32, 33 bewegen sich mit konstanter Geschwindigkeit oder weichen zumindest nicht mehr als die jeweils definierten Schwellenwerte von ihrer Geschwindigkeit gemäß der Prognose ab. Das Objekt 31 ist daher als einziges nicht gestrichelt gezeigt und der verglichen mit Figur 3A verkürzte Pfeil 35 deutet an, dass sich die Geschwindigkeit des vorausfahrenden Fahrzeugs 31 verringert hat, was auch zu einem verringerten Abstand zum Ego-Fahrzeug 30 führt. Die Veränderungen der Geschwindigkeit und des Abstandes zwischen dem Ego- Fahrzeug 30 und dem vorausfahrenden Fahrzeug 31 überschreiten die dafür von den
Filterkriterien umfassten Schwellenwerte, sodass Informationen über diese Abweichungen von der Prognose von den Übertragungsdaten umfasst sein sollen.
In einer weiteren Situation kann beispielsweise eine Änderung der lateralen Position des Fahrzeugs 32 auf der rechten Spur detektiert werden, die den dafür bestimmten Schwellenwert überschreitet. Dies kann beispielsweise bei einem durch das Fahrzeug 32 auf der rechten Spur durchgeführten Beginn eines Spurwechsels der Fall sein. Entsprechende Informationen über die veränderte laterale Position werden dann bei den Übertragungsdaten berücksichtigt.
Die Priorisierungen verschiedener Objekte und Objektparameter erlaubt es, zwischen mehr oder weniger relevanten Parametern zu unterscheiden. Beispielsweise besteht ein erhöhtes Risiko für eine Kollision eher, wenn sich der Abstand des vorausfahrenden Fahrzeugs 31 verringert, als wenn beispielsweise das Fahrzeug 32 auf der rechten Spur bremst. Die
Schwellenwerte für die Objektparameter„Geschwindigkeit“ hängen daher von den
Fahrzeugen 31 , 32 und ihrer Position relativ zu dem Ego-Fahrzeug 30, das heißt von der Verkehrssituation ab. Umgekehrt steigt das Risiko einer Kollision mit dem Ego-Fahrzeug 30, wenn es zu einem Wechsel des rechten Fahrzeugs 32 auf die mittlere Spur kommt, während ein Spurwechsel des vorausfahrenden Fahrzeugs 31 weniger direkt zu einer Gefährdung des Ego-Fahrzeug 30 führt. Auch hier hängen daher die Schwellenwerte für den Objektparameter „laterale Position“ von den Fahrzeugen 31 , 32 und der Verkehrssituation ab. Bei einem weiteren Ausführungsbeispiel wird als Objektparameter eine Farbe oder Helligkeit bestimmt. Anhand dieser Informationen werden Signale von Lichtsignalanlagen oder anderen Verkehrsteilnehmern erfasst und bei dem Bestimmen der Verkehrssituation berücksichtigt. Lichtsignale von Fahrzeugen werden dabei abhängig von ihrer Ausbildung zum Beispiel als Hinweise auf eine Bremsung oder eine Intention zur Änderung der Fachrichtung interpretiert.
Die Verkehrssituation umfasst in diesem Fall etwa eine Kategorisierung„rote/grüne Ampel voraus“ oder„benachbartes Fahrzeug will Spur wechseln“ oder„vorausfahrendes Fahrzeug bremst“.
Bei einem weiteren Ausführungsbeispiel erzeugt das Fahrerassistenzsystem 7 eine Anweisung für das Ausführen eines autonomen Fahrmanövers oder eine Aufforderung zum Durchführen eines Fahrmanövers. Anhand der für das Fahrmanöver bestimmten Dynamik können die Prognosen für einzelne Objekte genauer bestimmt werden. Ist beispielsweise eine
Beschleunigung des Ego-Fahrzeugs 30 geplant, so ist davon auszugehen, dass sich die Relativgeschwindigkeiten sämtlicher Objekte in der Umgebung entsprechend verändert und dass auch ihre Relativpositionen sich gemäß der geplanten Dynamik des Ego-Fahrzeugs 30 ändern.
Bei einem weiteren Ausführungsbeispiel kann das Verfahren alternativ oder zusätzlich auf eine Aktorik des Ego-Fahrzeug 30 angewandt werden. Dabei werden die von der Aktorik an die Recheneinheit 6 übertragenen Daten auf analoge Weise gefiltert, wie dies bei den oben beschriebenen Ausführungsbeispielen für die Sensorik erfolgt. Die Aktorik umfasst dabei Einrichtungen und Module zum Steuern der Bewegung des Fahrzeugs in Längs- und/oder Querrichtung. Es kann sich dabei etwa um Aktoren zur Einstellung von Fahrparametern handeln, beispielsweise Aktoren zum Einstellen eines Lenkwinkels oder einer Antriebsleistung. Es kann sich ferner um Funktionen eines Fahrerassistenzsystems 7 handeln, durch die beispielsweise einzelne Aktoren angesteuert werden, insbesondere in Abhängigkeit von einer Umfeldwahrnehmung. Zum Beispiel wird dabei ein Spurhalteassistent, eine Längsregelung oder eine Funktion zum Halten einer Geschwindigkeit in Abhängigkeit vom Abstand zu einem vorausfahrenden Fahrzeug 31 zur Aktorik gezählt. Beim Ansteuern einer Aktorik wird üblicherweise von einem bestimmten Ergebnis ausgegangen, zum Beispiel dem Fahren einer bestimmten Trajektorie zum Überholen oder in einem bestimmten Abstand zu anderen
Fahrzeugen. Beim Aktualisieren des Umfeldmodells können solche Trajektorien als Prognosen verwendet werden, soweit die Aktorik keine Abweichungen hiervon detektiert und mittels Übertragungsdaten bereitstellt. Die Prognosen können dann entsprechend angepasst werden. Bezugszeichenliste
Fahrzeug
Erfassungseinheit
Kamera
Vorverarbeitungseinheit
Positionsbestimmungseinheit
Recheneinheit
Fahrerassistenzsystem
Ego-Fahrzeug
Objekt, weiteres Fahrzeug (linke Spur)
Objekt, weiteres Fahrzeug (rechte Spur)
Objekt, Baum
Pfeil; Geschwindigkeit (im Weltsystem)
Pfeil; Geschwindigkeit (im Relativsystem)
Ego-Fahrzeug
Objekt, weiteres Fahrzeug (vorausfahrend) Objekt, weiteres Fahrzeug (rechte Spur)
Objekt, Baum
Pfeil; Geschwindigkeit (im Weltsystem)