Im Rahmen der Weiterentwicklung des Automobils genießt das Thema Sicherheit ein herausragende Bedeutung. Nachdem die passive Sicherheit das Verletzungsrisiko der Insassen bei einem Unfall dramatisch gesenkt hat, rückt nun zunehmend die aktive Sicherheit ins Blickfeld. Aktive Sicherheit verspricht einen weiter verbesserten Schutz der Insassen als auch der anderen am Unfall beteiligten Verkehrsteilnehmer, indem bereits im Vorfeld des Unfalls geeignete Schutzmaßnahmen ausgeführt werden. Diese reichen von der Vorspannung entsprechende Systeme für eine schnellere Reaktion im Crash-Fall bis hin zur automatischen Unfallvermeidung. Allen Maßnahmen ist gemeinsam, dass sie für eine Auslösung eine Kenntnis des Fahrzeugumfeldes benötigen, die je nach Komplexität der auszulösenden Reaktion eine hinreichende Informationsdichte und-güte besitzen muss.

Aus der DE 198 45 568 A1 ist eine Vorrichtung und ein Verfahren zur Erfassung und Verfolgung von Objekten im Fahrzeugumfeld bekannt. Dabei wird zunächst ein Fahrzustand eines Fahrzeugs anhand interner Sensoren, beispielsweise Gierratensensoren oder Tachometer, ermittelt. Auf Basis dieser Daten werden die externen Sensoren (Radar, Laser, etc. ) entsprechend des ermittelten Fahrzustands eingestellt. Dafür werden beispielsweise die Reichweite und/oder eine gewünschte Abtastrate geeignet gewählt. Das Fahrzeugumfeld wird mit den derart eingestellten und justierten externen Sensoren abgetastet und die von den externen Sensoren ermittelten Daten werden an eine zentrale Auswerteeinheit übermittelt. In der Auswerteeinheit wird anhand der Daten eine Bewertung der Fahrsituation unter Berücksichtung des internen Fahrzustands und des Fahrzeugumfelds durchgeführt, wobei Objekte und deren Bewegung im Fahrzeugumfeld detektiert werden. So ermittelte Informationen werden verwendet, um gezielt externe Sensoren zur Bewertung auszuwählen und zu justieren, so dass eine Bewertung der Fahrsituation sukzessive verbessert werden kann.

Informationen über die Fahrsituation, d. h. das Fahrzeugumfeld, das Fahrzeug und den Fahrer, werden beispielsweise in Fahrerassistenz-Applikationen verwendet. Dabei ist es bekannt, durch Sensoren eine Fahrsituation zu Erfassen, die Fahrsituation durch Fahrschlauchprädiktion oder Zielauswahl zu analysieren und anschließende Aktionen beispielsweise durch eine Fahrzeugregelung entsprechend durchzuführen. Zukünftige Fahrerassistenzsysteme werden beispielsweise eine Längsregelung, z. B. eine Abstandregelung oder"Stop & Go"-Regeiung, eine Querregelung, z. B. Heading Control, kombinierte Längs-und Querreglungen, z. B. Stauassistenten, oder Sicherheitsfunktionen, z. B. automatische Notbremsungen, umfassen. Um diese Aufgaben nutzergerecht zu erfüllen, ist eine hohe Zuverlässigkeit und eine hohe Informationsgüte notwendig. Um die Anforderungen an die Zuverlässigkeit zu erfüllen, ist es bekannt eine Vielzahl an Sensoren im Fahrzeug einzusetzen, ein sogenanntes Multi-Sensor-System. Werden für die Erfassung von Daten mehrere Sensoren eingesetzt, so arbeiten diese redundant, kooperativ, komplementär und/oder mit unterschiedlicher Verarbeitungstiefe.

Eine Zusammenfassung oder Verknüpfung von Messdaten mehrer Datenquellen zu einer gemeinsamen Beschreibung wird allgemein als Sensorfusion bezeichnet. Im Bereich der Automobiltechnik ist eine Sensorfusion beispielsweise aus J. Langheim :"CARSENSE-New Environment Sensing for Advanced Driver Assistance Systems"; In : Proc, of the IEEE Intelligent Vehicle Symposium 2001 bekannt. Dabei ist ein System zu Erfassung des Fahrzeugumfeldes durch Laser, Radar und Video beschrieben, wobei die unterschiedlichen Sensoren mit einer zentralen Fusionseinheit kommunizieren. Die physikalischen Eigenschaften der unterschiedlichen Sensorkonzepte bleiben jedoch in der Fusion unberücksichtigt.

Bekannte Berücksichtigungen der physikalischen Eigenschaften führen zu einer starken Abhängigkeit der eingesetzten Sensorik und daher zu einer Inflexibilität des Systems.

Der Erfindung liegt daher das technische Problem zugrunde, ein echtzeitfähiges Verfahren und eine echtzeitfähige Vorrichtung zur Ermittlung eines Fahrzeugumfeldes durch Sensoren zu schaffen, welche eine hohe Informationsgüte und eine hohe Flexibilität aufweisen.

Die Lösung des Problems ergibt sich durch die Gegenstände mit den Merkmalen der Patentansprüche 1 und 10. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.

In einem Fahrzeugumfeld befindliche Objekte werden durch ein Situationsmodell in einer Auswerteeinheit anhand von Objektdaten ermittelt. Hierfür wird das Fahrzeugumfeld durch externe Sensoren abgetastet, die Messdaten der externen Sensoren werden an Sensoreinheiten übertragen und mit Erwartungsdaten der Messdaten assoziiert, wobei mindestens ein assoziiertes Umfeld-Merkmal unter Berücksichtigung der physikalischen Eigenschaften des zugeordneten externen Sensors ermittelt wird. Objektdaten werden mindestens in Abhängigkeit des assoziierten Umfeld-Merkmals bestimmt. Externe Sensoren zum Abtasten des Fahrzeugumfeldes, wie Radar, Laser oder Bildverarbeitungssysteme, befinden sich dezentral im Fahrzeug und erfassen jeweils Ausschnitte aus der Umgebung, wie z. B. Reflexionspunkte von Fahrzeugen (Radar) oder Objektkonturen (Laser). Die Sensoreinheiten bilden eine Schnittstelle zwischen den Sensoren und der Auswerteeinheit.

In den Sensoreinheiten liegen Sensormodelle vor, welche die physikalischen Eigenschaften des jeweiligen Sensors nachbilden. Die strikte Trennung des sensorunabhängigen Situationsmodells in der Auswerteeinheit und der Sensoren durch die Zwischenschaltung der Sensoreinheiten bewirkt eine große Flexibilität hinsichtlich der verwendbaren Sensorik. Ein neuer Sensor kann mittels einer Sensoreinheit mit passendem Sensormodell in die bestehende Struktur eingepasst werden. Dieses gilt ebenso für unterschiedliche Verarbeitungsebenen in den Sensoren. Da die Sensoreigenschaften durch die Sensoreinheiten abstrahiert werden, können sowohl Sensoren mit einer hohen Vorverarbeitungstiefe als auch Rohdaten eingebracht werden. Je nach Verarbeitungstiefe und Rechenkapazität der einzelnen Sensoren, können die Sensoreinheiten beliebig dezentral in den Sensoren vorliegen als auch zentral als gemeinsame Recheneinheit. Die Zwischenschaltung der Sensoreinheiten ist weiter für eine Synchronisation der Datenaufnahme nutzbar. Daher ist auch eine Verwendung asynchroner Sensoren möglich.

Die Verarbeitung der Sensordaten in den Sensoreinheiten kann parallel erfolgen.

In einer weiteren Ausführungsform werden die ersten Objektdaten durch Verknüpfung von mindestens zwei assoziierten Umfeld-Merkmalen ermittelt. Die assoziierten Umfeld- Merkmale werden unter Berücksichtigung der jeweiligen Sensoreigenschaften ermittelt.

Vorzugsweise liefern die Sensoreinheiten normierte assoziierte Umfeld-Merkmale.

Verschiedene assoziierte Umfeld-Merkmale sind dann durch bekannte Verfahren verknüpfbar ohne dass die Herkunft der Daten zu berücksichtigen ist.

In einer weiteren Ausführungsform wird durch die Auswerteeinheit mindestens ein im Fahrzeugumfeld befindliches Objekt anhand von zweiten Objektdaten ermittelt, wobei durch mindestens eine Sensoreinheit aus nicht assoziierten Umfeld-Merkmalen Objekthypothesen generiert werden und zweite Objektdaten aus Objekthypothesen ermittelt werden.

Erwartungsdaten der Sensordaten sind beispielsweise im Falle eines Radarsensors bestimmte Reflexionspunkte an einem Objekt. Dabei sind die Eigenschaften des Sensors bezüglich Messgenauigkeit, Detektionswahrscheinlichkeit usw. berücksichtigbar. Auch Umwelteinflüsse beispielsweise bezüglich einer Lasersensorik können in den entsprechenden Sensoreinheiten berücksichtigt werden. Ist keine Zuordnung der erfassten Sensordaten zu den Erwartungsdaten möglich, so werden aus den erfassten Sensordaten Objekthypothesen gebildet. Diese können wiederum mit Objekthypothesen anderer Sensoren oder mit weiteren Informationen des Situationsmodells verglichen werden und dadurch neue Objekte im Fahrzeugumfeld detektiert werden.

In einer weiteren Ausführungsform werden die Erwartungsdaten von mindestens einem im Fahrzeugumfeld befindlichen Objekt durch die Auswerteeinheit ermittelt und den Sensoreinheiten übermittelt, wobei durch die Auswerteeinheit eine Klassifizierung in und/oder eine Verwerfung von Objektmodellen durchgeführt wird. Anhand von Objektmodellen werden an die Auswerteeinheit übermittelte Messdaten als im Fahrzeugumfeld befindliche Objekte klassifiziert. Anhand der Klassifizierung der Objekte werden Erwartungsdaten und deren Zuordnung zu tatsächlichen Messdaten generiert und an die Sensoreinheiten übermittelt. Auf diese Weise können sensorspezifische Eigenschaften in vollem Umfang für die Verknüpfung genutzt werden. Im Gegensatz zu anderen Verfahren, bei denen die Zuordnung in dem in der Auswerteeinheit verwendeten Situationsmodell erfolgt. Können Erwartungsdaten nicht mit den Messdaten assoziiert werden, so wird durch die Auswerteeinheit eine Verwerfung bereits erstellter Objektmodelle undloder eine Klassifizierung neuer Objektmodelle geprüft und gegebenenfalls durchgeführt. Für die Klassifizierung bestimmter Objekte können im Vorfeld geeignete Kriterien gefunden werden.

In einer weiteren Ausführungsform werden die Erwartungsdaten durch eine Vorausschau ermittelt. Durch ein dynamisches Situationsmodell ist eine Voraussage der Erwartungswerte möglich. Die Objekte werden dabei durch eine Verteilungsfunktion der Zustände und dem dynamischen Situationsmodell beschrieben. Sobald neue Messdaten eintreffen, werden anhand der Messzeit die Objekte auf den Messzeitpunkt vorhergesagt.

In einer weiteren Ausführungsform wird durch die Auswerteeinheit mindestens ein im Fahrzeugumfeld befindliches Objekt anhand von dritten Objektdaten ermittelt, wobei dritte Objektdaten direkt von der Sensoreinheit unter Berücksichtigung der physikalischen Eigenschaften des zugehörigen Sensors und/oder eines Erwartungswertes bestimmt werden. Nicht alle Objekte verlangen für eine Erkennung eine Verknüpfung verschiedener Sensoren. Die Objektdaten derartiger Objekte werden direkt von den Sensoreinheiten erkannt und an das Situationsmodell in der Auswerteeinheit übertragen.

In einer weiteren Ausführungsform werden die Objektdaten in der Auswerteeinheit durch ein Filter verknüpft, wobei mindestens ein Abstand und/oder eine Relativgeschwindigkeit eine Objektes zu dem Fahrzeug erfasst wird. Die Verknüpfung arbeitet bevorzugt auf Basis einer erweiterten Kalmanfilterung, bei der das Simulationsmodell aus einer Anzahl klassifizierter Objekte gebildet wird. Es sind jedoch auch andere Verfahren der Sensorfusion als Verknüpfungsmethode denkbar, beispielsweise die Bayes-Methode oder das Verfahren der kleinsten Fehlerquadrate.

In einer weiteren Ausführungsform wird ein Fahrzustand des Fahrzeugs durch mindestens einen internen Sensor erfasst, wobei dem internen Sensor ein Sensoreinheit zugeordnet ist, der interne Sensor Messdaten an die Sensoreinheit überträgt und durch die Sensoreinheit mindestens ein Umfeld-Merkmal ermittelt wird. Interne Sensoren sind beispielsweise Fahrzeugssensoren (Gierratensensor, Tachometer,...) oder Mensch-Maschine- Schnittstellen-Sensoren (Blinker, Gaspedalstellung,...). Das Situationsmodell der Auswerteeinheit erhält die zugeordneten Umfeld-Merkmale und aktualisiert die Objekte, z. B. die Fahrzeuge im Fahrzeugumfeld, mit Hilfe geeigneter Algorithmen wie beispielsweise einer Kalman-Filterung für eine Verfolgung von Objekten. Durch externe Sensoren erhält die Auswerteeinheit allgemein Informationen über die Infrastruktur, wie Fahrbahn, Leitplanken, Schilder, Ampeln usw., die Verkehrsteilnehmer, wie Fahrzeuge, Radfahrer, Fußgänger usw.. und Hindernisse, wie Bäume, Häuser usw. Interne Sensoren liefern Informationen über das eigene Fahrzeug inklusive dem Fahrer und ggf. dessen Absichten. Darüber hinaus ist es auch denkbar, Informationen von anderen Verkehrsteilnehmern, der Infrastruktur oder aus Navigationssystemen zu verwenden.

In einer weiteren Ausführungsform werden durch die Auswerteinheit Daten an ein Fahrerassistenz-Programm übermittelt.

In einer weiteren Ausführungsform erfolgt durch die Sensoren eine Vorverarbeitung der Messdaten. Dabei ist es denkbar, dass die Sensoren sich selbsttätig an Entfernungen etc. anpassen.

Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels näher erläutert. Die Figuren zeigen : Fig. 1 ein schematisches Blockschaltbild einer Vorrichtung zur Ermittlung des Fahrzeugumfelds und Fig. 2 ein schematisches Blockschaltbild einer Sensoreinheit und einer Auswerteeinheit zur Ermittlung des Fahrzeugumfelds.

Fig. 1 zeigt schematisch eine Vorrichtung zur Ermittlung eines Fahrzeugumfeldes umfassend drei Sensoren 10,20, 30, welchen jeweils eine Sensoreinheit 11,21, 31 zugeordnet ist, und eine Auswertungseinheit 2, durch welche Daten für eine Applikation 3 ermittelt werden. Als Sensoren 10, 20, 30 sind beispielsweise ein Radarsensor, ein Lasersensor und/oder eine Videokamera denkbar. Die Sensoren 10,20, 30 sowie verwendete Aktuatoren und/oder Steuergeräte sind in einem Fahrzeug verteilt angeordnet und durch einen Datenbus, beispielsweise einen CAN-Bus, verbunden. Die Datenerfassung der Sensoren 10,20, 30 erfolgt vorzugsweise durch die jeweilige Sensoreinheit 11,21, 31, wobei die Systemzeit zentral von der Auswerteeinheit 2 an die Sensoreinheiten 11,21, 31 verteilt wird. Dadurch lassen sich auch Sensordaten asynchroner Sensoren 10,20, 30 miteinander verknüpfen. Die durch Sensoren erfassten Messdaten werden über den Datenbus an Sensoreinheiten 11,21, 31 übermittelt. Die Sensoreinheiten 11, 21, 31 sind zusammen mit der Auswerteeinheit 2 auf einem gemeinsamen Rechenmittel 4 integriert. Daneben ist es auch denkbar, die Sensoreinheiten 11,21, 31 räumlich an den Sensoren 10,20, 30 anzuordnen und/oder in diese zu integrieren.

Fig. 2 zeigt schematisch die Sensoreinheit 11, umfassend eine Prädiktion 111, eine Assoziation 112 und eine Instanziierung 113, und die Auswerteeinheit 2, umfassend einen Filter 201, eine Bewertung 202, ein Situationsmodell 203 und eine Zeit-Prädiktion 204. In der Sensoreinheit 11 sind durch ein Sensormodell die physikalischen Eigenschaften des in Fig. 1 dargestellten Sensors 10 beschrieben. Das Sensormodell umfasst mindestens die Signalverarbeitungseigenschaften des Sensors 10 und dessen Tracking-Eigenschaften hinsichtlich des in der Auswerteeinheit 2 verwendeten Situationsmodells 203. In der Prädiktion 111 werden die von der Auswerteeinheit 2 an die Sensoreinheit 11 übermittelten Erwartungsdaten für ein im Fahrzeugumfeld befindliches Objekt entsprechend der Eigenschaften des zugehörigen Sensors 2 aufbereitet. Dabei werden Mehrfachprädiktionen oder Unsicherheiten berücksichtigt. Die aufbereiteten Erwartungsdaten werden an die Assoziation 112 übertragen und mit tatsächlichen Messdaten assoziiert und ggf. priorisiert.

Erfolgreiche Zuordnungen liefern sogenannte assoziierte Umfeld-Merkmale. Diese werden an die Auswerteeinheit 2 übermittelt und in dem Filter 201 mit assoziierten Umfeld- Merkmalen anderer Sensoreinheiten und/oder mit vorhergesagten Umfeld-Merkmalen verknüpft. Wenn Messdaten nicht assoziiert werden können, so werden die nicht assoziierten Merkmale der lnstanziierung 113 zugeführt. Durch die Instanziierung 113 werden neue Objekthypothesen erzeugt. Sind die Daten eines Sensors ausreichend, um ein Objekt zu erkennen und zu bewerten, so werden diese Objekte ebenfalls in der Sensoreinheit 11 ermittelt. Die derart ermittelten Objekte, die von der Instanziierung 113 ermittelten Objekthypothesen und die durch Verknüpfung mittels Filter 201 erhaltenen Objekte werden der Bewertung 202 der Auswerteeinheit 2 zugeführt. Durch die Bewertung 202 werden aus ausreichend gestützten Objekthypothesen neue Objekte erkannt und/oder nicht ausreichend gestützte Objekthypothesen verworfen. Alle erkannten Objekte werden an das Situationsmodell 203 übertragen. Das Ergebnis ist eine konsistente Wiedergabe des Fahrzeugumfeldes soweit sie über Sensorik erfassbar ist. Darin enthalten sind z. B. die Positionen anderer Fahrzeuge und deren Dynamik, der eigene Fahrzustand aber auch Informationen über den Fahrer. Ein nicht dargestelltes, mit dem Situationsmodell 203 verbundenes Fahrerassistenzsystem kann anhand dieser Daten eine Situationsanalyse und ggf. eine Situationsextrapolation durchführen, um eine Basis für Aktionsplanung und - durchführung zu gewinnen. Über Anforderungen der Fahrerassistenzsysteme, wie beispielsweise eine Aufmerksamkeitssteuerung, wird die Sensorfusion gesteuert.

Informationen über die Objekte werden außerdem der sensorunabhängigen Zeit-Prädiktion 204 zugeführt. In der Zeit-Prädikation 204 wird eine Voraussage über die Position und/oder die Bewegung der im Fahrzeugumfeld befindlichen Objekte ermittelt. Diese Voraussage wird an die Prädiktion 111 der Sensoreinheiten 11 übertragen. In der Prädiktion 111 der Sensoreinheit 11 werden anhand des Sensormodells aus den sensorunabhängigen Objekt- Voraussagen sensorabhängige Erwartungswerte der Messdaten ermittelt.

Als externe Sensoren sind ein Radarsensor, ein Lasersensor und eine Videokamera denkbar. Durch den Radarsensor mit einer typischen Frequenz von ca. 77 GHz lassen sich beispielsweise Reflexionspunkte von Objekten in einem Abstand von bis zu 150m erkennen.

Mit dem Lasersensor sind Konturen von Objekten erfassbar. Als Videokamera ist entweder ein Mono-Video System denkbar, durch welches eine Spur erkennbar ist, oder ein Stereo- Video-System zur Erkennung dreidimensionaler Gebilde. Wird ein Signal durch den Radarsensor, den Lasersensor und/oder die Videokamera aufgenommen, so erstellt die zugehörige Sensoreinheit in der Instanziierung mindestens eine Objekthypothese, d. h. eine Hypothese über ein im Fahrzeugumfeld befindliches Objekt, welches ein derartiges Signal liefern könnte. Liefert ein Radarsensor ein Signal für einen Reflexionspunkt so ist daraus keine eindeutige Aussage über das zugehörige Objekt machbar. Der Reflexionspunkt kann beispielsweise zu einem Lastwagen, einem PKW oder einem Fahrradfahrer gehören.

Außerdem ist seine Position an dem Objekt mehrdeutig, er kann beispielsweise auf einem Nummernschild, einem Außenspiegel etc. liegen. Durch die Instanziierung werden daher verschiedene Objekthypothesen gebildet. Diese Objekthypothesen werden an die zentrale Auswerteeinheit übermittelt. Die Auswerteeinheit bewertet die verschiedenen konkurrierenden Objekthypothesen für eine Ermittlung möglicher, zugehöriger Objekte.

Positiv auf die Entscheidung für ein mögliches Objekt wirken sich beispielsweise übereinstimmende Objekthypothesen unterschiedlicher Sensoren aus.

Informationen bezüglich der ermittelten möglichen Objekte werden wieder an die Sensoreinheiten übertragen. In den Sensoreinheiten werden aus den Informationen über mögliche Objekte im Fahrzeugumfeld Erwartungsdaten ermittelt. Die Erwartungsdaten sind die Messdaten, welche der zugehörige Sensor erfassen würde, falls sich ein vermeintliches Objekt tatsächlich in einer vorhergesagten Position befindet. Zur Bestimmung der Erwartungsdaten werden Sensormodelle verwendet. Ein Radar-Sensormodell, welches in einer einem Radar-Sensor zugeordneten Sensoreinheit eingesetzt ist, berücksichtigt beispielsweise eine Vorhersage von Reflexionspunkten eines Fahrzeugs an Ecken, Nummernschild, Außenspiegel, inneren Reflexionspunkten etc., eine örtliche Messgenauigkeit der Reflexionspunkte, Entfernung, Winkel, eine Längsgeschwindigkeit und eine Quergeschwindigkeit. Werden die Objekthypothesen von den anderen Sensoren und/oder den nachfolgenden Messungen unterstützt, so können die entsprechenden Messdaten eindeutig diesem Objekt zugeordnet werden, d. h. es werden sogenannte assoziierte Umfeld-Merkmale erhalten. Mit einem gemeinsamen Objekt assoziierte Umfeld- Merkmale verschiedener Sensoren können dann verknüpft werden. Durch die Assoziierung wird verhindert, das nicht zusammenhängende Messsignale und/oder Daten miteinander verknüpft werden.

Die Auswertung der einzelnen Sensoren bedingt sich teilweise durch die Objektvoraussagen, es bestehen jedoch keine Abhängigkeiten unter den Sensoren. So können beispielsweise durch einen Lasersensor gewonnen Messpunkte zur Stützung einer Disparitätsberechnung eines Stereo-Video-Sensors eingesetzt werden. Die Signalverarbeitung des Stereo-Video- Sensors baut aber nicht unmittelbar auf den Informationen des Lasersensors auf.