Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR CORRECTING DATA OF SEVERAL OPTO-ELECTRONIC SENSORS
Document Type and Number:
WIPO Patent Application WO/2003/001241
Kind Code:
A1
Abstract:
The invention relates to a method for providing corrected data in order to generate a model of a monitoring area which is located in the respective visual range of at least two opto-electronic sensors for determining the position of detected objects, based on the amounts of raw data elements corresponding to object points in said monitoring area, said amounts of raw data elements being respectively detected by one of the sensors when the visual range is sensed and associated therewith, and the amounts of raw data elements from various sensors which are temporally linked to each other forming a group. The raw data elements corresponding to said amounts respectively comprise at least the coordinates of object points detected by the associated sensor in relation to the position of the detecting sensor. In order to form corrected amounts of corrected data elements corresponding to the amounts of raw data elements of a group for each group quantity, the coordinates contained in the raw data elements are transformed into a common coordinate system, taking into account the relative position of the respective sensors.

Inventors:
LAGES ULRICH (DE)
WILLHOEFT VOLKER (DE)
DITTMER MARTIN (DE)
Application Number:
PCT/EP2002/006594
Publication Date:
January 03, 2003
Filing Date:
June 14, 2002
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
IBEO AUTOMOBILE SENSOR GMBH (DE)
LAGES ULRICH (DE)
WILLHOEFT VOLKER (DE)
DITTMER MARTIN (DE)
International Classes:
G01B11/00; G01S17/89; G01S17/86; G01S17/88; G08G1/16; G01S7/48; G01S17/931; (IPC1-7): G01S17/89
Foreign References:
US5808728A1998-09-15
US6100517A2000-08-08
Other References:
See also references of EP 1405100A1
Attorney, Agent or Firm:
MANITZ, FINSTERWALD & PARTNER GBR (Postfach 31 02 20 München, DE)
Download PDF:
Claims:
Ansprüche
1. Verfahren zur Bereitstellung korrigierter Daten zur Erzeugung eines Modells eines Überwachungsbereichs (26), der in jeweiligen Sichtbe reichen (22,24) von mindestens zwei optoelektronischen Sensoren (10,12), insbesondere Laserscannern, zur Bestimmung der Lage von erfassten Gegenständen (28) liegt und Gegenstandspunkte enthält, auf der Basis von Mengen von Gegenstandspunkten in dem Über wachungsbereich entsprechenden Rohdatenelementen, wobei die Mengen von Rohdatenelementen jeweils von einem der Sensoren (10,12) bei einer Abtastung seines Sichtbereichs (22,24) erfasst und diesem zugeordnet sind, wobei die Mengen von Rohdatenelementen verschiedener Sensoren (10,12) mit einer bestimmten zeitlichen Zuordnung zueinander eine Gruppe bilden und wobei die Rohdatenelemente der Mengen zumindest die Koordina ten von von dem zugeordneten Sensor (10,12) erfassten Gegen standspunkten jeweils in Bezug auf die Lage des erfassenden Sen sors (10,12) umfassen, bei dem zur Bildung von den Mengen von Rohdatenelementen der Gruppe entsprechenden korrigierten Mengen korrigierter Datenele mente für jede Menge der Gruppe die in den Rohdatenelementen enthaltenen Koordinaten unter Berücksichtigung der Relativlage der jeweiligen Sensoren (10,12) in ein gemeinsames Koordinatensystem transformiert werden.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei der Bildung der korrigierten Mengen für jede Menge die Ko ordinaten der Rohdatenelemente jeweils entsprechend der tatsächli chen oder einer daran angenäherten Bewegung des diese erfassen den Sensors (10,12) und der Differenz zwischen einer als Zeitpunkt der Erfassung der jeweiligen Rohdatenelemente definierten Zeit und einem Bezugszeitpunkt korrigiert werden.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass als Zeitpunkt der Erfassung der Rohdatenelemente für alle Rohdatenelemente einer Menge eine als Zeitpunkt der Erfassung der Menge definierte Zeit verwendet wird.
4. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass bei der Festlegung der als Zeitpunkt der Erfassung eines Roh datenelements definierten Zeit der zeitliche Abstand der Erfassung der einzelnen Rohdatenelemente der Menge zueinander berücksich tigt wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für jede Menge von Rohdatenelementen der Gruppe vor Bil dung der entsprechenden korrigierten Menge eine Objekterkennung und/oderverfolgung auf der Basis der Rohdatenelemente der Men ge durchgeführt wird, wobei jedem erkannten Objekt Rohdatenele mente und jedem dieser Rohdatenelemente bei der Objektverfolgung berechnete Bewegungsdaten zugeordnet werden, und dass bei der Bildung der korrigierten Mengen Ergebnisse der Ob jekterkennung und/oderverfolgung auf der Basis der einzelnen Mengen zur Korrektur verwendet werden.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass bei der Bildung der korrigierten Mengen für jede Menge die Ko ordinaten der Rohdatenelemente entsprechend der ihnen zugeord neten Bewegungsdaten und der Differenz zwischen einer als Zeit punkt der Erfassung der Rohdatenelemente definierten Zeit und ei nem Bezugszeitpunkt der Gruppe oder Menge korrigiert werden.
7. Verfahren nach einem der Ansprüche 2 bis 6, dadurch gekennzeichnet, dass der Bezugszeitpunkt zwischen der frühesten als Erfassungszeit definierten Zeit eines Rohdatenelements einer der Mengen der Gruppe und der zeitlich letzten als Erfassungszeit definierten Zeit eines Rohdatenelements einer der Mengen der Gruppe liegt.
8. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass vor oder bei Bildung der Mengen korrigierter Datenelemente jeweils einem Gegenstand (28) zugeordnete Objektgruppen mit Objekten, die auf der Basis jeweils einer Menge von Rohdaten erstellt wurden und als einem Gegenstand (28) entsprechend erkannt werden, gebildet werden, dass für jede einem Gegenstand (28) zugeordnete Objektgruppe die zugehörigen Rohdatenelemente in jeder Menge gesucht werden, dass für jede einem Gegenstand (28) zugeordnete Objektgruppe ein dieser zugeordneter Bezugszeitpunkt festgelegt wird, und dass bei der Bildung der Mengen korrigierter Datenelemente für je des Objekt die Koordinaten der ihm zugeordneten Rohdatenelemen te in allen Mengen der Gruppe entsprechend der Bewegung des je weiligen diese Rohdatenelemente erfassenden Sensors (10,12) und/oder der diesen Rohdatenelementen zugeordneten Bewegungs daten und der Differenz zwischen einer als Zeitpunkt der Erfassung des Rohdatenelements definierten Zeit und dem Bezugszeitpunkt des Objekts korrigiert werden.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die den Objektgruppen jeweils zugeordneten Bezugszeitpunkte zwischen der frühesten als Zeitpunkt der Erfassung definierten Zeit eines einem Objekt der jeweiligen Objektgruppe zugeordneten Roh datenelements und der zeitlich letzten als Zeitpunkt der Erfassung definierten Zeit eines einem Objekt der jeweiligen Objektgruppe zu geordneten Rohdatenelements liegt.
10. Verfahren nach einem der Ansprüche 5 bis 9, dadurch gekennzeichnet, dass die Objekterkennung und/oderverfolgung auf der Basis der Rohdatenelemente einer Menge in einer Auswerteeinheit des die Rohdaten der Menge erfassenden Sensors (10,12) und die anderen Schritte in einer anderen Datenverarbeitungseinrichtung (20) durchgeführt werden.
11. Verfahren nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass die korrigierten Datenelemente für eine Objektgruppe auch den dieser Objektgruppe zugeordneten Bezugszeitpunkt enthalten.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es iterativ für jeweils zeitlich aufeinanderfolgende Abtastungen der Sensoren (10,12) durchgeführt wird, wobei nach Einlesen mindestens einer einem der Sensoren zugeord neten neuen Menge von Rohdatenelementen, die bei einer späteren Abtastung erfasst wurden als die Rohdatenelemente der bisher in der Gruppe von Mengen von Rohdatenelementen enthaltenen, dem Sensor zugeordneten Menge von Rohdatenelementen, eine neue Gruppe gebildet wird, die anderen Sensoren zugeordnete Mengen von Rohdatenelementen der bisherigen Gruppe sowie die neue Men ge von Rohdatenelementen enthält, und dass es anschließend auch für die neue Gruppe von Mengen von Rohdatenelementen durchgeführt wird, wobei bevorzugt bereits bei der vorhergehenden Iteration erhaltene Daten verwendet werden.
13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Modell nur für einen Überwachungsbereich (26) erzeugt wird, in dem sich die Sichtbereiche (22,24) der Sensoren (10,12) überlappen.
14. Verfahren zur Erzeugung eines Modells eines Überwachungsbe reichs (26), der in jeweiligen Sichtbereichen (22,24) von mindestens zwei optoelektronischen Sensoren (10,12), insbesondere Laserscan nern, zur Bestimmung der Lage von erfassten Gegenständen (28) liegt und Gegenstandspunkte enthält, bei dem das Verfahren zur Bereitstellung korrigierter Daten nach einem der vorhergehenden Ansprüche durchgeführt wird, und eine Objekterkennung und/oderverfolgung auf der Basis aller kor rigierten Datenelemente erfolgt.
15. Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass eine Objekterkennung und/oderverfolgung auf der Basis der korrigierten Datenelemente für jede Objektgruppe getrennt durchge führt wird, wobei bevorzugt die zugeordneten Bezugszeitpunkte be rücksichtigt werden.
16. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es vollständig in einer Auswerteeinrichtung eines oder mehre rer Sensoren (10,12) durchgeführt wird.
17. Computerprogramm mit ProgrammcodeMitteln, um die Verfahren nach einem der Ansprüche 1 bis 16 durchzuführen, wenn das Pro gramm auf einem Computer ausgeführt wird.
18. Computerprogrammprodukt mit ProgrammcodeMitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um das Ver fahren nach einem der Ansprüche 1 bis 16 durchzuführen, wenn das Computerprogrammprodukt auf einem Computer ausgeführt wird.
19. Vorrichtung zur Erzeugung eines Modells eines Überwachungsbe reichs (26) mit mindestens zwei optoelektronischen Sensoren (10,12), insbesondere Laserscannern, deren Sichtbereiche (22,24) den Überwachungsbe reich einschließen, einer Datenverarbeitungseinrichtung (20), die zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 15 ausgebildet ist, und Datenverbindungen (16,18) zur Übertragung der von den Sensoren (10,12) erfassten Rohdatenelemente zu der Datenverarbeitungsein richtung (20).
20. Vorrichtung zur Erzeugung eines Modells eines Überwachungsbe reichs (26) mit mindestens zwei optoelektronischen Sensoren (10,12), insbesondere Laserscannern, deren Sichtbereiche (22,24) den Überwachungsbe reich (26) einschließen und die jeweils eine Auswerteeinrichtung zur Objekterkennung und/oderverfolgung und Ausgabe entsprechen der Objektdaten aufweisen, einer Datenverarbeitungseinrichtung (20), die zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 15 ausgebildet ist, und Datenverbindungen (16,18) zur Übertragung der von den Sensoren (10,12) erfassten Rohdatenelemente und Objektdaten zu der Daten verarbeitungseinrichtung (20).
Description:
Korrekturverfahren für Daten mehrerer optoelektronischer Sensoren Die vorliegende Erfindung betrifft ein Verfahren zur Bereitstellung korri- gierter Daten zur Erzeugung eines Modells eines Überwachungsbereichs, der in jeweiligen Sichtbereichen von mindestens zwei optoelektronischen Sensoren, insbesondere Laserscannern, zur Bestimmung der Lage von erfassten Gegenständen enthalten ist, ein entsprechendes Verfahren zur Erzeugung eines entsprechenden Modells sowie eine Vorrichtung zur Durchführung des Verfahrens.

Optoelektronische Sensoren zur Bestimmung der Lage von von ihnen erfassten Gegenständen, insbesondere Laserscanner zur Lageerfassung, sind grundsätzlich bekannt. Sie werden unter anderem dazu verwendet, unter Anwendung entsprechender Verfahren zur Weiterverarbeitung der von dem Sensor erfassten Daten ein Modell ihres Sichtbereichs zu erzeu- gen, das eine Basis für weitere Verfahren zum Beispiel zur Steuerung von Vorrichtungen in dem Sichtbereich oder in der Nähe des Sichtbereichs des Sensors bilden kann.

Ein Laserscanner, der winkelaufgelöst die Umgebung abtastet, erfasst dabei zum Beispiel, ob bei einem bestimmten Winkel ein vom ihm ausge- sandter Laserlichtstrahl von einem Punkt eines Gegenstands reflektiert wird und, falls dies der Fall ist, aus welcher Entfernung der Strahl reflek- tiert wurde. Damit wird eine Menge von Datenpunkten in Form von Polar- koordinaten erhalten, die die Lage von erfassten Gegenstandspunkten

charakterisieren. Häufig wird auf der Basis der von dem Sensor ausgege- benen Daten über die Lage einzelner erfasster Gegenstandspunkte eine Objekterkennung und Objektverfolgung durchgeführt, um Gegenstände in dem Sichtbereich des Sensors als Ansammlung von Gegenstandspunkten zu erkennen, wobei erkannte Objekte in dem Modell entsprechenden Gegenständen im Sichtbereich des Sensors zugeordnet sind. Die Objektin- formationen des Modells werden dann bei nachfolgenden Verfahren ver- wendet.

Solche Sensoren können, zum Beispiel in Fahrzeugen aber auch in statio- nären Einrichtungen, dazu benutzt werden, einen Überwachungsbereich, zum Beispiel vor dem Fahrzeug, zu beobachten. Zur Erweiterung des beobachteten Bereichs können dabei mindestens zwei Sensoren verwendet werden, deren Sichtbereiche sich in der Regel überschneiden. Befinden sich von den Sensoren erfasste Objekte im Überschneidungsbereich, werden an die nachfolgenden Verfahren von den Sensoren jeweils unter- schiedliche Objektinformationen in Bezug auf den gleichen Gegenstand weitergegeben. Da in dem Modell der erfassten Umgebung einem Gegens- tand nur ein Objekt zugeordnet sein sollte, muss das Verfahren dann eine sogenannte Objektfusion durchführen. Dabei werden unterschiedliche Objekte der einzelnen Sensoren, die einem Gegenstand entsprechen, zu einem neuen Objekt zusammengeführt.

Bei bekannten Verfahren erfolgt diese Objektfusion allein aufgrund der Objektdaten. Dies hat jedoch den Nachteil, dass hierbei nur eine-bezogen auf den Aufwand-geringe Genauigkeit des Modells nach der Objektfusion gegeben ist. Dies ist insbesondere dann der Fall, wenn die Gegenstände sich relativ zu den Sensoren bewegen.

Es ist Aufgabe der Erfindung, ein Verfahren sowie eine Vorrichtung bereit- zustellen, welches die Erzeugung eines Modells eines Überwachungsbe- reichs im Sichtbereich von mindestens zwei optoelektronischen Sensoren zur Lagebestimmung von Gegenständen mit hoher Genauigkeit gestattet.

Die Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1.

Das erfindungsgemäße Verfahren stellt zur Erzeugung eines Modells eines Überwachungsbereichs, der in jeweiligen Sichtbereichen von mindestens zwei optoelektronischen Sensoren, insbesondere Laserscannern, zur Bestimmung der Lage von erfassten Gegenständen liegt und Gegens- tandspunkte enthält, korrigierte Daten der Sensoren bereit, die die Basis für eine einheitliche Objekterkennung und/oder-verfolgung darstellen können.

Der Überwachungsbereich liegt innerhalb der Sichtbereiche der einzelnen Sensoren, die sich zwar in der Regel überschneiden werden, dies jedoch nicht unbedingt müssen. Der Überwachungsbereich im Sinne der Erfin- dung kann auch durch eine der Anzahl der Sensoren entsprechende Anzahl sich nicht berührender und/oder sich nicht überschneidender Sichtbereiche gegeben sein.

Bei den optoelektronischen Sensoren kann es sich im Prinzip um beliebige Sensoren handeln, mittels derer die Lage einzelner Punkte eines Gegens- tands erfassbar ist, insbesondere um entsprechende Laserscanner.

Die Bereitstellung korrigierter Daten erfolgt auf der Basis von Mengen von Rohdatenelementen, die Gegenstandspunkten in dem Überwachungsbe- reich entsprechen. Die Rohdatenelemente einer Menge werden jeweils von einem der Sensoren bei einer Abtastung des Sichtbereichs erfasst, so dass diese Menge dem entsprechenden Sensor zugeordnet ist. Die Rohdaten- elemente umfassen zumindest die Lage, das heißt die Koordinaten, von Gegenstandspunkten, die von dem zugeordneten Sensor erfasst wurden.

Bei diesen Koordinaten kann es sich um Koordinaten in beliebigen Koor- dinatensystemen wie zum Beispiel kartesischen, Polar-oder Kugelkoordi- natensystemen handeln. Werden, wie zum Beispiel in der Regel bei Laser- scannern der Fall, die Abstände von Reflexionen bei aufeinanderfolgenden, durch einen fortlaufenden Index gekennzeichneten Abtastwinkeln mit festen Inkrementen als Lagekoordinaten erfasst, so können als Koordina- ten auch nur die Indizes und die Abstände verwendet werden, wobei die Winkelinkremente bekannt sind.

Die Mengen von Rohdatenelementen verschiedener Sensoren mit einer bestimmten zeitlichen Zuordnung zueinander bilden eine Gruppe, die einer Gesamtabtastung durch alle Sensoren entspricht. Von Bedeutung ist nur eine zeitliche Zuordnung überhaupt, nicht aber eine vollständige Synchronität der Abtastvorgänge. Die zeitliche Zuordnung kann zum Beispiel dadurch gegeben sein, dass alle Abtastungen innerhalb eines bestimmten Zeitintervalls begonnen und abgeschlossen werden und ins- besondere dadurch, dass sich die den jeweiligen Mengen entsprechenden Abtastungen zeitlich überschneiden.

Zur Bildung von korrigierten Mengen korrigierter Datenelemente, die den Mengen von Rohdatenelementen der Gruppe entsprechen, werden für jede

Menge der Gruppe die in den Rohdatenelementen enthaltenen Koordina- ten unter Berücksichtigung der Relativlage der jeweiligen Sensoren in ein gemeinsames Koordinatensystem transformiert.

Wenn die Koordinaten der Rohdatenelemente verschiedener Sensoren nicht vom gleichen Typ sind, kann bei der Transformation zunächst eine Transformation in ein Koordinatensystem gleichen Typs erfolgen. Entspre- chend der als bekannt vorausgesetzten Lage der Sensoren relativ zueinan- der können die Koordinaten gleichen Typs durch entsprechende Verschie- bung in ein gemeinsames Koordinatensystem mit einem gemeinsamen, das heißt für alle Sensoren gleichen Koordinatenursprung transformiert werden.

Die Mengen von Rohdatenelementen können vor der Transformation eingelesen werden, doch kann die Transformation der Rohdatenelemente eines Sensors auch bereits erfolgen, bevor das Einlesen der Rohdatenele- mente dieses oder eines anderen Sensors beendet ist, da die Transforma- tion für jedes Rohdatenelement unabhängig erfolgen kann. Sind in einem oder mehreren der Sensoren eine oder mehrere Auswerteeinrichtungen vorgesehen, mittels derer das Verfahren durchgeführt werden kann, kann auch direkt auf die Rohdatenelemente in einem Speicher der Auswerteein- richtung zugegriffen werden, die entsprechend sonstiger Funktionen der Auswerteeinheit dort gespeichert sind.

Die korrigierten Datenelemente können, je nach Art der Weiterverarbei- tung, ausgegeben, gespeichert oder direkt weiterverarbeitet werden.

Insbesondere ermöglicht es das erfindungsgemäße Verfahren, auf der Gesamtmenge der korrigierten Datenelemente dann eine, zum Beispiel konventionelle, Objekterkennung und/oder-verfolgung durchzuführen.

Dies hat den Vorteil, dass eine Objekterkennung und/oder-verfolgung im Überschneidungsbereich der Sensoren für einen Gegenstand auf der Basis einer größeren Anzahl von dem gleichen Gegenstandspunkt zugeordneten korrigierten Datenelementen erfolgen kann, was die Genauigkeit wesent- lich erhöht. Weiterhin können für den gleichen Gegenstand korrigierte Daten aus den verschiedenen Perspektiven der Sensoren zusammenge- führt werden, was zum einen die Objekterkennung durch die so erweiterte Ansicht erleichtert, und zum anderen Komplikationen durch das Zusam- menführen von sich nur teilweise überschneidenden Objekten vermeidet, die zu demselben Gegenstand gehören.

Vorteile ergeben sich insbesondere bei Sensoren mit polarer Aufnahme- charakteristik wie zum Beispiel Laserscannern. Auch kleine Gegenstände im Nahbereich können bei solchen Sensoren einen sehr großen Winkelbe- reich im Sichtbereich verdecken, so dass in diesem Winkelbereich entfern- tere Gegenstände nicht mehr erfasst werden können. Bei Verwendung von mehreren Sensoren, von denen mindestens einer einen solchen verdeck- ten, entfernter liegenden Gegenstand erfassen kann, kann durch die erfindungsgemäße Korrektur der Daten zur Erstellung eines Modells des Überwachungsbereichs auch der von nur dem einen Sensor erfasste, für einen anderen Sensor verdeckte Gegenstand erkannt werden.

Darüber hinaus ist der aufwendige Vorgang der Objekterkennung und -verfolgung nur einmal durchzuführen, wodurch das Verfahren bei glei-

cher Genauigkeit effizienter arbeitet als Verfahren, bei denen die Objekt- erkennung und/oder-verfolgung für jede Menge von Rohdatenelementen getrennt erfolgt.

Daher ist ein weiterer, die Aufgabe lösender Gegenstand der Erfindung auch ein Verfahren zur Erzeugung eines Modells eines Überwachungsbe- reichs, der in jeweiligen Sichtbereichen von mindestens zwei optoelektro- nischen Sensoren, insbesondere Laserscannern, zur Bestimmung der Lage von erfassten Gegenständen liegt und Gegenstandspunkte enthält, bei dem das erfindungsgemäße Verfahren zur Bereitstellung korrigierter Daten durchgeführt wird, und eine Objekterkennung und/oder-verfol- gung auf der Basis der Gesamtmenge aller korrigierten Datenelemente erfolgt. Nach Durchführung der Objekterkennung und/oder-verfolgung können die berechneten Objektdaten ausgegeben, gespeichert oder bei nachfolgenden Verfahren verwendet werden.

Bevorzugte Weiterbildungen und Ausführungsformen der Erfindung sind in den Unteransprüchen, der Beschreibung und den Zeichnungen be- schrieben.

Die Rohdatenelemente können bevorzugt weitere Informationen wie zum Beispiel die Echoamplitude der Reflexion enthalten, die bei der Objekter- kennung verwendet werden können. Solche Daten können, wenn ihr Wert von kinematischen Daten oder dem Zeitpunkt der Erfassung abhängt, im Zuge der Korrektur der Koordinaten mitkorrigiert werden, oder ansonsten unverändert bleiben.

Die Rohdatenelemente der Mengen einer Gruppe werden in der Regel nicht gleichzeitig erfasst, da zum einen die Sensoren ihre Abtastung nicht un- bedingt zur gleichen Zeit beginnen (Latenz zwischen Sensoren) und zum anderen bei derselben Abtastung eines Sensors die Rohdatenelemente nur sukzessive erfasst werden (abtastungsinterne Latenz). Bei einer Bewegung der Sensoren, insbesondere einer Relativbewegung, führt dies dazu, dass die Koordinaten von Rohdatenelementen, die zu verschiedenen Zeiten erfassten Gegenstandspunkten entsprechen, entsprechend der Zeitdiffe- renzen und der Bewegung der Sensoren verschoben sind. Daher werden bevorzugt bei der Bildung der korrigierten Mengen für jede Menge die Koordinaten der Rohdatenelemente jeweils entsprechend der Bewegung des diese erfassenden Sensors und der Differenz zwischen einer als Zeit- punkt der Erfassung der jeweiligen Rohdatenelemente definierten Zeit und einem Bezugszeitpunkt korrigiert.

Damit wird eine Korrektur derart durchgeführt, dass die Koordinaten zumindest näherungsweise die Lage der Gegenstandspunkte zu einem gemeinsamen Bezugszeitpunkt beschreiben. Dazu wird zunächst für jedes Rohdatenelement eine als Zeitpunkt der Erfassung der jeweiligen Rohda- tenelemente definierte Zeit festgelegt. Obwohl die Messung der Erfas- sungszeit jedes Rohdatenelements die genaueste Korrektur ergäbe, kann es aus praktischen Gründen sinnvoll und im Rahmen der erforderlichen Genauigkeit der Korrektur ausreichend sein, wenn eine andere bestimmte, geeignete Zeit als Zeitpunkt der Erfassung definiert wird.

Besonders bevorzugt wird als Zeitpunkt der Erfassung der Rohdatenele- mente für alle Rohdatenelemente einer Menge eine als Zeitpunkt der Erfassung der Menge definierte Zeit verwendet. Dies bedeutet, dass allen

Rohdatenelementen die gleiche Erfassungszeit zugeordnet wird, wodurch die zeitlichen Verschiebungen der Abtastungen zwischen verschiedenen Sensoren, also die Latenz zwischen den Sensoren, berücksichtigt werden können. Hierbei wird vorteilhaft zum Beispiel die Zeit des Beginns oder des Abschlusses einer Abtastung für den jeweiligen Sensor festgestellt und als Zeitpunkt der Erfassung der Menge verwendet, wobei es grundsätzlich ausreicht, nur die entsprechenden Zeitdifferenzen für jeweils ein Paar von Sensoren zu kennen.

Häufig werden diese Zeitdifferenzen kleiner sein als die Dauer einer Abtas- tung durch einen Sensor und damit als der zeitliche Abstand der Erfas- sung verschiedener Rohdatenelemente bei derselben Abtastung durch einen Sensor. Besonders bevorzugt wird daher bei der Festlegung der als Zeitpunkt der Erfassung eines Rohdatenelements definierten Zeit der zeitliche Abstand der Erfassung der einzelnen Rohdatenelemente der Menge zueinander berücksichtigt. Die als Zeitpunkt der Erfassung eines Rohdatenelements definierte Zeit kann sich dann ergeben aus der als Zeitpunkt der Erfassung der Menge definierten Zeit und der zeitlichen Differenz zwischen der Erfassung von Rohdatenelementen während einer Abtastung, die zum Beispiel unter Annahme einer konstanten Abtastge- schwindigkeit aus der Lage des Rohdatenelements in der Reihe zeitlich aufeinanderfolgender Rohdatenelemente abgeleitet werden kann.

Obwohl die Bestimmung der als Zeitpunkt der Erfassung eines Rohdaten- elements definierten Zeit absolut erfolgen kann, ist sie nur relativ zu dem Bezugszeitpunkt notwendig, da eine näherungsweise Korrektur nur bezüg- lich der Bewegung in dem Zeitintervall zwischen Erfassung und Bezugs- zeitpunkt erfolgen soll. Dieser Bezugszeitpunkt kann, wenn nur die Ver-

schiebungen aufgrund der unterschiedlichen Erfassungszeiten während derselben Abtastung korrigiert werden, für jede Menge unterschiedlich gewählt werden. Bevorzugt wird jedoch ein für die Gruppe von Mengen gleicher Bezugszeitpunkt gewählt. Dieser Bezugszeitpunkt kann grund- sätzlich frei gewählt werden, liegt aber vorzugsweise innerhalb des Zeitin- tervalls vom Beginn der frühesten Abtastung durch einen der Sensoren bis zum Abschluss der letzten Abtastung durch einen der Sensoren, wobei die Abtastungen jeweils Mengen der Gruppe entsprechen. Hierdurch ist zum einen die Näherung für die Korrekturverschiebung genauer, da eine Approximation der zeitlich nicht zwangsläufig konstanten Bewegung innerhalb des Zeitintervalls nur über kürzere Zeiten erfolgt. Zum anderen ist in diesem Fall die Bestimmung der als Zeitpunkt der Erfassung eines Rohdatenelements definierten Zeit wesentlich vereinfacht, insbesondere wenn zum Beispiel der Beginn einer Abtastung durch einen der Sensoren als Bezugszeitpunkt gewählt wird.

Bei der Bewegung der Sensoren, die im erfindungsgemäßen Verfahren verwendet wird, kann es sich um die tatsächliche, reale Bewegung der Sensoren oder eine der tatsächlichen Bewegung angenäherte Bewegung handeln. Die Bewegung der Sensoren kann dabei zum Beispiel je nach Güte der Korrektur über deren Geschwindigkeiten oder auch über deren Geschwindigkeiten und Beschleunigungen berücksichtigt werden, wobei hierbei vektorielle Größen, das heißt Größen mit Betrag und Richtung, gemeint sind. Insbesondere kann, wenn die Sensoren sich relativ zuein- ander in einer zeitlich konstanten Lage befinden, auch eine Drehbewegung der Anordnung berücksichtigt werden.

Die Daten über diese kinematischen Größen können zum Beispiel eingele- sen werden. Bei Fahrzeugen können zum Beispiel über entsprechende Fahrzeugsensoren die Eigengeschwindigkeit des Fahrzeugs und der Lenk- winkel oder die Gierrate verwendet werden, um die Bewegung der Senso- ren zu spezifizieren. Diese Bewegung der Sensoren kann dann zum Bei- spiel allein durch die Bewegung des Fahrzeugs angenähert sein, so dass bei Drehbewegungen allen Sensoren unabhängig von ihrer Anordnung die gleiche Bahngeschwindigkeit zugeordnet wird. In einer besseren Näherung kann zur Berechnung der Bewegung der Sensoren aus den kinematischen Daten eines Fahrzeugs natürlich auch deren Position an dem Fahrzeug berücksichtigt werden.

Die Bewegung der Sensoren bzw. die kinematischen Daten können jedoch auch aus einer entsprechenden parallelen Objekterkennung und/oder -verfolgung in den Sensoren oder einer nachfolgenden Objekterkennung bestimmt werden. Vorzugsweise werden kinematische Daten verwendet, die in zeitlicher Nähe zu den Mengen der Gruppe entsprechenden Abtas- tungen durch die Sensoren, besonders bevorzugt während der Abtastung durch einen der Sensoren, erfasst werden.

Zur Korrektur können bevorzugt aus den kinematischen Daten der Bewe- gung und der Zeitdifferenz zwischen einer als Zeitpunkt der Erfassung der jeweiligen Rohdatenelemente definierten Zeit und einem Bezugszeitpunkt der Gruppe oder der Menge mit bekannten kinematischen Formeln die durch die Bewegung innerhalb der Zeitdifferenz verursachten Verschie- bungen berechnet und die Koordinaten in den Rohdatenelementen ent- sprechend korrigiert werden. Grundsätzlich können jedoch auch modifi- zierte kinematische Beziehungen verwendet werden.

Die Korrekturen können hierbei erfolgen, sobald die kinematischen Daten und die Zeitdifferenzen festgestellt sind. Insbesondere können sie dann für die Sensoren bzw. die zugeordneten Mengen einer Gruppe getrennt oder gemeinsam und dabei jeweils vor, während oder nach der Transformation in ein gemeinsames Koordinatensystem erfolgen.

Werden zwei sich bewegende Gegenstandspunkte aufgrund der Latenz zwischen den Sensoren und/oder aufgrund der abtastungsinternen La- tenz nicht gleichzeitig erfasst, so weichen im allgemeinen die aus den Koordinaten der zugehörigen Rohdatenelemente bestimmten Lagen der Gegenstandspunkte und insbesondere ihre Abstände von den tatsächli- chen Lagen und Abständen ab. Insbesondere bei schnell bewegten Ge- genständen können diese Abweichungen erheblich werden und eine späte- re Objekterkennung und/oder-verfolgung nach Korrektur und Zusam- menführung der korrigierten Daten gemäß dem oben geschilderten Ver- fahren erschweren.

Bevorzugt wird daher für jede Menge von Rohdatenelementen der Gruppe vor Bildung der entsprechenden korrigierten Menge eine Objekterkennung und/oder-verfolgung auf der Basis der Rohdatenelemente der Menge durchgeführt, wobei jedem erkannten Objekt Rohdatenelemente und jedem dieser Rohdatenelemente zumindest eine bei der Objektverfolgung berechnete Bewegungsdaten zugeordnet werden. Bei der Bildung der korrigierten Mengen werden dann Ergebnisse der Objekterkennung und/oder-verfolgung auf der Basis der einzelnen Mengen, insbesondere ein Teil der Bewegungsdaten, zur Korrektur verwendet. Durch die Durch- führung einer Objekterkennung und/oder-verfolgung für jede Menge, d. h.

für jeden Sensor getrennt, und unabhängig von der Bereitstellung korri- gierter Daten und einer nachfolgenden Objekterkennung und/oder- verfolgung, ist eine objektbezogene Korrektur von Fehlern der Rohdaten- elemente aufgrund der oben beschriebenen zeitlichen Latenzen möglich.

Insbesondere können Rohdatenelemente, die schnell bewegten Gegens- tandspunkten entsprechen, sehr umfassend im Hinblick auf die Latenzen korrigiert werden, so dass eine Objekterkennung und/oder-verfolgung auf der Basis der korrigierten Datenelemente einfach und mit hoher Genauig- keit möglich ist.

Bei der Objekterkennung und/oder-verfolgung für jede der Mengen von Rohdatenelementen können bekannte Verfahren benutzt werden, wobei grundsätzlich schon vergleichsweise einfache Verfahren ausreichen. Die Objekterkennung und/oder-verfolgung kann allein anhand der Rohda- tenelemente einer Menge erfolgen oder auch nach Transformation auf ein gemeinsames Koordinatensystem.

Bei der geschilderten Weiterbildung des erfindungsgemäßen Verfahrens werden bevorzugt bei der Bildung der korrigierten Mengen für jede Menge die Koordinaten der Rohdatenelemente entsprechend der ihnen zugeord- neten Bewegungsdaten und der Differenz zwischen einer als Zeitpunkt der Erfassung der Rohdatenelemente definierten Zeit und einem Bezugszeit- punkt der Gruppe oder Menge korrigiert. Diese Korrektur kann selbstver- ständlich allein oder zusätzlich zu der oben geschilderten Korrektur der Verschiebungen aufgrund der Sensorbewegung und der zeitlichen Laten- zen erfolgen.

Im Hinblick auf die Differenz zwischen einer als Zeitpunkt der Erfassung der Rohdatenelemente definierten Zeit und einem Bezugszeitpunkt der Gruppe oder Menge wird auf die obigen Ausführungen verwiesen, die auch hier entsprechend gelten, wenn die Bewegung des Sensors durch die Bewegung des Objekts ersetzt wird. Insbesondere kann als Bezugszeit- punkt ein für alle Mengen der Gruppe gleicher Bezugszeitpunkt gewählt werden.

Bei den Bewegungsdaten kann es sich um beliebige kinematische Daten eines Objekts handeln, bevorzugt zum Beispiel je nach erforderlicher Güte der Korrektur um dessen Geschwindigkeit oder auch um dessen Ge- schwindigkeit und Beschleunigung, wobei hierunter wiederum vektorielle Größen, das heißt Größen mit Betrag und Richtung, verstanden werden.

Dabei können die Bewegungsdaten, die den einem Objekt zugeordneten Rohdatenelementen zugeordnet sind, gleich gewählt werden, insbesondere gleich den Bewegungsdaten des Objekts. Dies ist insbesondere dann sinnvoll, wenn die Bewegungsdaten nur die Geschwindigkeit des Objekts umfassen, da dann allen das Objekt bildenden Rohdatenelemente konsi- stenterweise die gleichen Geschwindigkeiten zuzuordnen sind. Den Roh- datenelementen, die einem Objekt zugeordnet sind, können jedoch auch einzeln Bewegungsdaten zugeordnet werden, was insbesondere dann sinnvoll ist, wenn die Bewegungsdaten des Objekts auch mögliche Dreh- bewegungen des Objekts umfassen, da dann die einzelnen Objektpunkte unterschiedliche Momentangeschwindigkeiten aufweisen. Hierdurch ist eine besonders weitgehende Korrektur der durch die zeitlichen Latenzen verursachten Fehler in den Rohdatenelementen bei sich vergleichsweise schnell drehenden Gegenständen, beispielsweise Fahrzeugen mit hohen Gierraten, gegeben.

Wie bei dem oben geschilderten Verfahren kann die Korrektur anhand entsprechender kinematischer Beziehungen zwischen Verschiebung, Bewegungsgrößen und Zeitdauer der Bewegung erfolgen, wobei auch hier Modifikationen möglich sind.

Bei den oben geschilderten Verfahren zur Korrektur von Fehlern in den Rohdatenelementen, die durch die zeitlichen Latenzen zwischen Sensoren und durch die abtastungsinternen Latenzen verursacht werden, liegt bevorzugt der Bezugszeitpunkt zwischen der frühesten als Erfassungszeit definierten Zeit eines Rohdatenelements einer der Mengen der Gruppe und der zeitlich letzten als Erfassungszeit definierten Zeit eines Rohdatenele- ments einer der Mengen der Gruppe liegt. Dadurch können die Fehler bei der Berechnung der Korrekturverschiebung insbesondere bei schnellen Änderungen der Bewegungsdaten reduziert werden.

Bei einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens, bei dem die Ergebnisse einer Objekterkennung und/oder-verfolgung auf der Basis der einzelnen Mengen, insbesondere eines Teil der Bewegungs- daten, zur Korrektur verwendet werden, werden mehrere Bezugszeitpunk- te verwendet, die jeweils einer einem Gegenstand entsprechenden Objekt- gruppe zugeordnet sind.

Vor oder bei Bildung der Mengen korrigierter Datenelemente werden dazu jeweils einem Gegenstand zugeordnete Objektgruppen mit Objekten, die auf der Basis jeweils einer Menge von Rohdatenelementen erstellt wurden und als einem Gegenstand entsprechend erkannt werden, gebildet. Hierzu können zum Beispiel Verfahren zur Objekterkennung und/oder-

verfolgung angewendet werden oder, wenn ein Objekt im Sichtbereich eines ersten Sensors in den Sichtbereich eines zweiten Sensors eintritt, Verfahren zur entsprechenden Extrapolation von Daten aus dem Sichtbe- reich des ersten Sensors. Weiterhin werden für jede einem Gegenstand zugeordnete Objektgruppe die zugehörigen Rohdatenelemente in jeder Menge gesucht. Außerdem wird für jede Objektgruppe ein dieser zugeord- neter Bezugszeitpunkt festgelegt. Bei der Bildung der Mengen korrigierter Datenelemente werden dann für jedes Objekt der einem Gegenstand zugeordneten Objektgruppe die Koordinaten der ihm zugeordneten Rohda- tenelemente in allen Mengen von Rohdatenelementen der Gruppe entspre- chend der Bewegung des diese Rohdatenelemente erfassenden Sensors und/oder der diesen Rohdatenelementen zugeordneten Bewegungsdaten und der Differenz zwischen einer als Zeitpunkt der Erfassung des Rohda- tenelements definierten Zeit und dem Bezugszeitpunkt der Objektgruppe korrigiert.

Bei den Bewegungsdaten kann es sich um beliebige kinematische Daten eines Sensors bzw. eines Objekts handeln, bevorzugt zum Beispiel je nach erforderlicher Güte der Korrektur um deren Geschwindigkeiten oder auch um deren Geschwindigkeiten und Beschleunigungen, wobei hierunter wiederum vektorielle Größen, das heißt Größen mit Betrag und Richtung, verstanden werden. Dabei können die Bewegungsdaten, die den einem Objekt zugeordneten Rohdatenelementen zugeordnet sind, gleich gewählt werden, insbesondere gleich den Bewegungsdaten des Objekts. Dies ist insbesondere dann sinnvoll, wenn die Bewegungsdaten nur die Geschwin- digkeit des Objekts umfassen, da dann allen das Objekt bildenden Rohda- tenelementen konsistenterweise die gleiche Geschwindigkeit zuzuordnen ist. Den Rohdatenelementen, die einem Objekt zugeordnet sind, können

jedoch auch einzeln Bewegungsdaten zugeordnet werden, was insbeson- dere dann sinnvoll ist, wenn die Bewegungsdaten des Objekts auch mögli- che Drehbewegungen des Objekts umfassen, da dann die einzelnen Ob- jektpunkte unterschiedliche Momentangeschwindigkeiten aufweisen.

Hierdurch ist eine besonders weitgehende Korrektur der durch die zeitli- chen Latenzen verursachten Fehler in den Rohdatenelementen bei sich vergleichsweise schnell drehenden Gegenständen, beispielsweise Fahrzeu- gen mit hohen Gierraten, gegeben.

Wie bei dem oben geschilderten Verfahren kann die Korrektur anhand entsprechender kinematischer Beziehungen zwischen Verschiebung, Bewegungsgrößen und Zeitdauer der Bewegung erfolgen, wobei auch hier Modifikationen möglich sind.

Dabei wird im Hinblick auf die Differenz zwischen einer als Zeitpunkt der Erfassung der Rohdatenelemente definierten Zeit und einem Bezugszeit- punkt der Gruppe oder Menge auf die obigen Ausführungen verwiesen, die auch hier entsprechend gelten. Abweichend davon wird hier jedoch für jede einem Gegenstand zugeordnete Objektgruppe einzeln ein Bezugszeit- punkt gewählt, der bevorzugt nahe an dem Zeitpunkt einer Messung eines zugeordneten Rohdatenelements liegt.

Bevorzugt liegen die den Objektgruppen jeweils zugeordneten Bezugszeit- punkte zwischen der frühesten als Zeitpunkt der Erfassung definierten Zeit eines einem der Objekte der jeweiligen Objektgruppe zugeordneten Rohdatenelements und der zeitlich letzten als Zeitpunkt der Erfassung definierten Zeit eines einem Objekt der jeweiligen Objektgruppe zugeord- neten Rohdatenelements, da hierdurch die Genauigkeit der Korrektur

steigt. Dies ist insbesondere bei beschleunigten Gegenständen bzw. ent- sprechenden Objekten von Bedeutung, da deren Bewegungsdaten sich während der tatsächlichen Erfassungszeit der entsprechenden Rohdaten- elemente und dem Bezugszeitpunkt stark ändern können. Besonders bevorzugt ist mindesten ein einer Objektgruppe zugeordneter Bezugszeit- punkt der Erfassungszeitpunkt eines einem Objekt dieser Objektgruppe zugeordneten Rohdatenelements, da hierdurch die Genauigkeit der Kor- rektur weiter gesteigert wird.

Besonders bevorzugt enthalten die korrigierten Datenelemente für eine Objektgruppe auch den dieser Objektgruppe zugeordneten Bezugszeit- punkt, so dass dieser bei einer nachfolgenden Objekterkennung und/oder -verfolgung berücksichtigt werden kann. Jeder Objektgruppe kommt daher gewissermaßen ein eigenes"Alter"zu.

Bei den zuvor geschilderten Verfahren nach anderen Ausführungsformen dagegen wird den korrigierten Datenelementen insgesamt eine gemeinsa- me Bezugszeit zugeordnet, bezüglich welcher die Rohdatenelemente korri- giert sind. Die Gesamtmenge der korrigierten Datenelemente kann bei diesen anderen Ausführungsformen daher als einer Abtastung des Ge- samtbereichs entsprechend angesehen werden. Bei der zuletzt beschrie- benen Ausführungsform dagegen werden jeweils einer Objektgruppe entsprechend korrigierte Datenelemente bereitgestellt, was jeweils gewis- sermaßen als objektgruppenbezogene Abtastung angesehen werden kann.

Bei dem erfindungsgemäßen Verfahren zur Erzeugung eines Modells eines Überwachungsbereichs wird daher bei einer bevorzugten Ausführungs- form für jede Objektgruppe auf der Basis der dieser zugeordneten korri-

gierten Datenelemente eine Objekterkennung und/oder-verfolgung ge- trennt durchgeführt, wozu gegebenenfalls die zugeordneten Bezugszeit- punkte berücksichtigt werden.

Die entsprechende Objekterkennung und/oder-verfolgung kann dabei unmittelbar nach Bildung der Objektgruppe und Korrektur der Rohdaten- elemente erfolgen oder erst nach Bereitstellung aller korrigierten Daten- elemente, wobei die Information darüber, welche korrigierten Datenele- mente einer Objektgruppe zugeordnet sind, in den korrigierten Datenele- menten enthalten sein kann.

Ein solches Verfahren führt auch bei bewegten Sensoren und schnell bewegten Gegenständen zu sehr guten Ergebnissen.

Die oben geschilderten Ausführungsformen des Verfahrens, bei denen jeweils auf jede Menge von Rohdatenelementen getrennt eine Objekter- kennung und/oder-verfolgung angewendet wird, können vollständig auf einer Datenverarbeitungseinrichtung durchgeführt werden. Bevorzugt werden jedoch die Objekterkennung und/oder-verfolgung auf der Basis der Rohdatenelemente einer Menge in einer Auswerteeinheit des diese Rohdatenelemente der Menge erfassenden Sensors und die anderen Schritte in einer separaten Datenverarbeitungseinrichtung durchgeführt.

Dadurch wird zum einen ein Teil der Datenverarbeitung auf die Sensoren verlagert. Zum anderen weisen viele bekannte Sensoren, insbesondere Laserscanner, die in Verbindung mit dem erfindungsgemäßen Verfahren einsetzbar sind, eine geeignete Auswerteeinheit bereits serienmäßig auf.

Bevorzugt wird das erfindungsgemäße Verfahren iterativ für jeweils zeit- lich aufeinanderfolgende Abtastungen der Sensoren durchgeführt, wobei nach Einlesen mindestens einer einem der Sensoren zugeordneten Menge von Rohdatenelementen, die bei einer späteren Abtastung erfasst wurden als die Rohdatenelemente der bisher in der Gruppe von Mengen von Roh- datenelementen enthaltenen, dem Sensor zugeordneten Menge von Roh- datenelementen, eine neue Gruppe gebildet wird. Diese neue Gruppe enthält die anderen Sensoren zugeordneten Mengen von Rohdatenelemen- ten der bisherigen Gruppe sowie die mindestens eine neue Menge von Rohdatenelementen. Anschließend wird das erfindungsgemäße Verfahren auch für die neue Gruppe von Mengen von Rohdatenelementen durchge- führt, wobei gegebenenfalls bereits bei der vorhergehenden Iteration erhal- tene Daten verwendet werden, das heißt nicht neu berechnet werden.

Hierdurch werden bei der Verwendung mehrerer Sensoren öfter korrigierte Datenelemente erhalten, was eine häufigere Durchführung einer Objekt- erkennung und/oder-verfolgung erlaubt. Diese verläuft dann zudem unter günstigeren Bedingungen, da nur ein vergleichsweise kleiner Teil der Daten der jeweiligen Gesamtabtastung bzw. objektbezogenen Abtas- tung verändert wird, was vor allem die Objektverfolgung insgesamt er- leichter.

Bevorzugt wird das erfindungsgemäße Verfahren zur Bereitstellung korri- gierter Daten für die Erzeugung von Modellen von Überwachungsberei- chen verwendet, in denen sich die Sichtbereiche der Sensoren überlappen, da hierbei die Vorteile einer Objektfusion nach Korrektur und Zusammen- führung der Rohdatenelemente aller Sensoren besonders ausgeprägt sind.

Die erfindungsgemäßen Verfahren können bevorzugt auf entsprechenden Datenverarbeitungsanlagen unter Verwendung entsprechender Program- me durchgeführt werden. Insbesondere können Standardcomputer mit entsprechenden Programmen verwendet werden, es können aber auch zum Beispiel schnelle digitale Signalprozessoren Verwendung finden.

Bei einer bevorzugten Ausführungsform wird das Verfahren vollständig auf einer oder-verteilt-auf mehreren Auswerteeinrichtungen, die in einem Sensor oder mehreren Sensoren vorhanden sind, ausgeführt. Ins- besondere im Fall von Laserscannern, die bereits Auswerteeinheiten mit Prozessoren wie zum Beispiel digitale Signalprozessoren und Speicherein- richtungen aufweisen, ist eine Ausführung des vollständigen Verfahrens auf einer oder mehreren der Auswerteeinheiten vorteilhaft. Eine Vorrich- tung zur Erzeugung eines Modells eines Überwachungsbereichs enthält dann mindestens zwei optoelektronische Sensoren, insbesondere Laser- scanner, deren Sichtbereiche einen Überwachungsbereich einschließen und von denen mindestens einer eine Auswerteeinrichtung aufweist, die zur Durchführung des erfindungsgemäßen Verfahrens und Ausgabe entsprechender Daten ausgebildet ist, und Datenverbindungen zur Über- tragung der von den Laserscannern erfassten Rohdatenelemente zu der oder den Auswerteeinrichtungen in einem oder mehreren Sensoren.

Ein weiterer Gegenstand der Erfindung ist ein Computerprogramm mit Programmcode-Mitteln, um das erfindungsgemäße Verfahren zur Bereit- stellung korrigierter Daten oder das erfindungsgemäße Verfahren zur Erzeugung eines Modells eines Überwachungsbereichs durchzuführen, wenn das Programm auf einem Computer ausgeführt wird.

Weiterer Gegenstand der Erfindung ist ein Computerprogrammprodukt mit Programmcode-Mitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um das erfindungsgemäße Verfahren zur Bereitstellung korrigierter Daten und/oder das erfindungsgemäße Verfahren zur Erzeu- gung eines Modells eines Überwachungsbereichs durchzuführen, wenn das Computerprogrammprodukt auf einem Computer ausgeführt wird.

Die Erfindung ümfasst außerdem eine Vorrichtung zur Erzeugung eines Modells eines Überwachungsbereichs mit mindestens zwei optoelektroni- schen Sensoren, insbesondere Laserscannern, deren Sichtbereiche einen Überwachungsbereich einschließen, einer Datenverarbeitungseinrichtung, die zur Durchführung des erfindungsgemäßen Verfahrens zur Bereitstel- lung korrigierter Daten oder des erfindungsgemäßen Verfahrens zur Er- stellung eines Modells eines Überwachungsbereichs ausgebildet ist, und Datenverbindungen zur Übertragung der von den Laserscannern erfassten Rohdatenelemente zu der Datenverarbeitungseinrichtung.

Weiterer Gegenstand der Erfindung ist eine Vorrichtung zur Erzeugung eines Modells eines Überwachungsbereichs mit mindestens zwei optoe- lektronischen Sensoren, insbesondere Laserscannern, deren Sichtbereiche den Überwachungsbereichs einschließen und die jeweils eine Auswerte- einrichtung zur Objekterkennung und/oder-verfolgung und Ausgabe entsprechender Objektdaten aufweisen, einer Datenverarbeitungseinrich- tung, die zur Durchführung des erfindungsgemäßen Verfahrens zur Be- reitstellung korrigierter Daten oder des erfindungsgemäßen Verfahrens zur Erstellung eines Modells eines Überwachungsbereichs ausgebildet ist, und Datenverbindungen zur Übertragung der von den Laserscannern

erfassten Rohdatenelemente und Objektdaten zu der Datenverarbeitungs- einrichtung.

Vorzugsweise werden bei den erfindungsgemäßen Vorrichtungen schnelle, echtzeitfähige Datenverbindungen verwendet.

Bevorzugte Ausführungsformen der Erfindung werden nun beispielhaft anhand der Zeichnung beschrieben. Es zeigen : Fig. 1 eine schematische Draufsicht auf eine erfindungsgemäße Vorrichtung zur Erzeugung eines Modells eines Überwa- chungsbereichs, Fig. 2 ein struktogrammartiges Diagramm für den Ablauf eines Verfahrens zur Erzeugung eines Modells eines Überwa- chungsbereichs nach einer bevorzugten ersten Ausführungs- form der Erfindung, Fig. 3 ein struktogrammartiges Diagramm für den Ablauf eines Verfahrens zur Erzeugung eines Modells eines Überwa- chungsbereichs nach einer bevorzugten zweiten Ausführungs- form der Erfindung, und Fig. 4 ein struktogrammartiges Diagramm für den Ablauf eines Verfahrens zur Erzeugung eines Modells eines Überwa- chungsbereichs nach einer bevorzugten dritten Ausführungs- form der Erfindung.

In Fig. 1 sind zwei Laserscanner 10 und 12 zur Erfassung der Lage von Gegenständen an einem Fahrzeug 14 gehalten. Die Laserscanner 10 und 12 sind über Datenverbindungen 16 und 18 mit einer Datenverarbei- tungseinrichtung 20 verbunden, die eine nicht gezeigte Ausgabeeinrich- tung aufweist.

Die Laserscanner 10 und 12 weisen als Sichtbereiche 22 und 24 jeweils Kreissektoren auf, die sich im Überwachungsbereich 26 überschneiden.

Der Überwachungsbereich 26 kann auch beide Sichtbereiche 22 und 24 vollständig umfassen. Die Sichtbereiche sind zur besseren Darstellung sehr klein gewählt, typischerweise ist die Reichweite von Laserscannern sehr viel größer. In dem Überwachungsbereich befindet sich ein Gegens- tand 28.

Die Laserscanner 10 und 12 arbeiten jeweils nach dem gleichen Verfah- ren. Der Laserscanner 10 sendet in bekannter Weise jeweils einen mit konstanter Winkelgeschwindigkeit umlaufenden Laserstrahl aus, wobei ebenfalls umlaufend in konstanten Zeitabständen AT zu Zeiten in festen Winkelbereichen mit einem mittleren Winkel ai detektiert wird, ob der Laserstrahl von einem Punkt eines Gegenstands reflektiert wird. Der Index i läuft dabei von 1 bis zur Anzahl der Winkelbereiche im Sichtbereich. Von diesen Winkelbereichen sind nur einzelne gezeigt, unter anderem der dem mittleren Winkel ai zugeordnete Winkelbereich. Hier sind die Winkelberei- che zur deutlicheren Darstellung übertrieben groß gezeigt. In diesem Fall wird anhand der Laufzeit des Laserlichts der Abstand di des Punktes von dem Laserscanner 10 ermittelt. Der Laserscanner 10 erfasst daher als Rohdatenelemente für den Gegenstandspunkt P des Gegenstands 28 den Winkel oj und den bei diesem Winkel festgestellten Abstand dj, das heißt

die Position des Gegenstandspunkts in Polarkoordinaten. Die Menge Mio der Rohdatenelemente, die von dem Laserscanner 10 erfasst wurden, enthält insgesamt Rohdatenelemente (ak, dk), wobei k eine natürliche Zahl zwischen 1 und der Anzahl der von dem Laserscanner 10 erfassten Roh- datenelemente ist. Entsprechend erfasst der Laserscanner 12 Rohdaten- elemente (ßi, ei), wobei ei der Abstand eines Gegenstandspunktes ist, der im Winkelbereich um ßi erfasst wurde und 1 eine natürliche Zahl zwischen 1 und der Anzahl der von dem Laserscanner 12 erfassten Rohdatenele- mente ist. Diese Rohdatenelemente bilden eine Menge M12 von Rohdaten- elementen, die dem Laserscanner 12 zugeordnet ist. Der Gegenstands- punkt P hat in Fig. 1 die Koordinaten (ßm, em).

Die Laserscanner 10 und 12 tasten ihren Sichtbereich jeweils in aufein- anderfolgenden Abtastungen ab, so dass für jeden der Laserscanner eine zeitliche Folge von Rohdatenmengen entsteht.

Eine Gruppe zeitlich einander zugeordneter Mengen von Rohdatenelemen- ten wird jeweils von Mengen Mio und M12 gebildet, wobei der Beginn der Abtastung für eine der Mengen innerhalb des Zeitraums einer Abtastung für die andere Menge erfolgt. Dies bedeutet bei aufeinanderfolgenden Abtastungen des Sichtbereichs und entsprechender aufeinanderfolgender Ausgabe von Rohdatenmengen, dass eine Menge von Rohdatenelementen jeweils in zwei aufeinanderfolgenden Gruppen von Rohdatenmengen enthalten sein kann.

Bei der Datenverarbeitungseinrichtung 20 kann es sich um einen übli- chen Personalcomputer handeln, der mit einem hinreichend schnellen Prozessor, einem Hauptspeicher sowie entsprechenden Schnittstellen für

die Datenverbindungen 16 und 18 ausgestattet ist. Grundsätzlich reicht eine Datenverbindung zwischen den Laserscannern, wenn diese über Auswerteeinrichtungen verfügen, auf denen die Erstellung des Modells des Überwachungsbereichs möglich ist. Geeignet wären zum Beispiel Auswer- teeinrichtungen mit entsprechend programmierten digitalen Signalprozes- soren.

Bei einem ersten, in Fig. 2 veranschaulichten Verfahren zur Erstellung eines Umgebungsmodells werden Korrekturen in Bezug auf die Bewegung der Laserscanner 10 und 12 durchgeführt. Dazu werden in Schritt 100 zunächst die Rohdatenmengen des Laserscanners 10 eingelesen und in Schritt 102 in ein gemeinsames kartesisches Koordinatensystem trans- formiert. Als gemeinsames Koordinatensystem wird das System des Laser- scanners 10 verwendet, so dass dessen Rohdatenelemente ohne weitere Verschiebung nur nach bekannten Formeln in kartesische Koordinaten überführt werden.

In Schritt 104 wird dann die nächste von einem der Laserscanner ausge- gebene Rohdatenmenge eingelesen, wobei von Schritt 100 kommend der Beginn der Abtastung für die Menge M12 während der Abtastung der Menge Mio stattfindet, so dass die Abtastung für die Menge M12 später abläuft als die für die Menge Mio. Im weiteren Verlauf des Verfahrens werden Rohdatenmengen jeweils abwechselnd von einem der beiden La- serscanner eingelesen, so dass immer die jeweils neueste Rohdatenmenge für jeden Laserscanner eingelesen ist. Die beiden Mengen bilden dabei jeweils eine Gruppe von Rohdatenmengen. Die Zeiten des Beginns der Abtastung werden jeweils durch ein entsprechendes Signal des Laser-

scanners bestimmt, auf dessen Eintreffen hin die Zeit des Eintreffens gespeichert wird.

In Schritt 106 werden die Koordinaten der Rohdatenelemente der in Schritt 104 eingelesenen Rohdatenmenge zunächst in kartesische Koordi- naten überführt. Die Koordinaten der Rohdatenelemente der neu eingele- senen Menge, von Schritt 100 kommend ist dies M12, werden nach der Überführung in kartesische Koordinaten entsprechend dem festen Relativ- vektor R von dem Laserscanner 10 zu dem Laserscanner 12 verschoben, wenn die Menge dem Laserscanner 12 zugeordnet ist, wodurch sich die Koordinaten in dem gemeinsamen Koordinatensystem ergeben.

In Schritt 108 wird dann ein Bezugszeitpunkt tF festgelegt, zum Beispiel der Zeitpunkt des Beginns der späteren der den Rohdatenmengen ent- sprechenden Abtastungen.

In Schritt 110 werden jeweils vektorielle Geschwindigkeiten für die Laser- scanner eingelesen. Die entsprechenden Geschwindigkeiten vlo bzw. via der Laserscanner 10 bzw. 12 sind dabei von entsprechenden, in Fig. 1 nicht gezeigten Sensoren des Fahrzeugs unter Berücksichtigung der Lage der Laserscanner 10 und 12 bestimmt. Bei einer einfacheren Näherung kann die Geschwindigkeit der Sensoren durch die Fahrzeuggeschwindig- keit ohne die Berücksichtigung der Lage der Sensoren gegeben sein. Diese Geschwindigkeiten sind jeweils den Rohdatenelementen in den Mengen Mio bzw. Mi2 zugeordnet.

Für jedes Rohdatenelement in jeder der Mengen Mio und M12 werden dann die Schritte 112 und 114 ausgeführt.

In Schritt 112 wird die Differenz zwischen einer als Zeitpunkt der Erfas- sung des Rohdatenelements definierten Zeit und der Bezugszeit berechnet.

Die als Zeitpunkt der Erfassung definierte Zeit ergibt sich aus dem Zeit- punkt des Beginns der Abtastung und der Lage des Winkelbereichs, in dem das Rohdatenelement erfasst wurde. Wurde das Rohdatenelement im Winkelbereich ai bzw. ßi erfasst, wird zu der Zeit des Beginns der Abtas- tung ein Betrag i*AT addiert.

In Schritt 114 werden dann die Koordinaten des Rohdatenelements um den Vektor verschoben, der sich aus Multiplikation des dem Rohdaten- element zugeordneten Geschwindigkeitsvektors vlo oder vl2 mit der Zeit- differenz aus Schritt 112 ergibt.

Aus diesen korrigierten Daten wird in Schritt 116 eine Gesamtabtastung gebildet, auf deren Basis in Schritt 118 eine Objekterkennung und/oder- verfolgung durchgeführt wird und in Schritt 120 entsprechende Daten ausgegeben werden.

Daraufhin wird mit Schritt 104 mit dem Einlesen der nächsten Rohda- tenmenge fortgefahren, die im Beispiel ausgehend von Schritt 100 nach Durchlauf der folgenden Schritte die nächste Rohdatenmenge Mio wäre, die die bisherige Menge Mio ersetzt. Die Menge mit dem zeitlich früheren Beginn der Abtastung ist dann die nicht veränderte Menge M12.

Das in Fig. 3 dargestellte Verfahren nach einer zweiten bevorzugten Aus- führungsform der Erfindung läuft analog dem ersten Verfahren gemäß Fig. 2 ab, wobei zusätzlich Korrekturen im Hinblick auf die Bewegung von

Gegenständen erfolgt. Schritte, die auch bei diesem Verfahren durchge- führt werden, werden daher nicht näher erläutert.

Die Schritte 122 und 124 sowie 128 und 130, in denen Rohdatenmengen eingelesen und in ein gemeinsames Koordinatensystem transformiert werden, entsprechen den Schritten 100 bis 106 des Verfahrens gemäß Fig.

2.

Im Unterschied zu dem Verfahren nach der ersten Ausführungsform werden in den Schritten 126 und 132 auf der Rohdatenmenge Mio bzw. der nächsten eingelesenen Rohdatenmenge eine Objekterkennung und/oder-verfolgung durchgeführt und als kinematische Daten die Ge- schwindigkeiten der erkannten Objekte sowie die Zuordnung der Rohdatenelemente zu dem jeweiligen Objekt gespeichert. Hierdurch ergeben sich jeweils den Rohdatenelementen zugeordnete Objektgeschwindigkeiten. Zur Objekterkennung und/oder-verfolgung können zum Beispiel entsprechende, dem Fachmann bekannte Verfahren verwendet werden. Die Schritte 126 und 132 können auch vor den Schritten 124 und 130 ausgeführt werden, wobei dann eine Transformation auch der dabei gewonnenen Objektbewegungsdaten in das gemeinsame Koordinatensystem notwendig wäre.

Nach Festlegung des Bezugszeitpunkts in Schritt 134, der Schritt 108 des Verfahrens gemäß Fig. 2 entspricht, werden in Schritt 136, der Schritt 110 in Fig. 2 entspricht, die vektoriellen Geschwindigkeiten vlo und via eingelesen.

In Schritt 138 wird dann für jedes Rohdatenelement in jeder Rohdaten- menge ein dem Rohdatenelement zugeordneter Geschwindigkeitsvektor durch Addition der der Rohdatenmenge bzw. dem diese erfassenden La- serscanner zugeordneten Geschwindigkeit vlo bzw. via und der dem ent- sprechende Rohdatenelement zugeordneten Objektgeschwindigkeit be- stimmt.

In Schritt 140, der Schritt 112 in Fig. 2 entspricht, wird die Differenz zwischen einer als Zeitpunkt der Erfassung des Rohdatenelements defi- nierten Zeit und der Bezugszeit berechnet.

In Schritt 142 werden dann die Koordinaten des Rohdatenelements um den Vektor verschoben, der sich aus der Multiplikation des dem Rohda- tenelement in Schritt 138 zugeordneten Geschwindigkeitsvektors mit der Zeitdifferenz aus Schritt 140 ergibt.

In den Schritten 144,146 und 148, die den Schritten 116,118 und 120 in Fig. 2 entsprechen, werden dann eine Gesamtabtastung mit auf einen gemeinsamen Bezugszeitpunkt korrigierten Datenelementen gebildet und hierauf basierend eine eine Objekterkennung und/oder-verfolgung unab- hängig von den Objekterkennungen und/oder-verfolgungen in den Schrit- ten 126 und 132 berechnet und entsprechende Daten ausgegeben.

Das Verfahren wird dann mit Schritt 128 fortgesetzt.

Bei dem in Fig. 4 veranschaulichten Verfahren nach einer dritten Ausfüh- rungsform der Erfindung wird im Unterschied zu dem Verfahren nach der zweiten Ausführungsform gemäß Fig. 3 nach der Korrektur der Daten für

jeden Gegenstand getrennt eine Objekterkennung und-verfolgung durch- geführt. Es werden dabei einige Schritte wie bei dem Verfahren nach der zweiten Ausführungsform ausgeführt und daher hier nicht näher be- schrieben.

In den Schritten 150,152,154,156,158 und 160, die den Schritten 122, 124,126,128,130 und 132 von Fig. 3 entsprechen, werden die Rohda- tenelemente eingelesen, deren Koordinaten in ein gemeinsames Koordina- tensystem transformiert und auf den jeweiligen Rohdatenmengen eine Objekterkennung und/oder-verfolgung berechnet.

In Schritt 162 werden durch Anwendung bekannter Verfahren zur Objekt- erkennung und/oder-verfolgung aus den in den Schritten 154 und 160 in allen Mengen von Rohdatenelementen erkannten Objekten Objektgruppen gebildet, die Objekte enthalten, die als demselben Gegenstand entspre- chend erkannt werden.

Die vektoriellen Geschwindigkeiten der Sensoren bzw. Laserscanner 10 und 12 werden in Schritt 164 entsprechend Schritt 108 in Fig. 2 eingele- sen.

Die folgenden Schritte 166 bis 180 werden für alle Objektgruppen durch- geführt.

In Schritt 166 werden für eine Objektgruppe in den beiden Rohdatenmen- gen Mio und M12 die dem Objekt jeweils zugeordneten Rohdatenelemente gesucht.

In Schritt 168 wird für die Objektgruppe als Bezugszeitpunkt die als Erfassungszeitpunkt definierte Zeit desjenigen Rohdatenelements gewählt, das gemäß der als Erfassungszeitpunkt definierten Zeiten der Rohdaten- elemente zuerst erfasst wurde.

Für jedes der einem Objekt der Objektgruppe zugeordneten Rohdatenele- mentn wird dann in Schritt 170 ein Gesamtgeschwindigkeitsvektor be- stimmt, der sich aus der eingelesenen Geschwindigkeit desjenigen Laser- scanners, der das Rohdatenelement erfasst hat, und der bei der Objekter- kennung und/oder-verfolgung in Schritt 154 bzw. 160 berechneten Ge- schwindigkeit dieses Rohdatenelements durch Addition berechnet.

In Schritt 172 werden dann für jedes der den Objekten der Objektgruppe zugeordneten Rohdatenelemente die Zeitdifferenz wie in Schritt 140 in Fig.

3 berechnet und in Schritt 174 dessen Koordinaten entsprechend dem Produkt aus Gesamtgeschwindigkeitsvektor und Zeitdifferenz verschoben.

In Schritt 176 werden die so korrigierten Datenelemente einer Objekt- gruppe unter Zuordnung der jeweiligen Bezugszeitpunkte zu einer der Objektgruppe zugeordneten Abtastung zusammengeführt und in Schritt 178 auf dieser Basis eine Objekterkennung und/oder-verfolgung durch- geführt, deren Ergebnisse in Schritt 180 ausgegeben werden.

Alternativ können jeweils nach der Bildung einer jeden Objektgruppe die Schritte 166 bis 180 ausgeführt werden.

Nach Abarbeitung aller Objektgruppen wird mit Schritt 156 fortgefahren.

Zusammenfassend unterscheiden sich die geschilderten Verfahren nach den drei Ausführungsformen dadurch, dass bei dem ersten, in Fig. 2 veranschaulichten Verfahren eine Korrektur nur in Bezug auf die Bewe- gung der Laserscanner und der zeitlichen Latenzen erfolgt, während bei dem Verfahren nach der zweiten Ausführungsform zusätzlich bei der Korrektur die Bewegung von erfassten Gegenständen berücksichtigt wird.

Bei diesen beiden Ausführungsformen erfolgt nach der Korrektur eine Objekterkennung und-verfolgung auf der Basis aller korrigierten Daten- elemente. Bei dem Verfahren nach der dritten Ausführungsform werden im wesentlichen die gleichen Korrekturen wie bei dem Verfahren nach der zweiten Ausführungsform, das heißt in Bezug auf die Bewegung der La- serscanner, der Gegenstände und der zeitlichen Latenzen durchgeführt, wobei jedoch die Bezugszeitpunkte, bezüglich derer korrigiert wird, auf einzelne Gegenstände bezogen sind und für die korrigierten Datenelemen- te, die einem Gegenstand entsprechen, jeweils eine separate Objekterken- nung und-verfolgung durchgeführt wird.

Bezugszeichenliste 10 Laserscanner 12 Laserscanner 14 Fahrzeug 16 Datenverbindung 18 Datenverbindung 20 Datenverarbeitungseinrichtung 22 Sichtbereich 24 Sichtbereich 26 Überwachungsbereich 28 Gegenstand