VERKEHRSÜBERWACHUNGSKAMERA ZU EINEM LAGESENSOR

Bei der Verwendung eines bilderfassenden Messsystems wird in der Regel eine digitale Kamera zur Aufnahme von Bildern zusammen mit speziellen Sensoren zur

Erfassung von Messgrößen verwendet. Bevor mit beiden Komponenten zusammen ein verlässliches Messergebnis generiert werden kann, muss die Kamera zum

Sensor kalibriert werden. Das heißt, es muss die Lagebeziehung von den auf der

Empfängerfläche der Kamera abgebildeten Objektpunkten (Bildpunkten) zu den vom

Sensor gemessenen Objektpunkten ermittelt werden. Insbesondere bei den aus der

Verkehrsmesstechnik bekannten Verfahren zur Erfassung von Verkehrsverstößen und der zweifelsfreien Zuordnung eines Überwachungs- oder Messergebnisses zum erfassten Fahrzeug ist eine genaue Kalibrierung eine Voraussetzung zur Zulassung eines solchen Messsystems.

Um festgestellte Verkehrsverstöße auch tatsächlich ahnden zu können, ist es üblich, die Messgeräte wie Lagesensor und Kamera zueinander und zu einem zu überwachenden Bereich innerhalb von Rahmenbedingungen anzuordnen, die beispielsweise in einer Aufstellvorschrift für das jeweilige Messsystem festgelegt sind. Durch eine Aufstellvorschrift können einzuhaltende Mindest- und Höchstabstände sowie einzuhaltende Bereiche relativer Winkellagen der Sensorachse und der optischen Achse der Kamera zueinander festgelegt sein.

In der Offenlegungsschrift DE 10 2009 013 667 A1 ist ein Verfahren beschrieben, mit dem für eine Verkehrsüberwachungseinrichtung eine vorgegebene Lagebeziehung, die durch die räumliche Beziehung zwischen einem Laserscanner und einer Digitalkamera bestimmt ist, hergestellt wird.

Der Laserscanner und die Digitalkamera werden grob zueinander ausgerichtet, sodass ein Überwachungsbereich, innerhalb des Scanwinkelbereiches des Laserscanners vom Objektfeld der Digitalkamera an einem vorgegebenen Fotopunkt vollständig überdeckt wird. Die räumliche Beziehung zwischen dem Laserscanner (fortan: Lagesensor) und der Digitalkamera (fortan: Kamera) ist durch die räumliche Beziehung des Laserkoordinatensystems (fortan: Sensorkoordinatensystem) zum Kamerakoordinatensystems bestimmt. Das Laserkoordinatensystem ist bestimmt durch eine Laserscanachse (fortan: Sensorachse), die senkrecht auf einer Empfängerfläche steht, sowie die Lage der Scanebene und stellt ein polares Koordinatensystem dar. Sich durch das Scanfeld (fortan: Sensorbereich) des Lagesensors bewegende Objekte können durch die Erfassung eines Entfernungswertes und des Scanwinkels zum Zeitpunkt der Erfassung (fortan: Messzeitpunkt) einem Ort im Sensorbereich zugeordnet werden.

Das Kamerakoordinatensystem ist bestimmt durch die optische Achse der Kamera und deren Empfängermatrix und stellt ein kartesisches Koordinatensystem dar. Abbildungen werden bezüglich ihrer Lage in der Bildebene (auf der Empfängermatrix) über die Kenntnis der Lage der empfangenden Bildelemente (Pixel) in der durch Zeilen und Spalten bestimmten Empfängermatrix erfasst.

Die Herstellung der räumlichen Beziehung erfolgt in zwei Schritten. In einem ersten Schritt wird zunächst eine grobe Anpassung von Sensor- und Kamerakoordinatensystem berechnet. In einem zweiten Schritt wird in einem benutzergeführten, manuellen Prozess eine Feinanpassung vorgenommen.

Im ersten Schritt werden die Messwerte des Lagesensors, die eine räumlich verteilte Anzahl von Messpunkten entsprechend einer Fahrzeugkontur und der Scanbereichausrichtung in einem polaren Koordinatensystem beschreiben, in ein dem Lagesensor zugeordnetes kartesisches Koordinatensystem transformiert. Dieses kann anschließend in ein der Kamera zugeordnetes kartesisches Koordinatensystem transformiert werden. Das erfolgt durch rechnerisch translatorische Verschiebungen entlang der Achsen des Koordinatensystems des Lagesensors sowie durch eine Umrechnung der Messwerte unter Einbeziehung der bekannten Abbildungscharakteristik der Kamera. Die groben Beträge der translatorischen Verschiebungen ergeben sich aus den Abständen zwischen den Achsen der Koordinatensysteme des Lagesensors und der Kamera und sind aufgrund einer festen Lagebeziehung zwischen Lagesensor und Kamera bekannt.

Die so erzeugte Transformation bedarf im zweiten Schritt noch der Anpassung der rotatorischen Verdrehung und der Feinanpassung der translatorischen Verschiebungen. Die Feinanpassung erfolgt durch einen Benutzer in einem interaktiven Prozess mittels eines geeigneten Geräts zur Bildbearbeitung. Dazu wird mindestens einem Foto des erfassten Fahrzeugs mit einer visuell dargestellten Messstruktur, die aus der zum Zeitpunkt der Aufnahme des Fotos gebildeten Anzahl von Messwerten generiert wurde, überlagert und vom Benutzer so verschoben und verdreht, dass das Fahrzeug möglichst ideal von der Messstruktur überlagert wird. Die überlagerte Messstruktur wird in das Foto übernommen und dient somit gleichzeitig der Markierung des erfassten Fahrzeugs z. B. im Fall eines Fotos einer mehrspurigen Fahrbahn.

Die möglichst genaue Bestimmung der Beträge der translatorischen Verschiebungen bei der Transformation des kartesischen Koordinatensystems des Lagesensors in das Koordinatensystem der Kamera gestaltet sich dann relativ einfach, wenn Lagesensor und Kamera in einem gemeinsamen Gehäuse angeordnet sind und die Generierung der Beträge schon anhand der Konstruktionsdaten erfolgen kann.

Für Messaufgaben, in denen eine starre Anordnung von Lagesensor und Kamera zueinander nicht möglich ist, gestaltet sich das Verfahren als schwierig.

Ein weiterer Nachteil des Verfahrens ist in dem notwendigen Aufwand bei der manuellen Markierung und der Feinanpassung der Messstruktur an das Foto des erfassten Fahrzeugs zu sehen.

Der Erfindung liegt die Aufgabe zugrunde ein Verfahren vorzuschlagen, mit dem die unbekannte räumliche Beziehung zwischen einem Lagesensor und einer Kamera vollautomatisch bestimmt werden kann.

Die Aufgabe wird durch ein Verfahren gemäß Anspruch 1 gelöst.

Das erfindungsgemäße Verfahren soll nachfolgend anhand eines Ausführungsbeispiels näher erläutert werden.

Die Durchführung des erfindungsgemäßen Verfahrens setzt voraus, dass eine Kamera und ein Lagesensor vorhanden sind, die auf eine Fahrbahn gerichtet sind.

Das heißt, dass die Kamera, welche ein kartesisches Kamerakoordinatensystem aufweist, das durch die optische Achse der Kamera, die Ebene der Empfängermatrix und die Richtung der Zeilen und Spalten der Pixel der Empfängermatrix bestimmt ist, so zur Fahrbahn ausgerichtet ist, dass ein Teil der Fahrbahn vom Objektfeld der Kamera erfasst ist.

Für den Lagesensor, welcher ein polares Sensorkoordinatensystem aufweist, das durch eine Sensorachse und eine Empfängerfläche bestimmt ist, heißt das, dass ein Teil der Fahrbahn vom Sensorbereich erfasst ist. Es ist aber nicht zwingend, dass das Sensorkoordinatensystem polar ausgelegt ist.

Die Relativlage der beiden Koordinatensysteme zueinander ist damit gegeben, aber nicht bekannt. Kenntnis über die Relativlage zu erlangen, ist der Zweck der Kalibrierung.

Das Objektfeld und der Sensorbereich können Teilbereiche voneinander sein, sich überlappen oder aber auch nebeneinander bzw. voneinander entfernt liegen.

Sie müssen allerdings so zueinander liegen, dass ein Fahrzeug, welches den Sensorbereich durchfährt, auch das Objektfeld durchfährt - und umgekehrt.

Der Lagesensor kann z. B. ein Radarsensor oder ein Laserscanner sein. Er erhält durch Reflexion von Strahlung an einem den Sensorbereich durchfahrenden Fahrzeug zu mehreren aufeinanderfolgenden Messzeitpunkten Messdaten, die als ein Messdatenstrom erfasst und einem Rechner zugeführt werden. Die Messdaten sind Entfernungs- und Winkelwerte und bilden so Polarkoordinaten von Messpunkten im Sensorbereich.

Je nach Art des Lagesensors sind die Messdaten, die durch ein Fahrzeug generiert werden, für ein Fahrzeug typisch und können aus dem Messdatenstrom extrahiert werden. Die extrahierten Messdaten des Messdatenstromes werden nachfolgend als Messdatenextraktstrom bezeichnet. Das erfindungsgemäße Verfahren ist grundsätzlich für beliebige Objekte anwendbar. Vorzugsweise sind die Objekte aber Fahrzeuge.

Durch die Kamera werden kontinuierlich, dass heißt in kurzen zeitlichen Abständen nacheinander, Bilder vom Objektfeld erstellt, die in Form von Bilddaten von der Empfängermatrix der Kamera geliefert werden und einen Bilddatenstrom bilden, der dem Rechner zugeführt wird.

Aus dem Bilddatenstrom werden Bilddaten extrahiert, die einem Fahrzeug oder einem markanten Bereich eines Fahrzeuges entsprechen. Die extrahierten Bilddaten werden nachfolgend als gebildeter Bilddatenextraktstrom bezeichnet.

Der Messdatenextraktstrom und der gebildete Bilddatenextraktstrom werden mittels eines Rechners und mittels dem Fachmann bekannter Verfahren erzeugt. Aus dem Messdatenextraktstrom und dem gebildeten Bilddatenextraktstrom lässt sich die Bewegungsbahn des Fahrzeuges ableiten, das heißt, diejenige Fahrspur, welche das Fahrzeug bei seiner Fahrt während der Erfassung beschreibt. Damit ist es auch möglich, den Bilddatenextraktstrom und/oder den Messdatenextraktstrom so zu extrapolieren, dass Pseudomessdaten bzw. Pseudobilddaten von dem angemessenen bzw. abgebildeten Fahrzeug außerhalb des Sensorbereichs bzw. des Objektfelds geschaffen werden. Das ist jedoch nur dann von Interesse, wenn sich das Objektfeld und der Sensorbereich nicht oder nur sehr gering überlappen, womit ein Fahrzeug nicht oder nur wenige Male an einem Ort sowohl von dem Lagesensor als auch von der Kamera erfasst wird. Eine ortsgleiche Erfassung eines Fahrzeuges mit dem Lagesensor und der Kamera bzw. die Schaffung von ortsgleichen Pseudomess- bzw. -bilddaten ist die Vorraussetzung, um die Kamera zum Lagesensor kalibrieren zu können.

In Kenntnis der intrinsischen Parameter der Kamera und mit vorliegenden Erfahrungen oder mit durch Anlernen gewonnenen Erkenntnissen über ein die erhaltenen Messdaten verursachendes Fahrzeug, wird aus dem Messdatenextraktstrom ein künstlicher Bilddatenextraktstrom generiert, der anschließend über bekannte Fehlerrechnungsverfahren mit dem gebildeten Bilddatenextraktstrom in Übereinstimmung gebracht wird. Die Vorabkenntnis der intrinsischen Parameter der Kamera ist allerdings nicht zwingend, sondern erleichtert den Aufwand für die Schätzung der Parameter. Es ist über Ausgleichsrechnungen ebenso denkbar, dass auch die intrinsischen Parameter der Kamera im Rahmen von Fehlerrechnungsverfahren bestimmt werden. Ein direkter Vergleich des gebildeten Bilddatenextraktstroms mit dem Messdatenextraktstrom ist nicht möglich, da der Messdatenextraktstrom im 3D-Raum ermittelt wird, während ein Bilddatenextraktstrom in einer 2D-Fläche ermittelt wird. Vielmehr ist es erfindungswesentlich, dass ein Vergleich von Spuren des gebildeten Bilddatenextraktstroms und des künstlichen Bilddatenextraktstroms vorgenommen wird. Dabei wird ermittelt, mit welchem Rotationswinkel und mit welchem räumlichen Versatz mindestens einer der Bilddatenextraktströme zu rotieren und räumlich zu versetzen ist, um eine Übereinstimmung des gebildeten Bilddatenextraktstroms und des künstlichen Bilddatenextraktstroms zu erreichen. Einer Übereinstimmung steht eine festgelegte Ähnlichkeit des gebildeten Bilddatenextraktstroms und des künstlichen Bilddatenextraktstroms gleich.

Der Bilddatenextraktstrom, sowohl der gebildete als auch der künstliche, kann somit im Sinne einer bildlichen Darstellung als Bildspur (Spur) interpretiert werden. Die künstlich generierte Spur (künstlicher Bilddatenextraktstrom) kann somit mit den Spuren verglichen werden, die durch den gebildeten Bilddatenextraktstrom gegeben sind.

Allgemein wird ein Bilddatenextraktstrom vom Fachmann als optischer Fluss bezeichnet und bezeichnet die Spur bzw. die Spuren, die von sich bewegenden Objekten im Objektfeld bzw. im Sensorbereich hinterlassen werden. Vergleichbar ist der optische Fluss mit den Spuren, die bei einer nächtlichen fotografischen Langzeitbelichtung, z. B. einer befahrenen Straße, abgebildet werden.

Sinngemäß wird der Messdatenextraktstrom mit einer virtuellen Kamera gefilmt. Der Vergleich mit einer Annahme mittels einer virtuellen Kamera dient nachfolgend einer vereinfachten Erläuterung des erfindungsgemäßen Verfahrens. Das Filmen mit der virtuellen Kamera ist vergleichbar mit dem sogenannten„Rendern" eines 3D-Modells in einem CAD-Programm auf eine 2D-Strichzeichnung. Die Lageposition und die Rotation dieser virtuellen Kamera im Vergleich zu dem als Referenzkoordinatensystem verwendeten Koordinatensystem der (echten) Kamera ergibt einen tatsächlich erforderlichen Rotationswinkel sowie einen tatsächlich erforderlichen räumlichen Versatz, um eine Relativlage zwischen Sensorkoordinatensystem und Kamerakoordinatensystem (nachfolgend: Koordinatensysteme) zu beschreiben.

Eine bildliche Darstellung ist, verallgemeinert ausgedrückt, eine Abbildung eines 3D- Objekts auf eine 2D-Projektionsfläche. Grundsätzlich kann eine solche Projektion auf jede Art von 3D-Objekten angewendet werden, wie diese, z. B. einschließlich ihrer Bewegungsparameter, von modernen Messsystemen erkannt werden. Diese Messsysteme liefern beispielsweise Ort und Geschwindigkeit der angemessenen Objekte. Bildet man nun diese 3D-Objekte einschließlich ihrer Spuren als einen künstlichen Bilddatenextraktstrom auf eine zweidimensionale künstliche Spur ab, ist dieser künstliche Bilddatenextraktstrom mit dem gebildeten Bilddatenextraktstrom manuell und / oder automatisiert vergleichbar. In einem einfachen Fall sind der gebildete Bilddatenextraktstrom und der künstliche Bilddatenextraktstrom durch die Ermittlung geometrischer Abstände von Punkten oder Bereichen der jeweiligen Spuren miteinander vergleichbar. Es können mehrere Vergleiche von gleichen oder verschiedenen Kombinationen von Punkten und / oder von Bereichen durchgeführt werden. Anhand des Ergebnisses des Vergleichs bzw. der Vergleiche ist eine Relativlage der Koordinatensysteme zueinander ermittelbar. Der künstliche Bilddatenextraktstrom dient in dem erfindungsgemäßen Verfahren als ein Vergleichsdatenstrom zum gebildeten Bilddatenextraktstrom.

Zur Ermittlung der Relativlage der Koordinatensysteme zueinander ist es bevorzugt, Lageparameter des Lagesensors bezüglich eines Referenzkoordinatensystems zu ermitteln. Lageparameter sind vorzugsweise durch mindestens einen Rotationswinkel und durch mindestens einen räumlichen Versatz gegeben.

Ausgehend von der Sensorachse des Sensorkoordinatensystems ist mit dem Rotationswinkel ein Winkel bezeichnet, um den eine virtuelle optische Achse der virtuellen Kamera zu kippen ist, um ein 3D-Objekt unter einem gleichen Blickwinkel abzubilden wie die (echte) Kamera. Bezüglich des 3D-Objekts beschreibt die virtuelle Kamera eine rotierende Bewegung (Rotation). Das derart abgebildete und auf eine 2D-Fläche projizierte 3D-Objekt kann eine andere Ortslage aufweisen als dass mittels der Kamera abgebildete 3D-Objekt. Die Differenz der Ortslagen stellt den räumlichen Versatz dar. Übertragen auf das erfindungsgemäße Verfahren bedeutet das, dass der Rotationswinkel die Rotation der virtuellen Kamera angibt, die erforderlich ist, um den Messdatenextraktstrom in den künstlichen Bilddatenextraktstrom zu überführen. Der räumliche Versatz kann aus der Differenz der Ortslagen von gebildetem Bilddatenextraktstrom und künstlichem Bilddatenextraktstrom ermittelt werden.

Es ist möglich, den erforderlichen Rechenaufwand bei der Ermittlung der Relativlage der Koordinatensysteme zueinander dadurch zu reduzieren, dass nach dem Anordnen des Lagesensors und der Kamera zur Durchführung des erfindungsgemäßen Verfahrens Lageparameter des Lagesensors als geschätzte Lageparameter bereitgestellt werden. Als Referenz wird dabei das Koordinatensystem der Kamera, insbesondere ein Punkt des Koordinatensystems, gewählt. Beispielsweise kann der Ursprungspunkt gewählt werden, wenn es sich um ein kartesisches Koordinatensystem handelt oder ein Fußpunkt einer Koordinatenachse, wenn es sich um ein polares Koordinatensystem handelt. Die Wahl eines anderen Bezugspunktes ist ebenfalls bekannt und möglich.

Üblicherweise erfolgt ein Anordnen von Lagesensor und Kamera anhand einer Aufstellvorschrift. Diese ist erforderlich, um beispielsweise amtlich zugelassene und rechtlich verwertbare Messergebnisse zu erhalten. Durch die Aufstellvorschrift sind daher Wertebereiche vorgegeben, innerhalb derer sich die Werte der Rotationswinkel und des räumlichen Versatzes nur bewegen dürfen. Bei Befolgung der Aufstellvorschrift können daher alle möglichen Werte von Rotationswinkeln und räumlichen Versätzen bei der Ermittlung der Relativlage der Koordinatensysteme zueinander unberücksichtigt bleiben, durch welche die Aufstellvorschrift nicht eingehalten wird. Es ist daher möglich, mindestens einen geschätzten Rotationswinkel und mindestens einen geschätzten räumlichen Versatz anzugeben.

Der Messdatenextraktstrom wird unter Anwendung dieser geschätzten Lageparameter in ein künstliches 3D-Objekt in einem künstlichen Raum konvertiert. Die Konvertierung von Punkten des künstlichen 3D-Objekts in Punkte einer künstlichen Projektion auf eine 2D-Fläche erfolgt unter Nutzung der virtuellen Kamera, welche die gleichen intrinsischen Parameter aufweist, wie die Kamera. Da der Messdatenextraktstrom einen zeitlichen Verlauf von Messdaten verkörpert, ist durch eine Projektion des Messdatenextraktstroms eine zeitliche Abfolge der künstlichen Punkte auf der 2D-Fläche - und damit der künstliche Bilddatenextraktstrom gegeben.

Bei der Durchführung des erfindungsgemäßen Verfahrens kann unter Anwendung des geschätzten Rotationswinkels und des geschätzten räumlichen Versatzes der künstliche Bilddatenextraktstrom erzeugt werden. Die virtuelle Kamera wird solange um das 3D-Objekt rotiert, bis eine hinreichende Ähnlichkeit oder eine Übereinstimmung zwischen dem gebildeten Bilddatenextraktstrom und dem künstlichen Bilddatenextraktstrom festgestellt wird. Dabei wird ein tatsächlich erforderlicher Rotationswinkel ermittelt. Der geschätzte Rotationswinkel kann daraufhin entsprechend korrigiert werden. Aus dem Vergleich des künstlichen Bilddatenextraktstroms und des gebildeten Bilddatenextraktstroms wird ein tatsächlich erforderlicher räumlicher Versatz ermittelt. Der geschätzte räumliche Versatz kann daraufhin korrigiert werden. Durch Korrekturen des geschätzten Rotationswinkels und/oder des räumlichen Versatzes ist das erfindungsgemäße Verfahren weiter optimierbar und die benötigte Rechenleistung und Rechenzeit können reduziert werden.

In weiteren Ausführungen des erfindungsgemäßen Verfahrens kann die Relativlage der Koordinatensysteme ermittelt werden, ohne geschätzte Lageparameter zu verwenden.

Im Stand der Technik wird ein willkürliches Koordinatensystem z. B. auf die Straße gelegt und die lokalen Koordinatensysteme des Sensors und der Kamera werden jeweils getrennt gegen dieses willkürliche Koordinatensystem ausgerichtet. Dieser Schritt kann in dem erfindungsgemäßen Verfahren übersprungen werden, da nur die relative Beziehung zwischen Sensor- und Kamerakoordinatensystem von Interesse ist. Während der gebildete Bilddatenextraktstrom in dem erfindungsgemäßen Verfahren gemäß dem Stand der Technik generiert wird, ist die Kombination einer künstlichen 3D-Rotation des Messdatenextraktstroms mit einer anschließenden künstlichen 3D/2D-Projektion neu. Aus dem Vergleich des gebildeten Bilddatenextraktstroms mit dem künstlichen Bilddatenextraktstrom ist eine korrekte Ermittlung der Relativlage zwischen dem Sensorkoordinatensystem und dem Kamerakoordinatensystem ermöglicht.

Neben der Bestimmung der Lage des angemessenen Objektes kann der Lagesensor darüber hinaus auch Informationen zur Fahrtrichtung und -geschwindigkeit des Fahrzeuges liefern. Die Daten werden wie die Lageinformationen zur Ausgleichsrechnung genutzt. Die Geschwindigkeit und die Richtung aus dem Messdatenextraktstrom werden hierzu in einen virtuellen optischen Fluss umgerechnet und dieser virtuelle optische Fluss wird im Rahmen des Fehlerausgleichsverfahrens mit dem realen optischen Fluss aus dem Bilddatenextraktstrom verglichen.

Mit dem beschriebenen Verfahren werden eine große Vielzahl von angemessenen Objektpunkten eines Fahrzeuges mit einer großen Vielzahl von Bildpunkten des abgebildeten Fahrzeuges in Übereinstimmung gebracht. Mathematisch betrachtet, werden Messpunkte innerhalb des Sensorkoordinatensystems in Bildpunkte innerhalb des Kamerakoordinatensystems transformiert. Dabei wird eine Transformationsregel abgeleitet, nach der später ermittelte Messdaten Bilddaten zugeordnet werden können, solange sich die Ausrichtung von Kamera und Lagesensor zueinander nicht verändert. Nach der Transformationsregel können die Messdaten durch mathematische Verschiebung und Verdrehung in die Bilddaten umgerechnet werden und mit den real erhaltenen Bilddaten verglichen werden.

Stimmen die errechneten Bilddaten und die realen Bilddaten überein, ist das ein Beweis, dass das angemessene Fahrzeug und das abgebildete Fahrzeug identisch sind. Verändert sich die Relativlage der Kamera und des Lagesensors zueinander, so kann über das beschriebene Verfahren eine neue Transformationsregel erstellt werden.

Das erfindungsgemäße Verfahren wird nachfolgend anhand eines in Fig. 1 gezeigten Ablaufschemas erläutert.

Um das Verfahren auszuführen (Kasten a), werden eine Kamera (Kasten b) und ein Lagesensor (Kasten h) so zueinander positioniert, dass durch den Lagesensor ein Sensorbereich und durch die Kamera ein Objektfeld erfasst werden. Sensorbereich und Objektfeld sind so zueinander ausgerichtet, dass sich ein zu erfassendes Objekt sowohl durch den Sensorbereich als auch durch das Objektfeld bewegt. Dabei können sich Sensorbereich und Objektfeld ganz oder teilweise überlappen. Sie können auch nicht überlappend ausgerichtet sein. Die Positionierung von Lagesensor und Kamera erfolgt nach einer Aufstellvorschrift, in der die zulässigen Mindest- und Höchstabstände sowie die geringsten und größten Rotationswinkel zwischen der Sensorachse des Lagesensors und der optischen Achse der Kamera definiert sind.

Die Erläuterung wird anhand zweier sich bewegender Fahrzeuge gegeben. Die Kamera weist eine Empfängermatrix mit einem kartesischen Koordinatensystem auf. Der Lagesensor weist eine Empfängereinheit (nicht gezeigt) auf, durch die zu Messzeitpunkten Messdaten aus dem Sensorbereich erfassbar sind. Die Messdaten sind den Messzeitpunkten zugeordnet speicherbar.

Zuerst soll der Beitrag der Kamera zur Durchführung des erfindungsgemäßen Verfahrens erläutert werden. Mittels der Kamera werden von dem Objektfeld zeitlich aufeinanderfolgend eine Anzahl von Bildaufnahmen als eine Bildfolge aufgenommen und in einer Recheneinheit (nicht gezeigt) gespeichert (Kasten c). In den Bildaufnahmen der Bildfolge wird mindestens jeweils eine kennzeichnende Kontur jedes Fahrzeugs oder jeweils eines Fahrzeugbereichs erkannt. In einer weiteren Ausführung des Verfahrens wird die Kontur in einigen ausgewählten Bildaufnahmen der Bildfolge erkannt und gespeichert. Mittels bekannter Bilderkennungsverfahren ist es möglich, eine relative Veränderung der Lage der Kontur bezüglich eines Bildkoordinatensystems zu beschreiben. Diejenigen Bilddaten, durch welche die Kontur beschrieben wird, werden aus den Bildaufnahmen der Bildfolge extrahiert und daraus ein Bilddatenextraktstrom gebildet und als gebildeter Bilddatenextraktstrom abrufbar gespeichert (Kasten d). Durch den gebildeten Bilddatenextraktstrom sind die beiden erfassten Fahrzeuge darstellbar (stark schematisiert als gewinkelte Pfeile dargestellt) Kasten e) darstellbar. Der gebildete Bilddatenextraktstrom wird einer Vergleichseinheit (durch Kasten f repräsentiert) übergeben und dort mit einem künstlichen Bilddatenextraktstrom (siehe weiter unten) verglichen.

Der Beitrag des Lagesensors bei der Durchführung des erfindungsgemäßen Verfahrens besteht darin, dass zu Messzeitpunkten in dem Sensorbereich Messgrößen erfasst und den Messzeitpunkten zugeordnet als Messdaten gespeichert werden. Durch die zeitliche Abfolge von erfassten Messdaten ist ein Messdatenstrom gegeben. Durch den Lagesensor, der ein Sensorkoordinatensystem mit einer Sensorachse aufweist, werden die Fahrzeuge im Sensorbereich erfasst und während ihrer Bewegung durch den Sensorbereich verfolgt (Tracking). Zu jedem Messzeitpunkt werden aus den Messdaten diejenigen Daten extrahiert, die jeweils einem der Fahrzeuge zuzuordnen sind. Die relative Lage der Fahrzeuge zum Sensorkoordinatensystem ist fortwährend durch Datentripel aus Winkel, Entfernung und Geschwindigkeit als Messdaten gegeben. Aus dem Messdatenstrom ist zudem eine Bewegungsbahn (Fahrspur, Spur) jedes Fahrzeugs ableitbar, die das jeweilige Fahrzeug während seiner Bewegung durch den Sensorbereich beschreibt. Damit ist es auch möglich, zwei oder mehr Fahrzeuge gleichzeitig zu verfolgen. Mittels des Lagesensors werden die beiden Fahrzeuge (siehe schematisch in Kasten j) verfolgt (Kasten i).

Für den Lagesensor werden geschätzte Lageparameter erstellt. Bei Beachtung der Aufstellvorschrift sind die Sensorachse und die optische Achse mit einer Relativlage zueinander angeordnet, die sich durch einen Rotationswinkel und einen räumlichen Versatz angeben lässt. Dabei können sowohl der Wert des Rotationswinkels als auch der Wert des räumlichen Versatzes nur innerhalb jeweils eines durch die Aufstellvorschrift definierten Bereiches liegen. Aus diesem Bereich wird ein geschätzter Rotationswinkel und ein geschätzter räumlicher Versatz gewählt (Kasten k2). Der Messdatenextraktstrom jedes Fahrzeugs wird konvertiert und das jeweilige Fahrzeug als ein 3D-Objekt dargestellt. Auf der Grundlage des geschätzten Rotationswinkels wird eine Rotation einer virtuellen Kamera durchgeführt und jedes 3D-Objekt mittels der virtuellen Kamera abgebildet, wodurch das 3D-Objekt in eine 2D-Fläche projiziert wird (Kasten 11 ). Außerdem kann das 3D-Objekt translatiert werden, um den geschätzten räumlichen Versatz zu berücksichtigen.

Für die virtuelle Kamera werden dieselben intrinsischen Parameter angenommen, die auch die Kamera (Kasten b) aufweist (Kasten 12). Dabei werden Datenpunkte des 3D-Objekts in Datenpunkte in der 2D-Fläche überführt. Da der Messdatenextraktstrom eine Anzahl von Messzeitpunkten umfasst, ist durch die Projektion eine Bewegungsbahn (Spur) des Fahrzeugs im Sensorbereich abgebildet (Kasten j). Die Datenpunkte in der 2D-Fläche ergeben einen künstlichen Bilddatenextraktstrom (Kasten m). Dieser künstliche Bilddatenextraktstrom wird an die Vergleichseinheit (Kasten f) übergeben und mit dem gebildeten Bilddatenstrom verglichen und in Übereinstimmung gebracht. Dabei wird erforderlichenfalls eine weitere Rotation um einen weiteren Rotationswinkel durchgeführt. Wird durch die weitere Rotation eine bessere Übereinstimmung der Bilddatenextraktströme erreicht, wird der weitere Rotationswinkel zur Korrektur des geschätzten Rotationswinkels verwendet. Außerdem wird erforderlichenfalls ein weiterer räumlicher Versatz ermittelt. Wird durch den weiteren räumlichen Versatz eine bessere Übereinstimmung der Bilddatenextraktströme erreicht, wird der weitere räumliche Versatz zur Korrektur des geschätzten räumlichen Versatzes verwendet.

Aus dem geschätzten und dem weiteren Rotationswinkel ergibt sich ein tatsächlich erforderlicher Rotationswinkel. Ebenso ergibt sich aus dem geschätzten räumlichen Versatz und dem weiteren räumlichen Versatz ein tatsächlich erforderlicher räumlicher Versatz. Der tatsächlich erforderliche Rotationswinkel und der tatsächlich erforderliche räumliche Versatz beschreiben als Lageparameter eine Relativlage der Koordinatensysteme zueinander. Anhand der Lageparameter ist eine Transformationsregel ableitbar, mittels welcher Punkte eines Koordinatensystems in Punkte des anderen Koordinatensystems umgerechnet werden können. In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens können die Bewegungsbahnen abgeleitet werden, indem erfasste Messdaten extrapoliert und Pseudomessdaten gebildet werden. Die Pseudomessdaten erlauben die Beschreibung von Bewegungsbahnen außerhalb des Sensorbereichs.