Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
MODEL-BASED 3D POSITION DETECTION OF AN OBJECT WHICH IS RECORDED BY MEANS OF A CALIBRATED CAMERA FOR SURVEILLANCE PURPOSES FROM A SINGLE ANGLE, THE 3D POSITION OF THE OBJECT BEING DETERMINED AS THE INTERSECTION OF THE STRAIGHT LINE WITH THE MODEL OF THE SCENE
Document Type and Number:
WIPO Patent Application WO/2009/068336
Kind Code:
A2
Abstract:
Video surveillance systems are used to observe oftentimes large-area, broken or complex surveillance areas. The image data streams recorded with the surveillance camera are usually brought together in a surveillance center or the like and are either automated there or controlled by surveillance personnel. The invention relates to an image processing module (3) for estimating an object position of a surveillance object or subareas thereof in a surveillance area for a surveillance system (1) for surveilling at least said surveillance area by means of at least one surveillance camera (2). Said image processing module comprises a model input interface (6) for receiving a model or partial model of the surveillance area (referred to in the following as model), a camera input interface (7) for receiving a camera model of the surveillance camera (2), an object input interface for receiving an object point of the surveillance object, said object points being determined based on a surveillance image recorded from one or more image points of the surveillance object by means of the surveillance camera. The image processing module (5) is adapted to determine the object position of the surveillance object or subareas thereof in the surveillance area by calculation of the model, the camera model and the object point, the model being configured as a 3D model so that the object position can be determined as a 3D object position.

Inventors:
HEIGL STEPHAN (DE)
Application Number:
PCT/EP2008/062883
Publication Date:
June 04, 2009
Filing Date:
September 26, 2008
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
BOSCH GMBH ROBERT (DE)
HEIGL STEPHAN (DE)
International Classes:
G08B13/194; G06T7/00
Domestic Patent References:
WO2004042662A12004-05-21
Other References:
ROBERT T COLLINS ET AL.: "Algorithms for Cooperative Multisensor Surveillance", PROCEEDINGS OF THE IEEE, vol. 89, no. 10, 1 October 2001 (2001-10-01), XP011044562
Attorney, Agent or Firm:
ROBERT BOSCH GMBH (Stuttgart, DE)
Download PDF:
Claims:
Ansprüche

1. Bildverarbeitungsmodul (3) zur Schätzung einer Objektposition eines

überwachungsobjekts oder Teilbereichen davon in einem überwachungsbereich für ein überwachungssystem (1) zur überwachung von mindestens diesem

überwachungsbereich mit mindestens einer überwachungskamera (2),

mit einer Modelleingangsschnittstelle (6) zur übernahme eines Modells oder Teilmodells des überwachungsbereichs - nachfolgend zusammenfassend als Modell bezeichnet -,

mit einer Kameraeingangsschnittstelle (7) zur übernahme eines Kameramodells der überwachungskamera (2),

mit einer Objekteingangsschnittstelle zur übernahme eines Objektpunkts des überwachungsobjekts, wobei der Objektpunkt auf Basis von einem oder mehreren

Bildpunkten des überwachungsobjekts eines mit der überwachungskamera aufgenommenen überwachungsbilds bestimmt ist,

wobei das Bildverarbeitungsmodul (5) ausgebildet ist, durch Verrechnung des Modells, des Kameramodells und des Objektpunkts die Objektposition des überwachungsobjekts bzw. Teilbereichen davon in dem überwachungsbereich zu bestimmen,

dadurch gekennzeichnet,

dass das Modell als ein 3D-Modell ausgebildet ist, so dass die Objektposition als 3D-

Objektposition bestimmbar ist.

2. Bildverarbeitungsmodul (5) nach Anspruch 1, dadurch gekennzeichnet, dass die mindestens eine überwachungskamera (2) einen Erfassungsbereich aufweist und sich der überwachungsbereich und/oder das Modell weiter als der Erfassungsbereich erstreckt.

3. Bildverarbeitungsmodul (5) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das überwachungssystem (1) mindestens zwei überwachungskameras (2) mit überlappenden und/oder nicht-überlappenden Erfassungsbereichen aufweist und sich der überwachungsbereich und/oder das Modell mindestens über oder weiter als die Erfassungsbereiche der mindestens zwei überwachungskameras (2) erstreckt.

4. Bildverarbeitungsmodul (5) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Verrechnung der Objektpunkt in der Bildebene der überwachungskamera oder in einer äquivalenten Ebene auf Basis des Kameramodells auf einen Abbildungspunkt (15) des 3D-Modells abgebildet wird, wobei der Abbildungspunkt (15) die 3D-Objektposition repräsentiert.

5. Bildverarbeitungsmodul (5) nach Anspruch 4, dadurch gekennzeichnet, dass der Abbildungspunkt (145) als Schnittpunkt einer Halbgeraden (13) mit einem Element (9) des 3D-Modells definiert ist, wobei die Halbgerade durch einen Projektionsursprung (11) der modellierten überwachungskamera (2) und durch einen auf dem Objektpunkt basierenden Projektionspunkt (14) verläuft.

6. Bildverarbeitungsmodul (5) nach Anspruch 5, dadurch gekennzeichnet, dass bei mehreren Schnittpunkten (15, 16) der Schnittpunkt (15) mit dem kleinsten Abstand zu dem Projektionsursprung (11) als Abbildungspunkt (15) gewählt wird.

7. Bildverarbeitungsmodul (5) nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Speichervorrichtung (17), wobei in der Speichervorrichtung (17) die Menge aller Abbildungspunkte (15) für eine Vielzahl und/oder alle Bildpunkte im Erfassungsbereich der überwachungskamera (2) gespeichert ist.

8. Verfahren zur Bestimmung einer 3D-Objektposition eines von einer überwachungskamera (2) erfassten überwachungsobjekts in einem überwachungsbereich vorzugsweise unter Verwendung des Bildverarbeitungsmoduls (5) nach einem der vorhergehenden Ansprüche,

wobei ein Objektpunkt des überwachungsobjekts in der Bildebene der überwachungskamera (2) bestimmt wird,

wobei der Objektpunkt auf der Basis eines Kameramodells der überwachungskamera (2) auf einen Abbildungspunkt (15) eines 3D-Modells oder 3D-Teilmodells des überwachungsbereichs - nachfolgend zusammenfassend als 3D-Modell bezeichnet - abgebildet wird,

wobei die 3D-Objektposition des Abbildungspunkts (15) als 3D-Objektposition des

Objektpunkts und/oder des überwachungsobjekts interpretiert wird.

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Abbildung durch Konstruktion einer Halbgeraden erfolgt, welche durch das Projektionszentrum (11) der überwachungskamera (2) und einen auf dem Objektpunkt basierenden Projektionspunkt

(14) definiert ist, wobei der Abbildungspunkt (15) als ein Schnittpunkt der Halbgeraden mit dem 3D-Modell (8) ausgebildet ist.

10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass bei mehreren Schnittpunkten (15, 16) der Halbgeraden mit dem 3D-Modell (8) der Schnittpunkt (15) mit dem kleinsten Abstand zu dem Projektionszentrum (11) als Abbildungspunkt (15) gewählt wird.

11. Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass alle Bildpunkte in der Bildebene der überwachungskamera (2) auf Abbildungspunkte (15) des 3D-Modells (8) abgebildet werden und die Abbildungspunkte gespeichert werden.

12. Computerprogramm mit Programmcode-Mitteln, um alle Schritte des Verfahrens nach einem der Ansprüche 8 bis 11 durchzuführen, wenn das Programm auf einem Computer und/oder einem Bildverarbeitungsmodul (5) gemäß Anspruch der

Ansprüche 1 bis 7 ausgeführt wird.

Description:

Beschreibung

Titel

Bildverarbeitungsmodul zur Schätzung einer Objektposition eines überwachungsobiekts, Verfahren zur Bestimmung einer Objektposition eines überwachungsobjekts sowie Computerprogramm

Stand der Technik

Die Erfindung betrifft ein Bildverarbeitungsmodul zur Schätzung einer Objektposition eines überwachungsobjekts oder Teilbereichen davon in einem überwachungsbereich für ein überwachungssystem zur überwachung von mindestens diesem überwachungsbereich mit einer überwachungskamera, mit einer Modelleingangsschnittstelle zur übernahme eines Modells oder Teilmodells des überwachungsbereichs, mit einer Kameraeingangsschnittstelle zur übernahme eines Kameramodells der überwachungskamera, mit einer Objekteingangsschnittstelle zur

übernahme eines Objektpunkts des überwachungsobjekts, wobei der Objektpunkt auf Basis von einem oder mehreren Bildpunkten des überwachungsobjekts eines mit der überwachungskamera aufgenommenen überwachungsbilds bestimmt ist, wobei das Bildverarbeitungsmodul ausgebildet ist, durch Verrechnung des Modells, des Kameramodells und des Objektpunkts die Objektposition des überwachungsobjekts bzw.

Teilbereichen davon in dem überwachungsbereich zu bestimmen. Ferner betrifft die Erfindung ein entsprechendes Verfahren zur Bestimmung der Objektposition eines überwachungsobjekts sowie ein Computerprogramm.

Videoüberwachungssysteme dienen dazu, mit Hilfe von überwachungskameras oftmals weiträumige, verwinkelte oder komplexe überwachungsbereiche zu beobachten. Die mit den überwachungskameras aufgenommenen Bilddatenströme werden üblicherweise in eine überwachungszentrale oder dergleichen zusammengeführt und dort entweder automatisiert oder durch überwachungspersonal kontrolliert.

Mit der steigenden Größe bzw. Komplexität der überwachungsbereiche und somit einer steigenden Anzahl von überwachungskameras nimmt die Anzahl von den Bilddatenströmen, welche von dem Wachpersonal kontrolliert werden müssen, stetig zu. Ab einer gewissen Anzahl von Videomonitoren zur Darstellung der Bilddatenströme muss davon ausgegangen werden, dass die Aufmerksamkeit für jeden einzelnen

Videomonitor des Wachpersonals sicher verringert ist. Wird die Anzahl der Videomonitore weiter erhöht, so kann dies zu einer unüberschaubaren Anzahl führen, so dass eine ausreichende überwachungsqualität möglicherweise nicht mehr gesichert ist.

Eine Weiterentwicklung von Videoüberwachungssystemen ist beispielsweise durch die

Druckschrift DE 698 125 18 T2, die wohl den nächstkommenden Stand der Technik bildet, gegeben, in der eine Bildverarbeitungsvorrichtung zur Beobachtung von zum Beispiel einem Fußballplatz offenbart ist. In dieser Druckschrift wird vorgeschlagen, dem Beobachter das Fußballfeld nicht mehr real darzustellen, sondern ihm ein Modell des Fußballfelds zu zeigen und die Fußballspieler als virtuelle Objekte einzublenden. Hierzu wird in einem ersten Schritt in einem Videobild die Lage des Fußballfeldes kalibriert, indem vier Eckpunkte des Fußballfelds in dem Videobild manuell bestimmt werden. In weiteren Schritten werden durch Bildverarbeitungsalgorithmen die Bilder von detektierten Fußballspielern in der Bildebene der überwachungskamera mit Rechtecken (bounding-box) zu umgeben. Diese Rechtecke werden nachfolgend datentechnisch von der 2-D-Bildebene der überwachungskamera in das 2-D-Modell des Fußballfelds übertragen. In einem nächsten Schritt werden die Rechtecke "aufgestellt ", indem diese in dem 2-D-Modell des Fußballfeldes um eine der überwachungskamera zugewandte Seitenlinie des Rechtecks um 90° geschwenkt werden. Die Proportionen des Rechtecks werden nach perspektivischen Gesichtspunkten verzerrt, so dass in dem 2-D-Modell des

Fußballfelds zunächst perspektivisch annähernd richtige Abbilder der Fußballspieler dargestellt sind. In weiteren Schritten wird diese Operation für weitere Fußballspieler durchgeführt und so Ansichten eines jeden Fußballspielspielers aus verschiedenen Perspektiven erhalten. Diese perspektivischen Ansichten werden zu einem Modell des Fußballspielers zusammengezogen, so dass eine 3 -D-Darstellung der Fußballspieler gebildet wird.

Offenbarung der Erfindung

Im Rahmen der Erfindung wird ein Bildverarbeitungsmodul mit den Merkmalen des Anspruchs 1, ein Verfahren zur Bestimmung einer Objektposition mit den Merkmalen des Anspruchs 8 sowie ein Computerprogramm mit den Merkmalen des Anspruchs 12 vorgeschlagen. Bevorzugte oder vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen, der nachfolgenden Beschreibung sowie den beigefügten

Figuren.

Das vorgeschlagene Bildverarbeitungsmodul ist vorzugsweise ein Teil eines überwachungssystems realisiert, wobei das überwachungssystem zur überwachung von mindestens einem überwachungsbereich mit einer überwachungskamera geeignet und/oder ausgebildet ist, wobei die überwachungskameras auf relevante Bereiche in dem überwachungsbereich gerichtet und/oder zu richten sind. Ein weiterer offenbarter Erfindungsgegenstand ist somit auch ein derartiges überwachungssystem mit dem Bildverarbeitungsmodul. Der überwachungsbereich kann beispielsweise als das Innere eines Gebäudekomplexes, öffentliche Plätze, Krankenhäuser, etc. ausgebildet sein.

Das Bildverarbeitungsmodul ist zur Schätzung einer Objektposition eines überwachungsobjekts oder Teilbereichen davon in dem überwachungsbereich ausgebildet. Eine Schätzung bedeutet in diesem Zusammenhang eine Bestimmung der Objektposition, wobei eine beliebige Definition für die Objektposition des

überwachungsobjekts verwendbar ist Beispiele für Definitionen sind der Schwerpunkt des überwachungsobjekts, ein Fußpunkt des überwachungsobjekts oder dergleichen. Das überwachungsobjekt kann als beliebiges, bewegtes, quasi-stationäres oder stationäres überwachungsobjekt ausgebildet sein und ist vorzugsweise dadurch gekennzeichnet, dass es in dem nachfolgend beschriebenen Modell nicht abgebildet ist.

Das Bildverarbeitungsmodul weist eine Modelleingangsschnittstelle zur übernahme eines Modells oder eines Teilmodells des überwachungsbereichs auf, wobei Modell oder Teilmodell nachfolgend zusammenfassend als Modell bezeichnet werden. Das Modell bildet statische, quasi-statische und/oder nicht-statische Elemente des

überwachungsbereichs ab. Beispielsweise kann das Modell die Pläne eines Gebäudes, Möbel, Schreibtische oder dergleichen enthalten. Quasi-statische Elemente sind beispielsweise bei der überwachung eines Parkplatzes durch parkende Autos gegeben, welche üblicherweise eine längere Verweildauer unbewegt bleiben. Weiterhin kann das

- A -

Modell auch nicht-statische Elemente enthalten, wie zum Beispiel durchfahrende Züge, Rolltreppen, Aufzüge, Paternoster oder dergleichen enthalten.

Eine Objekteingangsschnittstelle dient zur übernahme eines Objektpunkts des überwachungsobjekts. Der Objektpunkt wird auf Basis von einem oder mehreren

Bildpunkten des überwachungsobjekts eines mit der überwachungskamera aufgenommenen überwachungsbilds bestimmt. Bei einer möglichen Umsetzung erfolgt in dem Bildverarbeitungsmodul oder in einem vorgeschalteten Modul eine Detektion des überwachungsobjekts in dem überwachungsbild, wobei das detektierte Abbild des überwachungsobjekts z.B. mit einem Rechteck oder Polygon umschlossen wird und wobei z.B. ein Fußpunkt des Rechtecks als Objektpunkt weitergegeben wird. Alternativ hierzu kann selbstverständlich auch ein Schwerpunkt des überwachungsobjekts oder dergleichen als Objektpunkt weitergegeben werden.

Ferner umfasst das Bildverarbeitungsmodul eine Kameraeingangsschnittstelle zur

übernahme eines Kameramodells. Das Kameramodell umfasst insbesondere die Lage und/oder Ausrichtung sowie die Abbildungs- und/oder Projektions eigenschaften der überwachungskamera in Weltkoordinaten und/oder Modellkoordinaten, so dass die überwachungskamera und deren Erfassungsbereich in das Modell integriert werden kann. Beispielsweise ist das Kameramodell als eine Transformationsmatrix realisiert, welche eine Transformation von Bildpunkten in der Bildebene der überwachungskamera in das Modell erlaubt.

Modelleingangsschnittstelle und Kameraeingangsschnittstelle können auch als eine gemeinsame Schnittstelle ausgebildet sein, wobei das Modell dann das Kameramodell umfasst.

Das Bildverarbeitungsmodul ist steuerungstechnisch und/oder schaltungstechnisch ausgebildet, durch Verrechnung des Modells, des Kameramodells und des Objektpunkts die Objektposition des überwachungsobjekts bzw. Teilbereichen davon in dem

überwachungsbereich zu bestimmen. Hierzu wird vorzugsweise zunächst die Lage des Objektpunkts in dem Modell bestimmt - somit die Lage des Objektspunkts in Modellkoordinaten bestimmt -und in einem weiteren Schritt die Lage in Modellkoordinaten auf eine Lage in Weltkoordinaten in dem überwachungsbereich übertragen.

Der Erfindung folgend wird vorgeschlagen, dass das Modell als ein 3 -D-Modell ausgebildet ist, so dass die Objektposition als 3 -D-Objektposition bestimmbar ist. Das 3- D-Modell wird gegenüber dem 2-D-Modell, insbesondere dadurch abgegrenzt, dass das 3 -D-Modell wenigstens ein Element außerhalb einer Ebene enthält. Das 3 -D-Modell weist somit räumliche Elemente auf, wie beispielsweise 3 -D-Dreiecksnetze, Höhenkarten oder auch einfache Formen oder Körper wie Sphären, Quader oder dergleichen zur Modellierung von realen Elementen in dem überwachungsbereich. Vorzugsweise sollte das Modell den räumlichen Gegebenheiten der realen Szene so nahe wie möglich kommen. Das Modell wird auch als Kollisionsmodell bezeichnet.

Ein Gedanke der Erfindung ist es, dass es oftmals notwendig ist, überwachungsobjekte nicht nur in ebenen bzw. planen überwachungsbereichen, sondern auch in überwachungsbereichen mit wechselnden Höhen zu orten. Zum einen kann - um auf das Beispiel des Fußballfelds zurückzukommen - eine Tribüne oder dergleichen nicht mehr von dem bekannten System sinnvoll verarbeitet werden. Zum anderen ist die erfindungsgemäße Ausgestaltung vorteilhaft, wenn das 3 -D-Modell beispielsweise ein komplettes Gebäude abbildet und Objektpositionen in verschiedene Etagen oder Zwischenetagen zu bestimmen sind. Dadurch, dass ein „echtes" 3 -D-Modell verwendet wird und ein Objektpunkt des überwachungsobjekts in das Modell abgebildet wird, können in einfacher Weise auch geometrisch komplexe überwachungsbereiche in die Objektpositionsermittlung übernommen werden.

Bei einer Weiterbildung der Erfindung weist die mindestens eine überwachungskamera einen bzw. den Erfassungsbereich auf, also einen räumlichen Bereich in dem

überwachungsbereich, der mit der überwachungskamera beobachtet wird, wobei sich der überwachungsbereich und/oder das Modell weiter oder weiträumiger als der Erfassungsbereich erstreckt. Der Erfassungsbereich der Kamera bildet somit einen Teilbereich des überwachungsbereichs bzw. deckt nur einen Teilbereich des Modells ab.

Es ist auch möglich, dass das überwachungssystem mindestens zwei überwachungskameras mit überlappenden und/oder nicht-überlappenden Erfassungsbereichen aufweist, wobei sich der überwachungsbereich und/oder das Modell genau über die Erfassungsbereiche oder weiter als die Erfassungsbereiche der mindestens zwei überwachungskameras erstreckt. Beide Weiterbildungen zielen darauf ab, dass das

Modell weiträumiger als der Erfassungsbereich einer einzigen überwachungskamera ausgebildet ist, um - wie bereits erläutert - auch komplexe überwachungsbereiche effektiv kontrollieren zu können.

Bei einer möglichen Konkretisierung der Erfindung ist das Bildverarbeitungsmodul schaltungstechnisch und/oder programmtechnisch so ausgebildet, dass der Objektpunkt, welcher in der Bildebene oder in einer dazu äquivalenten Ebene der überwachungskamera liegt und in Bildkoordinaten angegeben ist, auf Basis des Kameramodells auf einen Abbildungspunkt des 3 -D-Modells abgebildet wird. Vorzugsweise liegt der Abbildungspunkt in dem 3-D-Modell auf einer Randfläche eines in dem 3 -D-Modell dargestellten Elements.

Der derart ermittelte Abbildungspunkt wird als 3 -D-Objektposition interpretiert und beispielsweise über eine weitere Schnittstelle ausgegeben.

Bei einer möglichen Ausführungsform ist das Bildverarbeitungsmodul so ausgebildet, dass der Objektpunkt in der Bildebene auf einen Projektionspunkt in dem Modell abgebildet wird, wobei der Projektionspunkt auf einer lagerichtig in dem Modell angeordneten Projektionsebene der überwachungskamera liegt. Die Projektionsebene ist als die Ebene definiert, durch die Strahlen, ausgehend von einem Projektionszentrum der

überwachungskamera durch einen oder mehrere Projektionspunkte verlaufen und in dem Modell auf den korrespondierenden Abbildungspunkt treffen. Die Abbildung des Objektpunkts auf den Projektionspunkt ist durch das Kameramodell vollständig bestimmt.

Durch Kenntnis der Lage des Projektionspunkts und der Lage des Projektionszentrums ist es möglich, z.B. auf Basis von geometrischen Optik, eine Halbgerade zu konstruieren, deren Ursprung in dem Projektionszentrum liegt und die durch den Projektionspunkt verläuft. Durch diese Operation ist sichergestellt, dass der gesuchte Abbildungspunkt auf der Halbgeraden liegt.

Bevorzugt ist das Bildverarbeitungsmodul derart weitergebildet, dass mindestens ein Schnittpunkt der Halbgeraden mit einem oder mehreren Elementen des 3 -D-Modells gesucht werden. Vorzugsweise wird als Schnittpunkt ein Punkt auf der Randfläche, also z.B. ein Durchstoßpunkt gesucht.

Nachdem es möglich ist, dass die Halbgerade mehrere Elemente des 3 -D-Modells durchstößt und/oder eine Vorder- und eine Rückseite eines Elements des 3 -D-Modells durchstößt, ist es weiterhin bevorzugt, dass der Schnittpunkt als Abbildungspunkt gewählt wird, welche den kleinsten Abstand zu dem Projektionsursprung und/oder zu der

überwachungskamera aufweist. Hierdurch ist sichergestellt, dass der Schnittpunkt auf einer von der überwachungskamera erfassbaren Fläche angeordnet wird.

Der derart ermittelte Schnittpunkt wird als Abbildungspunkt interpretiert und repräsentiert die 3D-Objektposition des Objektpunkts und damit auch des Objekts zunächst in Modellkoordinaten, die in einfacher Weise in Weltkoordinaten gewandelt werden können.

Insbesondere mit dem Ziel, im überwachungsbetrieb die Anforderung an Prozessoren oder dergleichen zu verringern, wird ergänzend vorgeschlagen, dass eine

Speichervorrichtung implementiert ist, in der die Menge aller Abbildungspunkte für eine Vielzahl und/oder alle Bildpunkte im Erfassungsbereich der überwachungskamera gespeichert ist. In diesem Fall kann im überwachungsbetrieb für einen Objektpunkt in datentechnisch einfacher Weise der korrespondierende Abbildungspunkt gefunden werden, ohne zum Beispiel die Prüfung auf mehrere Schnittpunkte durchführen zu müssen. Der Dateninhalt der Speichervorrichtung kann zum einen in einer Initialisierungsphase eingespeichert werden, alternativ ist es möglich, dass der Inhalt der Speichervorrichtung regelmäßig, unregelmäßig und/oder ereignisgesteuert aktualisiert wird.

Ein weiterer Gegenstand der Erfindung betrifft ein Verfahren zur Bestimmung einer 3 -D- Objektposition eines von einer überwachungskamera erfassten überwachungsobjekts in einem überwachungsbereich, welches vorzugsweise mit Hilfe des soeben beschriebenen Bildverarbeitungsmoduls bzw. nach einem der vorhergehenden Ansprüche durchgeführt wird.

Bei dem erfindungsgemäßen Verfahren wird zunächst ein Objektpunkt des überwachungsobjekts in der Bildebene der überwachungskamera bestimmt. Hierzu wird beispielsweise - wie bereits ausgeführt - ein Rechteck um das detektierte überwachungsobjekt gelegt und der Fußpunkt des Rechtecks als Objektpunkt gewählt.

In einem nächsten Schritt wird der Objektpunkt auf Basis eines oder des Kameramodells der überwachungskamera auf einen oder den Abbildungspunkt eines 3 -D-Modells oder 3 -D-Teilmodells, welche nachfolgend ebenfalls zusammenfassend als 3 -D-Modell bezeichnet werden, abgebildet.

Die Abbildung kann beispielsweise dadurch erfolgen, dass auf Basis des Kameramodells eine Transformationsmatrix erstellt wird, welche das Videobild oder Abschnitte davon der überwachungskamera von der Bildebene auf eine Projektionsfläche des 3 -D-Modells transformiert, wobei Lage und Größe des transformierten Videobilds so gewählt ist, dass die Bildpunkte des Videobilds als lagerichtig Projektionspunkte in dem 3 -D-Modell angeordnet sind.

In einem nachfolgenden Schritt wird der Objektpunkt mittels der Transformationsmatrix auf einen Projektionspunkt in der Projektionsebene abgebildet. Eine Halbgerade, welche in dem Projektionszentrum der überwachungskamera ihren Anfang hat und den Projektionspunkt durchstößt wird dann mit dem Modell geschnitten, wobei ein Abbildungspunkt gefunden wird, welcher als ein Schnittpunkt der Halbgeraden mit dem 3 -D-Modell ausgebildet ist. Die 3 -D-Objektposition des Abbildungspunkts wird dann als 3 -D-Objektposition des Objektpunkts und/oder des überwachungsobjekts interpretiert.

Bei einer Weiterbildung der Erfindung können auch einige oder sämtliche Objektpunkte des überwachungsobjekts in das 3 -D-Modell projiziert werden, um eine komplexere 3 -D- Positionsinformation des überwachungsobjekts zu erhalten.

Auch bei dem Verfahren ist es möglich, dass bei mehreren Schnittpunkten einer einzigen der Halbgeraden mit dem 3 -D-Modell der Schnittpunkt mit dem kleinsten Abstand zu dem Projektionszentrum als Abbildungspunkt gewählt wird.

Eine weitere mögliche Ausgestaltung ist darin zu sehen, dass einige, eine Mehrzahl und/oder alle Bildpunkte in der Bildebene der überwachungskamera auf Abbildungspunkte des 3-D-Modells abgebildet werden, so dass diese im Sinne einer Tabelle oder einer Look-Up-Table vorliegen. Dieser Schritt kann regelmäßig, unregelmäßig und/oder ereignisgesteuert und/oder in Abhängigkeit der Aktualisierung des 3-D-Modells erfolgen.

Obwohl die Erfindung anhand einer Darstellung mit Halbgeraden vorgestellt wurde, kann die gleiche Abbildung auch in einer äquivalenten mathematischen Darstellung umgesetzt werden.

Ein weiterer Gegenstand der Erfindung betrifft ein Computerprogramm mit den Merkmalen des Anspruchs 12.

Kurze Beschreibung der Zeichnungen

Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung sowie den Figuren der Erfindung. Dabei zeigen:

Figur 1 ein Blockdiagramm eines überwachungssystems mit einem Bildverarbeitungsmodul als ein Ausführungsbeispiel der Erfindung;

Figur 2 eine schematische Darstellung eines 3-D-Modells zur Illustration des Verfahrens gemäß der Erfindung.

Ausführungsform(en) der Erfindung

Die Figur 1 zeigt in einer schematischen Blockdarstellung ein überwachungssystem 1 , welches mit einer Mehrzahl von überwachungskameras 2 verbunden und/oder verbindbar ist. Die überwachungskameras 2 sind in einem überwachungsbereich (nicht dargestellt) verteilt angeordnet, wobei sich die Erfassungsbereiche der

überwachungskameras 2 teilweise überlappen, jedoch auch Erfassungsbereiche vorgesehen sind, welche keine Schnittmenge mit einem Erfassungsbereich einer anderen überwachungskamera 2 bildet.

Das überwachungssystem 1 weist unter anderem ein Bildverarbeitungsmodul 3 auf, welches ausgebildet ist, auf Basis von später näher definierten Eingangsdaten eine 3-D- Objektposition eines überwachungsobjekts in dem überwachungsbereich zu bestimmen. Dieses Bildverarbeitungsmodul 3 wird eingesetzt, wenn es interessant ist, zu einem durch das überwachungssystem 1 erfassten überwachungsobjekt eine Information über die 3- D-Objektposition in Weltkoordinaten zu erhalten.

Zur Ermittlung der 3-D-Objektposition wird in einem ersten Schritt das überwachungsobjekt in einem Videobild einer der überwachungskameras 2 detektiert und beispielsweise durch eine „Bounding-Box", also einem in das Videobild datentechnisch projiziertes Rechteck, erfasst.

Ein Fußpunkt der Bounding-Box, also ein Punkt, welcher in der Mitte der Seitenkante des Rechtecks liegt, die perspektivisch interpretiert die Unterseite des überwachungsobjekts repräsentieren müsste, wird als ein Objektpunkt definiert. Die Operation der Objektpunktextraktion wird in einer Detektionseinrichtung 4 durchgeführt, welche

Bestandteil des Bildverarbeitungsmoduls 3 sein, diesem jedoch auch vorgeschaltet sein kann.

Der Objektpunkt wird an eine Auswerteeinrichtung 5 übergeben, welche dazu ausgebildet ist, die 3 -D-Objektposition dieses Objektpunktes zu bestimmen, wie nachfolgend dargelegt wird.

Als weitere Daten erhält die Auswerteeinrichtung 5 von einem ersten Datenspeicher 6 ein Modell des überwachungsbereichs. Das Modell ist als ein 3-D-Modell ausgebildet, enthält somit Elemente, welche außerhalb einer gemeinsamen Ebene definiert sind. Die räumliche Erstreckung des Modells kann sich auf den Erfassungsbereich einer einzigen überwachungskamera 2 beschränken, größer als dieser Erfassungsbereich sein, über mindestens die Erfassungsbereiche von zwei überwachungskameras 2 gehen oder eine Vielzahl von Erfassungsbereichen von überwachungskameras 2 erfassen. Das Modell soll der Realität so nahe wie möglich kommen und weist beispielsweise Raum-,

Gebäude- und/oder Geländegrenzen, 3 -D-Dreiecksnetze, Höhenkarten oder auch einfache geometrische Körper, wie zum Beispiel Sphären oder Quader zur Nachbildung der realen Welt dar. Die reale Welt wird datentechnisch in Weltkoordinaten dargestellt, das Modell liegt in Modellkoordinaten vor. Die Transformation von Welt- zu Modellkoordinaten oder in umgekehrter Richtung ist vollständig bestimmt.

Als weitere Eingangsdaten erhält die Auswerteeinrichtung 5 aus einem zweiten Datenspeicher 7 ein Kameramodell der überwachungskamera 2, mit der das überwachungsobjekt erfasst ist bzw. die den Objektpunkt bereitstellt. Das Kameramodell umfasst Daten über die Lage und die Ausrichtung der überwachungskamera 2 in Modell-

bzw. Weltkoordinaten sowie über die optischen Abbildungseigenschaften der überwachungskamera, so dass beispielsweise der Erfassungsbereich der überwachungskamera 2 in dem 3D-Modell modellierbar ist.

Unter Verwendung der Daten des Kameramodells, des Modells sowie des Objektpunkts kann nun die 3-D-Objektposition des Objektpunkts in Modell- bzw. Weltkoordinaten berechnet werden. Diese Berechnung wird anhand der schematischen Darstellung eines 3 -D-Modells 8 in der nachfolgenden Figur erläutert.

Das 3 -D-Modell ist in der Figur 2 vereinfacht mit zwei Elementen dargestellt, nämlich einem Quader 9 und einer modellierten überwachungskamera 10. Beispielsweise ist das 3 -D-Modell als ein Drahtgittermodell ausgeführt. Der Quader 9 repräsentiert ein beliebiges reales Objekt in dem überwachungsbereich, wie zum Beispiel einen Schreibtisch oder dergleichen. Eine Vielzahl derartiger Körper kann somit das 3-D- Modell bilden.

Die modellierte überwachungskamera 10 umfasst ein Projektionszentrum 11 sowie eine Projektionsebene 12. Projektionszentrum 11 und -ebene 12 sind so angeordnet, dass ein Bildpunkt der zu der modellierten Kamera 10 korrespondierenden realen überwachungskamera 2 auf einer Halbgeraden, welche im Projektionszentrum 11 beginnt und sich durch einen zu dem Bildpunkt korrespondierenden Abbildungspunkt erstreckt, lagerichtig als Projektionspunkt auf der Projektionsebene 12 abgebildet liegt.

Diese optisch geometrischen Zusammenhänge können auch von der schematischen Darstellung in der Figur 2 entnommen werden, so verläuft eine Halbgerade 13 ausgehend von dem Projektionszentrum 11 durch einen Projektionspunkt 14 und durch einen Abbildungspunkt 15, welcher auf der Oberseite oder Oberfläche des Quaders 9 liegt. Die Ausrichtung sowie Lage des Projektionszentrums 11, der Projektionsebene 12 sowie der Projektionspunkte 14 sind durch das Kameramodell und das Modell 8 vorgegeben.

Wieder zurückkehrend zu der geschilderten Verfahrensweise des Bildverarbeitungsmoduls 3 in Figur 1 wird der Objektpunkt als Projektionspunkt 14 lagerichtig in dem Modell 8 eingetragen. Nachfolgend wird die Halbgerade 13 durch das Projektionszentrum 11 und den Projektionspunkt 14 gebildet, so dass durch diese Eingangsdaten eine Richtung der Halbgeraden 13 definiert ist. In einem nächsten Schritt

wird die Halbgerade 13 mit dem Modell 8 - in diesem Fall mit dem Quader 9 - geschnitten. Wie sich aus der Darstellung ergibt, liegen zwei Schnittpunkte vor, nämlich der Abbildungspunkt 15 und ein weiterer Schnittpunkt 16. Bei Vorliegen von mehreren Schnittpunkten 15, 16 prüft die Auswerteeinrichtung 5, welcher Schnittpunkt 15, 16 den kleinsten Abstand zu dem Projektionszentrum 11 aufweist, da dieser dann die der modellierten überwachungskamera 10 zugewandte Oberseite oder Sichtseite des Quaders 9 bzw. des 3-D-Modells 8 repräsentieren muss.

Die 3 -D-Lagedaten des Abbildungspunkts 15 werden nachfolgend als 3 -D-Objektposition von der Auswerteeinrichtung 5 bzw. dem Bildverarbeitungsmodul 3 ausgegeben.

Das dargestellte Verfahren erlaubt die Positionsbestimmung in Räumen und auf verschiedenen Höhen. Besonders hervorzuheben ist, dass Wände oder ähnliche Sichtkollisionsobjekte berücksichtigt werden.

Bei einer Weiterbildung des Ausführungsbeispiels ist es auch möglich, dass mehrere Bildpunkte des überwachungsobjekts als Objektpunkte an das Bildverarbeitungsmodul 3 übergeben werden, um eine komplexere Information über die 3 -D-Objektposition des überwachungsobjekts zu erhalten. Bei anderen Ausführungsformen weist das Bildverarbeitungsmodul eine weitere Eingangsschnittstelle zu einem dritten

Datenspeicher 17 auf, wobei in dem dritten Datenspeicher 17 eine Zuordnungstabelle abgelegt ist, in der für jeden Bildpunkt einer der überwachungskameras 2 eine entsprechende 3 -D-Objektposition berechnet ist. Der dritte Datenspeicher 17 wird zum Beispiel in einer Initialisierungsphase, aber auch bei einer Aktualisierung des Modells, des Kameramodells, etc. aufgefrischt. Durch die Verwendung des dritten Datenspeichers

17 kann die Echtzeitfähigkeit des Bildverarbeitungsmoduls 3 und damit des überwachungssystems 1 verbessert werden, da rechenzeitintensive Prozeduren vor dem Echtzeitbetrieb bereits abgearbeitet werden können.