VORBESTIMMTEN AREAL

Die Erfindung betrifft ein System und ein Verfahren zum Lokalisieren eines Objekts in einem vorbestimmten Areal.

Die Überwachung von Arealen, beispielsweise öffentlichen Räumen und öffentlichen Plätzen, erfolgt zum großen Teil mit Videokameras und das Bildmaterial durch visuelle Kontrolle auswertendem Personal, das die Kameras auch steuern, beispielsweise schwenken und damit den Erfassungsbereich der Kamera verändern kann. Alternativ können schwenkbare Kameras mit Personen- und/oder Objekt-Tracking Algorithmen gesteuert werden und mit anderen Überwachungseinrichtungen, beispielsweise mit Nahbereich-Radargeräten gekoppelt werden.

Für die automatische Überwachung von Räumen und Plätzen kann darüber hinaus aus dem 2-D Bild oftmals auch eine räumliche Dimension bestimmt werden, sodass einzelne Teilbereiche des überwachten Areals, beispielsweise Zu- und Ausgänge von Räumen und Plätzen, gesondert überwacht werden können. Zusätzlich können Objekte verfolgt werden, entweder in der 2-D Ebene des Bildes oder die Kameras schwenken durch motorbetriebene Kameramontage dem Objekt hinterher und die Positionsbestimmung des Objektes erfolgt aus einer Berechnung der räumlichen Tiefe auf Basis des 2-D Bildes oder mittels eines zusätzlich verwendeten Laserentfemungsmessers, der die Entfernung zwischen Kamera und Objekt messen kann. Dadurch ergeben sich dann die Positionen der einzelnen Objekte.

Diese Verfahren erfordern entweder einen hohen Personal- oder einen hohen apparativen Aufbau, wobei zum einen unterschiedliche Technologien (z.B.

Videokamera, Radar, Lasermessgerät) miteinander gekoppelt werden müssen, die eine sichere Bestimmung der Position des Objektes und die Unterscheidung des Objekttyps, beispielsweise Fahrzeug, Person, Rollstuhlfahrer, ermöglichen. Es besteht daher ein Bedarf nach einem einfachen, robusten Verfahren zum Lokalisieren eines Objekts in einem vorbestimmten Areal besteht, das nur wenig bis gar nicht auf Beobachtungspersonal angewiesen ist, zuverlässig die aktuelle Position von Objekten bestimmen und als Prozessinformation zur Verfügung stellen kann.

Aufgabe der vorliegenden Erfindung ist es daher ein diesem Bedarf entsprechendes Verfahren und System zum Lokalisieren eines Objekts in einem vorbestimmten Areal bereitzustellen, das jeweils mit geringem Aufwand, geringer Komplexität, möglichst nur auf einer Technologie basierend, einfach einzurichten und zu kalibrieren, zuverlässig, schnell und robust umgesetzt werden kann.

Diese Aufgabe wird erfmdungsgemäß durch das System mit den Merkmalen von Anspruch 1 und dem Verfahren mit den Merkmalen von Anspruch 13 gelöst. Die Unteransprüche geben vorteilhafte Ausgestaltungen der Erfindung wieder.

Der Grundgedanke der Erfindung besteht darin, die optische Peilung und automatische Ermittlung der Position in einem Raum/ einer Flächevon wenigstens einem Objekt in einem Schritt in einem Überwachungssystem zusammenzufassen. Hierfür sind bevorzugt mindestens drei fest installierte Kameras an bestenfalls 90° versetzten Positionen der mittleren Sichtachse der Kameras, an den äußeren Rändern / Ecken des zu überwachenden Areals vorgesehen, wobei die Kameras insbesondere bei einer hohen Winkelauflösung eine hohe Winkelgenauigkeit, also eine winkeltreue Auflösung aufweisen.

Die wenigstens zwei, besser drei (oder mehr) Kameras weisen also möglichst keine zu einer Winkel Verzerrung beitragende Verzeichnung auf und sind dabei so angeordnet, dass sie das gemeinsamen zu überwachende Areal ohne Hindernisse einsehen können. Die Ausrichtung der optischen Achse der Kamera im Verhältnis zu einem vorbestimmten Koordinatensystem in Bezug auf das zu überwachende Areal wird als bekannt vorausgesetzt, damit eine Einordnung in das Koordinationssystem des zu überwachenden Areals möglich ist.

Die Objekte, die sich in dem zu überwachenden Areal befinden, werden bevorzugt jeweils durch die automatische Bildanalyse der mindestens zwei Kamerabilder automatisch erfasst, kategorisiert (z.B. Fahrzeug (Luftfahrzeug, Landfahrzeug, Wasserfahrzeug, Person, etc.) und es wird die Position und Dimension (in allen drei Dimensionen) des Objektes in dem Bild ermittelt.

Durch die ermittelte Position (und gegebenenfalls Dimension) der Objekte innerhalb eines einzelnen Bildes werden die Standlinien zu den Objekten ermittelt, die in der Kombination von wenigstens zwei, besser drei Standlinien der wenigstens zwei, besser drei Kameras zeitlich synchronisiert dann zur automatischen Berechnung der Position der Obj ekte im Areal genutzt werden.

Das erfindungsgemäße System und das erfindungsgemäße Verfahren ermöglichen also die Positionsbestimmung/ Geo-Lokalisierung von Objekten mittels automatischer optischer Peilung unter Einsatz von mindestens zwei, besser drei (oder mehr) Kameras. Es können je nach Bedarf Tageslicht- oder Infrarot- oder Thermalkameras, einzeln oder in Kombination, eingesetzt werden. Diese werden insbesondere zur Überwachung von Räumen und/oder Flächen genutzt, um die Sicherheit von Personen oder Gütern sicherzustellen. Es kann damit ein Lagebild erzeugt werden, das die Sicht aus der Vogelperspektive, bekannt von der Darstellung eines Radarbildes auf einem Plan Position Indicator (PPI), mit den darin detektierten Objekten darstellt. Wichtig ist die zeitliche Synchronisierung der Peilungen aller eingesetzten Kameras.

Das System und das Verfahren sind grundsätzlich unabhängig von der Höhentopographie der zu überwachenden Fläche, wenn nur diese Darstellung gebraucht wird, da das Resultat eine Darstellung der (geographischen) Position auf der Fläche ist. Eine Errechnung der Höhe eines Flugobjektes, z.B. einer Drohne, ist jedoch ebenfalls möglich - in diesem Fall ist dann die Montagehöhe der Kameras mit zu berücksichtigen.

Zur Kalibrierung des Systems sind die optischen Achsen der Kameras (zunächst) in zumindest dem zur senkrechten Achse der Kameramontage bekannten Kamerawinkel ausgerichtet ist. Diese Kamerawinkel können auch auf ein als Bezugssystem verwendetes vorbestimmtes Koordinatensystem bezogen werden, dass das Koordinatensystem des zu überwachenden Raumes/Fläche darstellt. Das Bestimmen der Position der Objekte mittels der mindestens zwei, besser drei zeitlich synchronisierten Standlinien kann unter Verrechnung eines vorbestimmten Bezugspunkts des zu überwachenden Raumes / Fläche erfolgen. Hierfür müssen lediglich rechnerische Korrekturen der Kamerapositionen im Verhältnis zum Bezugspunkt erfolgen, die vollautomatisch durchgeführt werden können.

Erfindungsgemäß wird also ein System zur Lokalisierung eines Objekts in einem vorbestimmten Areal vorgeschlagen, wobei das System eine Mehrzahl von unterschiedlichen Standorten erfassenden Kameras, wobei wenigstens je zwei an unterschiedlichen Standorten angeordnete Kameras einen gemeinsamen Erfassungsbereich aufweisen;

- Mittel zur Markierung eines von wenigstens zwei Kameras zeitgleich erfassten Objekts in den jeweils von den Kameras aufgenommenen Bildern; und

- Mittel zur Positionsbestimmung des in den Bildern der Kameras markierten Objekts durch Berechnung der jeweiligen Standlinie zwischen der jeweiligen Kamera und dem von der jeweiligen Kamera erfassten Objekt und Berechnung der Koordinaten des Objekts im Schnittpunkt der Standlinien in einem das Areal abbildenden Koordinatensystem aufweist.

Bevorzugt weist das System weiter Mittel auf, die bei Eintritt eines Objekts in wenigstens einen Teilbereich des Areals oder Verlassen eines Objekts aus wenigstens einem Teilbereich des Areals zur Ausgabe eines Alarms eingerichtet sind.

Das System ist insbesondere zum Zählen von den Kameras erfassten vorbestimmten Objekten eingerichtet, wobei das System besonders bevorzugt bei Überschreiten einer vorbestimmten Zahl von den Kameras erfassten vorbestimmten Objekten zur Ausgabe eines Alarms eingerichtet ist.

Das System ist insbesondere zum Messen von Distanzen zwischen den von den Kameras erfassten vorbestimmten Objekten eingerichtet, wobei das System besonders bevorzugt bei Überschreiten von vorbestimmten Mindestabständen oder auch maximalen Abständen zur Ausgaben eines Alarms eingerichtet ist.

Das vom System erfasste Objekt ist bevorzugt ausgewählt aus der Gruppe von Objekten bestehend aus einem Menschen, einem Tier, einem Fahrzeug (Luft-, Land und/oder Wasser- Fahrzeug) und/oder einem Ereignis.

Das vom System überwachte Areal ist bevorzugt ausgewählt aus den Arealen bestehend aus einem Raum, einer Fläche, einem Platz, dem Dach eines Hauses, dem Deck eines Schiffes, einer Gleisanlage, eines Bahnsteiges, einer Brücke, einem Ein- bzw. Ausgang und einem Hafen.

Nach einer weiteren bevorzugten Ausgestaltung ist vorgesehen, dass wenigstens eine Teilmenge der Kameras an den Grenzen des Areals angeordnet ist.

Wenigstens eine Teilmenge der Kameras ist bevorzugt als Wärmebildkamera oder Infrarot im besonderen kombiniert mit einer Infrarotquelle ausgebildet. Mithilfe dieser bevorzugten Ausgestaltung ist es möglich, die automatisierte Erkennung und Markierung von Wärmequellen (z.B. auch Fahrzeuge, Drohnen, Ballons) Menschen und Tiere zu erleichtern und auch Ereignisse, wie beispielsweise das Entstehen von Bränden, Tumulten etc. abzubilden, entsprechend zu markieren und damit auch zu lokalisieren.

Die Mittel zur Markierung eines von wenigstens zwei Kameras zeitgleich erfassten Objekts in den jeweils von den Kameras aufgenommenen Bildern sind insbesondere zur automatischen Objekterkennung und/oder Gesichtserkennung eingerichtet. Die Objekterkennung und/oder Gesichtserkennung ermöglicht ebenfalls die automatisierte Markierung der Objekte und Menschen, die in dem vorbestimmten Areal überwacht werden sollen.

Speziell sind die Mittel zur Markierung eines von wenigstens zwei Kameras zeitgleich erfassten Objekts in den jeweils von den Kameras aufgenommenen Bildern zur automatischen Gesten- und/oder Mimikerkennung eingerichtet. Die Gesten- und/oder Mimikerkennung ermöglicht als bevorzugte Ausgestaltung zusätzlich das Detektieren besonderer Gefahrenlagen, die einen lokalen Ursprung haben können und durch Anwendung des bevorzugt ausgestalteten Verfahrens leichter identifiziert und lokal eingedämmt werden können.

Das Areal abbildende Koordinatensystem ist bevorzugt ein kartesisches Koordinatensystem, wobei dieses besonders bevorzugt als dreidimensionales Koordinatensystem ausgestaltet sein kann. Wird ein dreidimensionales Koordinatensystem verwendet, müssen zugleich die jeweilige Höhe und der jeweilige Winkel der optischen Achsen der das Areal aufnehmenden Kameras bekannt sein und bei der Berechnung der Standlinien berücksichtigt werden.

Ebenso wird erfindungsgemäß ein Verfahren zum Lokalisieren eines Objekts in einem vorbestimmten Areal vorgeschlagen mit den Schritten:

- Erfassen eines Objekts in einem von wenigstens zwei an unterschiedlichen Standorten angeordneten Kameras aufgenommenen Areals,

- Markieren des Objekts in den von den Kameras zeitgleich aufgenommenen Bildern,

- Bestimmen der Position des Objekts in einem das Areal abbildenden Koordinatensystem mittels der in den Bildern der Kameras vorgenommenen Markierung durch Berechnen der jeweiligen Standlinie zwischen der jeweiligen Kamera und dem von der jeweiligen Kamera erfassten Objekt und Berechnen der Koordinaten des Objekts im Schnittpunkt der Standlinien.

Zusätzlich kann bevorzugt die Höhe des Objektes über der Fläche, abgeleitet aus der bekannten Topografie, bzw. des Bodenprofiles des bekannten Areals bestimmt werden.

Nach einer weiteren bevorzugten Ausgestaltung können auch die Dimensionen des Objektes in Höhe, Breite, Tiefe bestimmt werden.

Zusätzlich ist bevorzugt vorgesehen, dass bei Eintreten des Objekts in einen vorbestimmten Teilbereich des vorbestimmten Areals oder Verlassen des Objekts aus einem vorbestimmten Teilbereich des vorbestimmten Areals ein Alarm ausgegeben wird. Insbesondere kann hierbei auch die Frequenz gemessen werden, mit denen Objekte, speziell Personen einen vorbestimmten Teilbereich betreten oder verlassen, sodass beispielsweise eine Notlage detektiert oder eine entstehende Panik mit entsprechender Fluchtreaktion erfasst und Hilfemaßnahmen ergriffen werden können.

Das Markieren des Objekts erfolgt bevorzugt mittels eines Verfahrens zur automatischen Obj ekterkennung.

Das mittels des Verfahrens erfasste Objekt ist bevorzugt ausgewählt aus der Gruppe von Objekten bestehend aus Wärmequellen (z.B. auch Fahrzeuge, Drohnen, Ballons), einem Menschen, einem Tier, einem Fahrzeug und/oder einem Ereignis.

Das mittels des Verfahrens überwachte Areal ist bevorzugt ausgewählt aus den Arealen bestehend aus einem Raum, einem Platz, dem Dach eines Hauses, dem Deck eines Schiffes, einer Gleisanlage, einer Brücke, einem Ein- bzw. Ausgang und einem Hafen.

Das erfindungsgemäße System und Verfahren können beispielsweise zur Überwachung von Booten und Schiffen eingesetzt werden. Beispielsweise ist die deutsche Marine im Inland und im Ausland in Häfen zu Gast, die nicht der Deutschen Marine gehören. In solchen Häfen besteht die Herausforderung, dass ein jeweils definiertes Gebiet, für das die Marine für die Liegezeit vor Ort einen Teil des Gebietes um die Anlegestelle überwachen möchte. In diesem Fall geht die Anwendung der vorliegenden Erfindung über das reine Videomonitoring hinaus und erweitert dieses durch die neue Funktion, ein Lagebild aus der Vogelperspektive darzustellen und detektierte Objekte auf diesem Lagebild darzustellen. Das Lagebild umfasst dabei einen Bereich um das Schiff herum, beispielweise bis ca. 150 m.

Speziell kann hier die genaue Verortung von Wasserfahrzeugen, u.a. auch mit dem Einsatz von Thermalkameras erfolgen. Die Kameras sind in diesem Fall im Wesentlichen auf die Detektion von Wasserfahrzeugen (Schiffe, Segelboote, Personen auf SUPs) trainiert.

Eine andere Anwendung besteht darin, Personen in einem Raum zu erfassen und insbesondere die Anzahl von Personen/Objekten in einem frei definierbaren Bereich des Raums zu zählen, um daraus automatisierte Aktionen abzuleiten, beispielsweise einen Alarm bei Ansammlung von zu vielen Personen in diesem Bereich auszugeben. So kann beispielsweise auch eine Ansammlung vieler Personen innerhalb kurzer Zeit in einem Zugang zum Raum auf ein Ereignis im Raum hinweisen, dass eine Evakuierung des Raums erfordert.

Mittels einer Installation des Systems zur Überwachung von Hausdächem kann die Position von Personen in Bereichen eines Hausdachs sehr genau automatisch orten, um daraus Warnungen/ Alarme zu generieren, wenn der Eintritt in einen Teilbereich des überwachten Areals oder das Verlassen des Areals an einem bestimmten Arealabschnitt gemeldet wird, der Suizid-Absichten nahelegt.

Das System ist insbesondere zum Messen von Distanzen zwischen den von den Kameras erfassten vorbestimmten Objekten eingerichtet, wobei das System besonders bevorzugt bei Überschreiten von vorbestimmten Mindestabständen oder auch maximalen Abständen zur Ausgaben eines Alarms eingerichtet ist.

In ähnlicher Weise können auch Man-over-Board-Ereignisse auf einem Schiff, z.B. auf dem Bug des Schiffs, erfasst werden.

Mit der erfindungsgemäßen Lokalisierung kann auch die genaue Verortung von Personen und/oder Fahrzeugen in einem Gleisbereich oder Bahnsteigbereich erfolgen und mit Zeiten verknüpft werden, in denen Züge den Bereich, in dem die Personen/ Fahrzeuge sich befinden, passieren werden. Daraus können dann wiederum Warnungen/ Alarme an den Bahnbetreiber ausgegeben werden, der geeignete Maßnahmen zum Verhindern eines Unfalls rechtzeitig einleiten kann.

Ebenso ist die genaue Verortung von Personen und/oder Fahrzeugen auf Brücken/Überführungen möglich. Wenn beispielsweise auf einem Brückengeländer gesessen wird oder sich eine Person bereits auf der falschen Seite des Geländers befindet, kann eine Warnung oder ein Alarm ausgelöst werden.

Mit der erfindungsgemäßen Lokalisierung kann die genaue Verortung von Wärmequellen/ Feuerquellen durch Einsatz von Thermalkameras erfolgen, beispielsweise auf Autodecks von Fähren, in Lagerhallen usw. Hier kann eine Sprinkleranlage lokal so angesteuert werden, dass nur der Brandherd gelöscht wird und nicht die komplette Lagerhalle einen Wasserschaden erleidet.

Die Detektion in den Kameras wird insbesondere u.a. auf Wärmequellen trainiert bzw. auf Temperaturänderungen und nicht ausschließlich auf die Detektion von vordefinierten Objekten wie Autos oder Personen. Die Veränderung von Temperaturen und deren Formen können dann unterschiedliche Objektformen darstellen. Kriterium ist hier im Wesentlichen die Temperaturänderung, die über die Farbe bzw. eine Farbänderung dargestellt werden kann.

Die Erfindung wird im Folgenden anhand eines in den beigefügten Zeichnungen dargestellten, besonders bevorzugt ausgestalteten Ausführungsbeispiels näher erläutert. Es zeigen:

Fig. 1 eine schematische Draufsicht auf ein von einer Mehrzahl von Kameras überwachtes Areal, in dem sich vier Personen befinden;

Fig. 2 ein von einer ersten Kamera erfasstes erstes Bild;

Fig. 3 ein von einer zweiten Kamera zu dem von der ersten Kamera erfassten Bild zeitgleich erfasstes zweites Bild;

Fig. 4 ein von einer dritten Kamera zu den anderen Bildern zeitgleich erfasstes drittes Bild; und

Fig. 5 eine schematische Draufsicht gemäß Fig. 1 mit den für jede Kamera und für jedes Objekt berechneten Standlinien.

Fig. 6 Ein von der ersten Kamera erfasstes erstes Bild zusammen mit dem perspektivischen Bild der zweiten Kamera von einen Raum, in dem sich ein Flugobjekt in einer Höhe F mit den Dimensionen H, B, T befindet. Fig. 7 ein von der zweiten Kamera erfasstes zu den Bild von Fig. 6 zeitgleich erfasstes Bild von einem Raum, in dem sich ein Flugobjekt in der Höhe F mit den Dimensionen H, B, T befindet

Fig. 1 zeigt eine schematische Draufsicht auf ein von einer Mehrzahl von Kameras überwachtes Areal, in dem sich vier Personen befinden. Insbesondere zeigt Fig. 1 ein besonders bevorzugt ausgestaltetes System zur Lokalisierung von Personen A, B, C, D in einem vorbestimmten Areal 100 mit einer Mehrzahl von das Areal 100 von unterschiedlichen Standorten erfassenden Kameras 10, 20, 30.

Die Kameras 10, 20, 30 sind an den Grenzen des Areals 100, beispielsweise ein Raum, ein Platz oder das Deck eines Schiffes, angeordnet und so ausgerichtet, dass jede der Kameras 10, 20, 30 grundsätzlich jede im Areal 100 befindliche Person A, B, C, D erfassen kann - der Erfassungsbereich der Kameras 10, 20, 30 ist also im Wesentlichen, wenngleich von unterschiedlichen Standorten aus gesehen, identisch. Die Kameras 10, 20, 30, die insbesondere als Wärmebildkamera ausgebildet sein können, oder die mit diesen verbundene Logik weisen eine automatische Objekterkennung auf, sodass eine Markierung der Personen in den von den Kameras 10, 20, 30 zeitgleich aufgenommenen Bildern automatisch erfolgt.

Das Problem bei der Lokalisierung aller im Areal befindlichen Personen A, B., C, D besteht nun darin, dass die Kameras 10, 20, 30 nicht alle Personen A, B, C, D gleichermaßen gut erfassen können, da einige der Personen A, B, C, D - je nach Blickwinkel der Kamera 10, 20, 30 - von einer anderen Person A, B, C, D verdeckt werden.

So zeigen die von den Kameras 10, 20, 30 aufgenommenen jeweiligen Bilder tatsächlich nur jeweils drei statt der im Areal 100 tatsächlich vorhandenen vier Personen A, B, C, D. So erlaubt das von der ersten Kamera 10 aufgenommene in Fig. 2 dargestellte erste Bild die Markierung der Personen B, D und A, nicht aber die Person C, die von der Person A verdeckt wird. In dem von der zweiten Kamera 20 aufgenommenen, in Fig. 3 dargestellten zweiten Bild verdeckt Person C die Person D, sodass lediglich die Personen A, B und C markiert werden können. Schließlich ist in dem in Fig. 4 gezeigten dritten Bild der dritten Kamera 30 die Person B von der Person D verdeckt, sodass nur die Personen A, B und C markiert werden können. Nichtsdestoweniger ist eine genaue Lokalisierung aller Personen A, B, C, D im überwachten Areal 100 dadurch möglich, dass - wie in Fig. 5 gezeigt - die Standlinien zwischen den in den Bildern der Kameras 10, 20, 30 markierten Personen A, B, C, D und den jeweiligen Kameras 10, 20, 30 berechnet werden, wobei sich die Koordinaten der Personen A, B, C, D aus den Schnittpunkten von jeweils drei Standlinien in einem das Areal abbildenden Koordinatensystem ergeben.