Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
MULTIFUNCTIONAL CAMERA UNIT FOR COUPLING TO A FIRST MOBILE SUPPORT SYSTEM
Document Type and Number:
WIPO Patent Application WO/2017/089364
Kind Code:
A1
Abstract:
The invention relates to a multifunctional camera unit (100) for coupling to a first mobile support system (1000), in particular, a mobile robot system, wherein the camera unit (100) can be used in a static and/or mobile manner, and wherein the camera unit (100) is designed mainly for the detection and tracking of static and dynamic objects.

Inventors:
MÜLLER JENS (DE)
HORN JOACHIM (DE)
Application Number:
PCT/EP2016/078485
Publication Date:
June 01, 2017
Filing Date:
November 23, 2016
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
HELMUT-SCHMIDT UNIVERSITÄT (DE)
HAMBURG-INNOVATION GMBH (DE)
International Classes:
H04N7/18; B64D47/08; G03B15/03; G05D1/00; G08G5/04
Foreign References:
EP2348280A22011-07-27
US20120242795A12012-09-27
US20090284596A12009-11-19
Other References:
HANS-ARTHUR MARSISKE: "Die Macht der Drohnen", C'T MAGAZIN, 12 June 2015 (2015-06-12), XP055347234, Retrieved from the Internet [retrieved on 20170217]
FLORIAN BÄTHGE: "3D-Objektverfolgung mit Stereokameras zur bildbasierten Navigation autonom fliegender Luftfahrzeuge Bachelorarbeit zur Erlangung des Grades eines Bachelor of Science (B.Sc.) im Studiengang Computervisualistik", 2 April 2012 (2012-04-02), Magdeburg, XP055349571, Retrieved from the Internet [retrieved on 20170227]
Attorney, Agent or Firm:
RGTH PATENTANWÄLTE PARTGMBB (DE)
Download PDF:
Claims:
Patentansprüche

Multifunktionale Kanneraeinheit (100) zur Kopplung an einem ersten mobilen Trägersystem (1000), insbesondere einem mobilen Robotersystem, wobei die Kameraeinheit (100) statisch und/oder mobil einsetzbar ist, dadurch gekennzeichnet, dass die Kameraeinheit (100) für eine Erkennung und eine Verfolgung von statischen und dynamischen Objekten ausgebildet ist.

Multifunktionale Kameraeinheit (100) gemäß Anspruch 1, dadurch gekennzeichnet, dass die Kameraeinheit (100) für die Erkennung und die Verfolgung der statischen und dynamischen Objekte mehrere, vorzugsweise zwei, auf einer Kreisbahn beweglich angeordnete Kameraschlitten (14, 15, 16, 17) umfasst, wobei die Kameraschlitten (14, 15, 16, 17) jeweils mindestens eine Kamera (18), mindestens eine Ringbeleuchtung (18b) und mindestens einen Punktprojektor (18a) aufweisen.

Multifunktionale Kameraeinheit (100) gemäß einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die Kameraeinheit (100) für die Erkennung und die Verfolgung der statischen und dynamischen Objekte eine statische Zentralkamera (11) mit mindestens einem Punktprojektor (12) und mindestens einer Ringbeleuchtung (13) aufweist.

Multifunktionale Kameraeinheit (100) gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kameraeinheit (100) für die Erkennung und Verfolgung der statischen und dynamischen, Objekte mehrere, vorzugsweise vier, statische Kameras (21) mit jeweils mindestens einem Punktprojektor (21a) und mindestens einer Ringbeleuchtung (21b) aufweist.

5. Multifunktionale Kanneraeinheit (100) gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kameraeinheit (100) dazu ausgebildet ist, insbesondere dreidimensionale, Positionsdaten zwischen der Kameraeinheit (100) und dem ersten mobilen Trägersystem (1000) und/oder Positionsdaten zwischen der Kameraeinheit (100) und mindestens einem interessierenden Objekt, insbesondere einem zweiten mobilen Trägersystem, zu bestimmen.

6. Multifunktionale Kameraeinheit (100) gemäß einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Kameraeinheit (100) ein Mittel zur Bildverarbeitung und Berechnung von Positionsdaten zwischen der Kameraeinheit (100) und dem ersten mobilen Trägersystem (1000) und/oder Positionsdaten zwischen der Kameraeinheit (100) und mindestens einem interessierenden Objekt sowie vorzugsweise ein Mittel zur Datenübertragung der berechneten Positionsdaten, insbesondere eine Datenschnittstelle (200), zwischen der Kameraeinheit (100) und dem ersten mobilen Trägersystem (1000) aufweist.

7. Multifunktionale Kameraeinheit (100) gemäß einem der Ansprüche 2 bis 6, dadurch gekennzeichnet, dass mindestens eine Kamera (18) und mindestens ein Punktprojektor (18a) ein Abstands-Warnsystem ausbilden, wobei das Abstands-Warnsystem zur Bestimmung des jeweiligen Abstandes zwischen der Kamera (18), der multifunktionalen Kameraeinheit (100) und mindestens einem interessierenden Objekt dient.

8. Multifunktionale Kameraeinheit (100) gemäß einem der Ansprüche 2 bis 7, dadurch gekennzeichnet, dass die Kameraschlitten (14, 15, 16, 17) auf einer gemeinsamer Kreisbahn beweglich angeordnet sind, wobei jedem Kameraschlitten (14, 15, 16, 17) ein Arbeitsbereich (24) zugeordnet ist, wobei benachbarte Arbeitsbereiche (24) in einem Überlappungsbereich (26) überlappen und wobei die Kameraeinheit (100) derart ausgebildet ist, dass die Kameraschlitten (14, 15, 16, 17) gegen Kollision gesichert sind.

9. Multifunktionale Kameraeinheit (100) gemäß einem der vorherigen Ansprüche 5 bis 8, dadurch gekennzeichnet, dass die Kameraeinheit (100) zur Bestimmung der Positionsdaten zwischen der Kameraeinheit (100) und dem ersten mobilen Trägersystem (1000) und/oder Positionsdaten zwischen der Kameraeinheit (100) und mindestens einem interessierenden Objekt zur Bestimmung der Positionsdaten der Kameraschlitten (14 15, 16, 17) und der Positionsdaten, insbesondere der Winkelpositionen, der auf den Kameraschlitten (14, 15, 16 17) angeordneten Kameras (18) ausgebildet ist, wobei die Kameraeinheit (100) zur Bestimmung der Positionsdaten der Kameraschlitten (27, 28, 29, 30) und der Positionsdaten, insbesondere der Winkelpositionen, der auf den Kameraschlitten (14, 15, 16, 17) angeordneten Kameras (18) einen Inkrementalgeber, aufweisend einen optischen Sender, eine Inkrementalscheibe (20, 31) und einen Empfänger, aufweist.

10. Verfahren zum Bestimmen von Positionsdaten mindestens eines interessierenden Objektes, insbesondere eines zweiten mobilen Trägersystems, unter Verwendung einer multifunktionalen Kameraeinheit (100) mit mehreren Kameras (18), wobei die multifunktionale Kameraeinheit (100) an einem ersten mobilen Trägersystem (1000) gekoppelt ist, dadurch gekennzeichnet, dass das Bestimmen von Positionsdaten des mindestens einen interessierenden Objektes, insbesondere des zweiten mobilen Trägersystems, ausschließlich auf von der Kameraeinheit (100) aufgenommenen Daten beruht.

11. Verfahren nach Anspruch 10,

dadurch gekennzeichnet, dass das Verfahren eine Kollisionsprüfung der Kameras (18) der Kameraeinheit (100) umfasst.

12. Verfahren nach einem der Ansprüche 10 oder 11,

dadurch gekennzeichnet, dass das Verfahren eine regelmäßige Abstandsüberwachung der Abstände zwischen den Kameras (18) und/oder eine regelmäßige Abstandsüberwachung des Abstandes zwischen der multifunktionalen Kameraeinheit (100) und dem interessierenden Objekt, insbesondere dem zweiten mobilen Trägersystem, umfasst.

13. Verwendung einer multifunktionalen Kameraeinheit (100) gemäß einem der Ansprüche 1 bis 9 zum Tracking mindestens eines interessierenden Objektes, insbesondere eines zweiten mobilen Trägersystems, gekennzeichnet durch die Schritte des systeminternen Listens (510) des interessierenden Objektes und das Verfolgen des interessierenden Objektes durch mechanisches und softwaretechnisches Tracking (506, 509), wobei das Listen (510) des interessierenden Objektes vorzugsweise ein Anlegen einer internen Erkennungsstatistik umfasst.

14. Verwendung einer multifunktionalen Kameraeinheit (100) gemäß Anspruch 13, dadurch gekennzeichnet, dass eine erste Kamera (18) mit einem ersten Arbeitsbereich (24) das interessierende Objekt trackt und beim Verlassen des ersten Arbeitsbereiches (24) in einen zweiten Arbeitsbereich (24) einer zweiten Kamera (18) eine nahtlose Übergabe des Trackings zu der zweiten Kamera (18) erfolgt.

Description:
Multifunktionale Kameraeinheit zur Kopplung an einem ersten mobilen Trägersystem

Beschreibung

Die Erfindung betrifft eine multifunktionale Kameraeinheit zur Kopplung an einem ersten mobilen Trägersystem, insbesondere einem mobilen Robotersystem. Des Weiteren betrifft die Erfindung ein Verfahren zum Bestimmen von Positionsdaten mindestens eines interessierenden Objektes, insbesondere eines zweiten mobilen Trägersystems, unter Verwendung einer multifunktionalen Kameraeinheit mit mehreren Kameras, wobei die multifunktionale Kameraeinheit an einem ersten mobilen Trägersystem gekoppelt ist. In einem weiteren Aspekt umfasst die Erfindung eine Verwendung einer erfindungsgemäßen multifunktionalen Kameraeinheit zum Tracking mindestens eines interessierenden Objektes, insbesondere eines zweiten Trägersystems.

Stand der Technik

Im Bereich der unbemannten mobilen Roboter haben sich nach erfolgreicher Realisierung verschiedenster Anwendungsszenarien in den vergangenen Jahren auch das Interesse und der Bedarf an untereinander kooperierenden Robotersystemen ergeben. Im Bereich der UAVs (Unmanned Area Vehicles) hat die ETH-Zürich und weitere international agierende namenhafte Universitäten, teilweise auch durch militärische Anwendungen motiviert, eine Vorreiterrolle eingenommen und mit ihren Forschungsbeiträgen eine wissenschaftliche Öffentlichkeit geschaffen, welche dadurch angeregt ein breites Spektrum an Anwendungsmöglichkeiten im zivilen und militärischen Sektor geistig entwickelt und teilweise technisch umgesetzt hat. Die ETH-Zürich hat im Rahmen ihrer intensiven Öffentlichkeitsarbeit nicht zuletzt einen erheblichen Beitrag für eine breite Akzeptanz von mobilen flugfähigen Robotersystemen in der Bevölkerung geschaffen. Makroskopisch betrachtet, werden unbemannte Robotersysteme schon seit vielen Jahren in der Raumfahrt und beim Militär erfolgreich eingesetzt. Mit der nun immer höheren Präsenz und Verfügbarkeit von multiplen Kommunikations- und Ortungsmöglichkeiten, wie z.B. GSM, WiFi und GPS ergab sich auch immer mehr der Wunsch nach mobilen untereinander kooperierenden Robotersystemen, welche teil- oder vollautonom mit Hilfe dieser Möglichkeiten reale Anwendungsgebiete z.B. aus dem Bereich der Aufklärung von urbanem Gebiet oder Gebäuden abdecken sollen. Im Bereich der kleinen bis mittleren Flugroboter ist dies aus heutiger Sicht zum Teil schon gelungen, jedoch im Hinblick auf die praktische Umsetzung von robusten, realitätsnahen und anwendungsgerechten Flugsystemen noch weit entfernt. Hier gilt es durch die Entwicklung hochintegrierter bildgebender multifunktionaler Sensorsysteme eine deutlich bessere Datengrundlage zu schaffen, um den Anspruch des vollautonomen Betreibens eines Robotersystems allein und im Verbund unabhängig extern verfügbarer Mess- und Kommunikationspfade zu erfüllen.

In US 2007/0288132 AI wird beschrieben, wie ein kooperativer Schwärm von unbemannten Robotern mit Hilfe drei unterschiedlicher Systeme funktioniert. Für die jeweilige Eigenlokalisierung im Schwärm beteiligter Roboter wird ein globales Satelliten gestütztes Ortungssystem verwendet. Für die gegenseitige Lokalisierung im Raum wird ein eigener Sender mit einem sog. omnipräsenten Signal verwendet, welches zu jeder Zeit allen am Schwärm beteiligten Robotern zur Verfügung steht. Die Wegführung wird durch ein eigenes System sichergestellt, welches sich mit den vorgenannten zwei Systemen jeweils an Bord eines Roboters befindet. Hierbei zielt die Beschreibung klar auf den Betrieb außerhalb von Gebäuden ab, und es wird die ständige Verfügbarkeit von einem externen Ortungssystem (GPS) vorausgesetzt. Positionierungsungenauigkeiten, welche aufgrund von wetterbedingten Signalstörungen oder ungünstigen örtlichen Konstellationen der Satellitenposition im Verhältnis zu möglicherweise dort umgebenden signalbeeinflussenden Bauten oder geodätisch relevanten Erhebungen hervorgehen, können zu deutlichen Abweichungen in der Zielfindung und zu erhöhtem Energiebedarf bei der räumlichen Koordinierung von Schwarmteilnehmern führen.

Auch in US 2011/0135189 AI wird zur Realisierung eines Schwarms bestehend aus mehrbeinigen Robotern sternförmig über mobile Basisstationen verbunden mit anderen mehrbeinigen Robotern, welche extern von einer Person bedient werden, zur Positionierung ein externes Ortungssystem (GPS) genutzt. Der Bediener hat die Möglichkeit Ziele vorzugeben und aufgenommene Sensordaten abzurufen. Des Weiteren können die Roboter abhängig von den äußeren Gegebenheiten bezüglich des Wetters und der Jahreszeit, das sich ihnen umgebende Gebiet betrachten und zum Beispiel auf Feuer durch ein dafür vorgesehenes Programm reagieren. Die Kommunikation zwischen den mehrbeinigen Robotersystemen erfolgt ausschließlich über die mitgeführte im Stern befindliche mobile Basisstation und kann darüber hinaus nur indirekt über den Bediener mit anderen in einem weiteren Stern betriebenen Robotern kommunizieren, wenn dies so vorgesehen ist. Problematisch ist an dieser Stelle auch die Abhängigkeit von einem externen Ortungssystem und die Tatsache, dass bei ausbleibenden Signal der Mangel an Information über den örtlichen Verbleib der am Schwärm beteiligten Roboter, deren Koordinierung deutlich erschwert und den realitätsnahen Einsatz in Frage stellt.

Im Rahmen der Bewältigung von globalen Zielen ist das Verteilen von Lasten, auch Payload genannt, in der Vergangenheit immer mehr in den Fokus der Forschung und Systementwicklung gekommen. In US 8,761,968 B2 werden verschiedene Konstellationen aus Drohnen verbunden mit einer Last beschrieben. Auch hier können die an einem Schwärm beteiligten Drohnen nur über ein externes Ortungssystem (GPS) ihre eigene Position im Raum feststellen und den anderen am Schwärm beteiligten Drohnen über die sog. kommunikationstechnisch verbundene Pilot-Station in Formation bringen. Da diese Station nicht ortsgebunden sein muss, kann sie auch als Bestandteil einer am Schwärm beteiligten Drohne implementiert sein. Dabei wird allerdings die gesamte Koordinierung des Schwarms immer von dieser Pilot-Station ausgehen, was bedeutet, dass bei geringerer Signalgüte des externen Ortungssystems ein Zusammenbrechen der dort beschriebenen Funktionalität zu erwarten ist.

US 2010/0268409 AI beschreibt eine Methode zur Inspektion von Strukturen wie z.B. Gebäude, Brücken, Infrastruktur der Bahn etc. mit Hilfe von unbemannten Drohnen, organisiert im Schwärm, welche mit anwendungsgerechten Sensoren und Kameras ausgestattet sind. Zudem ist eine mobile zentralisierte Station, wie z.B. ein Flugzeug, zur Inspektion der gesammelten Daten vorgesehen, welche über eine Datenverbindung basierend auf einer geeigneten Funktechnologie verfügt, die gesammelten Bild- und Sensordaten von den Drohnen empfängt und rechentechnisch auswertet bzw. verarbeitet. Die zentralisierte Station erstellt auch die Flugpläne, transferiert diese zu den Schwarmteilnehmern, passt sie dynamisch den örtlichen Gegebenheiten an und verteilt nach erfolgreicher Abarbeitung eines Flugplanes neue Aufgaben an die beteiligten Drohnen. Der Anwendungsfokus liegt im Außenbereich und basiert auf einem externen Ortungssystem. Jede Drohne arbeitet für sich ihr von der zentralen Station erteiltes Arbeitspaket ab, ohne zu wissen, ob sie sich physikalisch in einem Schwärm befindet. Die Vorteile eines intelligenten Schwarms, welcher ohne externe Unterstützung im Hinblick auf die jeweilige Position der Drohnen sehr flexibel und dynamisch agieren kann, können aufgrund dieser Konstellation leider nicht genutzt werden.

In US 2009/0099768 AI wird ein Navigationssystem beschrieben, welches neben den schon bekannten sogenannten Target Attraction Beacons, auch über ein sog. Collision Avoidance Beacon verfügt. Dieses ist in der Lage Kollisionsvermeidungssignale von umgebenden Drohnen global zu empfangen, aber auch selbst Kollisionsvermeidungssignale global auszusenden. Im Hinblick auf das Kollisionssignal ist immer vorausgesetzt, dass die beteiligten Flugdrohnen auch ein solches Signal aussenden, da sich sonst die Gefahr eines folgenreichen Blindfluges deutlich erhöht und die beschriebenen Funktionalitäten in Hinblick auf ihre praktische Anwendbarkeit in Frage gestellt werden. Da reale Hindernisse wie z.B. Gebäude oder Mauern keine Kollisionssignale aussenden, werden lokale Sensoren für die Erkennung solcher Hindernisse verwendet. Die Entscheidung darüber, in welcher Richtung dem Hindernis ausgewichen werden soll, obliegt der Kenntnis, wie das Hindernis global aufgebaut ist, um effizient, energiesparsam und vorausschauend das anvisierte Ziel erreichen zu können. Wenn die beteiligten Drohnen im Wesentlichen nicht nur auf die beschriebenen einfachen Funksignale zur Zielverfolgung und Kollisionsvermeidung zurückgreifen würden und ergänzend auch bildgebende Sensoren einsetzten, wäre der Einsatz in urbanem Gebiet durch eine frühzeitig angepasste Datenlage, deutlich besser zu bewerkstelligen.

Die beiden Veröffentlichungen der ETH Zürich zu den Themen Environment- independent Formation Flight for Micro Aerial Vehicles von Tobias Nägeli, Christian Conte, Alexander Domahidi, Manfred Morari und Otmar Hilliges von 2014 und PIXHAWK: A System for Autonomous Flight using Onboard Computer Vision von Lorenz Meier, Petri Tanskanen, Friedrich Fraundorfer und Marc Pollefeys, zeigen jeweils einen sehr interessanten Ansatz zur Verwirklichung eines mit UAVs betriebenen Schwarms im Innen- und Außenbereich. Neben den zur Formation eines Schwarms notwendigen Algorithmen und dem inneren Aufbau der jeweils verwendeten Flugsysteme ist die Tatsache der Anwendung zweier stereoskopisch angeordneten Kamerapaare zur dynamischen Erkennung der relativen Position und des relativen Abstandes zu einem weiteren am Schwärm beteiligten Flugobjekt eine neue Herangehensweise, welche die Anwendbarkeit des Schwarms auch für den Innenbereich sicherstellen kann. Die Erkennung erfolgt mit Hilfe eines jeweils am Copter angebrachten, eindeutigen optisch schwarz/weißen Musters, welches von den Kameras erkannt wird und im Hinblick auf Position und Abstand die Organisation eines in der Ebene operierenden Schwarms ermöglicht. Allerdings schränkt die Anwendung - nur in der Ebene - die Flexibilität eines Schwarms stark ein, welcher zum einen durch unterschiedlichste äußere Einwirkungen, wie z.B. Wind im Außenbereich und deutlichen Luftdruckdifferenzen im Innenbereich, auch temporäre Höhendifferenzen aufweisen kann, und zum anderen bei dynamischen Flügen mit sich schnell ändernden Randbedingungen eine hohe Flexibilität aufweisen soll um eine rasche Neuformierung des Schwarms zu ermöglichen. Da der sichtbare Bereich der implementierten Kameras relativ zum Copter, auf welchem die Kameras installiert sind, einen statisch nur um die Gier(Dreh)-Achse anpassbaren Blickwinkel ermöglicht, würde eine schlichte Anpassung dieser Achse allein nicht das Verlieren eines schon erkannten Schwarmteilnehmers verhindern.

Um zu vermeiden, dass im Kontext eines hochdynamischen Schwarmflugs externe Einflüsse, wie oben beispielhaft beschrieben, eine praktisch wie auch immer geartete reale Anwendbarkeit eines dynamischen Flugschwarms für den Einsatz im Innen- und Außenbereich verhindern, wird eine, insbesondere statisch und mobil einsetzbare, multifunktionale Kameraeinheit (Swarm Flight Unit SFU) für die bevorzugte Kopplung an mobilen Robotersystemen, wie im Rahmen dieser Schrift erläutert, benötigt.

Darstellung der Erfindung: Aufgabe Lösung Vorteile

Der Erfindung liegt die Aufgabe zugrunde eine multifunktionale Kameraeinheit derart weiterzuentwickeln, dass durch Bereitstellung einer, insbesondere statisch und mobil einsetzbaren, multifunktionalen Kameraeinheit für den Betrachter, z.B. für ein Robotersystem, interessierende statische und dynamische Objekte, wie z.B. weitere Flugdrohnen, aus der eigenen Bewegung heraus zu identifizieren, zu klassifizieren und örtlich durch intern berechnete Raumkoordinaten so zu organisieren, dass im Bereich der mobilen Robotik und in anderen anwendungsrelevanten Gebieten, wie z.B. der Sicherheitstechnik, hochkomplexe, voll autonome Aufgabenstellungen, wie z.B. Such- und Rettungseinsätze durchgeführt werden können. Die oben genannte Aufgabe wird gelöst durch eine multifunktionale Kameraeinheit zur Kopplung an einem ersten mobilen Trägersystem, insbesondere einem mobilen Robotersystem, wobei die Kameraeinheit statisch und/oder mobil einsetzbar ist, und wobei die Kameraeinheit für eine Erkennung und Verfolgung von statischen und dynamischen Objekten ausgebildet ist.

Unter einem mobilen Trägersystem ist vor allem ein mobiles Robotersystem zu verstehen. Insbesondere fallen unter den Begriff unbemannte mobile Roboter, sogenannte UAVs (Unmanned Area Vehicles). Dabei ist das Trägersystem insbesondere flugfähig ausgebildet. Bei dem mobilen Trägersystem handelt es sich bevorzugterweise um eine Drohne, vor allem um die Flugdrohne des Types ATC 3.0 (Airshark Technology Carrier).

Mobile Trägersysteme formieren sich für bestimmte Aufgaben insbesondere in einem Schwärm, in dem jedes mobile Trägersystem einen Schwarmteilnehmer darstellt. Unter einem Schwärm sind mindestens zwei Schwarmteilnehmer zu verstehen, welche im Kontext einer übergeordneten Aufgabenstellung im Verbund handeln. Insbesondere umfasst ein derartiger Schwärm mehrere mobile Trägersysteme.

Die multifunktionale Kameraeinheit ist zur Kopplung an dem ersten mobilen Trägersystem ausgebildet. Unter einer Kopplung versteht man insbesondere die Herstellung einer lösbaren Verbindung. Insbesondere wird die multifunktionale Kameraeinheit auf dem ersten mobilen Trägersystem angeordnet.

Unter dem Begriff „multifunktionale Kameraeinheit" ist insbesondere eine multifunktionale Aufnahmeeinheit von optischen Informationen zu verstehen. In anderen Worten wird die multifunktionale Kameraeinheit als„Swarm Flight Unit" (SFU) bezeichnet. Insbesondere weist die multifunktionale Kameraeinheit bildgebende Sensoren und bewegliche Komponenten auf, die ihr ihre Multifunktionalität verleihen.

Insbesondere betrifft die Erfindung ein System aus multifunktionaler Kameraeinheit und erstem mobilen Trägersystem, wobei die multifunktionale Kameraeinheit an dem ersten mobilen Trägersystem gekoppelt ist.

Bevorzugterweise umfasst die multifunktionale Kameraeinheit mehrere, vorzugsweise mindestens zwei, ferner bevorzug mindestens drei, insbesondere mindestens vier, auf einer Kreisbahn beweglich angeordnete Kameraschlitten, wobei die Kameraschlitten jeweils mindestens eine Kamera, mindestens eine Ringbeleuchtung und mindestens einen Punktprojektor aufweisen. Jedem Kameraschlitten sind vorzugsweise genau eine Kamera, eine Ringbeleuchtung und ein Punktprojektor zugewiesen. Durch die Kameraschlitten und der Anordnung der Kameras auf diesen, wird den Kameras ihre Beweglichkeit vermittelt. Insbesondere sind die Kameras aufgrund ihrer Anordnung auf den Kameraschlitten horizontal und/oder vertikal beweglich. Insbesondere beinhaltet jeder Kameraschlitten vorzugsweise zwei Antriebe, wobei ein Antrieb für die horizontale Bewegung des Kameraschlittens und ein Antrieb für die vertikale Kreisbewegung der auf dem Kameraschlitten angeordneten Kamera zuständig sind. Die Beweglichkeit oder die Positionsdaten der Kameraschlitten bzw. Kameras bestimmen sich vor allem in Bezug auf den geometrischen Ursprung der Kameraeinheit, der vor allem den Mittelpunkt der Kameraeinheit darstellt. Vorteilhafterweise sind die Kameras stückweise stereoskopisch einstellbar ausgebildet.

Die Kameraschlitten sind insbesondere auf derselben Kreisbahn beweglich angeordnet. Die Kameras sind insbesondere derart ausgebildet, dass sie mit einer elektronischen Auswerteeinheit sowie Bildverarbeitungsalgorithmen zur Auswertung der von ihnen aufgenommenen Daten zusammenarbeiten. Bei dem Punktprojektor handelt es sich um einen Lichtprojektor, vor allem um eine Laserdiode, die dazu ausgebildet ist, Muster, wie beispielsweise Punkte oder Linien, auf interessierende Objekte zu projizieren. Die Projektion derartiger Muster als sichtbare Strukturen erleichtert die Erkennung und Verfolgung von Objekten und/oder Abstandsbestimmung zu Objekten, insbesondere bei weniger günstigen Beleuchtungs- und Kontrastverhältnissen. Die Anordnung der Punktprojektoren im Verhältnis zur jeweiligen Aufnahmeebene ist vorzugsweise orthogonal, kann aber unter der Voraussetzung einer im Bild sichtbaren Projektion im Hinblick auf zusätzliche Abstandsinformationen zum Ziel auch einen beliebig anderen Winkel annehmen. In einer weiteren Ausprägungsvariante können daher diese Einstellwinkel dynamisch angepasst werden.

Die Ringbeleuchtung ist derart angeordnet, dass die Kamera im Zentrum des durch die Ringbeleuchtung gebildeten Rings angeordnet ist. Die Ringbeleuchtung dient der Beleuchtung der von der Kamera aufgenommenen Szene oder Bildes.

Insbesondere weist die multifunktionale Kameraeinheit eine statische Zentralkamera mit mindestens einem Punktprojektor und mindestens einer Ringbeleuchtung auf. Der Begriff „statisch" ist vor allem derart zu verstehen, dass die Zentralkamera nicht beweglich, in Bezug auf die Kameraeinheit, ausgebildet ist. Die Zentralkamera ist insbesondere nicht auf einem Kameraschlitten angeordnet, der ihr Mobilität verleihen könnte. Die Zentralkamera ist aus Sicht des ersten mobilen Trägersystems nicht beweglich, im Kontext der Anwendung durchaus mit sich hoch dynamisch ändernden Bildsequenzen befasst.

Vorteilhafterweise umfasst die multifunktionale Kameraeinheit, mehrere, vorzugsweise vier, statische Kameras mit jeweils mindestens einem, vorzugsweise genau einem, Punktprojektor und mindestens einer, vorzugsweise genau einer, Ringbeleuchtung. Dabei sind die statischen Kameras nicht beweglich ausgebildet, und sonnit insbesondere nicht auf einem Kameraschlitten angeordnet. Die vier ortsfesten Kameras sind insbesondere um einen Hals der Kameraeinheit, bevorzugterweise in regelmäßigen Abständen zueinander, angeordnet. Somit sind insbesondere die Bereiche zwischen den seitlichen Auslegern des ersten mobilen Trägersystems optisch abgedeckt.

Die multifunktionale Kameraeinheit ist insbesondere dazu ausgebildet, Positionsdaten zwischen der Kameraeinheit und dem ersten mobilen Trägersystem und/oder Positionsdaten zwischen der Kameraeinheit und mindestens einem interessierenden Objekt, insbesondere einem zweiten Trägersystem, zu bestimmen. Unter dem Begriff „Positionsdaten" sind insbesondere dreidimensionale Daten über die Position, d.h. den genauen Ort, vorzugsweise samt Winkelposition, zu verstehen. Unter dem Begriff „Winkelposition" ist der Winkel gemeint, unter dem die Kamera angeordnet ist und somit Bilder aufnimmt. Bevorzugterweise ist die multifunktionale Kameraeinheit zur Bestimmung der Positionsdaten ohne Hilfe von zusätzlichen externen Daten, insbesondere GPS-Daten, ausgebildet. In anderen Worten ist die multifunktionale Kameraeinheit ausschließlich auf Basis der von ihr aufgenommenen Daten zur Positionsdatenbestimmung ausgebildet.

Unter einem zweiten Trägersystem ist vor allem ein flugfähiges Objekt, insbesondere eine Drohne, vor allem eine Flugdrohne, zu verstehen. Insbesondere sind das erste mobile Trägersystem und das zweite mobile Trägersystem Schwarmteilnehmer des gleichen Schwarmes. Vor allem umfasst der Schwärm weitere Schwarmteilnehmer, wobei die multifunktionale Kameraeinheit zur Positionsdatenbestimmung von allen an dem Schwärm zu beteiligenden oder bereits beteiligten Trägersystemen ausgebildet ist. Dabei müssen die weiteren Trägersysteme keine multifunktionale Kameraeinheit aufweisen. Insbesondere umfasst das zweite Trägersystem, insbesondere alle weiteren Schwarmteilnehmer des Schwarmes, keine multifunktionale Kameraeinheit. Allerdings können alternativ auch die anderen Trägersysteme eine multifunktionale Kameraeinheit umfassen.

Die multifunktionale Kameraeinheit umfasst ferner bevorzugterweise ein Mittel zur Bildverarbeitung und Berechnung von Positionsdaten zwischen der Kameraeinheit und dem ersten mobilen Trägersystem und/oder Positionsdaten zwischen der Kameraeinheit und mindestens einem interessenden Objekt, insbesondere einem zweiten Trägersystem, sowie vorzugsweise ein Mittel zur Datenübertragung der berechneten Positionsdaten, insbesondere eine Datenschnittstelle, zwischen der Kameraeinheit und dem ersten mobilen Trägersystem. Bei der Schnittstelle handelt es sich vor allem um eine intelligente Schnittstelle, die insbesondere in der Offenlegungsschrift DE 10 2013 100 155 AI beschrieben ist. Die Schnittstelle ist vor allem funktions- und prinziphybrid ausgebildet. Das Mittel zur Bildverarbeitung und Berechnung von Positionsdaten ist vor allem zur Objekterkennung, d.h. dem Erkennen von interessierenden Objekten, die statisch oder dynamisch ausgebildet sein können, geeignet. Die Übertragung der berechneten Positionsdaten zum ersten mobilen Trägersystem dient beispielsweise der Ansteuerung des ersten mobilen Trägersystems, insbesondere um in einem Schwärm zu fliegen und elektronische und/oder mechanische Lasten zu befördern und/oder vollautomatisch über eine geeignete Bodenstation zu wechseln und/oder einen Landeanflug auszuführen.

Zum Bestimmen der Positionsdaten zwischen der Kameraeinheit und einem interessierendem Objekt ist die Bestimmung der Positionsdaten zwischen der Kameraeinheit, insbesondere der verschiedenen Kameras der Kameraeinheit, und dem ersten mobilen Trägersystem entscheidend, da nur dann die verschiedenen von den Kameras aufgenommenen Daten in örtlicher Relation zu den Kameras und somit zu dem ersten mobilen Trägersystem, gesetzt werden können. Insbesondere bilden mindestens eine Kamera der Kameraeinheit und mindestens ein dieser zugeordneter Punktprojektor ein Abstandswarnsystem aus. Das Abstandswarnsystem ist dabei zur Bestimmung des jeweiligen Abstandes zwischen den Kameras der Kameraeinheit und mindestens einem interessierenden Objekt, vor allem einem zweiten mobilen Trägersystem, ausgebildet. Insbesondere bilden sämtliche Kameras der Kameraeinheit und die jeweils zugeordneten Punktprojektoren ein Abstandswarnsystem.

Das Abstandswarnsystem dient insbesondere als Mittel zur räumlichen Kollisionsvermeidung des ersten mobilen Trägersystems und einem interessierenden Objekt, insbesondere einem zweiten Trägersystem. Ferner dient das Abstandswarnsystem zur Unterstützung des Landevorgangs des ersten mobilen Trägersystems und/oder eines zweiten mobilen Trägersystems. Ferner kann das Abstandswarnsystem Abstandsinformationen eines interessierenden Objektes liefern.

Die Kameraschlitten sind insbesondere auf einer gemeinsamen Kreisbahn beweglich angeordnet, wobei jedem Kameraschlitten ein Arbeitsbereich zugeordnet ist, wobei benachbarte Arbeitsbereiche in einem Überlappungsbereich überlappen. Dabei ist die Kameraeinheit derart ausgebildet, dass die Kameraschlitten gegen Kollision gesichert sind. Insbesondere wird der Bewegung eines Kameraschlittens ein Segment der Kreisbahn zugeordnet. Im Falle von vier Kameraschlitten wird beispielsweise jedem Kameraschlitten ein Quadrant als Arbeitsbereich zugeordnet. Als Arbeitsbereich ist somit ein Bereich zwischen definierten mechanischen Bewegungsgrenzen eines Kameraschlittens der Kameraeinheit zu verstehen. Jedem Arbeitsbereich ist definitionsgemäß ausschließlich ein Kameraschlitten zugeordnet. Ferner bevorzugt sind die Arbeitsbereiche in der Ebene überlappend angeordnet, sodass sich an deren Enden Überlappungsbereiche zu den angrenzenden Arbeitsbereichen ausbilden. Ein Überlappungsbereich erstreckt sich vorzugsweise über 5° bis 15° der gemeinsamen Kreisbahn. Die Kameraeinheit ist derart ausgebildet, dass trotz Überlappungsbereichen eine Kollision von benachbarten Kameras bzw. Kameraschlitten vermieden wird.

Bevorzugterweise ist die Kameraeinheit zur Bestimmung der Positionsdaten der Kameraschlitten und der Positionsdaten der auf den Kameraschlitten angeordneten Kameras, insbesondere der Winkelpositionen der Kameras, ausgebildet. Dazu weist die Kameraeinheit einen Inkrementalgeber, aufweisend einen optischen Sender, eine Inkrementalscheibe und einen Empfänger auf. Damit können nach einer initialen Einstellfahrt nicht nur die Position der Kameraschlitten, sondern folglich auch die Winkelpositionen der Kameras relativ zum Ursprung der multifunktionalen Kameraeinheit eindeutig bestimmt werden.

Zur Bestimmung der genauen Position des interessierenden Objektes relativ zur Position der implementierten beweglichen Kameras, insbesondere deren Winkelposition, wird dem einen aufgenommenen interessierenden Objekt relativ zum ersten mobilen Trägersystem sowohl ein horizontaler als auch ein vertikaler Winkel zugeordnet. Insbesondere verfügt die für die Kameraschlitten in der horizontalen Bewegung vorgesehene Inkrementalscheibe insgesamt voneinander räumlich getrennte, in ihrem Winkel stückweise überlappende Spuren. Die Anzahl der Spuren entspricht der Anzahl der auf der Inkrementalscheibe angeordneten Kameraschlitten. Bei vier Kameras verfügt die Inkrementalscheibe über vier voneinander räumlich getrennte, in ihrem Winkel stückweise überlappende Spuren, sodass die Kameraschlitten bedarfsweise auch außerhalb ihres zugeordneten Arbeitsbereiches in einem Überlappungsbereich operieren können. Durch einen der Inkrementalscheibe zugeordnetem Sender und Empfänger kann die genaue horizontale Position jedes Kameraschlittens bestimmt werden. Zur Bestimmung der vertikalen Position der auf den Kameraschlitten angeordneten Kameras weist jeder Kameraschlitten eine Inkrementalscheibe auf, über die die vertikale Winkelposition der Kamera bestimmt werden kann. In einenn weiteren Aspekt betrifft die Erfindung ein Verfahren zum Bestimmen von Positionsdaten mindestens eines interessierenden Objektes, insbesondere eines zweiten mobilen Trägersystems, unter Verwendung einer multifunktionalen Kameraeinheit mit mehreren Kameras, wobei die multifunktionale Kameraeinheit an einem ersten mobilen Trägersystem gekoppelt ist. Das Verfahren umfasst das Bestimmen von Positionsdaten mindestens eines interessierenden Objektes, insbesondere des zweiten mobilen Trägersystem, ausschließlich basierend auf von der Kameraeinheit aufgenommenen Daten. Das Bestimmen der Positionsdaten erfolgt somit explizit ohne Zuhilfenahme von GPS-Daten oder weiteren externen Daten.

Insbesondere umfasst das Verfahren ferner eine Kollisionsprüfung der Kameras der Kameraeinheit. Insbesondere umfasst das Verfahren ein Verwenden einer oben beschriebenen erfindungsgemäßen multifunktionalen Kameraeinheit gekoppelt auf einem ersten mobilen Trägersystem. Die Kollisionsprüfung betrifft insbesondere die Bewegung der Kameraschlitten, auf denen die Kameras der Kameraeinheit, angeordnet sind. Die Kollisionsprüfung verhindert das Eindringen von benachbarten beweglichen Kameraschlitten in Überlappungsbereiche, in denen sie mit angrenzenden Kameraschlitten kollidieren könnten.

Dabei ist die Kollisionsprüfung zeitlich der Bewegung der Kameraschlitten vorgelagert. Dies ermöglicht, dass sich die Kameras in ihren Arbeitsbereichen ohne die Gefahr von Kollision frei bewegen können. Die Kollisionsüberprüfung erfolgt vor allem in regelmäßigen Abständen, insbesondere permanent. Die Kollisionsüberprüfung umfasst dabei die Prüfung, ob in einem Arbeitsbereich, insbesondere in einem Überlappungsbereich, bereits eine Kamera vorhanden ist, bevor eine weitere Kamera in diesen Bereich gefahren wird. Innerhalb der Überlappungsbereiche wird somit die Einfahrt einer Kamera in einen „fremden" Arbeitsbereich, das heißt einem Arbeitsbereich einer anderen Kamera, nur dann erlaubt, sodass dieser nicht genutzt, also frei, ist. Wenn sich in dem Überlappungsbereich bereits eine Kamera befindet, wird die Einfahrt einer weiteren Kamera nicht zugelassen.

Ferner umfasst das Verfahren eine regelmäßige Abstandsüberwachung der Abstände zwischen den Kameras der Kameraeinheit und/oder regelmäßige Abstandsüberwachung des Abstandes zwischen der multifunktionalen Kameraeinheit und dem interessierenden Objekt, insbesondere dem zweiten mobilen Trägersystem, wobei die Abstandsüberwachungen voneinander getrennt ausgebildet sind. Dabei überfolgt die Abstandsüberwachung insbesondere in regelmäßigen Abständen, bevorzugterweise permanent.

In einem weiteren Schritt kann das Verfahren das Projizieren von Mustern auf das interessierende Objekt mittels Punktprojektoren umfassen, die das Erkennen des Objektes erleichtern. Die Auswertung der Ausbreitungsinformation dieser Punkt- Projektion gekoppelt mit der gemessenen Blickrichtung, d.h. der genauen vertikalen und horizontalen Positionsdaten der Kameraschlitten bzw. der Kamera, erfolgt innerhalb der Kameraeinheit durch die Bestimmung des projizierten Flächeninhaltes im Verhältnis zum Projektionsmuster und der umgebenen Kontur des interessierenden Objektes. In einer weiteren Ausprägungsvariante werden die projizierten Muster nicht orthogonal zur jeweiligen Aufnahmeebene hin ausgebildet, sodass zusätzliche Abstandsinformationen mit dem hierdurch entstehenden Winkel versatz ausgewertet werden. Die Anordnung der Punktprojektoren im Verhältnis zur jeweiligen Aufnahmeebene ist vorzugsweise orthogonal, kann aber unter der Voraussetzung einer im Bild sichtbaren Projektion im Hinblick auf zusätzliche Abstandsinformationen zum Ziel auch einen beliebig anderen Winkel annehmen. Demnach kann das Verfahren die dynamische Anpassung der Einstellwinkel umfassen. In einem weiteren Schritt umfasst das Verfahren das Speichern aller von der Kameraeinheit aufgenommenen Rohdaten, insbesondere Bildaufnahmen, innerhalb der multifunktionalen Kameraeinheit. Diese können insbesondere für nachgelagerte Auswertungen in Hinblick auf spezielle anwendungsbezogene Messaufgaben, nicht nur solche, die aus dem Bereich der Geodäsie stammen, herangezogen werden.

Spezielle Messaufgaben sind beispielsweise die optische Aufnahme von Infrastruktur (z. B. Oberbau, Signalanlagen, Abstellanlagen, Bahnhöfe) des Schienenpersonennahverkehrs und schienengebundenen Fernverkehrs im In- und Ausland, wobei der Zustand und die Vollzähligkeit von Anlagenteilen im Hinblick auf die Betriebssicherheit und der allgemeinen Planung von Instandhaltungsmaßnahmen vergleichsweise schnell überprüft werden kann. Das erfindungsgemäße Verfahren kann im Vergleich zu konventionellen Messfahrten, welche nur durch Voranmeldung, Beantragung eines Fahrplans, Gebühren für Energieversorgung, Strecken- und Bahnhofsbenutzung, Disposition eines Schienenfahrzeuges und Bereitstellung eines ortskundigen Lokführers möglich sind und zudem in Ballungsgebieten bis zu mehreren Monaten im Voraus geplant werden müssen, sehr kostensparend vorgenommen werden.

Ferner umfasst das Verfahren die Objekterkennung mit Hilfe der digitalen Bildverarbeitung, wobei hier eine Unterteilung in Vorverarbeitung, Segmentierung, Merkmalsextraktion und Analyse stattfindet. Innerhalb der Vorverarbeitung wird das akquirierte digitale Farbbild mittels Punktoperatoren, sowie lokaler und globaler Filteroperationen - bei bleibenden Informationsgehalt - vorbehandelt, sodass die weiter zu verarbeitende Bildgröße im Sinne des dafür erforderlichen Speichervolumens deutlich abnimmt.

In der dann folgenden Segmentierung und Merkmalsextraktion werden u.a. auch mit gängigen Transformationsalgorithmen (bspw. Hough, Fourier, Laplace) gezielt typische Merkmale bezüglich der Kontur des interessierenden Objektes (bspw. Größenverhältnisse zwischen optischen Merkmalen, wie seitlichen Auslegern, und Korpus, Anstiege und Kurvenübergänge) und der verwendeten Oberflächentextur herausgestellt.

In der abschließenden Analyse werden die zuvor berechneten Merkmale einer Interpretation unterzogen, wobei dann die Entscheidung erfolgt, ob ein potentiell befreundetes Objekt erkannt wurde, oder nicht.

Wurde ein interessierendes Objekt gefunden, wird es systemintern gelistet und innerhalb des Arbeitsbereiches durch sogenanntes mechanisches und softwaretechnisches Tracking verfolgt. Hierbei wird aus Laufzeitgründen nicht ständig erneut eine aufwendige Mustererkennung durchgeführt, vielmehr wird mithilfe eines einfachen geometrischen Primitives, bspw. einer Linie, eines Dreieck oder eines Viereck das interessierende Objekt optisch substituiert und im Bild verfolgt.

Ferner betrifft die Erfindung die Verwendung einer oben beschriebenen multifunktionalen Kameraeinheit zum Tracking mindestens eines interessierenden Objektes, insbesondere eines zweiten Trägersystems, wobei die Verwendung den Schritt des systeminternen Listens des interessierenden Objektes und das Verfolgen des systeminteressierenden Objektes durch mechanisches und softwaretechnisches Tracking umfasst.

Unter dem Begriff „Listen" ist insbesondere ein Merken des interessierenden Objektes zu verstehen. Das Listen des interessierenden Objektes umfasst ferner das Anlegen einer internen Erkennungsstatistik vorzugsweise. Dass ein interessierendes Objekt gelistet wird, setzt eine oben beschriebene Objekterkennung voraus. Das Listen des jeweilig erkannten interessierenden Objektes ermöglicht eine nahtlose Übergabe zu der in dem nächsten Arbeitsbereich befindlichen Kamera, welche auch ohne weitere Mustererkennung mithilfe einfacher geometrischer Objekte das interessierende Objekt verfolgt. Insbesondere umfasst die Verwendung, dass eine erste Kamera in einem ersten Arbeitsbereich das interessierende Objekt trackt, d.h. verfolgt, und beim Verlassen des ersten Arbeitsbereichs in einen zweiten Arbeitsbereich einer zweiten Kamera ein nahtloser Übergang des Trackings und somit der Zuständigkeit, zu der zweiten Kamera folgt. Dies setzt vor allem die Abstandsüberwachung und die Kollisionsüberprüfung voraus. Dadurch ist ein nahtloser Übergang und somit ein permanentes Tracking des interessierenden Objektes, gewährleistet. Die mechanische Objektverfolgung geschieht innerhalb eines Arbeitsbereiches vollautomatisch durch Bewegung der jeweiligen Kamera. Mögliche Überdeckungen des Ziels durch andere bewegliche Objekte, welche dann zu fehlerhaften Interpretationen führen könnten, werden durch vorausschauendes, auf physikalischen Grundsätzen basierendes Schätzen der aktuellen Position im Raum kompensiert.

Beschreibung der Figuren

Eine bevorzugte Ausführungsform der Erfindung wird nachstehend anhand der Figuren näher erläutert. Es zeigen rein schematisch:

Figur 1: einen Programmablaufplan der internen Funktionsweise einer

multifunktionalen Kameraeinheit;

Figur 2: eine Übersicht der globalen Funktionsweise der multifunktionalen

Kameraeinheit im Kontext der Verbindung mit einem ersten mobilen

Trägersystem;

Figur 3: eine seitliche Schnittansicht einer multifunktionalen Kameraeinheit; Figur 4: eine Draufsicht auf die Aufteilung in Arbeits- und Überlappungsbereiche;

Figur 5: eine perspektivische Ansicht des inneren Aufbaus der Kameraeinheit;

Figur 6: eine perspektivische Ansicht der vier Kameraschlitten samt Zahnrad;

Figur 7: eine perspektivische Ansicht eines Kameraschlittens;

Figur 8: eine Draufsicht auf die Inkrementalscheiben für die horizontale

Bewegung der Kameraschlitten und die vertikale Kreisbewegung der Kameras;

Figur 9: eine perspektivische Ansicht der nach unten gerichteten statischen

Kameras; und

Figur 10: eine perspektivische Ansicht einer Kombination einer multifunktionalen

Kameraeinheit und eines ersten mobilen Trägersystems.

Bevorzugte Ausführungsform der Erfindung

Figur 1 zeigt einen Programmablaufplan der internen Funktionsweise einer multifunktionalen Kameraeinheit (100). Dabei stellt Figur 1 insbesondere den Ablauf eines erfindungsgemäßen Verfahrens und/oder den Ablauf einer Verwendung einer multifunktionalen Kameraeinheit (100) zum Tracking mindestens eines interessierenden Objektes dar.

Als erster Schritt (500) erfolgt eine Bildaufnahme mittels mindestens einer Kamera (18) der multifunktionalen Kameraeinheit (100), bevorzugterweise mittels sämtlicher Kameras (18). Die Daten der Bildaufnahme, und die ursprünglich aufgenommenen Bilddaten der mindestens einen Kamera, werden in einem weiteren Schritt (501) als Rohdaten gespeichert und können für nachgelagerte Auswertungen genutzt werden. Parallel dazu findet die Bildverarbeitung (502) der aufgenommenen Daten statt.

Es schließt sich die Erkennung (503) eines interessierenden Objektes an. Dazu wird mindestens eine Kamera (18) bzw. der zugehörige Kameraschlitten (14, 15, 16, 17) im jeweiligen Arbeitsbereich (24) bewegt, insbesondere werden sämtliche Kameras (18) bzw. zugehörige Kameraschlitten (14, 15, 16, 17) im jeweiligen Arbeitsbereich (24) bewegt. Wird kein interessierendes Objekt gefunden, geht der Prozess erneut ab der Bildverarbeitung (502) weiter, wobei nun neue in der Zwischenzeit aufgenommene Bilddaten verarbeitet werden. Wurde ein interessierendes Objekt gefunden, wird in einem weiteren Schritt (504) überprüft, ob die gegebenen Eigenschaften im Hinblick auf geometrische Besonderheiten, bspw. Größenverhältnisse zwischen optischen Merkmalen, wie seitlichen Auslegern, und Korpus, Anstiege und Kurvenübergänge, und der verwendeten Oberflächentextur, der in der multifunktionalen Kameraeinheit (100) hinterlegten Systeminformationen entspricht. In einem weiteren Schritt (504a) wird ausgehend von der multifunktionalen Kameraeinheit (100) vom interessierenden Objekt eine digitale Signatur abgefragt, welche konjugiert mit der vorher stattgefundenen positiven optischen Bestätigung der Zugehörigkeit zu der in der multifunktionalen Kameraeinheit (100) bekannten weiteren mobilen Trägersysteme im Ergebnis eine Klassifizierung (505) in ein befreundetes oder nicht befreundetes Objekt ermöglicht.

In einem weiteren Schritt (506) wird das optische Tracking (506) aktiviert. Wird das interessierende Objekt als ein feindliches Objekt klassifiziert, wird in einem nächsten Schritt (507) ein Sicherheitsprogamm aktiviert, welches im Hinblick auf die übergeordnete Aufgabenstellung ein bloßes Listen dieses Objektes mit seinen gegebenen optischen Eigenschaften und seiner Position beinhaltet, oder mit Hilfe der am ersten mobilen Trägersystem (1000) angebrachten Hilfsmittel aktiv für die Deaktivierung dieses Objektes, vorzugsweise Flugobjektes sorgt, sodass keinerlei Gefahr für die planmäßige Durchführung der übergeordneten Aufgabenstellung mehr besteht.

Im Rahmen des optischen Trackings (506) werden in einem Schritt (508) die Bewegungsgrenzen der Kamera (18), die das interessierende Objekt trackt, d.h. verfolgt, bzw. des zugehörigen Kameraschlittens (14, 15, 16, 17) überwacht. Werden die örtlichen Grenzen im akquirierten Bild der Kamera (18) erreicht, wird ein mechanisches Tracking (509) aktiviert. Im Rahmen des mechanischen Tracking (509) wird die Verfolgung des interessierenden Objektes nahtlos an eine benachbarte Kamera (18) übergeben, sobald die zuvor zuständige Kamera (18) aufgrund ihres limitierten Arbeitsbereiches (24) das interessierende Objekt nicht mehr überwachen kann. Die Übergabe erfolgt dann an die Kamera (18), in dessen Arbeitsbereich (24) das interessierende Objekt nun fällt.

In einem weiteren Schritt (510) erfolgt eine Bestimmung des Abstandes zum interessierenden Objekt. Das interessierende Objekt wird in einem weiteren Schritt (511) gelistet und die 3D-Positionsdaten des interessierenden Objektes werden an das erste mobile Trägersystem (1000), auf dem die multifunktionale Kameraeinheit (100) angeordnet ist, übertragen. Abschließend wird bewertet, ob das Verfahren an dieser Stelle gestoppt werden soll oder weiterläuft. Im letzten Fall fängt das Verfahren erneut bei der Bildverarbeitung (502) von neu aufgenommenen Bilddaten an. Der oben beschriebene Stopp des Verfahrens kann bspw. durch die Notwendigkeit von Energieeinsparungsmaßnahmen zum Erreichen einer sicheren Landeposition ausgelöst werden.

Insgesamt ist aus Figur 1 somit vor allem der funktionale Zusammenhang zwischen Bildaufnahme, Bildverarbeitung, optischem und mechanischem Tracking und SD- Positionsbestimmung zu entnehmen.

Figur 2 zeigt eine Übersicht der globalen Funktionsweise der multifunktionalen Kameraeinheit (100) in Verbindung mit einem ersten mobilen Trägersystem (1000). Der multifunktionalen Kameraeinheit (100) werden insbesondere die Funktionen der Bildaufnahme, Bildverarbeitung, Bestimmung der Positionsdaten eines interessierenden Objektes, das mechanische Tracking des interessierenden Projektes, und eine Kollisionsüberwachung zugewiesen. Dem ersten mobilen Trägersystem (1000) werden die folgenden Funktionen zugewiesen: eine Überwachung der zugrundeliegenden übergeordneten Aufgabe (Mission), eine Überwachung der Navigation, eine Datensammlung und Datenfilterung, eine Überwachung der Sicherheit, eine Überwachung des Landevorgangs, eine Überwachung der Motoren des ersten mobilen Trägersystems (1000) und eine Überwachung der externen Lasten. Die multifunktionale Kameraeinheit (100) und das erste mobile Trägersystem (1000) sind über eine mechanische Schnittstelle (200), die insbesondere funktions- und prinziphybrid ausgebildet ist, verbunden. Der Schnittstelle (200) werden in Hinblick auf die Sicherheitsüberwachung des ersten mobilen Trägersystems (1000) folgende Funktionen zugewiesen: eine sichere vollautomatische Kopplung, die über ein magnetisches Feedback kontrolliert wird, sowie ein automatisches sicheres Zu- und Abschalten von Signal- und Leistungspfaden. Zur Herstellung einer sicheren Verbindung zwischen Last (300) und dem ersten mobilen Trägersystem (1000) wird während des Kopplungsvorganges ein pulsbasiertes Identifikationssignal von der Last, welche an der sogenannten Toolseite der Schnittstelle (200) befestigt ist, an die sog. Maschinenseite der Schnittstelle (200), welche am ersten mobilen Trägersystem (1000) befestigt ist, übermittelt, sodass hierdurch die grundsätzliche familiäre Zugehörigkeit zwischen der Last (300) und dem ersten mobilen Trägersystem (1000) festgestellt werden kann. Im Weiteren ist die Last (300), welche an die Toolseite der Schnittstelle (200) befestigt ist, dazu angehalten nach der Übermittlung und Auswertung des oben beschriebenen Identifikationssignales ein sogenanntes Vital Sign zu erzeugen, welches die funktionale Anwesenheit der am ersten mobilen Trägersystem (1000) gekoppelten Last (300) jederzeit signalisiert. Die Abwesenheit dieses Signales, welches innerhalb der Schnittstelle (200) permanent überprüft wird, hat unmittelbar ein Abschalten sämtlicher Signal- und Leistungspfade zur Folge und einer Fehlermeldung wird generiert, welche dem daran montierten ersten mobilen Trägersystem (1000) im Rahmen einer Fehlermeldung zur weiteren Auswertung zur Verfügung gestellt wird. Ferner weist die Schnittstelle (200) eine innere Intelligenz auf, die folgende Informationen unterscheiden und bearbeiten kann: Lasten unterscheiden, Protokolle erstellen, Anzahl der Kopplungen sowie Betriebsstunden überwachen, unnötige Kopplungen, d.h. unnötige Lasten vermeiden. Ferner kommt der Schnittstelle die Funktion zu, die vorgenannten Informationen für eine weitere spätere Auswertung statistisch zusammenzufassen.

Figur 3 zeigt eine seitliche Schnittansicht einer multifunktionalen Kameraeinheit (100) und somit den inneren Aufbau dieser. Die multifunktionale Kameraeinheit (100) ist zu beiden Stirnseiten hin trichterförmig ausgebildet. Die Kameraeinheit (100) weist ein Gehäuse (28) auf, das sich konisch in Richtung beider Stirnseiten erweitert. In einem oberen Teil des Gehäuses (28) sind die bildaufnehnnenden Teile der Kameraeinheit (100) angeordnet, während sich in dem unteren Teil die Elektronik, insbesondere eine elektronische Implementierung (22) der Bildverarbeitung und Kommunikationskanäle, befinden. Zumindest ein oberer Teil des Gehäuses (28) der Kameraeinheit (100) ist als transparente Hülle (10) ausgebildet, sodass Bildaufnahmen der innerhalb des Gehäuses angeordneten Kameras (18) erfolgen können.

Die multifunktionale Kameraeinheit (100) weist eine statische Zentralkamera (11) auf, die für die Aufnahme des darüber liegenden Luftraumes ausgebildet ist. Ferner umfasst die Kameraeinheit (100) einen Punktprojektor (12) sowie eine Ringbeleuchtung (13) für die Zentralkamera (11). In der Schnittdarstellung der Figur 3 ist ferner einer (14) von vier Kameraschlitten (14, 15, 16, 17) zu sehen, auf denen jeweils eine horizontal und vertikal bewegliche Kamera (18) angeordnet ist. Jeder Kamera (18) eines Kameraschlittens (14, 15, 16, 17) sind jeweils ein Punktprojektor (18a) sowie eine Ringbeleuchtung (18b) zugeordnet. Die Kameraschlitten (14) weisen jeweils einen Antrieb (19) für die vertikale Kreisbewegung der zugehörigen Kamera (18) auf. Ferner weist die Kameraeinheit (100) eine Inkrementalscheibe (20) für die horizontale Bewegung, das heißt Zirkularbewegung, der Kameraschlitten (14, 15, 16, 17) um den geometrischen Ursprung der Kameraeinheit (100) auf. Die Inkrementalscheibe (20) ist vierspurig ausgebildet. Für die horizontale Bewegung der Kameraschlitten (14) weist die Kameraeinheit (100) jeweils einen Antrieb (23) auf.

Für die Aufnahme der Bereiche zwischen seitlichen Auslegern (1000a) des ersten mobilen Trägersystems (1000) umfasst die multifunktionale Kameraeinheit (100) vier statische Kameras (21), von denen eine in der Schnittansicht der Figur 3 zu sehen ist. Die statischen Kameras (21) sind unterhalb der Kameraschlitten (14, 15, 16, 17) angeordnet. Die statischen Kameras (21) erlauben einen nach unten gerichteten, zwischen den seitlichen Auslegern (1000a) des ersten mobilen Trägersystems (1000) gerichteten Blick und somit eine derart gerichtete Aufnahme von Bildern. In Figur 4 ist eine Draufsicht auf die Aufteilung in Arbeitsbereiche (24) und Überlappungsbereiche (26) der Kameraschlitten (14, 15, 16, 17) der Kameraeinheit (100) zu sehen. Der Winkelbereich von 360° ist sektorial in vier Quadranten (I, II, III, IV) aufgeteilt. Jedem Kameraschlitten (14, 15, 16, 17) ist ein Arbeitsbereich (24) zugeordnet, wobei benachbarte Arbeitsbereiche (24) an ihren Enden in Überlappungsbereichen (26) überlappen können. Somit werden erweiterter Arbeitsbereiche (25) mit Überlappung geschaffen.

Figur 5 zeigt eine perspektivische Ansicht des inneren Aufbaus der Kameraeinheit (100). Neben den vier Kameraschlitten (14, 15, 16, 17) ist ein Schutzring (27) für die mechanische Abschirmung der Kameraschlitten (14, 15, 16, 17) gezeigt.

In Figur 6 ist eine perspektivische Ansicht auf die vier Kameraschlitten (14, 15, 16, 17) sowie auf das Zahnrad (29), mit dem die Kameraschlitten (14, 15, 16, 17) verbunden sind, gezeigt. Das Zahnrad (29) sorgt zusammen mit dem Antrieb (23) für die horizontale Bewegung eines Kameraschlittens (14, 15, 16, 17) für die Bewegung der Kameraschlitten (14, 15, 16, 17) in der horizontalen Ebene. Auf dem Zahnrad (29) ist die Zentralkamera (11) angeordnet.

In Figur 7 ist eine perspektivische Ansicht eines Kameraschlittens (14) dargestellt. Für die Montage aller für den kameraschlitten relevanten Bauelemente weist die Kameraeinheit (100) einen Rahmen (30) auf. Der Kameraschlitten (14) weist eine einspurige Inkrementalscheibe (31), die für die vertikale Kreisbewegung der auf dem Kameraschlitten (14) angeordneten Kamera (18) dient. Ferner ist in Figur 7 der Antrieb (23) für die horizontale Bewegung des Kameraschlittens (14) und der Antrieb (19) für die vertikale Kreisbewegung der Kamera (18) gezeigt. Die beiden Antriebe (19, 23) werden durch elektronisch kommutierende Motoren gebildet. In Figur 8 sind die Inkrementalscheiben (20, 31) der multifunktionalen Kameraeinheit (100) dargestellt. In der linken Bildhälfte ist die Inkrementalscheibe (20) für die horizontale Bewegung eines Kameraschlittens (14, 15, 16, 17) gezeigt, während in der rechten Bildhälfte die Inkrementalscheibe (31) für die vertikale Kreisbewegung einer auf dem Kameraschlitten angeordneten Kamera (18) dargestellt ist.

In der linken Bildhälfte der Figur 8 ist auf der Inkrementalscheibe (20) für die horizontale Bewegung eines Kameraschlittens (14, 15, 16, 17) eine erste Spur (32), auf der sich ein erster Kameraschlitten (14) bewegen kann, angeordnet. Ferner weist die Inkrementalscheibe (20) eine zweite Spur (33) für einen zweiten Kameraschlitten (15), eine dritte Spur (34) für einen dritten Kameraschlitten (16) und eine vierte Spur (35) für einen vierten Kameraschlitten (17) auf. Jede Spur (32, 33, 34, 35) weist einen Initialisierungsbereich (36) auf. Die Spuren sind jeweils zueinander derart versetzt angeordnet, dass Überlappungsbereiche zwischen den Spuren (32, 33, 34, 35) benachbarter Kameraschlitten (14, 15, 16, 17) entstehen. Die zweite Spur (33) ist gegenüber der ersten Spur (32) radial nach innen versetzt angeordnet. Das Gleiche gilt für die dritte Spur (34) im Vergleich zur zweiten Spur (33) sowie für die vierte Spur (35) im Vergleich zur dritten Spur (34).

In der rechten Bildhälfte ist auf der Inkrementalscheibe (31) für die vertikale Kreisbewegung einer auf dem Kameraschlitten angeordneten Kamera (18) ebenfalls eine Spur (37) für die Bewegung dieser angeordnet, die ebenfalls einen Initialisierungsbereich (38) aufweist.

Figur 9 zeigt eine perspektivische Ansicht auf die nach unten gerichteten statischen Kameras (21) der Kameraeinheit (100). In Figur 9 ist insbesondere der der statischen Kamera (21) jeweils zugeordnete Punktprojektor (21a) und die Ringbeleuchtung (21b), vor allem in der - in der rechten Bildhälfte gezeigten - vergrößerten Darstellung, zu sehen. Durch eine entsprechende Ausnehmung in dem Gehäuse (28) oder einer transparenten Ausbildung des Gehäuses (28) können die statischen Kameras (21) nach unten gerichtete Bildaufnahmen erzeugen.

Figur 10 zeigt eine perspektivische Ansicht einer Kombination einer multifunktionalen Kameraeinheit (100) und eines ersten mobilen Trägersystems (1000). Die Kombination weist ebenfalls eine Schnittstelle (200) zwischen der Kameraeinheit (100) und dem ersten mobilen Trägersystem (1000) auf. Ferner umfasst das erste mobile Trägersystem (1000) eine elektronische Last (300). Das erste mobile Trägersystem (1000) wird durch eine Flugdrohne, insbesondere einem Airshark Carrier System, gebildet, das vier seitliche Ausleger (1000a) mit jeweils einem Propeller (1000b) aufweist. Die multifunktionale Kameraeinheit (100) ist in einem zentralen Bereich, nach oben gerichtet, auf dem ersten mobilen Trägersystem (1000) angeordnet.

Bezugszeichenliste

1000 Erstes mobiles Trägersystem

1000a Seitliche Ausleger

1000b Propeller

100 Multifunktionale Kameraeinheit

200 Schnittstelle

300 Elektronische Last

10 Transparente Hülle

11 Statische Zentralkamera

12 Punktprojektor für Zentralkamera

13 Ringbeleuchtung für Zentralkamera

14, 15, IS, 17 Kameraschlitten

18 Kamera auf Kameraschlitten

18a Punktprojektor für Kamera auf Kameraschlitten

18b Ringbeleuchtung für Kamera auf Kameraschlitten

19 Antrieb für die vertikale Kreisbewegung einer Kamera auf

Kameraschlitten

20 Inkrementalscheibe für die horizontale Bewegung eines

Kameraschlittens

21 Statische Kamera

21a Punktprojektor für statische Kamera

21b Ringbeleuchtung für statische Kamera

22 Elektronische Implementierung der Bildverarbeitung und

Kommunikationskanäle

23 Antrieb für die horizontale Bewegung eines Kameraschlittens

24 Arbeitsbereich Erweiterter Arbeitsbereich mit Überlappung

Überlappungsbereich

Schutzring

Gehäuse

Zahnrad

Rahmen

Inkrementalscheibe für die vertikale Kreisbewegung einer auf dem Kameraschlitten angeordneten Kamera

Erste Spur auf Inkrementalscheibe

Zweite Spur auf Inkrementalscheibe

Dritte Spur auf Inkrementalscheibe

Vierte Spur auf Inkrementalscheibe

Initialisierungsbereich

Spur auf Inkrementalscheibe Bildaufnahme

Speicherung der Rohdaten

Bildverarbeitung

Erkennung

Prüfung der Eigenschaften

Klassifizierung

Optisches Tracking

Aktivierung eines Sicherheitsprogramms

Überwachung der Bewegungsgrenzen der Kamera

Mechanisches Tracking

Listen des interessierenden Objektes

Übertragung der Daten an erstes mobiles Trägersystem




 
Previous Patent: DARK CURRENT COMPENSATION

Next Patent: FOUR-LEVEL POWER CONVERTER