[01] Die Erfindung betrifft eine Vorrichtung und ein Verfahren zum Erfassen von Flugkörpern.

[02] Sathyamoorthy, Dinesh. A review of security threats of unmanned aerial vehicles and mitigation Steps, The Journal of Defence and Security, 2015, 6.J9., Nr. 1, S.81 gibt einen allgemeinen Überblick über technische und organisatorische Maßnahmen zur Erkennung und Abwehr von kommerziellen UAVs (unbemanntes Luftfahrzeug). Dabei werden einzelne Technologien wie beispielsweise das akustische Messen aufgezeigt.

[03] In Patents Factory Ltd.: Optical Drone Detection System. 9. August 2016 wird ein Stereo-Camera System vorgestellt, welches zur Berechnung von Dimensionen, Entfernungen und Geschwindigkeiten von Flugköpern verwendet wird. Dies dient der zivilen und militärischen Überwachung von Flugräumen. Diese Technologie hat den Nachteil, dass Wettereinflüsse die Sichtweite und die Messungen deutlich beeinflussen.

[04] Die US 2015/ 0 370 2050 AI beschreibt ein Vorgehen für ein Interaktions- und Steuerungsverfahren von UAVs. Hier wird nur allgemein von einer Objekterkennung gesprochen. Dabei wird in den Absätzen [0026] und [0027] auf die Erkennung der Position von UAVs mittels Radio Frequency Antennen Arrays hingewiesen. In den Absätzen [0036] und [0121] wird der zusätzliche Einsatz von Computer Vision zur Objekterkennung von UAVs angedeutet.

[05] Dabei wird zwar die Möglichkeit des Einsatzes von Radio Frequency Antennen Arrays erwähnt, jedoch ein solches System für UAVs nicht vorgestellt. Für den praktischen Einsatz fehlen Ausführungen zur Signalanalyse und für die Filterung der Kommunikation zwischen UAV und Steuerung. Im besonderen fehlen Angaben zum Verfahren der Erkennung des UAV-Signals und zur Unterscheidung bzw. digitalen Filterung von Signalen des UAVs, der Remote Control (Steuerung) und des Signalrauschens. Daher hilft auch diese

|Bestätigungskopie| Veröffentlichung nicht, zwischen einem Signal von einem UAV und dessen Steuerung zu unterscheiden.

[06] In Kronberger, Rainer; et al. UHF RFID localization System based on a phased array antenna, in: Antennas and Propagation (APSURSI), 201 1 IEEE International Symposium on. IEEE, 2011. S.525-528 wird ein System zur Lokalisierung von RFID Chips beschrieben. Dieses nutzt Beamforming mittels eines Antennen-Arrays, um im Frequenzbereich von 868 und 955 MHz RFIDs zu lokalisieren. Dieser Anwendungsfall bezieht sich nicht auf UAVs. Es handelt sich dabei um ein aktives System, welches ein Aktivierungssignal an die RFID Chips aussendet.

[07] In der GB 25 36 04 3A wird ein Radar-System für UAVs vorgesellt, das zusätzlich eine Jammer-Einheit beinhaltet. Radar-Systeme sind aktive Verfahren, die hoch-energetische Signale aussenden und die Reflexion im Vergleich messen. Dadurch können Positionen und Geschwindigkeiten von Objekten erfasst werden.

[08] Nachteilig an Radar-System ist, dass die Erkennung von kleinen Objekten wie UAVs äußerst schwierig ist. Es kommt leicht zu Verwechslungen mit Vögeln oder anderen kleinen Flugobjekten. Außerdem sind Radar-Systeme stark wetterabhängig und haben eine beschränkte Sicht bei Regen oder Schneefall. Darüber hinaus beeinflusst ein Radarsystem als aktives System die umliegende Elektronik, was insbesondere an Flughäfen nachteilhaft ist.

[09] Der Erfindung liegt die Aufgabe zu Grunde derartige Systeme weiterzuentwickeln.

[10] Diese Aufgabe wird einer Vorrichtung mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte Weiterbildungen sind Gegenstand der Unteransprüche. Ein vorteilhaftes Verfahren ist Gegenstand des Patentanspruchs 8.

[1 1] Im Folgenden werden vorteilhafte Aspekte derartiger Vorrichtungen beschrieben, die einzeln oder miteinander in beliebigen Kombinationen verwendet werden können.

[12] Besonders vorteilhaft hebt sich die Erfindung vom Stand der Technik durch ein Stereo-Kamera-Systems und ein passives Radio-Frequency Array ab. Die neue Technologie basiert auf der Kombination von Antennen-Array und Stereo-Kamera-System. Erst die Kombination dieser unterschiedlichen Technologien konnte die Nachteile jeder Einzellösung ausgleichen. Erfmdungsgemäß wird eine Kombination vorgestellt, die die Positionsdaten aus dem Stereo-Kamera-System mit den Positionsdaten aus den Radio-Frequency Antennen Array fusioniert. Dadurch können Fremdeinflüsse verringert und die Genauigkeit der Positionsbestimmung eines UAVs erhöht werden.

[13] Um verschiedene UAVs zu unterscheiden, können die Zeitsignale in dem Frequenzbereich mittels einer FFT (Fast Fourier Transformation) übertragen werden. An dieser Stelle erfolgt die Separation der Signale aufgrund des charakteristischen Frequenzbildes, welches durch Abgleich mit einer Datenbank für verschiedene Hersteller von UAVs und Steuerungen gefiltert werden kann. Dieser Schritt ermöglicht darüber hinaus auch die Lokalisierung der Steuerung (Remote Control).

[14] Vorteilhaft ist es, wenn das Antennen-Array für 2.4 GHz ausgelegt ist. Es soll jedoch auch weitere typische Frequenzbereiche für die Kommunikation von UAVs und deren Steuerung umfassen. Hierzu wird die Möglichkeit des Umschaltens (Multiplexen) zwischen verschiedenen Antennen Elementen und Aufbauten vorgeschlagen. Dadurch können optimale Abstände zwischen den Elementen realisiert und passend für den jeweiligen Frequenzbereich ausgewählt werden.

[15] Im Vergleich zum Stand der Technik ist zu beachten, dass der erfindungsgemäße Ansatz für Wideband Signale ausgelegt ist. Im Vergleich zu den typischen Ansätzen zur Bestimmung des Einfallswinkels von Narrowband Signalen sollte die Hardware für eine Bandbreite von mindestens 80 MHz ausgelegt sein. Ebenfalls ist es notwendig, eine eingangssynchrone und digitale Verarbeitung der Signale zu gewährleisten.

[16] Die Synchronizität der Radio Frequency Signale an den Eingangs-Antennen muss zeit- und phasensynchron sein. Das bedeutet, die Signale müssen zur gleichen Zeit sowie in der gleichen Phasenlage zueinander im digitalen System ausgewertet werden. Das stellt zusätzliche hohe Anforderungen an das Design der Radio Frequency Hardware. Bisher sind keine Systeme bekannt, die mehr als 6 Antennen-Eingänge synchron verarbeiten können.

[17] Vorteilhaft ist es, wenn das Antennensystem mehrere Antennen aufweist, zwischen denen umgeschaltet werden kann (Multiplexing). Dadurch kann ein ein optimales Signal/Rausch- Verhältnis erreicht werden. Bei einem linearen Antennen-Array sind die gewählten Abstände zwischen den Elementen entscheidend für ein optimales Signal/Rausch- Verhältnis.

[18] Die Abstände sind dabei in der Art und Weise gewählt, dass sie ein optimales Singal/Rausch-Verhältnis im jeweiligen Frequenzbereich ermöglichen. Das ist typischerweise die Hälfte der Wellenlänge der Singnalfrequenz, kann jedoch abweichen aufgrund der Restriktionen durch den geometrischen Aufbau.

[19] Die Fähigkeit verschiedene Antennenaufbauten zu wechseln, ist eine Besonderheit des Systems. Dieser Wechsel ermöglicht die wesentlichen Frequenzen für UAVs abzudecken. Der Ansatz des Multiplexen erschließt auch weitere Entwicklungen. Hierbei sind auch dreiecks- oder vierecksförmige Aufbauten denkbar. Dadurch ist es beispielsweise möglich, zusätzlich einen 360 Grad Rundblick um das Modul zu bekommen.

[20] Ein besonderer Vorteil gegenüber dem Stand der Technik liegt darin, dass ein System vorgestellt wird, welches keine Signale aussendet und ausschließlich einen passiven Charakter (Empfangen, nicht Senden) verfolgt. Dadurch werden umliegende Messinstrumente nicht beeinflusst.

[21] Eine vorteilhafte Ausführungsform ist im Folgenden beschrieben und wird in der Zeichnung gezeigt.

[22] Die Merkmale des Systems sind der Einsatz von multiplen Sensoren und Algorithmen zur Fusion der Sensordaten, eines linearen Antennen-Arrays, die Integration eines Stereo- Kamera-Systems und als Add-On eines Akustik-Systems. Ebenfalls ist ein gerichteter RF- Jammer enthalten, der zur automatischen, mechanischen Ausrichtung genutzt wird (Zusatzmodul).

[23] Das System kombiniert drei Sensorprinzipien miteinander: einen Hochfrequenz (RF/HF)-Scanner, ein Kamera-System und zusätzlich akustische Sensoren.

[24] Der Stand der Technik setzt auf Einzeltechnologien (z.B. Hersteller Drone Shield). Die Kombination aus RF-Scanner, Kamera-System und Akustik in einem kompakten System mit dem Ziel einer möglichst genauen Lokalisierung von Unmanned Aerial Vehicle (UAVyPilot ist bisher noch nicht beschrieben worden. [25] Durch die Kombination von Kamera/RF/Akustik ist es möglich, das Überwachungsgebiet in Zonen zu unterteilen (short, medium, long ränge). Es werden die Nachteile einer Technologie (z.B. Kamera bei optischer Behinderung) durch die Vorteile einer anderen Technologie (z.B. Einsatz von RF ist unabhängig von optischen Hindernissen) ausgeglichen. Die Überlagerung der Technologien erhöht zudem die Qualität der Lokalisierung und verringert einseitige aus dem Sensorprinzip bedingte Fehlalarme (z. B. Unterscheidung einem UAV gegenüber einem Vogel).

[26] Das System setzt Algorithmen zur Fusion der Sensor-Daten aus RF/HF, Kamera und Akustik ein (z. B. Kaiman Filter). Die heterogenen Daten werden mittels statistischen Modellen zusammengelegt, wodurch die Qualität der Daten erhöht wird.

[27] Die Zusammenführung basiert unter anderem auf Algorithmen zur Positionsbestimmung wie beispielsweise Kalmann Filter. Hierbei wurde eine mehrstufige Verarbeitung der Sensordaten gewählt. Zuerst erfolgt die Auswertung im physikalischen Rahmen des jeweiligen Sensorprinzips (z. B. Kamera). Im nachfolgenden Schritt werden statistische Verfahren gewählt, um eine Fusion der Daten vorzunehmen. In der Folge kann die Genauigkeit der Lokalisierung erhöht werden.

[28] Die bisherigen Systeme setzen auf die Auswertung einzelner Sensoren (Technologien), ohne eine geschickte Verknüpfung von Informationen aus heterogenen Datenquellen. Es werden keine statistischen Modelle genutzt werden (z. B. Hersteller Dedrone).

[29] Durch den Einsatz der Sensorfusion wird die Qualität der Lokalisierung erhöht. Dadurch wird die Grundlage für die Identifikation von UAVs gelegt.

[30] Es werden Algorithmen des Machine/Deep Learning (Artifical Neuronal Networks) genutzt, um UAV-spezifische Modelle zu entwickeln. Als Grundlage werden die fusionierten Daten der drei Sensoren verwendet. Das Modell wird aus Versuchen angelernt.

[31] Bisher nutzen die bekannten Systeme die Erkennung auf der Grundlage von Einzel- Sensoren, ohne dem Einsatz von Computer-Modellen. [32] In einer Datenbank hinterlegte Computermodelle ermöglichen die Identifikation von UAVs, welche in den Detektionsbereich eingedrungen sind. Basierend auf Merkmalen, die in einem Modell hinterlegt worden sind, kann zwischen UAV-Typen unterschieden werden. Dadurch ist ein UAV-typischer„Fußabdruck" möglich, der eine eindeutige Identifikation ermöglicht.

[33] Die Datenbank basiert ebenfalls auf multiplen Sensorinformationen. Es sind sowohl Modelle zur Silhouette (Kamera-Informationen) wie auch zum typischen Radio Frequency Muster (z. B. FFT Charakteristik) enthalten.

[34] Die RF/HF-Sensoren setzen auf ein lineares Antennen- Array mit mehr als 6 Antennen. Hierfür werden omnidirektionale Antennen für den 433 MHz, 915 MHz, 2.4 GHz oder 5.8 GHz genutzt, die entsprechend der Wellenlänge geometrisch angeordnet sind (Abstand Array- Elemente). Um zwischen den Frequenzen (Center-Frequencies) umzuschalten, wird eine Multiplex-Verbindung realisiert. Im Wesentlichen wird die 2.4 GHz Frequenz geprüft; Erweiterungen sind für 433/915MHz und 5.8 GHz vorgesehen. Hierfür sind zum einen die Antennen im Array hinzu zu schalten oder abzuschalten oder falls nicht möglich, ist ein mechanischer oder elektrischer Austausch des Antennen-Arrays vorgesehen.

[35] Bisherige Erkennungssystemene zur Drohnenabwehr setzen entweder auf omnidirektionale Ein-Antennen-Systeme (kein Array) oder auf segmentierte bzw. gerichtete Antennen.

[36] Der Vorteil von Antennen-Arrays gegenüber Ein-Antennen-Ansätzen ist die Möglichkeit der Lokalisierung von Drohnen. Es kann der Eintrittswinkel des Video-Signals von der Kamera des UAVs erkannt werden. Es können ebenfalls das Steuersignal des Piloten empfangen und dessen Position bestimmt werden. Im Vergleich zu segmentierten Ansätzen liegt der Vorteil in einer geringen Rauschempfindlichkeit (Störsignalen), die im Besonderen im vielfältig (frei) genutzten ISM-Band auftreten kann. Im Gegensatz zu gerichteten Antennen ist bei einem Antennen-Array keine zusätzliche Mechanik notwendig (geringerer Verschleiß).

[37] Für die Auswertung der Antennen-Arrays wird auf Verfahren zur Analyse aus multiplen Input-Signalen (Signal Processing) gesetzt. Es wird auf Algorithmen des Direction- of-Arrival (DOA) aufgebaut, wie die des MUltiple Signal Classification (MUSIC). Für den Anwendungsfall der Erkennung von UAVs oder Piloten wird der Algorithmus entsprechend erweitert. Der entwickelte Ansatz ist auf Steuer- und/oder Video-Signale von Pilot oder UAVs ausgerichtet, d.h. kann für Breitband-Signale mit Frequency Hopping (FHSS) von aktuell bis zu 56 MHz genutzt werden. Hierfür wird eine„Window"-Funktion realisiert, die auf Basis des zuvor bekannten typischen Charakters der Signale die Peilfrequenz auswählt. Nach der Identifikation des Signals, wird dieses durch einen Filter isoliert (Bandpass) und anschließend der Eintrittswinkel des Peil-Signals des UAVs und des Piloten auf das Antennen-Array bestimmt. Die Ermittlung des Eintrittswinkels erfolgt mittels Berechnung der Phasendifferenzen der Signale zwischen den Antennen im Array.

[38] Der Stand der Technik für die UAV-Lokalisierung basiert auf der Messung der Signalstärke (Amplitude) der RF-Kommunikation zwischen UAV oder Pilot. Der Winkel kann bei segmentierten Antennen bestimmt werden (z. B. Hersteller Aaronia), wobei die Hardware-Entwicklung hierfür aufwändig ist.

[39] Der Vorteil von software-basierten Berechungsverfahren liegt in der Flexibilität zur Anpassung an die Signal-Charakteristiken unterschiedlicher UAV-Typen (Fähigkeit zum Software-Update). Ebenfalls ist der Ansatz robust gegenüber Signal-Störungen, wodurch auch der Einsatz im innerstädtischen Bereich oder an Flughäfen (hohe Nutzung der Frequenzen) ermöglicht wird.

[40] Das System beinhaltet zwei hochauflösende Kameras (Stereo-System), die im Abstand von ca. 1 m angebracht und mit einem„geringen" optischen Winkel zueinander ausgerichtet sind.

[41] Der Winkel kann sowohl eingestellt werden wie auch automatisch durch eine Kalibirierung der Matrizen zwischen den Kameras festgelegt werden. Der Winkel bestimmt den Sichtkegel zum zu erfassenden UAV. Dieser Sichtkegel ergibt sich aus dem minimalen Abstand des Sichtkegels, in dessen Bereich eine Abstandmessung zum UAV stattfinden kann. Ebenfalls wird die Sichtbreite des maximalen Abstandes festgelegt.

[42] Der Winkel befindet sich typischerweise zwischen 0 und 25 Grad, wodurch für den Anwendungsfall zur UAV-Lokalisierung hinreichende Einstellmöglichkeiten geschaffen sind. [43] Es werden Verfahren zur Bildausauswertung genutzt, wie beispielsweise Background Subtraction zur Erkennung von kleinen bewegten Objekten im Betrachtungsbereich der Kameras (wie einem UAV). Ebenfalls sind Verfahren zur Identifikation des UAV-Typs im Einsatz, wie beispielsweise Faster R-CNN zur Erkennung von charakteristischen Merkmalen des fliegenden Objektes. Durch die geometrische Ausrichtung der beiden Kameras können Methoden der Stereo Vision angewendet werden. Hierfür werden die Video-Daten der beiden Kameras verglichen und der Schwerpunkt des UAVs bestimmt, indem die relevanten Pixel in den Bildern identifiziert werden. Aufbauend darauf kann die Bildtiefe gemessen und somit der Abstand zum UAV bestimmt werden.

[44] Im System ist ein mehrstufiger Ansatz gewählt, bei dem mehrere Verfahren (Background-Subtraction und R-CNN) kombiniert angewendet werden. Dadurch können die Ergebnisse der Positionsbestimmung ebenfalls in ihrer Präzision erhöht werden. In der Folge werden die Informationen genutzt, um mit diese mit den Radio Frequency Daten zu fusionieren.

[45] Der Stand der Technik beschreibt die Bildauswertung von Mono-Kameras. Diese werden zum einen als Sucher im Bild eingesetzt (z.B. Hersteller Belichter) und zum anderen zur Aufnahme von Videos über das UAV (z.B. Hersteller Dedrone).

[46] Der Einsatz von Stereo-Kameras ermöglicht die Messung von Abständen (Tiefen) zum einfliegenden UAV. Über das UAV können vielfältige Informationen erfasst und gespeichert werden. So tragen Informationen über die 3D-Koordinaten und die Trajektorie des UAV dazu bei, eine Kartographie in einer 3D-Map vorzunehmen. Es können bestimmte Areale in der 3D-Map festgelegt werden, in denen UAV-Flüge erlaubt (grün), verboten mit Warnung (gelb) oder verboten/verhindert (rot) werden. Ebenfalls können in sicherheitskritischen Bereichen spezifische Aktionen (Warnungen, etc.) ausgelöst werden.

[47] Das Akustik-Array ist ein Add-On und besteht aus mehreren omnidirektionalen Mikrophonen von bis zu 20 kHz (hörbarer Bereich). Analog zur Auswertung der RF-Signale kann davon ausgegangen werden, dass die gleichen Verfahren zur Bestimmung des Eintrittswinkels eingesetzt werden können (nur geringere Frequenz). [48] Der Stand der Technik (z.B. Hersteller Drone Shield) beschreibt ebenfalls akustische Erkennungsmechanismen. Im Besonderen werden hier Richtmikrophone genutzt.

[49] Der Vorteil von akustischen Arrays liegt in der Lokalisierung gegenüber einer einfachen Detektion (Geräusche der Propeller/Motoren des UAV). Ebenfalls ist eine Ausrichtung in einem weitaus geringen Maße notwendig als bei einem Einsatz von Richtmikrophonen. Darüber hinaus ist der Verschleiß geringer als bei motor-betriebenen Richtanlagen (keine beweglichen Teile).

[50] Die Gegenmaßnahme zur Abwehr gegenüber UAVs ist in einem Zusatzmodul vorgesehen, einer gerichteten RF-Jammer Einheit. Diese stört die Steuersignale zwischen Pilot und UAV mittels eines direktionalen, gerichteten RF-Störsenders. Im Signal wird ein Sägezahn mit einer hohen Signalstärke an das UAV gesendet, wodurch die Verbindung zum Piloten unterbrochen wird, wodurch dieser die Kontrolle über das UAV verliert. Typischerweise landet das UAV oder fliegt zum Ausgangspunkt automatisch zurück.

[51] Auch im Stand der Technik sind bereits RF-Jammer bekannt, die allerdings bisher omnidirektionale Signale aussenden (z.B. Hersteller Apollo Shield), bei birektionalen Ansätzen manuell ausgerichtet werden müssen (z.B. Hersteller Battie) oder unmittelbar mechanisch mit dem Sucher verbunden sind (z.B. Hersteller Blighter).

[52] Der Vorteil des neuen Ansatzes liegt in der automatischen Ausrichtung der RF- Jammer Einheit anhand der 3D-Koordinaten durch das System. Ebenfalls handelt es sich um ein gerichtetes Signal, wodurch umliegende HF/RF-basierte Empfänger der gleichen Frequenz nicht gestört werden (z.B. wifi-Netzwerke). Da es nicht direkt im Erkennungs/Lokalisierungs-System integriert ist, kann das Zusatzmodul in besonders sicherheitsbedürftigen Arealen aufgestellt werden.

[53] Das System ist in der Art und Weise aufgebaut, dass mehrere Systeme miteinander verbunden werden können (Module). Ebenfalls hat jedes Modul eine Vorzugsrichtung für die Erkennung von UAVs und Piloten. Das sind ca. 120 ° Winkel mit einer Reichweite von ca. 500 m (aufgrund des RF/HF-Parts). Eine wesentliche Verbesserung der Güte in der Lokalisierung erfolgt ab ca. 200 m, sobald UAVs durch das Stereo-Camera-System erkannt werden können. [54] Ein bevorzugtes Ausführungsbeispiel ist in der Zeichnung dargestellt und wird im Folgenden näher beschrieben. Es zeigt

Figur 1 schematisch ein erstes Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung und

Figur 2schematisch ein weiteres Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung.

[55] Das lineare Antennenarray 1 weist mindestens 6 und hier im Ausführungsbeispiel 10 Elemente 2 bis 1 1 auf, die in einem gleichen Abstand 12 zueinander angeordnet sind. Dies ermöglicht es, zwischen verschiedenen Kombinationen von Elementen 2 bis 11 umzuschalten. Zwei Kameras 13 und 14, die in einem Winkel zueinander ausgerichtet sind, bilden ein Stereokamerasystem. Der Abstand er Kameras 13 und 14 liegt bei mindestens 0,5 m.

[56] Ein akustisches Array besteht aus zwei Sensoren 15 und 16. Die gesamte Vorrichtung ist in bzw. an einem Außengehäuse 17 angeordnet. Eine Einrichtung 18 zur Aufhängung des Moduls oder einer Aufstellung beispielsweise auf einem Stativ ist an einem Ende des Moduls vorgesehen.

[57] Die Figur 2 zeigt ein lineares Antennenarray 20 mit 1 1 Elementen 21 bis 31. Mit mindestens 0,5 m beabstandet sind zwei Kameras 32 und 33 angeordnet und die gesamte Vorrichtung wird am Ende gehalten.