Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR RECOGNIZING AND IDENTIFYING OBJECTS
Document Type and Number:
WIPO Patent Application WO/2002/088770
Kind Code:
A2
Abstract:
The invention relates to a method for recognizing and identifying objects using several sensors, especially imaging sensors (L, W, V) operating in the infrared and/or visible wavelength range and radar devices (R), which are based on the generation of a synthetic aperture. According to the invention, said generation of the synthetic aperture occurs in accordance with the ROSAR principle, wherein a plurality of antenna elements (A), which the radar device (R) comprises, is placed on the missile (F) along its arched contour (K), controlled sequentially and scanned and wherein the information acquired by the radar devices (R) and the imaging sensors (L, W, V) is subsequently processed in such a way that optimal imaging of the surroundings of the missile (F) is made possible in every viewing direction.

Inventors:
KLAUSING HELMUT (DE)
KALTSCHMIDT HORST (DE)
Application Number:
PCT/DE2002/001520
Publication Date:
November 07, 2002
Filing Date:
April 25, 2002
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
EADS DEUTSCHLAND GMBH (DE)
KLAUSING HELMUT (DE)
KALTSCHMIDT HORST (DE)
International Classes:
G01S7/00; G01S7/48; G01S13/935; G01S17/88; G01S17/89; G01S7/41; G01S13/86; G01S13/90; G01S19/15; (IPC1-7): G01S7/00
Foreign References:
DE10015164A12001-10-11
US5963653A1999-10-05
DE19902008A12000-08-17
EP0915349A11999-05-12
DE4328573A11995-03-09
US6219594B12001-04-17
DE3922086C11990-10-18
Other References:
CHEN Y: "REGISTRATION OF SAR AND FLIR IMAGES FOR ATR APPLICATIONS" PROCEEDINGS OF THE SPIE, SPIE, BELLINGHAM, VA, US, Bd. 4380, 16. April 2001 (2001-04-16), Seiten 127-134, XP008007817
SHAHBAZIAN E ET AL: "FUSION OF IMAGING AND NON-IMAGING DAT FOR SURVEILLANCE AIRCRAFT" PROCEEDINGS OF THE SPIE, SPIE, BELLINGHAM, VA, US, Bd. 3067, 24. April 1997 (1997-04-24), Seiten 179-189, XP008007793
Attorney, Agent or Firm:
Meel, Thomas (Dornier GmbH LHG Friedrichshafen, DE)
Download PDF:
Claims:
Patentansprüche
1. Verfahren zur Erkennung und Identifizierung von Objekten mittels mehrerer Sensoren, insbesondere mit abbildenden Sensoren (L, W, V) im infraroten und/oder sichtbaren Wellenlängenbereich und Radargeräten (R), welche auf der Erzeugung einer synthetischen Apertur basieren, dadurch gekennzeich net, dass die Erzeugung der synthetischen Apertur nach dem ROSARPrinzip erfolgt, wobei eine Vielzahl von Antennenelementen (A), die das Radargerät (R) umfaßt, entlang der gekrümmten Flugkörperkontur (K) am Flugkörper (F) ange bracht werden und zeitlich nacheinander angesteuert und abgetastet werden und wobei die von den Radargeräten (R) und abbildenden Sensoren (L, W, V) gewonnenen Informationen derart weiterverarbeitet werden, dass in jede Blick richtung eine optimale Abbildung der Umgebung des Flugkörpers (F) möglich ist.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die abbildenden Sensoren (L, W, V) in den Bug des Flugkörpers (F) integriert werden und insbe sondere LaserRadar, Wärmebildgeräte oder Videokameras sind.
3. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeich net, dass die von den einzelnen Radargeräten (R) und/oder Sensoren (L, W, V) gewonnenen Informationen von einer ersten. Datenverarbeitungseinheit (D1) erfaßt und zu einem gemeinsamen Bild verarbeitet werden.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass in einer zweiten Datenverarbeitungseinheit (D2) das in der ersten Datenverarbeitungseinheit (D1) erzeugte Bild mit einem entsprechenden Geländebild aus einer Datenbank (DB) zu einem weiteren Bild verarbeitet wird.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass in der zweiten Da tenverarbeitungseinheit (D2) die symbolisch auf dem Geländebild angeordneten Passpunkte in ein zweidimensionales Bildsignal transformiert werden, welches mit dem in der ersten Datenverarbeitungseinheit (D1) erzeugten Bild korreliert wird.
6. Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass das in der zweiten Datenverarbeitungseinheit (D2) erzeugte Bild in einem Anzeigegerät (AG), insbesondere ein Display oder virtuelles Cockpit, sichtbar gemacht wird.
7. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeich net, dass die für Informationsverarbeitung und/oder Bilddarstellung relevante Daten mittels Kommunikationsnetzwerken (K), insbesondere GSMMobilfunk, Mobilkommunikation über Satelliten oder HF/VHFNetz, übermittelt werden.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die relevanten Da ten aus der Satellitennavigation (SN), insbesondere GPS oder DifferentialGPS und/oder von anderen Kommunikationsteilnehmern (KT), insbesondere exter nen Empfangsund Auswertestationen und/oder anderen Flugkörpern stam men.
Description:
Verfahren zur Erkennung und Identifizierung von Objekten Die Erfindung betrifft ein Verfahren zur Erkennung und Identifizierung von Objekten gemäß dem Oberbegriff des Patentanspruchs 1.

In US 5,963,653 wird ein Verfahren zur Erkennung und Identifizierung von Objekten beschrieben, wobei Informationen mehrerer Sensoren gemeinsam verarbeitet und ausgewertet werden. Insbesondere werden dabei SAR- (synthetic aperture radar) Ra- dargeräte und IR- (infrared) Sensoren verwendet. Als nachteilig erweist sich aller- dings, dass mit den SAR-Radargeräten lediglich eine Abbildung quer zur Flugrichtung möglich ist. Eine gemeinsame Auswertung von Informationen der SAR-Radargeräte mit IR-Sensoren ist somit lediglich für einen eingeschränkten Sichtbereich möglich.

Aufgabe der Erfindung ist es somit, ein Verfahren anzugeben bei dem eine Erken- nung und Identifizierung von Objekten mit SAR-Radargeräten und IR-Sensoren auch in Flugrichtung möglich ist.

Diese Aufgabe wird mit dem Verfahren gemäß dem Patentanspruch 1 gelöst. Vorteil- hafte Ausführungen des erfindungsgemäßen Verfahrens sind Gegenstand von Un- teransprüchen.

Erfindungsgemäß erfolgt die Erzeugung der synthetischen Apertur nach dem RO- SAR-Prinzip, wobei eine Vielzahl von Antennenelementen, die das Radargerät um- faßt, entlang der gekrümmten Flugkörperkontur am Flugkörper angebracht werden und zeitlich nacheinander angesteuert und abgetastet werden. Die von den Radarge- räten und abbildenden Sensoren gewonnenen Informationen werden erfindungsge- mäß derart weiterverarbeitet werden, dass in jede Blickrichtung eine optimale Abbil- dung der Umgebung des Flugkörpers möglich ist. Mit den erfindungsgemäß angeordneten Antennenelementen des nach dem ROSAR- Prinzip arbeitenden Radargeräts, ist es somit möglich, nicht nur das Gebiet quer zur Flugrichtung des Flugkörpers abzubilden, sondern auch das Gebiet in Flugrichtung des Flugkörpers. Im Gegensatz zu bekannten SAR-Radargeräten ist der Sichtbereich des in dem erfindungsgemäßen Verfahrens verwendeten ROSAR-Radargeräts auf keinen bestimmten Blickwinkel eingeschränkt.

Die beim herkömmlichen SAR-Verfahren bekannte synthetische Apertur wird in dem vorgeschlagenen Radarsystem nicht dadurch erzeugt, dass sich z. B. der Flugkörper relativ gegenüber dem Zielobjekt bewegt, sondern die einzelnen, zueinander be- nachbart angeordneten Antennenelemente werden zeitlich nacheinander elektronisch angesteuert und abgetastet. Auch bei der Auswertung nach dem ROSAR-Verfahren wird die rotierende Antennenbewegung durch das zeitlich versetzte Ansteuern und Abtasten benachbarter Antennenelemente simuliert.

Mit dem erfindungsgemäßen Verfahren wird insbesondere durch eine aktive Hinder- niswarnung und Abbildung der gegebenen Erdoberfläche die Orientierung und Navi- gation eines Flugkörpers wesentlich verbessert. Aber auch die Orientierung insbe- sondere eines Flugzeugs bei Start und Landung, z. B. bei technisch unzureichend ausgestatteten Flugplätzen, wird wesentlich verbessert.

Hierzu bedarf es einer bildlichen Darstellung und Wahrnehmung von Flugweg und Landeplatz, sowie einer rechtzeitigen Erkennung von Hindernissen, einer präzisen Navigationsmöglichkeit und einer effizienten Übertragung von Daten/Sprache über Kommunikationsnetze.

Die sichere Landung von Flugzeugen auf technisch unzureichend oder überhaupt nicht ausgerüsteten Flugplätzen bedarf einer allwetterfähigen flugzeugautonomen Heranführung an die Landebahn so wie es mit einem nach dem ROSAR-Prinzip ar- beitenden Radargerät (ROSAR-Sensor) möglich ist und der zusätzlichen Fähigkeit, auch kleinere für den Start-und Landevorgang gefährliche Teile z. B. auf der Lande- bahn zu erkennen.

Durch die nachfolgend näher beschriebenen Maßnahmen wird eine umfassende Ab- deckung des Landekonzeptes für Flugkörper, z. B. Flugzeuge, Drohnen oder Hub- schrauber mit unterschiedlichen Sensorsystemen-auch unter Beachtung militäri- scher Aspekte-gegeben, einschließlich einer intelligenten Signalverarbeitung und Kommunikation.

Die von den Sensoren, welche vorteilhaft in die Flugzeugnase integrierte Laser- Radargeräte, Wärmebildgeräte oder Videokameras sind, und dem ROSAR-Sensor gewonnenen Informationen werden vorteilhaft von einer ersten Datenverarbeitungs- einheit erfaßt und zu einem gemeinsamen Bild verarbeitet. Durch die multispektrale Wirkung bei einer Kombination eines ROSAR-Sensors mit einem optronischen Sen- sor werden Objektsignaturen besser und präziser ausgewertet und abgebildet. Wird als optronischer Sensor z. B. ein Laser-Radargerät verwendet, so wird für das ge- meinsame Bild eine detaillierter Abbildung der Umgebung infolge besserer Entfer- nungs-und Lateralauflösung erreicht.

Mit dem erfindungsgemäßen Verfahren wird mit Hilfe des ROSAR-Sensors eine qua- si-dreidimensionale Radar-Bilddarstellung von Gelände und Hindernissen gegeben.

Die Feinauflösung erfolgt mit den optronischen Sensoren, welche vorteilhaft Laser- Radar, Wärmebildgerät oder Videokamera sind. Durch die Kopplung des nach dem ROSAR-Prinzip, üblicherweise im cm-bzw. mm-Wellenlängenbereich arbeitenden Radargeräts (ROSAR-Sensor) mit den optronischen Sensoren, welche üblicherweise im infraroten oder im sichtbaren Bereich arbeiten, ergänzen sich die Allwetterfähigkeit des ROSAR-Sensors mit der hohen Auflösefähigkeit der optronischen Sensoren im Nahbereich. So ist z. B. beim Landen eines Flugzeugs die eingeschränkte Einsetz- barkeit der optronischen Sensoren bei schlechtem Wetter von untergeordneter Be- deutung, da hier für die Erkennung von Hindernissen auf der Landebahn nur geringe Reichweiten gefordert werden.

Ein weiterer Vorteil ist, dass mit einer Kombination verschiedener aktiver und passi- ver optronischer Sensoren mit dem ROSAR-Sensor eine abgestufte Schlechtwetter- fähigkeit erreicht wird. So ist es mit dem erfindungsgemäßen Verfahren gewährlei- stet, dass auch beim Eintritt in ein Schlechtwetterbereich eine Abbildung der Umge- bung möglich ist.

Die Reichweite optronischer Sensoren bei Schlechtwetter ist für den passiven Infra- rot-Sensor (in den atmosphärischen Fenstern 8-12 um und 3-5 pm) wegen der größeren Wellenlänge und der beleuchtungsunabhängigen thermischen Emission abzubildender Objekte (Feuersicht) größer als die des Laser-Radars (im Wellenlän- genbereich bei ca. 1,5 um), gefolgt von einer Videokamera.

Mit dem erfindungsgemäßen Verfahren können Daten verschiedener Dimensionalität miteinander verknüpft werden. Ein nach dem ROSAR-Prinzip arbeitendes Radargerät oder ein Laser-Radargerät erzeugen eine räumliche Draufsicht des zu abzubildendes Geländes. Die optronischen Sensoren, wie z. B. Wärmebildkameras oder Videokame- ras, liefern ein perspektivisches Bild des abzubildendes Geländes. Mit dem erfin- dungsgemäßen Verfahren werden diese Informationen miteinander verknüpft und können sichtbar gemacht oder weiterverarbeitet werden. So können z. B. auf einer Landebahn befindliche flache Teile in einem kartographischen Bild der Landebahn auch als flache Teile dargestellt werden.

Ein Vorteil der Verknüpfung eines ROSAR-Sensors mit optronischen Sensoren ist, dass neben einer wetterunabhängigen Bestimmung der Objektposition auch eine wetterunabhängige Bestimmung von Objekteigenschaften möglich ist. So ist es mit einem ROSAR-Sensor auch bei Schlechtwetter möglich, Informationen über z. B. das Material eines abzubildenden Objektes zu erhalten.

In einer zweiten Datenverarbeitungseinheit wird in einer vorteilhaften Ausführung des erfindungsgemäßen Verfahrens das in der ersten Datenverarbeitungseinheit er- zeugte Bild mit einem entsprechenden Geländebild aus einer Datenbank zu einem weiteren Bild weiterverarbeitet. Diese Weiterverarbeitung der Daten mit dem entspre- chenden Geländebild erfolgt mittels der bekannten Passpunktmethode und zusätzlich mit einer Passareal-Methode. Passareale sind Geländebereiche, die sich durch auf- fällige Linienanordnungen oder Texturen auszeichnen und die in der Landkarte an- gegeben sind. Die für die Datenverknüpfung notwendige Bildentzerrung wird dann analog zu der bekannten Passpunktmethode und Passarealen vorgenommen.

Die Verknüpfung des in der ersten Datenverarbeitungseinheit erzeugten Bild mit dem Geländebild erfolgt mittels symbolischer und/oder mittels ikonischer Bildverarbeitung.

Bei der ikonischen Bildverarbeitung werden die symbolisch auf der Karte angeord- neten Passpunkte in Passareale als zweidimensionale Bildsignal,-wie sie besonders für Straßenkreuzungen und Texturbesonderheiten typisch sind,-transformiert und dann vorteilhaft korrelativ mit den Bilddaten aus der ersten Datenverarbeitungseinheit verknüpft. Diese im Rahmen der Datenfusion gewonnenen Daten, z. B. Hindernisda- ten, werden vorteilhaft entweder auf einem Display angezeigt oder in einem an sich bekannten virtuellen Cockpit dargestellt.

Die Navigation erfolgt insbesondere auf der Basis einer digitalisierten Geländekarte einschließlich zugefügter Infrastrukturdaten (Flugplatz, Landebahn, Taxiways etc.) in Form einer CD-ROM als Datenbank. Beim virtuellen Cockpit erfolgt also eine Flugfüh- rung anhand der Kombination eines digitalen Geländemodells in Verbindung mit ei- ner satellitengestützten Navigation, vorteilhaft durch GPS (global positioning system).

Das gerade überflogene Gebiet wird aus der Sichtposition des Piloten in Form einer synthetischen Sicht in Echtzeit dargestellt. Wegen der besseren Positionsgenauigkeit wird das besser geeignete Differential-GPS vorgeschlagen.

Vorteilhaft können die gewonnenen Daten an eine Auswertestation oder an andere Kommunikations-Teilnehmer, beispielsweise andere Flugzeuge, übermittelt werden.

Dies kann z. B. über das Mobilfunknetz (GSM-Netz) und/oder mittels Mobilkommuni- kation über Satelliten vorgenommen werden. Der Einsatz der Mobilkommunikation ermöglicht die beidseitige Kommunikation, d. h. Vollduplexbetrieb und Gruppenkom- munikation. Alternativ ist auch eine Übertragung mittels Kurzwellentechnik (HFNHF- Netz) möglich, aber dann muß die benötigte große Antenne am Rumpf des Flugzeu- ges integriert werden. Dafür jedoch hat die HFNHF-Übertragung den Vorteil, dass sie unabhängig von verfügbarer Infrastruktur ist.

Die Übertragung erfolgt ganz oder teilweise automatisiert und dient auch zum Aufbau eines Verbands-oder Flottenmanagements. Weiterhin erfolgt eine automatische, halbautomatische oder auch manuell gesteuerte Kommunikation mit Datenbanken (bspw. Datenbank des Flughafens) erfolgen, um einerseits für die Flugsicherheit rele- vante Daten abzurufen und andererseits aktuelle Daten aus dem Umfeld des Flug- zeuges beim Landen (Hindernisse, Wetterzustandsdaten, etc.) an externe Datenban- ken zu übertragen. Dies ist besonders bei militärischen Einsätzen in unbekannten Landeplatzgeländen erforderlich und dienlich.

Die Erfindung wird im weiteren anhand von Figuren näher erläutert. Es zeigen : Fig. 1 in schematischer Draufsicht einen Landeplatz sowie einen Flugkörper mit beispielhaft angeordneten Sensoren, Fig. 2 das erfindungsgemäße Verfahren als beispielhafte Darstellung in einem Blockschaltbild.

In Fig. 1 ist in schematischer Draufsicht ein Landeplatz L sowie ein Flugkörper F dar- gestellt. Entlang der Kontur K des Flugkörpers F sind beispielhaft die Antennenele- mente A des ROSAR-Sensors angeordnet. Am Bug des Flugkörpers F ist außerdem ein abbildender Sensor S, z. B. ein Laser-Radar, Wärmebildgerät oder eine Videoka- mera angebracht. Mit diesem Sensor S wird in Flugrichtung ein maximaler Sichtbe- reich SB abgebildet. Mit den Antennenelementen A des ROSAR-Sensors ist es mög- lich einen weitaus größeren Sichtbereich abzubilden. Der in Fig. 1 eingezeichnete Sichtbereich SR ist lediglich beispielhaft. Bei geeigneter Anordnung der Anten- nenelemente A entlang der Kontur K des Flugkörpers F ist auch eine Rundsicht mög- lich.

Die Grenzen der Sichtbereiche SR, SB sind dabei jeweils durch gestrichelte Linien gekennzeichnet.

Das erfindungsgemäße Verfahren ist in Fig. 2 beispielhaft in einem Blockschaltbild dargestellt. Die Informationen der einzelnen Sensoren, beispielhaft ROSAR-Sensor R, Laser-Radar L, Wärmebildgerät W und Videokamera V werden in der ersten Da- tenverarbeitungseinheit D1 zusammengeführt. Die Daten der ersten Datenverabei- tungseinheit D1 werden einer zweiten Datenverarbeitungseinheit D2 zugeführt.

Dieser zweiten Datenverarbeitungseinheit D2 werden Daten aus der Satellitennavi- gation SN zugeführt. Außerdem wird der Datenverarbeitungseinheit D2 ein digitales Geländebild aus einer Datenbank DB zugeführt. Darüber hinaus können zwischen der Datenverarbeitungseinheit D2 und einem Kommunikationssystem K, welches z. B. ein GSM-Netz, ein Satellitenkommunikationsnetz oder ein HF-NHF-Netz ist, Informa- tionen ausgetauscht werden. An das Kommunikationsnetz K sind ferner weiterer Kommunikationsteilnehmer KT, z. B. Flugplätze oder andere Flugzeuge angeschlos- sen. Somit ist also möglich, dass Daten aus der Datenverarbeitungseinheit D2 an die übrigen Kommunikationsteilnehmer KT übermittelt werden können oder dass Daten von anderen Kommunikationsteilnehmern KT an die Datenverarbeitungseinheit D2 übertragen werden können.

Die in der Datenverarbeitungseinheit D2 erzeugten Daten werden einem Autopiloten AP und einem Anzeigegerät AG, z. B. ein Display oder virtuelles Cockpit zugeführt.

Dem Anzeigegerät AG werden zudem Daten aus der Satellitennavigation SN zuge- führt und einem Piloten P sichtbar gemacht. Der Pilot P kann mit diesen Daten einen Autopiloten AP speisen. Die gesamte Flugzeugsteuerung FS wird entweder durch den Piloten P oder dem Autopiloten AP gewährleistet.