Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Ermittlung der Schnittkanten von zwei sich überlappenden Bildaufnahmen einer Oberfläche.

Für verschiedene Anwendungen insbesondere im Bereich der luftgestützten

Erdfernerkundung gewinnen Echtzeitdatenübertragungen der Sensordaten sowie eine Visualisierung bzw. Auswertung der übertragenen Daten schon während der Befliegung an Bedeutung.

Heutige Sensoren und Kameras generieren während einer Aufnahme einen hohen Datenstrom, der in der Regel in Größenordnungen umfangreicher ist als aktuelle

Funkstrecken, vor allem über größere Distanzen von einem Flugzeug zu einer

Bodenstation übertragen können. Für eine Echtzeit-Übertragung solcher Sensordaten ist daher in der Regel eine Datenreduktion auf der Senderseite erforderlich. Gleichzeitig besitzen die aufgenommenen Sensordaten einer Befliegung abhängig von Flughöhe, Fluggeschwindigkeit, Öffnungswinkel und Auslösefrequenz der Sensoren eine teilweise hohe Überlappung bezüglich der pro Luftbild erfassten Oberflächensegmente, die auch als Footprints bezeichnet werden. Durch Ermittlung von geeigneten Schnittkanten der Bildaufnahmen könnte dann ein Teil der Bilddaten als redundant verworfen werden und muss nicht übertragen werden.

Dabei stellen sich aber praktisch einige Probleme. So sind die oben genannten Parameter nicht konstant, was dazu führt, dass die Überlappung nicht konstant ist. Verschärft wird dieses Problem, wenn sich die Orientierung der Kamera, also deren Lage im Raum, zwischen den Bildaufnahmen ändert.

Das Problem der optimalen Schnittkanten stellt sich dabei nicht nur im Echtzeitbetrieb, sondern generell wenn Luftbildaufnahmen mit Überlappung schnell zu einem Gesamtbild, einem sogenannten Luftbildmosaik, zusammengesetzt werden sollen.

Der Erfindung liegt daher das technische Problem zugrunde, ein Verfahren zur Ermittlung der Schnittkanten von zwei sich überlappenden Bildaufnahmen einer Oberfläche zur Verfügung zu stellen, das eine möglichst hohe Datenreduktion ohne Informationsverlust (also ohne Lücken im Luftbildmosaik) gewährleistet, sowie eine hierfür geeignete

Vorrichtung zu schaffen.

Die Lösung des technischen Problems ergibt sich durch ein Verfahren mit den Merkmalen des Anspruchs 1 sowie eine Vorrichtung mit den Merkmalen des Anspruchs 5. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.

Das Verfahren zur Ermittlung der Schnittkanten von zwei sich überlappenden

Bildaufnahmen einer Oberfläche, die mittels einer oder mehrerer Kameras mit

matrixförmigen Sensoren aufgenommen werden, erfolgt mittels eines Höhenmodells der Oberfläche, der Projektionsmodelle aller an den Bildaufnahmen beteiligten Kameras sowie eines Positions- und Lagemesssystems. Das Höhenmodell beschreibt dabei für jede Koordinate sowohl die Höhe als auch zu jedem beliebigen Strahl im Raum den Schnittpunkt mit dem Höhenmodell als räumlichen Punkt. Das Projektionsmodell einer Kamera kann zu jedem Bildpunkt einer mit dieser Kamera aufgenommenen Bildaufnahme dessen Raumwinkel beschreiben (Vorwärtsprojektion) als auch zu einem beliebigen räumlichen Weltpunkt den dazugehörigen Bildpunkt auf der Sensoroberfläche

beschreiben (Rückwärtsprojektion). Das Projektionsmodell wird dabei mit Hilfe der inneren Kameraparameter definiert, wobei in das Modell auch die jeweils aktuelle äußere Orientierung (also Position und Lage zum Aufnahmezeitpunkt) der Kamera eingeht. Diese sechs Freiheitsgrade (drei translatorische und drei rotatorische Freiheitsgrade) werden durch das Positions- und Lagemesssystem zur Verfügung gestellt. Dabei sind

verschiedene Ausbildungen für ein solches Positions- und Lagemesssystem bekannt.

In einem ersten Schritt werden die Positionsdaten der Kamera der ersten Bildaufnahme und der Kamera der zweiten Bildaufnahme ermittelt. Es kann sich dabei ohne

Einschränkungen um ein und dieselbe Kamera handeln, die zwischen den Aufnahmen bewegt wurde, es kann sich aber ebenso um Aufnahmen aus zwei verschiedenen Kameras handeln. Dabei wird vorzugsweise ein definierter Punkt bezüglich der Kamera(s) ausgewählt, dessen räumliche Koordinate zum Zeitpunkt der Aufnahme ermittelt wird. Dies kann beispielsweise die Position des Brennpunkts der Kamera zum Zeitpunkt der Aufnahme sein. Weiter wird der räumliche Mittelpunkt zwischen den beiden

Positionsdaten ermittelt und eine senkrechte Projektion dieses Mittelpunktes auf die Oberfläche unter Berücksichtigung des Höhenmodells durchgeführt. Dadurch wird ein Punkt auf dem Oberflächenmodell ermittelt. Mittels des Projektionsmodells wird für diesen Punkt einmal in die Sensorebene der Kamera in der ersten Kameraposition und einmal in die Sensorebene der Kamera in der zweiten Kameraposition der jeweils zugehörige Bildpunkt ermittelt. Dabei sei angemerkt, dass, wenn die beiden Bildaufnahmen durch unterschiedliche Kameras aufgenommen werden, das jeweilige kameraspezifische Projektionsmodell verwendet werden muss. Als nächster Schritt wird die jeweilige Zeile des Sensors ermittelt, in dem der Bildpunkt liegt. Dabei sei angenommen, dass in der ersten Kameraposition die Z1 MO-te-Zeile und in der zweiten Kameraposition die Z2M0-te Zeile den Bildpunkt aufweist. Weiter sei angenommen, dass die Zeilen quer zur

Flugrichtung angeordnet sind. Würde keine relative Rotation - also lediglich eine translatorische Änderung - in der Lage zwischen den beiden Kamerapositionen bestehen, und wäre die Oberfläche im überlappenden Bereich eben, so wäre dies bereits das Ergebnis, d.h. die Daten von der ersten Zeile bis zur (Z1 M0-1 )-ten Zeile (die ersten Z1 M0- 1 Zeilen im oberen Bildbereich) von der ersten Kameraposition und die Daten der (Z2M0+1 )-ten bis zur n-ten Zeile (die letzten n-( Z2M0+1 ) Zeilen im unteren Bildbereich) der zweiten Kameraposition können verworfen werden.

Allerdings kann es z.B. durch Rotationen (wenn z.B. das Flugzeug in einer Kurve fliegt), oder durch die Struktur des erfassten Geländes (also der Struktur des

Oberflächenmodells) dazu kommen, dass dann zwischen den beiden so entstandenen Footprints Lücken entstehen. Dies wird durch die nachfolgenden Verfahrensschritte kompensiert. Hierzu werden vier Raumwinkel für den ersten und letzten Bildpunkt der jeweils bestimmten Zeilen (Z1 M0 für die erste Kameraposition und Z2M0 für die zweite Kameraposition) des Sensors mit Hilfe des Projektionsmodells bestimmt und die vier Schnittpunkte dieser vier Raumwinkel mit dem Höhenmodell ermittelt - diese vier Punkte auf dem Oberflächenmodell entsprechen den durch die beiden ermittelten Sensorzeilen Z1 M0 und Z2M0 äußeren erfassten Oberflächenpunkten. Anschließend werden horizontale Mittelpunkte unter Berücksichtigung des Höhenmodells zwischen den beiden Schnittpunkten für die ersten Bildpunkte der Zeilen und die letzten Bildpunkte der Zeilen ermittelt - bildlich gesprochen also die Mittelpunkte auf dem Oberflächenmodell zwischen den beiden äußeren linken und den beiden äußeren rechten erfassten

Oberflächenpunkten. Anschließend werden diese beiden so bestimmten Mittelpunkte unter Berücksichtigung der Projektionsmodelle zurück in die beiden Sensorebenen (also dem Sensor für die erste Kameraposition und dem Sensor für die zweite Kameraposition) projiziert - man erhält also pro Sensor die zu den beiden Mittelpunkten auf der Oberfläche dazugehörigen zwei Bildpunkte. Zu diesen Bildpunkten werden die Zeilennummern betrachtet. Im allgemeinen Fall liegen die Bildpunkte in den beiden Sensorebenen nicht in derselben Zeile, die Zeilennummern sind also verschieden. Nun wird für die erste Kameraposition die kleinste ermittelte und für die zweite Kameraposition die größte ermittelte Zeile als (neue) Schnittkante gewählt. Das Ergebnis liefert dann zwei Footprints ohne Lücke auch bis zu den Rändern hin, wobei die Anzahl redundanter Daten minimiert ist.

Vorzugsweise werden die beiden Bildaufnahmen zeitlich versetzt durch eine Kamera aufgenommen.

In einer weiteren Ausführungsform werden die Schnittkanten on-board eines

Trägersystems der Kamera, beispielsweise einem Flugzeug, ermittelt, wobei dann weiter vorzugsweise die so reduzierten Daten der Bildaufnahmen in Echtzeit an eine Zentrale (z.B. eine Bodenstation) übermittelt werden. Für die Datenübertragung können dann weitere Datenkompressionsverfahren zur Anwendung kommen.

Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels näher erläutert. Die Figuren zeigen:

Fig. 1 ein schematisches Blockschaltbild einer Vorrichtung zur Ermittlung der

Schnittkanten von zwei sich überlappenden Bildaufnahmen einer

Oberfläche,

Fig. 2 eine schematische Darstellung der Aufnahmeposition,

Fig. 3 eine schematische Draufsicht auf einen Sensor in einer ersten und zweiten

Kamera position,

Fig. 4 eine schematische Darstellung von vier Raumwinkeln und

Fig. 5 eine weitere schematische Draufsicht auf den Sensor in der ersten und zweiten Kameraposition.

In der Fig. 1 ist ein schematisches Blockschaltbild einer Vorrichtung 1 zur Ermittlung der Schnittkanten von zwei sich überlappenden Bildaufnahmen einer Oberfläche dargestellt, die eine Kamera 2, ein Positions- und Lagemesssystem 3, eine Auswerteeinheit 4 sowie einen Speicher 5 aufweist. Die Kamera 2 weist einen matrixförmigen Sensor 6 auf. Das Positions- und Lagemesssystem 3 ist dabei mit der Kamera 2 synchronisiert, sodass zu jeder Bildaufnahme die aktuellen Positions- und Lagedaten erfasst werden. In dem Speicher ist ein Höhenmodell H der Oberfläche und ein Projektionsmodell P der Kamera abgelegt.

Die Arbeitsweise der Vorrichtung 1 soll nun anhand der nachfolgenden Figuren erläutert werden. Dabei ist in Fig. 2 schematisch eine Situation dargestellt, wo die Kamera 2 zu einem ersten Zeitpunkt t1 an einer ersten Kameraposition P1 (x1 , y1 , z1 , α1 , ß1 , γ1 ) eine erste Bildaufnahme der Oberfläche OF macht. Die Kamera 2 bzw. Vorrichtung 1 ist beispielsweise an einem Flugzeug montiert und bewegt sich mit der Geschwindigkeit V fort. Zu einem zweiten Zeitpunkt t2 befindet sich die Kamera 2 an einer zweiten

Kameraposition P2 (x2, y2, z2, α2, ß2, γ2) und macht eine zweite Bildaufnahme. Dabei sind gestrichelt die„field of views" der Kamera 2 dargestellt, wobei erkennbar ist, dass sich die beiden Bildaufnahmen überlappen. Die Auswerteeinheit 3 ermittelt nun einen horizontalen Mittelpunkt M zwischen der ersten Kameraposition P1 und der zweiten Kameraposition P2, wobei anschließend dieser Mittelpunkt M senkrecht auf das

Höhenmodell H der Oberfläche OF projiziert wird. Als Ergebnis erhält man einen Punkt MO auf dem Oberflächenmodell. Für diesen Punkt MO wird nun der zugehörige Bildpunkt BP1 MO auf dem Sensor 6 in der ersten Kameraposition P1 und der Bildpunkt BP2M0 auf dem Sensor 6 in der zweiten Kameraposition P2 ermittelt (siehe auch Fig. 3). Dabei sei angenommen, dass der Sensor 6 n Zeilen 7 aufweist, wobei die erste Zeile 7.1 in

Flugrichtung am weitesten vorn und die letzte Zeile 7.n am weitesten hinten ist. Dabei sei angenommen, dass der Bildpunkt BP1 MO in der Z1 M0-ten Zeile 7.Z1 MO und der

Bildpunkt BP2M0 auf der Z2M0-ten Zeile 7.Z2M0 ist. Für eine ebene Oberfläche und ohne relative Rotationen zwischen Kameraposition P1 und P2 (also α1 = α2, ß1 = ß2, γ1 = γ2) wären dies die Schnittkanten, d.h. die Daten der 7.1 bis 7.Z1 M0-1 -ten Zeile in der ersten Kameraposition und die Daten der 7.Z2M0+1 bis 7.n-ten Zeile in der zweiten

Kameraposition P2 würden verworfen bzw. weggeschnitten werden.

Im allgemeinen Fall, also wenn die Oberfläche im Überlappungsbereich nicht eben und/oder zusätzliche ein relative Rotation zwischen P1 und P2 vorliegt (also α1 α2 oder ß1 ß2 oder γ1 γ2), können Lücken zwischen den beiden im vorigen Schritt ermittelten Footprints auftreten. Um diese Lücken zu schließen, werden von dem ersten Pixel Pix1 und dem letzten Pixel Pix2 der Z1 MO-ten Zeile und dem ersten Pixel Pix3 und dem letzten Pixel Pix4 der Z2M0-ten Zeile die vier Raumwinkel RW1 -RW4 mittels des

Projektionsmodells P bestimmt und die vier Schnittpunkte SP1 -4 mit der Oberfläche OF unter Berücksichtigung des Höhenmodells H ermittelt. Für die Strecke zwischen den Schnittpunkten SP1 und SP3 sowie SP2 und SP4 wird jeweils der horizontale Mittelpunkt M1 , M2 auf dem Oberflächenmodell H bestimmt (siehe Fig. 4). Für die beiden nun so ermittelten Mittelpunkte M1 , M2 werden dann wieder die dazugehörigen Bildpunkte BP1 M1 und BP1 M2 auf dem Sensor 6 in der ersten Kameraposition P1 und die

Bildpunkte BP2M1 und BP2M2 auf dem Sensor 6 in der zweiten Kameraposition P2 mittels des Projektionsmodells P ermittelt.

Nun liegen für jede Kameraposition je drei Bildpunkte vor, für die Kameraposition 1 die Bildpunkte BP1 MO, BP1 M1 , BP1 M2, und für die Kameraposition 2 die Bildpunkte BP2M0, BP2M1 , BP2M2. Im Folgenden werden nun die zu diesen Bildpunkten dazugehörigen Zeilennummern Z1 M0.Z1 M1 ,Z1 M2 und Z2M0,Z2M1 ,Z2M2 betrachtet. Für die

Schnittkante für die erste Kameraposition P1 wird nun die Zeile 7.MIN1 mit der kleinsten Zeilennummer MIN1 = Minimum der Zeilennummern (Z1 MO, Z1 M1 ,Z1 M2) gewählt, entsprechend wird für die zweite Kameraposition P2 die Zeile 7.MAX2 mit der größten Zeilennummer MAX2 = Maximum der Zeilennummern (Z2M0,Z2M1 ,Z2M2) gewählt. Durch diese Verschiebung der Schnittkanten S1 , S2 nach„vorn" (in Flugrichtung) für die erste Kameraposition P1 sowie nach„hinten" für die zweite Kameraposition P2 ist

sichergestellt, dass die beiden so erhaltenen Footprints ohne Lücke aneinander anschließen, wobei die Datenmenge minimiert ist.

Das Verfahren wählt für jeden erfassten Oberflächenpunkt des beflogenen Gebietes das Luftbild und den Bildbereich aus, der diesen Oberflächenpunkt mit der geringsten Neigung erfasst hat. Hierdurch wird zum einen die beste Draufsicht auf das beflogene Gebiet sichergestellt, zum anderen werden mögliche Vorsätze durch Ungenauigkeiten bei der Echtzeitprojektion (bedingt durch Ungenauigkeiten im eingesetzten Höhenmodell, Messfehler in dem Positions- und Lagemesssystem sowie Fehler im Projektionsmodell) minimiert.

Das Verfahren ist für alle Kameras mit matrixförmigen Sensoren geeignet, also Matrix- Kameras oder aber auch abbildende Spektrometer.