Anwendungsgebiete des Verfahrens und der Anordnung zur Durchführung des erfindungsgemäßen Verfahrens und des erfindungsgemäßen Korrelators sind z. B.

Raumfahrt (Navigation, Positionsbestimmung, Korrektur von Bildverzerrungen aufgrund von instabiler Kamerapeilung) und Qualitätsprüfung z. B. in der Papier-oder Textilproduktion.

Es ist bekannt, daß zumindest abschnittsweise periodische Funktionen in eine Summe harmonischer Funktionen unterschiedlicher Frequenzen und Amplituden zerlegt werden können. In der Technik wird hierzu vorzugsweise unter Nutzung von digitaler Rechentechnik die schnelle diskrete Fouriertransformation (Fast Fourier Transformation, FFT) verwendet. Das Resultat der diskreten Fouriertransformation ist ein diskretes Spektrum. Wird das Produkt aus Spektrum und dem konjugiert komplexen Spektrum erneut einer Fouriertransformation unterzogen, erhält man die Autokorrelationsfunktion der ursprünglich untersuchten Funktion.

Es ist bekannt, daß es möglich ist, Digitalbilder einer 2-dimensionalen (2D) Fouriertransformation zu unterziehen. Hierzu gibt es zahlreiche Hard-und Softwarelösungen, meist mit Ausrichtung auf eine spezielle Anwendung.

Es ist bekannt, daß bestimmte optische Anordnungen unter Verwendung sogenannter Fourier-Linsen in der Lage sind, die Fouriertransformation eines Bildes auf optischem Wege und damit praktisch ohne Zeitverzögerung durchzuführen. Fällt das hierdurch über einen Bildsensor (square law detector, z. B. CCD) aufgezeichnete Bild, das die Intensität (Betragsquadrat) des Leistungsspektrums des Ursprungsbildes darstellt, nochmals durch eine Fourier-Linse, entsteht im Ergebnis ein Korrelationsbild des Ursprungsbildes.

Wird auf die oben beschriebene Weise an zwei Bildern mit zumindest teilweise gleichem Inhalt eine Fouriertransformation durchgeführt und wird anschließend das neue Bild ebenfalls transformiert, so erhält man die Korrelationsfunktion beider Bilder, aus der bei zwei relativ zueinander verschobenen Bildern des gleichen Objekts die Größe der Verschiebung abgelesen werden kann.

Es ist bekannt, daß der Betrag der Relatiwerschiebung beider Ursprungsbilder gleich ist dem Abstand des Maximums der Korrelationsfunktion von der optischen Achse. Bei der optischen Fouriertransformation wird dieses Maximum durch den hellsten Punkt auf dem Korrelationsbild repräsentiert, das im Ergebnis der zweiten Fouriertransformation entsteht.

Bekannt sind Optische Fourier-Prozessoren (OFP), die aus einer Lichtquelle, z. B. einer Laserdiode, einer optischen Anordnung, bestehend aus einem Kollimator zur Parallelisierung des Lichts, einem Lichtmodulator (Spatial Light Modulator, SLM) und einer Fourier-Linse, und einem geeigneten Empfangsgerät, z. B. einem CCD-Bildsensor (Charge Coupled Device, CCD) oder einer digitalen Kamera, die ein CCD enthält, bestehen.

Bekannt ist die Verbindung von zwei Optischen Fourier-Prozessoren zur sequentiellen Durchführung der zwei für die Durchführung einer Korrelationsanalyse benötigten Fouriertransformationen.

Bekannt sind Korrelatoren, die über eine Schaltungsanordnung verfügen, die die sequentielle Durchfiihrung zweier Fouriertransformationsschritte mit nur einem Optischen Fourier-Prozessor ermöglichen, indem das Ergebnisbild der ersten Fouriertransformation wiederum in den Lichtmodulator des Optischen Fourier- Prozessors eingespeist wird, woraufhin die zweite Fouriertransformation durchgeführt wird. Ein solches Gerät wird im folgenden Korrelator oder JTC (Joint Transform Optical Correlator) genannt.

Derartige Korrelatoren werden unter anderem dafür verwendet, zu Zwecken der Positionsbestimmung und Navigation von Satelliten die von einer Kamera an Bord des Satelliten aufgenommenen Bilder von Ausschnitten der Erdoberfläche mit Referenzbildern zu vergleichen.

Ein Problem dieser Anwendung besteht darin, daß der Korrelator an Bord eines Satelliten einerseits großen Temperaturschwankungen und den daraus resultierenden Wärmedehnungen des Materials und andererseits starken äußeren mechanischen Belastungen, z. B. aufgrund von Kräften und Stößen beim Start oder mechanischen Schwingungen während des Fluges unterliegt. Hierdurch wird das gesamte Gerät verformt, was zu ungewünschten Veränderungen des Strahlenganges im Inneren des Geräts führt. Diese Veränderungen des Strahlenganges werden hervorgerufen durch die Relatiwerschiebungen bzw.-verdrehungen der drei Hauptbestandteile Lichtquelle, Optische Einheit und Bildsensorzueinander und resultieren in Fehlern in der Korrelationsanalyse.

Folgende Verformungen können auftreten : 1. Relatiwerschiebungen der drei Hauptbestandteile des Optischen Fourier- Prozessors entlang der optischen Achse führen aufgrund der dadurch verursachten Abbildungsunschärfe zu Unschärfe der Korrelationspunkte (für kleine Verschiebungen vernachlässigbar) und Größenfehlern des Korrelationsbildes.

2. Relatiwerschiebungen der drei Hauptbestandteile des Optischen Fourier- Prozessors transversal zur optischen Achse führen zu einer äquivalenten Verschiebung des Korrelationsbildes, nicht jedoch zu einer Veränderung des Abstandes der Korrelationspunkte zueinander.

3. Rotation der drei Hauptbestandteile des Optischen Fourier-Prozessors um die optische Achse führt zu einer äquivalenten Rotation des des Korrelationsbildes und damit zu fehlerhaften Koordinaten der Korrelationspunkte in der Bildebene.

4. Rotation der drei Hauptbestandteile des Optischen Fourier-Prozessors um eine oder beide der zur optischen Achse senkrecht stehenden Raumachsen aufgrund von Biegeeinflüssen führt bei kleinen Winkeln zu vernachlässigbar geringen Unschärfe der Korrelationspunkte, vernachlässigbar geringen Abbildungsunschärfen und vernachlässigbar geringen Größenfehlern des Korrelationsbildes.

Die Aufgabe der Erfindung ist es, ein Verfahren zur automatischen Korrektur der bei der Ermittlung der ebenen Verschiebung zweier Digitalbilder zueinander auftretenden, durch Verformungen des Systems hervorgerufenen Fehler optischer Korrelatoren und einen Selbstkorrigierenden Optischen Korrelator vom Typ Joint Transform Optical Correlator (JTC) zu schaffen.

Erfindungsgemäß wird die Aufgabe durch ein Verfahren zur automatischen Korrektur der bei der Ermittlung der ebenen Verschiebung zweier Digitalbilder zueinander auftretenden, durch Verformungen des Systems hervorgerufenen Fehler optischer Korrelatoren gelöst.

Dabei werden die beiden für die Korrelationsanalyse notwendigen optischen Fouriertransformationen in ein und demselben Optischen Fourier-Prozessor durchgeführt, wobei das Ergebnisbild der ersten Fouriertransformation (Spektralbild) bei seiner Einspeisung in den Lichtmodulator als Eingangsbild der zweiten Fouriertransfonnation um seine horizontale oder vertikale Achse gespiegelt und die ebene Verschiebung der beiden auf ihre Korrelation zu untersuchenden Bilder zueinander aus dem halbierten Gesamtabstand der beiden entstehenden Korrelationspunkte im Ergebnisbild der zweiten Fouriertransformation (Korrelationsbild) ermittelt wird.

Ein Vorteil der Verwendung eines einzelnen Optischen Fourier-Prozessors liegt neben der kompakten Bauform, den geringen Kosten und der geringeren Störanfälligkeit darin, daß Größenfehler automatisch kompensiert werden, da bei Vergrößerung des zu transformierenden Bildes das Spektralbild kleiner wird und umgekehrt.

Entsteht also aufgrund einer Deformation des optischen Systems ein Größenfehler bei der Durchführung des ersten Transformationsschrittes dergestalt, daß das entstehende Spektralbild um einen Faktor X größer wird als dies beim unverformten Fourier- Prozessor der Fall wäre (d. h. Multiplikation mit X), so wird das im zweiten Transformationsschritt erzeugte Bild, da das Ursprungsbild dieses Schrittes eben jenes zu große Ergebnisbild der ersten Transformation ist und für den zweiten Transformationsschritt derselbe Optische Fourier-Prozessor mit demselben Verformungsbild verwendet wird, um eben diesen Faktor X kleiner (d. h. Division durch X), als das Bild, das von dem zu großen Eingangsbild am unverformten Fourier- Prozessor entstanden wäre.

Unverformtes System Verformtes System 1. Transformation A QA'A Q XA' 2. Transformation A'QA"XA'¢ 1/X (XA')'= A" Der durch rotatorische Relatiwerformungen der Hauptelemente des Optischen Fourier- Prozessors um die optische Achse entstehende Fehler wird erfindungsgemäß dadurch kompensiert, daß das durch die erste Fouriertransformation entstehende Bild um seine horizontale oder vertikale Achse gespiegelt wird, bevor es als Eingangsbild der zweiten Fouriertransformation in den Lichtmodulator eingespeist wird. Durch diese Spiegelung des Eingangsbildes der zweiten Fouriertransformation wird die verformungsbedingte Rotation des Ursprungsbildes dergestalt kompensiert, daß das Ergebnis der zweiten Fouriertransformation so ausfällt, als habe das Ursprungsbild keine Rotation erfahren.

Innerhalb gewisser Verformungsgrenzen sorgen die oben beschriebenen Korrekturprozeduren auf simple und effektive Weise für eine vollständige Korrektur der deformationsbedingten Fehler bei der Messung der zweidimensionalen Verschiebung der beiden zu untersuchenden Bilder zueinander.

Die Grenzen der oben beschriebenen Korrekturprozeduren liegen darin, daß sie nur dann ausreichend funktionieren, wenn sich das optische System zwischen den beiden nacheinander auszuführenden Fouriertransformationen nicht verformt. Dies ist jedoch nicht mehr der Fall, wenn das System hochfrequenter Schwingungserregung ausgesetzt ist.

Zur Korrektur des Fehlers, der durch Relatiwerformungen des Systems zwischen den beiden Fouriertransformationen entsteht, werden in einer vorteilhaften Ausgestaltung der Erfindung die beiden auf ihre Korrelation zu untersuchenden Bilder vor der Durchführung der ersten Fouriertransformation mit einem Kalibriermuster überlagert.

Die beiden auf ihre Korrelation zu untersuchenden Bilder werden vor der Einspeisung in den Lichtmodulator horizontal nebeneinander zu einem Gesamtbild zusammengefügt.

Nun werden diesem Gesamtbild zwei identische Kopien eines Kalibriermusters dergestalt überlagert, daß diese vertikal gegeneinander verschoben sind, d. h. sich auf dem Gesamtbild untereinander befinden.

Das so erzeugte Referenzmuster erzeugt im Korrelationsbild zwei zusätzliche Korrelationspunkte, die aufgrund der vertikalen Verschiebung der beiden identischen Teilmuster vertikal über bzw. unter der Mitte des Korrelationsbildes liegen.

Diese neuen Korrelationspunkte können zur Korrektur des durch zwischen den beiden Fouriertransformationen auftretende Verformungen des Systems verursachten Fehlers der Korrelationsanalyse genutzt werden. Aufgrund ihrer Position oberhalb und unterhalb der Bildmitte sind diese von den Hauptkorrelationspunkten leicht zu unterscheiden, da sich jene aufgrund der im wesentlichen horizontalen Verschiebung der zu untersuchenden Bilder im wesentlichen links und rechts von der Bildmitte befinden.

Erfindungsgemäß besteht der Optische Korrelator aus einem Optischen Fourier- Prozessor (1) aus einer Laserdiode (4) als Lichtquelle, einer optischen Anordnung (5) aus Kollimator (7) zur Parallelisierung des Lichts, Lichtmodulator (8) und Fourier-Linse (9), und Bildsensor (6), sowie einer Schaltungsanordnung (2) und einem digitalen Signalverarbeitungsgerät (3), die miteinander in Wirkverbindung stehen.

Dabei weist der Bildsensor (6) des Optischen Fourier-Prozessors (1) eine größere Pixelzahl auf als der Lichtmodulator (8).

Dadurch wird erreicht, daß im Korrelationsbild beide Korrelationspunkte auch dann sichtbar sind, wenn durch Transversalverschiebungen eines oder mehrerer der Hauptelemente des Optischen Fourier-Prozessors (1) bezüglich dessen optischer Achse eine Verschiebung des Korrelationsbildes verursacht wird. In diesem Fall kann zur Ermittlung der Relatiwerschiebung der beiden zu untersuchenden Bilder nicht der Abstand eines Korrelationspunktes vom Mittelpunkt des Bildsensors (6) herangezogen werden, da dieser dann nicht mehr auf der momentanen optischen Achse des Systems liegt. Der Vorteil besteht nun darin, daß der Abstand der beiden Korrelationspunkte voneinander, der dem doppelten Betrag der Relatiwerschiebung der beiden auf ihre Korrelation zu untersuchenden Bilder entspricht, immer noch ermittelt werden kann, woraus sich ohne großen Aufwand der tatsächliche Betrag der Relatiwerschiebung ableiten läßt.

Die Schaltungsanordnung (2) ist geeignet, das im Ergebnis der Fouriertransformation der beiden auf ihre Korrelation zu untersuchenden Bilder entstehende Bild (Spektralbild) zum Lichtmodulator (8) zurückzuleiten und in diesen wieder einzuspeisen und das daraus durch eine zweite Fouriertransformation entstehende Bild (Korrelationsbild) an das digitale Signalverarbeitungsgerät (3) weiterzuleiten.

Lichtmodulator (8) und Bildsensor (6) sind gegensinnig so miteinander verschaltet, daß die Auslesereihenfolge des Bildsensors (6) und die Einschreibreihenfolge des Lichtmodulators (8) vor der Einspeisung des Spektralbildes in den Lichtmodulator (8) umgekehrt werden.

In einer vorteilhaften Ausgestaltung der erfindungsgemäßen Vorrichtung enthält die Schaltungsanordnung (2) zusätzlich einen Kalibriermustergenerator (12) zur Erzeugung eines Kalibriermusters, einen Bildmischer (11) zur Überlagerung der zu untersuchenden Bilder mit dem Kalibriermuster und eine elektronische Spektrumspiegelung (15) zur Spiegelung des Spektralbildes.

Anhand beigefügter Zeichnungen wird ein Ausführungsbeispiel der Erfindung naher erläutert. Dabei zeigen : Fig. 1 : Schematischer Aufbau eines Selbstkorrigierenden Optischen Korrelators Fig. 2 : Verfahrensschema Fig. 1 zeigt den schematischen Aufbau eines Selbstkorrigierenden Optischen Korrelators. Der Selbstkorrigierende Optische Korrelator besteht aus einem Optischen Fourier-Prozessor (1), einer Schaltungsanordnung (2) auf Basis eines FPGA von Altera (ACEX Serie) und diskreter Bauteile (Widerstände, Kondensatoren, kleine ICs) und einem digitalen Signalverarbeitungsgerät (3) auf Basis eines DSPs von Texas Instruments (TMS320C6000 Serie) Typ : TMS320C6211 DSP, die miteinander in Wirkverbindung stehen.

Der Optische Fourier-Prozessor (1) besteht aus einer Laserdiode (4) mit Ausgangsleistung 5 mW, Wellenlänge 670 nm, Divergenz 6.3 Grad, Astigmatismus 0.25 waves Typ : CLD 607-5 von Laser 2000 GmbH als Lichtquelle, einer optischen Anordnung (5) aus Kollimator (7) mit Brennweite 100 mm, Durchmesser 12.5 mm Typ : Plankonvexlinse von Spindler&Hoyer zur Parallelisierung des Lichts, Lichtmodulator (8) der Dimension 320x240 Pixel, Pixelgröße 15x15 um Typ : Cyberdisplay 320C von Kopin Corporation und Fourier-Linse (9), und Bildsensor (6) der Dimension 640x480 Pixel, Pixelgrösse 7.4x7.4 um Typ : ICX084AL von Sony.

Dabei weist der Bildsensor (6) aufgrund der doppelten Pixelzahl je Zeile und der doppelten Zeilenzahl die vierfache Pixelzahl auf wie der Lichtmodulator (8).

Die Schaltungsanordnung (2) besteht aus zwei Schaltern (14,15) mit Verzögerung 6 ns, Eingangsspannungsbereich 6 V Typ : 74HCT4066 von Philips Semiconductors, einem Kalibriermustergenerator (12) auf Basis eines FPGA von Altera (ACEX Serie), einem Bildmischer (11) auf Basis eines Schalters mit Verzögerung 6 ns, Eingangsspannungsbereich 6 V Typ : 74HCT4066 von Philips Semiconductors und einer Spektrumspiegelung (15), realisiert durch gegensinnigen Anschluss von Lichtmodulator (8) und Bildsensor (6), damit die Auslesereihenfolge des Bildsensors (6) und die Einschreibreihenfolge des Lichtmodulators (8) umgekehrt werden.

Die Schaltungsanordnung (2) ermöglicht das Einlesen der Ursprungsbilder (10), die Überlagerung mit dem durch den Kalibriermustergenerator (12) erzeugten Referenz- Pixelmuster (12) mittels Bildmischer (11) und die Spiegelung des ersten Fourier- Spektrums mittels Spektrumspiegelung (15).

Anhand von Fig. 2 wird die Funktionsweise des Selbstkorrigierenden Optischen Korrelators nach Fig. 1 erläutert.

Zwei auf ihre Korrelation zu untersuchende Bilder werden vor der Einspeisung in den Lichtmodulator (8) horizontal nebeneinander zusammengefügt. Nun werden diesem neu kombinierten Bild (17) zwei identische Kalibriermuster (18) dergestalt überlagert, daß sie vertikal gegeneinander verschoben sind, d. h. sich vertikal untereinander befinden.

Das so erzeugte Gesamtbild (13,19,20) wird über den Schalter (14) in linker Schalterstellung in den Lichtmodulator (8) des Optischen Fourier-Prozessors (1) eingespeist. Das von der Laserdiode (4) ausgesandte Licht wird zunächst vom Kollimator (7) in einen parallelen kohärenten Lichtstrahl umgeformt und tritt dann durch den Lichtmodulator (8), wo es das Gesamtbild (13,19,20) durchstrahlt und nach Passieren der Fourier-Linse (9) auf den Bildsensor (6) trifft. Dabei entsteht das Fourierspektrum (21) des Gesamtbilds (13,19,20). Der Bildsensor (6) bildet mittels "square law detection"die Intensität des Fourierspektrums (Spektralbild) und erzeugt ein dazu proportionales elektrisches Signal.

Ein Ausschnitt des Spektralbildes (21) mit identischer Kantenlange (Pixelzahl) zur Kantenlänge (Pixelzahl) des Lichtmodulators (8) wird von der Schaltungsanordnung (2) über den Schalter (16) in linker Schalterstellung aus dem Bildsensor (6) ausgelesen.

Von diesem Vorgang sind jedoch erfindungsgemäß nur die Bildinformationen betroffen, die in dem 320x240 Pixel großen Feld des Bildsensors enthalten sind, das die Mitte der Sensorfläche repräsentiert.

In der erfindungsgemäßen Konfiguration ist es aufgrund der kleineren Pixelzahl des Lichtmodulators (8) nicht möglich, die Bildinformationen aller Pixel des Bildsensors (6) weiterzuverarbeiten. Man kann jedoch zeigen, daß der verwendete Ausschnitt (wie auch jeder beliebige andere Ausschnitt aus dem Spektrum) alle relevanten Informationen des Fourier-Spektrums enthält. Für die Korrelationsanalyse ist es also hinreichend, nur diesen Teilbereich zur Weiterverarbeitung heranzuziehen.

Der Vorteil der Verwendung eines Bildsensors (6) mit größerer Pixelzahl als der des Lichtmodulators (8) besteht darin, daß sich hierbei nach dem zweiten Transformationsschritt im Korrelationsbild (22) auch bei Verformungen des Fourier- Prozessors (1) stets beide Korrelationspunkte auf dem Bildsensor (6) abbilden.

Nach dem Auslesen der Bildinformationen des oben erläuterten Teilbereichs des Fourier-Spektrums wird das so gewonnene Bild mittels Spektrumspiegelung (15) um seine vertikale Achse gespiegelt, bevor es als Eingangsbild der zweiten Fouriertransformation über den Schalter (14) in rechter Schalterstellung wiederum in den Lichtmodulator (8) eingespeist wird.

Dazu werden mittels der Schaltungsanordnung (2) die aus dem Bildsensor (6) ausgelesenen Informationen der einzelnen Bildpixel zeilenweise in umgekehrter Reihenfolge wie beim Auslesen des Bildsensors (6) in den Lichtmodulator (8) geschrieben.

Das von der Laserdiode (4) ausgesandte Licht wird wiederum zunächst vom Kollimator (7) parallelisiert und tritt dann durch den Lichtmodulator (8), wo es das Ergebnisbild der ersten Transformation (21) durchstrahlt und nach Passieren der Fourier-Linse (9) auf den Bildsensor (6) trifft. Der Bildsensor (6) bildet mittels"square law detection"die Intensität des Korrelationsbildes (22) und erzeugt ein dazu proportionales elektrisches Signal.

Im Ergebnis entsteht das zweite Fourier-Spektrum (22), das eigentliche Korrelationsbild. Dieses Korrelationsbild (22) wird nun durch die Schaltungsanordnung (2) über den Schalter (16) aus dem Bildsensor (6) ausgelesen und an das Digitale Bildverarbeitungsgerät (3) weitergeleitet. Hier findet die Auswertung des Korrelationsbildes statt. Dazu wird der relative Abstand der Korrelationsmaxima (hellste Punkte) zueinander und daraus sowohl die Relatiwerformung des Optischen Fourier-Prozessors (1) zwischen den beiden Fouriertransformationen als auch die Verschiebung des Eingangsbildpaares (10,17) bestimmt.

Der Abstand der Ursprungsbilder in jeder Koordinatenrichtung ergibt sich aus dem halben Betrag des Abstands der beiden Bilder in der jeweiligen Richtung zueinander.

Verzeichnis der verwendeten Bezugszeichen 1 Optischer Fourier-Prozessor 2 Schaltungsanordnung 3 Digitales Signalverarbeitungsgerät 4 Lichtquelle 5 Optische Einheit 6 Bildsensor 7 Kollimator 8 Lichtmodulator 9 Fourier-Linse 10 Ursprungsbilder (auf ihre Korrelation zu untersuchende Bilder) 11 Bildmischer 12 Kalibriermustergenerator 13 Gesamtbild 14 Schalter 15 Spektrumspiegelung 16 Schalter 17 Ursprungsbildpaar, horizontal kombiniert 18 Kalibriermuster zweifach ausgeführt, vertikal kombiniert 19 gemischtes Gesamtbild 20 gemischtes Gesamtbild 21 Spektralbild 22 Korrelationsbild