Die Erfindung betrifft ein Verfahren zur Aufbereitung von NON- VIS-Bildern sowie eine korrespondierende Kamera und eine korrespondierende Messanordnung.

Als Beispiel für derartige Kameras zur Aufnahme in einem nichtsichtbaren Spektralbereich sind Wärmebildkameras bekannt.

Bei den bekannten Wärmebildkameras ist es oft wünschenswert, die mit der vorhandenen Detektoreinheit erzielbare Auflösung zu verbessern .

Eine prinzipielle Möglichkeit, die erzielbare Auflösung zu verbessern, besteht darin, die Pixelzahl der Detektoreinrichtung zu erhöhen. Dies ist jedoch konstruktiv aufwändig und erhöht die Herstellungskosten der Wärmebildkamera in unerwünschter Weise.

Es sind weiter auch UV-Kameras, THz-Kameras, μ-Wellen-Kameras und andere Kameras zur Aufnahme von NON-VIS-Bildern in einem nicht-sichtbaren Spektralbereich bekannt, bei denen vergleichbare Probleme bestehen.

Der Erfindung liegt daher die Aufgabe zugrunde, die erzielbare Auflösung bei einer Wärmebildkamera oder bei einer sonstigen Kamera zur Aufnahme von NON-VIS-Bildern in einem nichtsichtbaren Spektralbereich auf andere Weise zu verbessern.

BESTÄTIGUNGSKOPIE Erfindungsgemäß ist zur Lösung dieser Aufgabe bei dem eingangs genannten Verfahren vorgesehen, dass während und/oder vor und nach einer zufälligen Bewegung einer Kamera zur Aufnahme von NON-VIS-Bildern in einem nicht-sichtbaren Spektralbereich ein NON-VIS-Bilddatenstrom von NON-VIS-Bildern mit einer Aufnahmebildauflösung aufgenommen wird und dass durch Kombination der aufgenommenen NON-VIS-Bilder ein aufbereitetes SR-Bild mit einer Ausgabebildauflösung erstellt wird, wobei die Ausgabebildauflösung höher als die Aufnahmebildauflösung ist. Somit liefert das erfindungsgemäße Verfahren ein SR-Bild mit gegenüber den einzelnen NON-VIS-Bildern erhöhter Bildauflösung. Das bearbeitete Bild kann hierbei alle Messwerte oder eine Untermenge der Messwerte eines Detektors beinhalten. Unter einem NON-VIS-Bild wird eine ein-, zwei-, drei- oder mehrdimensionale Anordnung von Messwerten verstanden, die beispielsweise eine räumliche oder räumlich-zeitliche Zuordnung der Messwerte wiedergibt. Besonders vorteilhaft ist für die Erfindung, wenn das NON-VIS-Bild eine zweidimensionale Anordnung von Messwerten darstellt.

Hierbei kann die Kamera beispielsweise zur Aufnahme von NON- VIS-Bildern in einem IR- , UV-, THz- und/oder μ-Wellen- Spektralbereich eingerichtet sein.

Die zufällige Bewegung kann auf vielfältige Weise erzeugt werden. Beispielsweise kann die Kamera handgehaltenen betrieben werden, so dass sich die zufällige Bewegung durch eine unwillkürliche Bewegung der Hand ergibt.

Es kann auch vorgesehen sein, dass die Kamera auf einem Fahrzeug montiert ist. In diesem Fall kann sich die zufällige Bewegung aus der Bewegung des bewegten, die Kamera tragenden Fahrzeugs ergeben.

Die zufällige Bewegung kann auch auf andere Weise erzeugt werden .

Der Begriff Bilddatenstrom bezeichnet allgemein eine Ansammlung oder Abfolge von Bildern, die nicht notwendig in einem kontinuierlichen Datenstrom vorliegen müssen. Ein herauszuhebender Anwendungsfall liegt vor, wenn die Kamera zur Aufnahme in einem IR-Spektralbereich ausgebildet ist und somit die Kamera eine Wärmebildkamera darstellt. In diesem Fall liegen die NON-VIS-Bilder als IR-Bilder in einem IR- Bilddatenstrom vor. Gemäß der Erfindung ist dann bei einem Verfahren zur Aufbereitung von IR-Bildern mit verbesserter Auflösung vorgesehen, dass während und/oder vor und nach einer zufälligen Bewegung einer vorzugsweise handgehaltenen Wärmebildkamera oder einer zufälligen Bewegung eines bewegten, eine Wärmebildkamera tragenden und diese mitführenden Fahrzeugs ein IR-Bilddatenstrom von IR-Bildern mit einer Aufnahmebildauflösung aufgenommen wird und dass durch Kombination der aufgenommenen IR-Bilder ein aufbereitetes SR-IR-Bild mit einer Ausgabebildauflösung erstellt wird, wobei die Ausgabebildauflösung höher als die Aufnahmebildauslösung ist. Die Erfindung benutzt somit die Erkenntnis, dass durch Aufnahme mehrerer IR-Bilder in einem IR-Bilddatenstrom während einer Bewegung der Wärmebildkamera beziehungsweise vor und nach der Bewegung IR-Bilder zur Weiterverarbeitung bereit stehen, die sich voneinander geringfügig unterscheiden und die es somit erlauben, in einer Kombination die Beschränkung der Bildauflösung durch die Pixel der Detektoreinheit der Wärmebildkameras zu unterschreiten. Zur Erstellung des Bilddatenstroms kann die bei heutigen Wärmebildkameras häufig bereits vorhandene Funktion zur Aufnahme von Bildserien verwendet werden. Die für die Erstellung des höher aufgelösten SR-IR- Bildes erforderliche Aufnahmezeitspanne erhöht sich gegenüber einer Einzelaufnahme nur geringfügig, da bereits die Kombina- tion von wenigen IR-Bildern befriedigende Resultate zeigt. Vereinfacht gesprochen wird durch die zufällige Bewegung die Detektoreinheit der Wärmebildkamera zwischen den Aufnahmen der einzelnen IR-Bilder des IR-Bilddatenstromes um eine Strecke versetzt, die geringer ist als der Pixelabstand der Detektor- einheit .

Die ausgenutzte Bewegung ist zufällig, d.h. die Bewegungsrichtung und die Bewegungsstrecke sind für die Ausführung des Verfahrens nicht bekannt. Ein typischer Anwendungsfall ist hierbei eine handgehaltene (Wärmebild- ) Kamera , die aufgrund der unwillkürlichen Handbewegungen ständig zufälligen Bewegungen unterworfen ist.

Ein weiterer Anwendungsfall sind (Wärmebild- ) Kameras , die als Nachtsichtgeräte zur Fahrerunterstützung bei Fahrzeugen, beispielsweise bei Landfahrzeugen, wie PKWs, LKWs , Zweirädern, Kettenradfahrzeugen oder dergleichen, bei Luftfahrzeugen und/oder bei Wasserfahrzeugen, eingesetzt werden. Die Erfindung nutzt in diesen Fällen aus, dass selbst eine starr an dem Fahrzeug montierte (Wärmebild- ) Kamera während der Fahrzeugbewegung zufälligen, unwillkürlichen Bewegungen unterworfen ist, die sich für das erfindungsgemäße Verfahren verwenden lassen. Somit kann das SR-(IR-)Bild mit der Erfindung als verbessertes Nachtsichtbild bereitgestellt werden.

Es kann vorgesehen sein, dass für die Kombination der aufgenommenen NON-VIS-Bilder eine Energieoption optimiert wird, wobei die Energiefunktion auf probeweise zu einem SR-Bild kom- binierten NON-VIS-Bildern ausgewertet wird. Die Verwendung einer Energiefunktion liefert ein einfach handhabbares Kriterium, welches in einer Implementierung der Optimierung und des gesamten Verfahrens in einer Recheneinheit verwendbar und weiter verarbeitbar ist. Mit diesem Bewertungskriterium können die probeweise erstellten SR-Bilder so variiert werden, dass ein optimales Kriterium, beispielsweise ein Maximum oder ein Minimum, erreicht wird. Statt eines Optimums kann auch ein Zustand angestrebt werden, bei welchem sich die Energiefunktion nur noch geringfügig, beispielsweise innerhalb eines vorgegebenen Schwellwertes, ändert.

Es kann vorgesehen sein, dass vor der Kombination der aufgenommenen NON-VIS-Bilder für jedes NON-VIS-Bild eine Transformation ermittelt wird, durch welche die NON-VIS-Bilder untereinander oder in bezug auf eine Referenz in Registrierung, insbesondere subpixelgenaue Registrierung, gebracht werden. Hierdurch wird die Zahl der möglichen Kombinationen der aufgenommenen NON-VIS-Bilder bereits deutlich eingeschränkt, wodurch die für die Durchführung der Optimierung erforderliche Rechenkapazität, insbesondere der Speicherbedarf und/oder die Rechenzeit, derart verringert werden können, dass das Verfahren auch auf Recheneinheiten, die in heutigen Wärmebildkameras bereits vorhanden sind, ausgeführt werden kann.

Zur Bewertung der probeweise erstellten SR-Bilder und/oder zur Erstellung dieser SR-Bilder kann vorgesehen sein, dass vor der Kombination der aufgenommenen NON-VIS-Bilder jedem NON-VIS-Bild ein Punktspreizfunktion aus einer bereitgehaltenen Testmenge von Punktspreizfunktionen zugeordnet wird, wobei die Punktspreizfunktionen der Testmenge die optischen Abbildungseigenschaften der Wärmebildkamera für unterschiedliche Aufnahmerichtungen und/oder unterschiedliche Aufnahmepositionen simu- lieren. Die Testmenge kann durch unterschiedliche Punktspreizfunktionen und/oder durch unterschiedliche Parameterwerte einer Punktspreizfunktion gebildet sein. Hierbei macht sich die Erfindung die an sich bekannte Verwendung von Punktspreiz- funktionen bei der mathematischen Beschreibung des optischen Abbildungsprozesses zu Nutze. Bevorzugt wird jedem NON-VIS-Bild des NON-VIS-Bilddatenstromes diejenige Punktspreizfunktion zugeordnet, welche die zum Aufnahmezeitpunkt des jeweiligen NON-VIS-Bildes von der Wärmebildkamera eingenommene Aufnahmeposition am besten beschreibt. Somit kann die bei der Registrierung berechnete Verschiebung verwendet werden, um die Punktspreizfunktionen so zu verschieben, dass sie gerade die verschobenen NON-VIS-Bilder in das Raster des SR-Bildes einpassen .

Hierbei braucht die tatsächliche Aufnahmeposition beziehungsweise Aufnahmerichtung zum Aufnahmezeitpunkt nicht bekannt zu sein, sondern es kann diejenige Punktspreizfunktion jedem aufgenommenen NON-VIS-Bild zugeordnet werden, welche der bei der Registrierung jeweils ermittelten Transformation entspricht. Hierbei wird die für die Ausführung des erfindungsgemäßen Verfahrens erforderliche, in den Parametern der ermittelten Transformation enthaltene Information über die Aufnahmerichtung bzw. Aufnahmeposition zum Aufnahmezeitpunkt des jeweiligen NON-VIS- Bildes verwendet.

Ein für viele Anwendungen ausreichender, verhältnismäßig kleiner Parameterraum zur Beschreibung der verfügbaren Transformationen ergibt sich, wenn in der Testmenge Punktspreizfunktio- nen bereit gehalten werden, durch welche unterschiedliche relative Bildverschiebungen beschrieben werden. Somit ist eine resourcensparende Implementierung des erfindungsgemäßen Verfahrens möglich. Insbesondere ist eine Blind Deconvolution nicht erforderlich.

In diesem Fall können die Punktspreizfunktionen durch die zugehörigen Bildverschiebungen parametrisiert werden. Hierbei können die Bildverschiebungen Translationen und/oder Rotationen und/oder Streckungen und Stauchungen darstellen. Ein besonders kleiner Parameterraum ergibt sich, wenn in der Testmenge Punktspreizfunktionen bereitgehalten werden, welche sich durch eine reine Translation ineinander überführen lassen. Große rechentechnische Vereinfachungen ergeben sich, wenn die zweidimensionalen Punktspreizfunktionen symmetrisch und/oder separabel, d.h. als Produkt von zwei eindimensionalen Funktionen darstellbar, sind. Besonders günstig ist es, wenn die Punktspreizfunktionen durch Delta-Funktionen definiert werden. Hierbei kann auf einfache Weise die Position des Zentrums der Delta-Funktion zur Beschreibung der relativen Bildverschiebung verwendet werden.

Zur Optimierung kann vorgesehen sein, dass die Energiefunktion die Abweichung der aufgenommenen NON-VIS-Bilder von dem mit der jeweils, also für jedes NON-VIS-Bild, ausgewählte Punktspreizfunktion abgebildeten, probeweisen SR-Bild bewertet. Vorzugsweise wird die Abweichung durch Differenz- und Betragsbildung berechnet. Auf diese Weise kann erreicht werden, dass die Energiefunktion einen optimalen Wert annimmt, wenn das SR- Bild möglichst wenig von der mit dem NON-VIS-Bilddatenstrom aufgenommenen Szene abweicht. Mathematisch wird dies dadurch erreicht, dass das optimale SR-Bild für die ausgewählten Punktspreizfunktionen die tatsächlich im NON-VIS-Bilddatenstrom aufgenommenen NON-VIS-Bilder am besten wiedergibt.

Als Startpunkt der Optimierung der Energiefunktion kann eine Testpixelmatrix von der Ausgabebildauflösung mit Bildwerten der NON-VIS-Bilder in Abhängigkeit von der jeweils ermittelten Transformation und/oder der jeweils zugeordneten Punktspreizfunktion befüllt und als probeweise erstelltes SR-Bild verwendet werden. Auf diese Weise kann für viele Anwendungsfälle erreicht werden, dass der Startpunkt schon in der Nähe des Optimums liegt, wodurch wieder Rechenresourcen eingespart werden können.

Als Referenz für die Registrierung kann aus dem NON-VIS- Bilddatenstrom ein NON-VIS-Bild als NON-VIS-Referenzbild ausgewählt werden.

Wenn das Verfahren kontinuierlich, also fortlaufend, ausgeführt werden soll, so kann vorgesehen sein, dass das Verfahren mit einem innerhalb des fortschreitenden NON-VIS-Bilddatenstromes mitwandernden NON-VIS-Referenzbild ausgeführt wird. Von Vorteil ist dabei, dass die durch die zufällige Bewegung der Wärmebildkamera hervorgerufenen Bildverschiebungen der NON-VIS- Bilder in Bezug auf die Referenz nicht zu groß werden. Vor Be- grenzung des erforderlichen Speicherbereiches für das erfindungsgemäße Verfahren kann vorgesehen sein, dass das Verfahren mit innerhalb des fortschreitenden NON-VIS-Bilddatenstromes mitwandernden ausgewählten NON-VIS-Bildern kontinuierlich ausgeführt wird. Zeitlich zurückliegende, aufgenommene NON-VIS- Bilder werden somit verworfen, sobald sie für die aktuelle Berechnung des höher aufgelösten SR-Bildes nicht mehr benötigt werden. Wenn die Ausgabebildauflösung des SR-Bildes das SR _F - fache der Bildauflösung der NON-VIS-Bilder ist, so werden in dem erfindungsgemäßen Verfahrenvorzugsweise wenigstens oder genau SR _F ² +1 NON-VIS-Bilder ausgewählt und ausgewertet. Für viele Fälle sind bereits SR _F ² NON-VIS-Bilder oder sogar SR _F NON- VIS-Bilder ausreichend. Es kann vorgesehen sein, dass während der Optimierung der Energiefunktion das SR-Bild variiert wird, beispielsweise mit einem Gradienten-Verfahren. Alternativ oder zusätzlich kann vorgesehen sein, dass während der Optimierung der Energiefunktion die den NON-VIS-Bildern zugeordneten Punktspreizfunktionen variiert werden, beispielsweise durch Verschiebung des Zentrums der jeweiligen Punkt- spreizfunktion .

Zusätzlich können Rechenresourcen eingespart werden, wenn für jedes NON-VIS-Bild die so pixelgenaue Registrierung in einem zweistufigen Verfahren ermittelt wird, wobei in einem ersten Verfahrensschritt eine Grobregistrierung ermittelt wird und in einem zweiten Verfahren die subpixelgenaue Registrierung mittels optischem Fluss ermittelt wird. Die Grobregistrierung, die eine Registrierung der NON-VIS-Bilder untereinander mit einer Genauigkeit von ungefähr dem Pixelabstand der Detektoreinheit ergibt, kann beispielsweise mit einem Phasenkorrelationsver- fahren oder auf andere Weise ermittelt werden. Durch die Zweiteilung der Verfahrensschritte kann der Rechenaufwand für die subpixelgenaue Registrierung begrenzt werden.

Vorzugsweise wird die subpixelgenaue Registrierung pixelweise ermittelt. Hierbei kann vorgesehen sein, dass in dem jeweiligen NON-VIS-Bild diejenigen Pixelwerte maskiert werden, die stärker als ein vorgegebener Schwellwert von der jeweils ermittelten Registrierung, insbesondere von dem Mittelwert von Richtung und Betrag der Verschiebung, abweichen. Auf diese Weise kann verhindert werden, dass sogenannte Ausreißer oder auch Abbildungsfehler der Aufnahmeoptik das Optimierungsverfahren unnötig belasten oder sogar zu falschen Ergebnissen führen. Zur mathematischen Nachbildung des Abbildungsvorganges insbesondere bei Auswertung der Energiefunktion kann vorgesehen sein, dass bei der Abbildung der SR-Bilder mit den ausgewählten Punktspreizfunktionen die Faltung des jeweiligen SR-Bildes mit der jeweiligen Punktspreizfunktion berechnet wird.

Das erfindungsgemäße Verfahren soll zur Lösung der Aufgabe bei einer Wärmebildkamera eingesetzt sein, die eine zur Erzeugung eines NON-VIS-Bilddatenstroms von NON-VIS-Bildern eingerichtete Detektoreinheit, eine zur Verarbeitung des NON-VIS- Bilddatenstroms eingerichteten Bildverarbeitungseinheit und eine zur Ausgabe von aufbereiteten SR-Bildern eingerichteten Ausgabeeinheit aufweist, wobei die Bildverarbeitungseinheit zur Ausführung des erfindungsgemäßen Verfahrens, beispielsweise durch Programmierung einer Recheneinheit, eingerichtet ist und wobei die Aufnahmebildauflösung durch die Detektoreinheit gegeben ist und die Ausgabebildauflösung größer als die Aufnahmebildauflösung ist. Es kann vorgesehen sein, dass die Ausgabebildauflösung durch die Ausgabeeinheit, beispielsweise die technischen Möglichkeiten der Ausgabeeinheit, vorgegeben ist. Die Ausgabeeinheit stellt somit eine Auflösung bereit, die eine Ausgabe des aufbereiteten SR-Bildes oder eines Teils davon gestattet . Die Ausgabe kann beispielsweise über eine Datenschnittstelle oder über ein Display erfolgen.

Das erfindungsgemäße Verfahren kann zur Lösung der Aufgabe auch bei einer Messanordnung eingesetzt werden, welche eine Kamera zur Aufnahme von NON-VIS-Bildern in einem nicht-sichtbaren Spektralbereich, insbesondere Wärmebildkamera, wobei die Kamera eine zur Erzeugung eines NON-VIS-Bilddatenstroms von NON-VIS- Bildern eingerichtete Detektoreinheit aufweist, eine zur Ver- arbeitung des NON-VIS-Bilddatenstroms eingerichtete Bildverarbeitungseinheit und eine zur Ausgabe von aufbereiteten SR-Bil- dern eingerichtete Ausgabeeinheit umfasst und welche weiter dadurch gekennzeichnet ist, dass die Bildverarbeitungseinheit zur Ausführung eines erfindungsgemäßen Verfahrens eingerichtet ist, wobei die Aufnahmebildauflösung durch die Detektoreinheit vorgegeben ist und die Ausgabebildauflösung größer als die Aufnahmebildauflösung ist. Die Bildverarbeitungseinheit kann hierbei in die Kamera integriert oder von dieser separat ausgebildet sein. Die Bildverarbeitungseinheit kann während der Betriebszeit der Kamera oder im Anschluss daran betrieben werden .

Die Erfindung wird nun anhand eines Ausführungsbeispiels näher beschrieben, ist aber nicht auf dieses Ausführungsbeispiel beschränkt. Weitere Ausführungsbeispiele ergeben sich durch Kombination einzelner oder mehrerer Merkmale der Ansprüche untereinander und/oder mit einzelnen oder mehreren Merkmalen des Ausführungsbeispiels.

Zur Vereinfachung wird bei dem erläuterten Ausführungsbeispiel angenommen, dass die Kamera als Wärmebildkamera vorliegt. Es kann bei weiteren Ausführungsbeispielen auch eine Kamera zur Aufnahme in einem anderen nicht-sichtbaren Spektralbereich verwendet werden, beispielsweise eine Kamera zur Aufnahme von Bildern im UV-, THz- und/oder μ-Wellen-Spektralbereich .

In der Beschreibung des Ausführungsbeispiels werden zur Veranschaulichung der Erfindung die NON-VIS-Bilder als IR- Bilder, der NON-VIS-Bilddatenstrom als IR-Bilddatenstrom, die Kamera zur Aufnahme in einem nicht-sichtbaren Spektralbereich als Wärmebildkamera, die Detektoreinheit als IR-Detektoreinheit und das SR-Bild als SR-IR-Bild bezeichnet. Es zeigt:

Fig. 1 eine erfindungsgemäße Wärmebildkamera in einer Schrägansicht von vorn,

Fig. 2 die Wärmebildkamera gemäß Fig. 1 in einer Schrägansicht von hinten, Fig. 3 einen Ablaufplan des erfindungsgemäßen Verfahrens und

Fig. 4 eine Prinzipdarstellung des erfindungsgemäßen Verfahrens .

Die in Fig. 1 und Fig. 2 gezeigte, im Ganzen mit 1 bezeichnete Wärmebildkamera hat eine in an sich bekannter Weise hinter einer IR-Optik 2 angeordnete und ausgebildete IR-Detektorein- heit 3. Die IR-Detektoreinheit 3 ist zur kontinuierlichen Aufnahme von IR-Bildern 4, welche in Fig. 4 schematisch gezeigt sind, in einem IR-Bilddatenstrom 5 eingerichtet. Zur Verdeutlichung der Pixelung der IR-Bilder 4 wurde der jeweilige Bildinhalt durch ein Schachbrettmuster ersetzt.

Die Wärmebildkamera 1 ist als Handgerät ausgebildet und zum handgehaltenen Betrieb mit einem Griff 6 versehen, in welchem ein Energiespeicher 7 zum Betrieb der Wärmebildkamera 1 lösbar angeordnet ist.

Die Wärmebildkamera weist ferner eine als Display ausgebildete Ausgabeeinheit 8 auf, welche zur Wiedergabe eines in Fig. 4 schematisch gezeigten SR-IR-Bildes 9 mit gegenüber den IR- Bildern 4 erhöhter Ausgabebildauflösung eingerichtet ist. Diese höhere Angabebildauflösung wird durch eine größere Anzahl von Feldern des Schachbrettmusters angedeutet. Im Inneren der Wärmebildkamera 1 ist eine nicht weiter ersichtliche Bildverarbeitungseinheit 10 in einer Recheneinheit realisiert, welche zur Ausführung des nachfolgend anhand der Fig. 4 und Fig. 5 beschriebenen, erfindungsgemäßen Verfahrens eingerichtet ist.

Während oder zumindest vor und nach einer zufälligen Bewegung der Wärmebildkamera 1 wird mit der IR-Detektoreinheit 3 ein IR- Bilddatenstrom 5 von IR-Bildern von einer Szene aufgenommen. Diese IR-Bilder 4 weisen eine Aufnahmebildauflösung auf, welche durch den Pixelabstand 11 der IR-Detektoreinheit gegeben ist.

Die zur Berechnung des SR-IR-Bildes 9 ausgewählten IR-Bilder 4 des IR-Bilddatenstroms 5 werden in einem ersten Verfahrensschritt 12 eines Registrierungsverfahrens 13 in Grobregist- rierung bezüglich des als IR-Referenzbild 14 ausgewählten, ersten IR-Bildes 4 des IR-Bilddatenstroms 5 gebracht. Bei dem beschriebenen Ausführungsbeispiel erfolgt dies durch ein Phasenkorrelationsverfahren, es kann jedoch bei anderen Ausführungsbeispielen auch auf andere Weise die Grobregistrierung be- rechnet werden.

In einem zweiten Verfahrensschritt 15 des Registrierungsverfahrens 13 wird die subpixelgenaue Registrierung der IR-Bilder 4 untereinander und in Bezug auf das IR-Referenzbild 14 be- rechnet, indem in an sich bekannter Weise der optische Fluss zwischen den IR-Bildern 4 pixelweise ermittelt wird.

Im Ergebnis liegt somit für jedes IR-Bild 4 ein Parametersatz einer Transformation vor, durch welche Transformation die IR- Bilder 4 untereinander und in Bezug auf das IR-Referenzbild 14 in subpixelgenaue Registrierung gebracht werden können. Hierbei bedeutet subpixelgenau eine Registrierung, die feiner ist, als der durch den Pixelabstand 11 vorgegebene Wert. Die Transformationen beschreiben mathematisch die Veränderungen der IR-Bilder, die durch Änderungen der Aufnahmebedingungen hervorgerufen werden können, insbesondere Transformationen, Rotationen, Streckungen und Stauchungen.

In einem Speicher der Bilderverarbeitungseinheit 10 wird eine Testmenge 16 von Punktspreizfunktionen 17 bereitgehalten.

Diese Punktspreizfunktionen 17 beschreiben mathematisch die optischen Abbildungseigenschaften der IR-Optik 2 und/oder der IR-Detektoreinheit 3 für unterschiedliche Ausrichtungen des Strahlengangs der Wärmebildkamera 1.

Den unterschiedlichen Punktspreizfunktionen 17 können somit in analoger Weise die Parameter der erwähnten Transformationen zugeordnet werden.

Gemäß der an sich bekannten mathematischen Beschreibung ergibt sich zu einer die Szene repräsentierenden zweidimensionalen Funktion das an der IR-Detektoreinheit 3 aufgenommene IR-Bild 4 durch Faltung dieser Funktion mit derjenigen Punktspreizfunktion 17, welche die aktuellen Aufnahmebedingungen charakterisiert . Die verwendbaren Punktspreizfunktionen 17 sind in Fig. 4 zur Vereinfachung als eindimensionale Delta-Funktionen wiedergeben, wobei sich die tatsächlich verwendeten, zweidimensionalen Punktspreizfunktionen 17 als Produkt von zwei eindimensionalen Delta-Funktionen ergeben. Diese Delta-Funktionen sind durch die Lage ihres Zentrums 18, also ihres mathematischen Trägers, charakterisiert. Unterschiedliche Positionen des Zentrums 18 entsprechen daher unterschiedlichen Bildverschiebungen. Die Punktspreizfunktionen 17 lassen sich somit durch Translationen ineinander überführen.

Durch die separierbare Darstellung der Punktspreizfunktionen 17 als Produkt von zwei Delta-Funktionen sind die Punktspreiz- funktionen automatisch symmetrisch. In anderen Ausführungsbeispielen werden andere, ebenfalls symmetrische, aber nicht separierbare Funktionen verwendet. Für separierbare Punktspreizfunktionen 17 können als zusätzlicher Vorteil die zweidimensionalen Faltungsintegrale vereinfacht berechnet werden. Diese Berechnung erfolgt bevorzugt mittels FFT. Durch die Vereinfachungen der Punktspreizfunktion können die Berechnungen sogar im Ortsraum ausgeführt werden.

Bei dem erfindungsgemäßen Verfahren gemäß Fig. 3 wird nun in einem Zuordnungsschritt 19 jedem IR-Bild 4 des IR-Bilddaten- stroms 5 diejenige Punktspreizfunktion 17 aus der Testmenge 16 zugeordnet, welche zu der im Registrierungsverfahren 13 berechneten Transformation gehört. Mit den nun vorliegenden Informationen und Daten kann nun die erfindungsgemäße Kombination 20 der IR-Bilder 4 des IR-Bild- datenstroms 5 zu dem SR-IR-Bild 9 durchgeführt werden.

Hierzu wird zunächst eine Testpixelmatrix, welche die Ausgabe- bildauflösung des SR-IR-Bildes 9 aufweist, mit Bildwerten 24 der IR-Bilder 4 derart befüllt, dass die Pixelpositionen der von den IR-Bildern 4 befüllten Pixel zumindest näherungsweise die Bildverschiebung des betreffenden IR-Bildes 4 gegenüber dem IR-Referenzbild 14 wiedergeben.

Die befüllte Testpixelmatrix bildet einen Startpunkt für ein Optimierungsverfahren 21 , bei welchem das optimierte SR-IR-Bild 9 berechnet wird. Bei dem Optimierungsverfahren 21 wird in einer Schleife 22 das SR-IR-Bild 9 variiert und es wird für jeden Schleifendurchgang in einem Auswertungsschritt 23 eine Energiefunktion ausgewertet. Für die Auswertung der Energiefunktion wird das aktuell in der Schleife 22 bereitgestellte SR-IR-Bild 9 für jedes IR-Bild 4 mit der zugehörigen Punktspreizfunktion 17 gefaltet und mit dem IR-Bild 4 verglichen. Auf diese Weise wird ermittelt, welches IR-Bild sich für das probeweise in der Schleife 22 erstellte SR-IR-Bild 9 unter den im Registrierungsverfahren 13 bestimmten Aufnahmebedingungen ergeben hätte. Die Abweichungen dieses hypothetischen IR-Bildes von dem tatsächlich aufgenommenen IR-Bild 4 werden anschließend durch Differenz- und Betrags-Bildung bewertet und für die IR- Bilder 4 in der Energiefunktion aufsummiert. Die Energiefunktion kann weitere Terme aufweisen, welche zusätzliche Einflüsse bei der optischen Abbildung simulieren, beispielsweise Rauschen und/oder Abbildungsfehler der IR-Optik 2 oder der Detektoreinheit 3. Es kann beispielsweise eine Energiefunktion gemäß J. Flusser at al.: A Unified Approach to Superresolution and Multichannel Blind Deconvolution, IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 16, NO. 9, September 2007, S. 2322 bis 2332, verwendet werden. Mit dem hier vorgestellten, vereinfachten Verfahren ist eine Variation von SR-IR-Bild und Punktspreizfunktion nicht erforderlich, es genügt eines von beiden.

Sobald das Optimierungsverfahren 21 das optimale SR-IR-Bild 9 ermittelt hat, wird dieses auf der Ausgabeeinheit 8 der Wärmebildkamera 1 ausgegeben und dargestellt.

Das erfindungsgemäße Verfahren läuft kontinuierlich weiter, wobei die jeweils zur Berechnung des SR-IR-Bildes 9 ausgewählten IR-Bilder 4 des IR-Bilddatenstroms 5 aus einem im Zeitverlauf des IR-Bilddatenstroms 5 mitwandernden Fenster ausgewählt werden. Durch diese kontinuierliche Ausführung des erfindungsgemäßren Verfahrens steht somit an der Ausgabeeinheit 8 ebenfalls ein Bilddatenstrom von SR-IR-Bildern 9 mit erhöhter Auflösung bereit .

Bei der Wärmebildkamera 1 ist vorgesehen, während einer zu- fälligen Bewegung der Wärmebildkamera 1 einen IR-Bild-Daten- strom 5 von IR-Bildern 4 aufzunehmen und diese IR-Bilder 4 zu einem höher aufgelösten SR-IR-Bild 9 zu kombinieren.