Die Erfindung betrifft ein Verfahren zur Erzeugung von fehlerreduzierten hochauf- lösenden und kontrastverbesserten Bildern aus Bildsequenzen mit Bildern niedriger Auflösung, die von einem Bildsensor mit einstellbaren Aufnahmeparametern gewonnen werden.

Bildgebende Sensorik wie Kamerasysteme, sei es im sichtbaren Bereich oder im IR-Bereich, unterliegen Begrenzungen sowohl hinsichtlich einer endlichen Bildauflösung (Zahl der Pixel) als auch eines endlichen Dynamikbereichs (Kontrastumfang). Primär werden diese Qualitätsfaktoren durch technische und wirtschaftliche Randbedingungen definiert. Weitere Randbedingungen ergeben sich aus der Art des Systems, in welchem die bildgebende Sensorik implementiert ist. So lassen sich beispielsweise in fliegenden Plattformen die Bildauflösung und der Dynamikbereich der Sensorik nicht beliebig erhöhen, da damit sowohl das erzeugte Datenaufkommen als auch die Anforderungen an eventuell nachgeschaltete Datenübertragungseinrichtungen signifikant erhöht werden.

Endgegen landläufiger Meinung bedeutet eine Erhöhung der Anzahl der Pixel eines Bildes allein nicht automatisch auch eine Erhöhung des Informationsgehaltes des Bildes, vielmehr ist dieser von der Erkennbarkeit der im Bild vorhandenen Details abhängig.

Es sind eine Anzahl von Techniken bekannt, welche darauf abzielen, die Auflösung und/oder den Dynamikbereich von durch bildgebende Sensorik einer gegebenen Pixelzahl erzeugten Bildern, sowohl von einzelnen Bildern, als auch von Bildsequenzen, wie etwa bei Bewegtbildern, zu erhöhen. Neben den klassischen Techniken der Bildverarbeitung von Einzelbildern wie Helligkeitsnormalisierung, Kontrastverbesserung, Schärfung, Rauschunterdrückung sind Methoden bekannt, bei welchen mehrere Bilder einer Bildsequenz (Bildstapel) einer gemeinsamen Verarbeitung, einer sogenannten "Fusionierung" unterzogen werden, um aus niedrig aufgelösten Bildern einer Bildsequenz ein oder mehrere qualitätsverbesserte Bilder oder eine qualitätsverbesserte Bildsequenz zu erhalten.

Bei einer ersten bekannten Art von Qualitätsverbesserung ist es das Ziel, den Dy- namikbereich zu verbessern, indem in mehreren, unter Variation eines Sensorparameters, beispielsweise der Belichtung, aufgenommenen Bildern einer Bildsequenz enthaltene komplementäre Information genutzt wird, um ein Bild mit verbessertem Dynamikbereich zu erhalten. Diese Art der Dynamikverarbeitung ist bekannt als High-Dynamic-Range-Rekonstruktionsverarbeitung (HDR) und ist be- schrieben beispielsweise in E. Reinhard, G. Ward, S. Pattanaik, P. Debevec, High Dynamic Range Imaging: Acquisition, Display and Image-based Lighting, Morgan Kaufmann, 2006, ISBN: 0125852630.

Eine weitere bekannte Art der Bildverarbeitung zielt darauf, aus mehreren in einer Bildsequenz oder einem Bildstapel enthaltenen Bildern niedriger Auflösung enthaltene redundante Information so zu verarbeiten, dass eine höhere Auflösung und/oder eine Reduzierung von Fehlern erhalten wird. Dabei werden typischerweise für alle Bilder der genutzten Bildsequenz die Aufnahmeparameter, beispielsweise die Belichtung, etc. beibehalten. Diese Art der Bildqualitätsverbesserung ist als Superresolution-Verarbeitung bekannt und ausführlich beschrieben in beispielsweise M. Gevrekci, B. K. Gunturk, Super-Resolution Approaches For Pho- tometrically Diverse Image Sequences, ICASSP, 2007, sowie bei T. Pham, Spatio- tonal Adaptivity in Super-Resolution of Under-Sampled Image Sequences, PhD Thesis, Delft University of Technology, 2006 oder bei S. Farsiu, D. Robinson, M. Elad, P. Milanfar, Advances and Challenges in Super-Resolution, IJIST, 2004. Bei bekannten Fusionsmethoden zur Erhöhung der Bildqualität, welche auf Verarbeitung einer Bildsequenz bzw. eines Bildstapels beruhen, wird meistens auch Gebrauch gemacht von einer Registrierung, d.h. einer gegenseitigen Ausrichtung der einzelnen Bilder zueinander, typischerweise in Bezug auf ein Referenzbild. Solche Registrierungsmethoden sind beschrieben beispielsweise in B. Zitova, J. Flusser, Image Registration Methods: A Survey, 2003.

Der Nachteil der Anwendung dieser Methoden besteht bisher darin, dass sie je- weils nur auf einen begrenzten Teil der von der bildgebenden Sensorik zu gewinnenden Bildinformation angewendet werden. So arbeiten die eingangs beschriebenen klassischen Bildverarbeitungsmethoden nur auf der Basis von Einzelbildern. Die Fusionsmethoden zur High-Dynamic-Range-Rekonstruktions- verarbeitung (HDR) bzw. zur Super-Resolution-Verarbeitung (SR) werden bisher nur im Sinne entweder einer Verarbeitung der redundanten Information, insbesondere der Superresolution-Verarbeitung, bzw. ausschließlich der komplementären Information unter Variation von Sensorparametern, also insbesondere der High- Dynamic-Range-Rekonstruktionsverarbeitung (HDR) durchgeführt.

Die Aufgabe der Erfindung ist es, Verfahren und Einrichtung für eine verbesserte Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern oder Bildsequenzen aus einer niedrig aufgelösten Bildsequenz zu erzeugen.

Die Erfindung wird gelöst durch ein Verfahren zur Erzeugung von fehler- reduzierten hochauflösenden und kontrastverbesserten Bildern gemäß dem Anspruch 1.

Weiter wird die Aufgabe gelöst durch eine Einrichtung gemäß dem Anspruch 17. Jeweilige vorteilhafte Ausführungsformen und Weiterbildungen sind in den Unteransprüchen gekennzeichnet.

Durch die Erfindung wird ein Verfahren zur Erzeugung von fehlerreduzierten hoch- auflösenden und kontrastverbesserten Bildern aus Bildern von Bildsequenzen niedriger Auflösung, die von einem Bildsensor mit einstellbaren Aufnahmeparametern gewonnen werden, geschaffen. Erfindungsgemäß ist es vorgesehen, dass die Bildsequenzen der Bilder niedriger Auflösung einer kombinierten Super- resolution-Verarbeitung und High-Dynamic-Range-Rekonstruktionsverarbeitung unterzogen werden, um fehlerreduzierte hochauflösende und kontrastverbesserte Bilder auf der Grundlage von in den Bildern niedriger Auflösung enthaltener redundanter und komplementärer Bildinformation zu erhalten.

Gemäß einer Ausführungsform der Erfindung werden die Bilder einer ersten Se- quenz von Bildern niedriger Auflösung einer High-Dynamic-Range-

Rekonstruktionsverarbeitung unterzogen, bei welcher komplementäre Informationsanteile der Bilder niedriger Auflösung zur Erhöhung des Kontrasts verarbeitet werden.

Gemäß einer anderen Ausführungsform der Erfindung werden die Bilder einer Sequenz von Bildern niedriger Auflösung einer Superresolution-Verarbeitung unterzogen, bei welcher redundante Informationsanteile der Bilder niedriger Auflösung zur Erhöhung der Auflösung verarbeitet werden.

Gemäß einer Ausführungsform der Erfindung werden bei der High-Dynamic- Range-Rekonstruktionsverarbeitung der Bilder der ersten Sequenz die Sensorparameter von Bild zu Bild gezielt variiert.

Als Sensorparameter kann insbesondere die Belichtungszeit von Bild zu Bild vari- iert werden. Bei der Super-Resolution-Verarbeitung der Bilder der zweiten Sequenz können die Sensorparameter unverändert beibehalten werden.

Gemäß einer Ausführungsform der Erfindung sind die erste Sequenz und die zweite Sequenz verschiedene Sequenzen von Bildern niedriger Auflösung.

Die erste Sequenz und die zweite Sequenz können blockweise abwechselnd aufeinander folgen.

Alternativ können die erste Sequenz und die zweite Sequenz ineinander verschachtelt sein.

Gemäß einer Ausführungsform der Erfindung werden in einem ersten Fusions- schritt die Bilder der ersten Sequenz durch High-Dynamic-Range-Rekonstruktions- verarbeitung zu einem oder mehreren Bildern mit erhöhtem Kontrast fusioniert, und in einem zweiten Fusionsschritt werden das oder die Bilder mit erhöhtem Kontrast zur Superresolution-Verarbeitung verwendet, um ein oder mehrere fehlerreduzierte Bilder erhöhter Auflösung zu erhalten.

Gemäß einer Ausführungsform der Erfindung werden der erste Fusionsschritt zur HDR-Rekonstruktionsverarbeitung und der zweite Fusionsschritt zur SR- Verarbeitung nacheinander durchgeführt. Alternativ können die beiden Fusionsschritte auch in einem gemeinsamen Algorithmus integriert verarbeitet werden.

Gemäß einer Ausführungsform werden aus den Bildsequenzen der Bilder niedriger Auflösung wiederum Bildsequenzen von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern erzeugt. Die Verarbeitung der Bilder niedriger Auflösung kann eine Bildregistrierung enthalten, um die verwendeten Bilder einer Sequenz untereinander zur Deckung zu bringen.

Die Bildregistrierung kann bezüglich eines Referenzbildes aus der Sequenz niedrig aufgelöster Bilder erfolgen.

Gemäß einer Weiterbildung der Erfindung kann die Erzeugung der Sequenz von Bildern niedriger Auflösung für die Superresolution-Verarbeitung dauerhaft erfol- gen, die Erzeugung der Bilder der Sequenz von Bildern niedriger Auflösung für die High-Dynamic-Range-Rekonstruktionsverarbeitung kann durch automatische oder manuelle Steuerung veranlaßt erfolgen.

Durch die Erfindung wird weiterhin auch eine Einrichtung zur Durchführung des vorstehenden Verfahrens geschaffen.

Eine solche Einrichtung kann insbesondere softwaregesteuert sein.

Im folgenden werden Ausführungsbeispiele der Erfindung anhand der Zeichnung erläutert. Es zeigt:

Fig. 1 in beispielhafter Weise eine Fusion redundanter Bildinformation mit dem Verfahren der Super-Resolution durch Verarbeitung eines Bildstapels mit redundanten Bildinformationen;

Fig. 2 in beispielhafter weise eine Fusion komplementärer Bildinformation mittels High-Dynamic-Range-Rekonstruktionsverarbeitung eines Bildstapels mit komplementären Bildinformationen; Fig. 3 eine schematisierte Darstellung der Erzeugung alternierend aufeinander folgender Teilsequenzen von Bildern mit redundanten und komplementären Informationsanteilen zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern aus Bildsequenzen mit Bildern niedriger Auflösung gemäß einem Ausführungsbeispiel der Erfindung;

Fig. 4 eine schematisierte Darstellung einer Fusion aufeinander folgender Sequenzen zur High-Dynamic-Range-Rekonstruktionsverarbeitung und Super- resolution-Verarbeitung, um ein fehlerreduziertes hochauflösendes und kontrast- verbessertes Bild zu erhalten, wobei ein durch die High-Dynamic-Range-

Rekonstruktionsverarbeitung erhaltenes Bild als Referenzbild für eine Registrierung verwendet wird, gemäß einem Ausführungsbeispiel der Erfindung; und

Fig. 5 eine schematisierte Darstellung der Erzeugung einer fehlerreduzierte hoch- auflösende und kontrastverbesserte Bilder enthaltenden Ergebnisbildsequenz aus Fusion von alternierend aufeinanderfolgenden Sequenzen zur Superresolution- Verarbeitung und High-Dynamic-Range-Rekonstruktionsverarbeitung.

Bei den beschriebenen Ausführungsbeispielen zur Erzeugung von fehler- reduzierten hochauflösenden und kontrastverbesserten Bildern werden sowohl redundante als auch komplementäre Bifdinformationen eines Bildsensors mit einstellbaren Aufnahmeparametern gewonnen, um diese anschließend zu fusionieren. Als Sensorparameter sollen dabei diejenigen einstellbaren Parameter des Sensors verstanden werden, deren Variation geeignet ist, komplementäre Bildin- formation zu erzeugen, also solche Bildinformation, die nicht aus einem einzelnen Bild abgeleitet werden kann, sondern nur aus einer Sequenz oder einem Stapel von Bildern mit jeweils variiertem Sensorparameter. Relevant im Sinne der Erfindung ist dabei insbesondere der Parameter der Belichtungszeit des Sensors bzw. der dazu entsprechende physikalische Parameter wie die Integrationszeit der Pho- tonen auf den Pixeln (Bildelementen) des Sensors oder die Wahl von Aufnahme- sensitivitäten innerhalb des Sensors.

Der oder die Sensorparameter werden so gewählt, dass die durch die bildgebende Sensorik erzeugte niedrig aufgelöste Bildsequenz sowohl komplementäre als auch redundante Informationsanteile enthält.

Fig. 1 zeigt anhand eines Beispiels eine Fusion redundanter Bildinformationen durch Superresolution-Verarbeitung aus einem Bildstapel, hier zwei Bilder darge- stellt, mit redundanten Bildinformationen zu einem Ergebnisbild mit erhöhter Auflösung.

Fig. 2 zeigt anhand eines entsprechenden Beispiels eine Fusion komplementärer Bildinformation (Überbelichtung, Unterbelichtung) mittels High-Dynamic-Range- Rekonstruktionsverarbeitung eines Bildstapels, hier zwei Bilder, mit komplementären Bildinformationen zu einem Ergebnisbild mit erhöhtem Kontrast.

Gemäß dem in Fig. 3 dargestellten Ausführungsbeispiel werden die redundanten und komplementären Informationsanteile innerhalb einer Gesamtsequenz von BiI- dem durch alternierend aufeinanderfolgende Teilsequenzen von aufgenommenen Bildern, nämlich einer Sequenz R für den redundanten Anteil und einer Sequenz K für den komplementären Anteil repräsentiert. Die Zahl der Einzelbilder innerhalb der R- bzw. der K-Sequenz ist vorgebbar.

Die Teilsequenzen unterscheiden sich darin, dass bei dem in Fig. 3 dargestellten Ausführungsbeispiel in der R-Sequenz für die Super-Resolution-Verarbeitung die Sensorparameter unverändert bleiben, d.h. abgesehen von szenischen Veränderungen wie Beleuchtungsänderungen oder Bewegung von Objekt und/oder Sensor, handelt es sich hierbei also um redundante Mehrfachmessungen. Im Gegensatz zur R-Sequenz werden bei der für die High-Dynamic-Range- Rekonstruktionsverarbeitung genutzten K-Sequenz ein oder mehrere Sensorparameter von Bild zu Bild gezielt variiert. Wird als zu verändernder Sensorparameter die Belichtungszeit bzw. die korrespondierende physikalische Größe von Bild zu Bild variiert, so entspricht die K-Sequenz einer Belichtungsserie. In diesem Falle enthalten die unterschiedlich belichteten Bilder auch unterschiedliche und damit komplementäre Bildinformationen.

Die Fusion der redundanten und komplementären Informationsanteile bei der Auswertung bzw. Verarbeitung der Bildsequenz führt zu einer Rekonstruktion von kontrastverbesserten hochaufgelösten und fehlerreduzierten Bildern oder Bildsequenzen, als Ergebnisbild oder Ergebnisbildsequenz bezeichnet.

Fig. 4 zeigt in einem Ausführungsbeispiel die Fusion aufeinanderfolgender R- und K-Sequenzen zu einem oder mehreren Ergebnisbildern. In dem hier dargestellten Ausführungsbeispiel erfolgt die Fusion zur Erzeugung eines Ergebnisbildes HDR- SR in zwei Schritten.

In einem Fusionsschritt 1 werden die Bilder einer K-Sequenz unter Variation eines oder mehrerer Sensorparameter durch High-Dynamic-Range-Rekonstruktions- verarbeitung zu einem kontrasterhöhten Bild HDR fusioniert.

Eine Fehlerreduzierung, beispielsweise Rausch Unterdrückung und Erhöhung der Auflösung erfolgt dann in einem Fusionsschritt 2 durch Super-Resolution- Verarbeitung. In dem zweiten Fusionsschritt wird dabei explizit das vorher aus dem ersten Fusionsschritt erhaltene Ergebnisbild HDR verwendet, um eine verbesserte Kontrastinformation innerhalb der Superresolution-Verarbeitung zu erhalten. Das aus der R-Sequenz zuzüglich des HDR-Bilds erhaltene Ergebnisbild ist das Bild HDR-SR, welches ein fehlerreduziertes Bild mit hoher Auflösung und ho- hem Kontrast ist. Alle Fusionsschritte können implizit eine Bildregistrierung enthalten, welche dazu dient, die einzelnen Bilder einer Sequenz miteinander zur Deckung zu bringen. Dies ist notwendig, um beispielsweise bei Bewegung des Sensors in der Szene, womit eine Änderung der Perspektive innerhalb des Bildes verbunden ist, die erzeugten Bilder vor der Fusion so zueinander zur Deckung zu bringen, dass der redundante und/oder der komplementäre Informationsgehalt nutzbar ist. Bei dem beschriebenen Ausführungsbeispiel findet diese Bildregistrierung relativ zu einem vorgewählten Referenzbild statt. Somit werden alle anderen Bilder so transfor- miert, beispielsweise perspektivisch verändert bzw. verzerrt, dass sie mit dem Referenzbild optimal zur Deckung gebracht sind. Als Referenzbild kann jedes der Bilder einer R- oder einer K-Sequenz dienen.

Fig. 5 zeigt, wie durch Ausführung der beiden oben beschriebenen Fusionsschritte gemäß einem Ausführungsbeispiel nacheinander die Fusionsschritte 1 und 2 für alle Einzelbilder der R-Sequenz und der K-Sequenz als Referenzbild durchgeführt werden, so dass sich die volle Bildsequenz kontrastverbessert, hochaufgelöst und fehlerreduziert rekonstruieren läßt, was als Ergebnisbildsequenz von HDR-SR- Bildern in Fig. 5 dargestellt ist.

Die beschriebenen Fusionsschritte 1 und 2 können anstelle nacheinander gemäß einem alternativen Ausführungsbeispiel auch zu einem gemeinsamen Fusionsschritt integriert durchgeführt werden.

Neben einer alternierenden Erzeugung von R- und K-Sequenzen kann gemäß einem anderen Ausführungsbeispiel die Erzeugung der R-Sequenz dauerhaft und die der K-Sequenz durch automatische oder manuelle Steuerung veranlaßt werden, beispielsweise nur dann, wenn die Rekonstruktion eines kontrastverbesserten hochaufgelösten und fehlerreduzierten Einzelbildes oder einer BiId- sequenz notwendig erscheint. Neben dem Parameter der Belichtungszeit bzw. der entsprechenden physikalischen Größe können auch andere oder zusätzliche Sensorparameter zur Erzeugung der K-Sequenz variiert werden, beispielsweise Fokussierung oder Zoom.

Ein Vorteil der Erfindung ist es, dass mit bestehender Sensorik vergleichsweise niedriger Auflösung kontrastverbesserte, hochaufgelöste und fehlerreduzierte Bilder erzeugt werden können. Es ist lediglich die Steuerbarkeit eines Sensorparameters, wie der Belichtungszeit, vorzusehen.

Die von der bildgebenden Sensorik erzeugten Datenströme werden nicht vergrößert, so dass existierende Datenübertragungseinrichtungen, etwa von der bildgebenden Sensorik zu einer Bildverarbeitungseinrichtung, unverändert verwendet werden können. Die Rekonstruktion der qualitätsverbesserten Bildsequenz kann beispielsweise im Falle einer fliegenden Sensorplattform (Aufklärungsflugzeug, Drohne) beispielsweise nach der Datenübertragung in einer Bodenstation erfolgen.

Durch die Fusion der redundanten und der komplementären Bildsequenzen wer- den in dem Ergebnisbild oder der Ergebnisbildsequenz Details sichtbar, die in keinem einzelnen Eingabebild einheitlich erfaßt sind.