Die gegenständliche Offenbarung betrifft ein Verfahren zur Bildkorrektur einer Aufnahme einer Geländestruktur, wobei die Aufnahme von einer beweglichen Kamera aufgenommen wird.

In einem weiteren Aspekt betrifft die gegenständliche Offenbarung ein Bildaufnahmesystem zur Erstellung von Aufnahmen von Geländestrukturen, wobei das Bildaufnahmesystem eine in einem Fahrzeug, vorzugsweise einem Luftfahrzeug, lagedefiniert montierbare Kamera mit zumindest einem Bildsensor und zumindest einer Optikeinheit aufweist und wobei das Bildaufnahmesystem eine Steuerelektronik, und eine Speichereinheit aufweist.

Bei der Aufnahme von Geländestrukturen von einem bewegten Fahrzeug aus ergeben sich aufgrund der Bewegung während der Belichtungszeit Bildunschärfen, die sich mit erheblichem technischen Aufwand zwar einschränken, aber nicht vollständig vermeiden lassen.

Zur Verringerung der Bildunschärfe ist es beispielsweise bekannt, den Bildsensor der Kamera während der Belichtungszeit mittels eines Piezoantriebs in einer auf eine Bewegung des Fahrzeuges (also beispielsweise auf die Fluggeschwindigkeit eines Flugzeugs oder eines anderen Fluggeräts) abgestimmten Bewegung zu verschieben, sodass jeder Pixel des Bildsensors möglichst genau auf einen bestimmten Geländepunkt ausgerichtet bleibt. Dadurch kann jedoch nur eine bekannte Vorwärtsbewegung des Fahrzeuges ausgeglichen werden. Andere Bewegungen und Beschleunigungen, insbesondere ein Nicken, Gieren oder Rollen des Fahrzeuges, wie es bei Flugzeugen beispielsweise beim Durchfliegen von Turbolenzen auftreten kann, kann auf diese Weise nicht ausgeglichen werden.

Bis zu einem gewissen Ausmaß können störende und unerwartete Bewegungen des Fahrzeugs durch eine stabilisierende Kameraaufhängung ausgeglichen werden, doch auch dieser sind technische Grenzen gesetzt.

Eine weitere Verbesserung der Bildschärfe ist mithilfe von Bildschärfungsalgorithmen erzielbar. Dabei werden üblicherweise Faltungsmatrizen errechnet und auf die einzelnen Bildbereiche angewendet, wobei eine Faltungsmatrix entweder für einen einzelnen Pixel, für einen Pixelbereich oder für das gesamte Bild verwendet werden kann. Da in unterschiedlichen Bildbereichen einer Aufnahme oft unterschiedliche Gründe für die Unschärfe vorliegen, kann ein besseres Ergebnis erzielt werden, wenn unterschiedliche Faltungsmatrizen auf die unterschiedlichen Bildbereiche angewendet werden.

Der Fachartikel „Accurate Motion Deblurring using Camera Motion Tracking and Scene Depth“, Hyeoungho Bae et al., 2013 IEEE Workshop on Applications of Computer Vision, offenbart die Ermittlung einer Faltungsmatrix („Blur Kernel“) zur Bildschärfung, wobei eine Kamerabewegung während der Aufnahme berücksichtigt wird. Weiters wird auf Basis einer Sensormessung ein Tiefenprofil erstellt und bei der Erstellung von Faltungsmatrizen für unterschiedliche Bildbereiche berücksichtigt.

Der Fachartikel „Automated Blur Detection and Removal in Airborne Imaging Systems using IMU Data", C.A. Shah et al., International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XXXIX-B1, 2012, betrifft die Bildschärfung von Flugaufnahmen. Nicken, Gieren und/oder Rollen des Flugzeugs während der Aufnahme werden mit einer inertialen Messeinheit (Englisch: „inertial measurement unit“ - IMU) gemessen und bei der Erstellung des Blur Kernels berücksichtigt.

US 9,445,003 B1 offenbart ein Bildschärfungsverfahren, das sowohl Beschleunigungen der Kamera, die auf Basis von IMU-Daten ermittelt werden, als auch eine detailliertes Tiefenprofil (gegebenenfalls auf Pixelbasis) berücksichtigt.

US 8,619,082 B1 offenbart die Ermittlung eines Tiefenprofils einer Aufnahme und deren Benutzung zur Bildschärfung. Das Tiefenprofil wird durch eine Bildanalyse ermittelt.

Aufgrund der schnellen Entwicklung von modernen Mappingtechniken werden immer höhere Ansprüche an die Qualität von Geländeaufnahmen gestellt. Gleichzeitig sollen die Vorrichtungen und Verfahren zur Aufnahme von Geländeaufnahmen günstiger werden. Es besteht daher ein Bedarf an Vorrichtungen und Verfahren, die mit möglichst geringem Aufwand Geländeaufnahmen hoher Qualität erstellen können.

Es ist ein Ziel der gegenständlichen Offenbarung, Vorrichtungen und Verfahren bereitzustellen, mit denen die Qualität von Geländeaufnahmen verbessert werden kann. Insbesondere soll das Verfahren für Senkrechtaufnahmen und für Schrägaufnahmen gleichermaßen geeignet sein, wobei insbesondere bei Schrägbildaufnahmen aus einem Luftfahrzeug die Besonderheiten der Aufnahmegeometrie berücksichtigt werden können.

Dies ist besonders für die Erstellung von 3D-Geländeaufnahmen hilfreich, bei denen mehrere, unter zur Bodenebene schrägen Winkeln aufgenommene Aufnahmen miteinander zu komplexen 3d-Modellen kombiniert werden.

Diese und weitere Ziele werden in einem ersten Aspekt durch ein Verfahren der eingangs genannten Art erreicht, bei dem zumindest ein Bildpunkt der Aufnahme einem Geländepunkt der Geländestruktur zugeordnet wird, wobei eine Trajektorie des Geländepunkts ermittelt wird, welche eine Relativbewegung des Geländepunkts gegenüber der Kamera während einer Aufnahmedauer beschreibt, wobei für die Ermittlung der Trajektorie Lage-, Positions-, Bewegungs- und/oder Beschleunigungsdaten der Kamera während der Aufnahme und Geodäten des Geländepunkts berücksichtig werden, wobei anhand von Bildwanderungen der Bildpunkte ein Optimierungsproblem modelliert wird und wobei durch Lösen des Optimierungsproblems ein korrigiertes Bild ermittelt wird. Das Verfahren ist besonders für Kameras mit Bildsensoren im Mittelformat oder Großformat vorteilhaft, da bei diesen Formaten, insbesondere bei Schrägbildaufnahmen, die Bewegungsunschärfe über die Aufnahme stärker variieren kann.

Das Verfahren erlaubt es darüber hinaus, dass verschiedene Ursachen der Bildwanderung (insbesondere Bildwanderung durch Vorwärtsbewegung im Gegensatz zu Bildwanderung durch Änderungen der Blickwinkel) beliebig aktiviert oder deaktiviert werden können.

In einer vorteilhaften Ausführungsform kann die Kamera an oder in einem Fahrzeug, insbesondere einem Luftfahrzeug angeordnet werden. Dadurch lassen sich hochauflösende Geländeaufnahmen erstellen.

In vorteilhafter Weise kann die Kamera in einer bewegbaren Montagestruktur, insbesondere einer stabilisierenden Kameraaufhängung angeordnet werden. Dies verbessert die Genauigkeit der Aufnahmen abermals, wobei die Ausgleichbewegungen der Montagestruktur bei der Modellierung des Optimierungsproblems berücksichtigt werden.

In einerweiteren vorteilhaften Ausführungsform können bei der Modellierung des Optimierungsproblems Unschärfen berücksichtigt werden, die aufgrund von Bodenerhebungen, wie etwa Hochhäusern, Bergen oder ähnlichem, entstehen. Dies ist insbesondere bei Flugaufnahmen aus niedriger Höhe und/oder bei Aufnahmen mit hoher Brennweite vorteilhaft.

Für die Ermittlung der Trajektorie können die Beschleunigungen in vorzugsweise allen translatorischen und rotatorischen Freiheitsgraden ermittelt und daraus die entsprechenden Bewegungen abgeleitet werden. Auf diese Weise lassen sich sehr genaue Trajektorien erstellen.

In vorteilhafter Weise können die Lage-, Positions-, Bewegungs- und/oder Beschleunigungsdaten der Kamera während der Aufnahme und/oder die Geodäten des Geländepunkts durch Daten ergänzt werden, die aus der Planung des Aufnahmeprojekts bekannt sind. Dadurch lassen sich Berechnungsfehler vermeiden und die Genauigkeit des Verfahrens erhöhen.

Gemäß einer vorteilhaften Ausführungsform können zumindest eine Einstellung und/oder Eigenschaft einer Optikeinheit der Kamera bei der Modellierung des Optimierungsproblems berücksichtigt werden. Dies ermöglicht einerseits ein Auswechseln oder Verstellen der Optikeinheit während eines Aufnahmeprojekts, andererseits wird die erreichbare Bildschärfe erhöht.

In vorteilhafter Weise können bei der Modellierung des Optimierungsproblems die Brennweiten für Farbe und Panchromatik, die sich gegebenenfalls unterscheiden können, berücksichtigt werden. Dadurch kann für jeden Kanal unabhängig eine optimierte Bildschärfung erfolgen.

Gemäß einer weiteren Ausführungsform kann das Verfahren zur Bildschärfung durch eine Bildanalyse ergänzt werden. Dadurch lassen sich einerseits fehlerhafte Daten ermitteln und ausgleichen, andererseits kann die Auflösung der Daten verbessert werden.

In einem weiteren Aspekt betrifft die gegenständliche Offenbarung ein Bildaufnahmesystem der eingangs genannten Art, wobei die Steuerungselektronik eine erste Schnittstelle zur Verbindung mit einem Trägheitsnavigationssystem, welches eine in Bezug auf die Kamera definierte Beschleunigungs- und/oder Geschwindigkeitsermittlung erlaubt, und eine zweite Schnittstelle zur Verbindung mit einem Positionsbestimmungssystem, welches eine in Bezug auf die Kamera definierte Positionsermittlung erlaubt, aufweist, wobei die Steuerelektronik ausgebildet ist, auf eine mit der Kamera gemachte Aufnahme eines der hierin offenbarten Verfahren auszuführen und die Aufnahme in der Speichereinheit zu speichern. Ein solches Bildaufnahmesystem erlaubt eine vorteilhafte Umsetzung der hierin offenbarten Verfahren.

In vorteilhafter Weise kann die Kamera an oder in einem Fahrzeug, insbesondere einem Luftfahrzeug montiert sein.

Gemäß einer weiteren vorteilhaften Ausgestaltung kann die Kamera in einer bewegbaren Montagestruktur, insbesondere einer stabilisierenden Kameraaufhängung angeordnet sein.

Eine weitere vorteilhafte Ausführungsform kann vorsehen, dass die Kamerasteuerung die Einstellung der Optikeinheit und die Bilderzeugung durch den Bildsensor steuert. Dadurch können die entsprechenden Daten auf einfache Weise berücksichtigt werden.

In vorteilhafter Weise kann die erste Schnittstelle und/oder die zweite Schnittstelle zur Anbindung an einen Datenbus des Fahrzeuges implementiert sind, wobei der Datenbus eine Datenübermittlung von einem Trägheitsnavigationssystem des Fahrzeuges und/oder einem Positionsbestimmungssystem des Fahrzeuges erlaubt. Dadurch kann der Aufbau des eigentlichen Bildaufnahmesystems vereinfacht werden, indem Daten von im Fahrzeug implementierten Geräten verwendet werden.

Vorzugsweise wird bei der Modellierung des Optimierungsmodells ein Shutterverlauf der Kamera berücksichtigt.

Besonders vorteilhaft ist es, wenn ein Bildabschnitt der Aufnahme einem Geländepunkt der Geländestruktur zugeordnet wird, wobei das Optimierungsproblem anhand von Bildwanderungen des Bildabschnitts modelliert wird.

Das bedeutet, dass der Bildabschnitt der Aufnahme einem Geländepunkt der Geländestruktur zugeordnet wird, wobei eine Trajektorie des Geländepunkts ermittelt wird, welche eine Relativbewegung des Geländepunkts gegenüber der Kamera während einer Aufnahmedauer beschreibt, wobei für die Ermittlung der Trajektorie Lage-, Positions-, Bewegungs- und/oder Beschleunigungsdaten der Kamera während der Aufnahme und Geodäten des Geländepunkts berücksichtig werden, wobei anhand von Bildwanderungen des Bildabschnitts ein Optimierungsproblem modelliert wird und wobei durch Lösen des Optimierungsproblems ein korrigiertes Bild ermittelt wird.

Vorzugsweise wird die Bildwanderung der Bildpunkte innerhalb von, z.B. frei definierbaren, überlappenden oder nichtüberlappenden, Bildabschnitten als konstant angenommen werden.

Bei der Verwendung von Bildabschnitten können Optimierungsprobleme für jeden Bildabschnitt unabhängig voneinander modelliert und effizient gelöst werden.

Wird erst das Gesamtbild oder ein Teilbild in Bildabschnitte unterteilt, dann kann das geschärfte Gesamtbild oder Teilbild anschließend anhand der Lösungen der Optimierungsprobleme der jeweiligen Bildabschnitte berechnet werden. Die Unterteilung der Aufnahme in Bildabschnitte ist besonders vorteilhaft, wenn der Bildsensor eine große Fläche aufweist, z.B. Mittelformat oder Großformat.

Besonders vorteilhaft für die Qualität der Aufnahme ist es jedoch, wenn für jeden Bildpunkt (Pixel) die zugehörige Bildwanderung beschrieben wird. Das führt zum besten Resultat, ist aber gegenüber einer Unterteilung in Bildabschnitte größer einem Pixel, innerhalb derer die Bildwanderung der Bildpunkte als konstant angenommen werden kann, weniger effizient.

Eine Unterteilung in Bildabschnitte ist hingegen vorteilhaft, wenn angenommen werden kann, dass sich die Bildwanderung der einzelnen Bildpunkte (Pixel) innerhalb der definierten Bildabschnitte nur gering unterscheiden. Damit kann die Unschärfe als konstant innerhalb des Ausschnitts angenommen werden und somit das Problem effizient gelöst werden.

Die gegenständliche Erfindung wird nachfolgend unter Bezugnahme auf die Figuren 1 bis 2 näher erläutert, die beispielhaft, schematisch und nicht einschränkend vorteilhafte Ausgestaltungen der Erfindung zeigen. Dabei zeigt

Fig.1 eine schematische Darstellung einer in einem Flugzeug montierten Kamera zur Erstellung von Geländeaufnahmen und

Fig. 2 eine schematische Darstellung eines Bildaufnahmesystems.

In Fig. 1 ist schematisch ein Fahrzeug 5 (insbesondere ein Luftfahrzeug, beispielsweise ein Flugzeug, eine Drone oder ein Zeppelin) dargestellt, welches sich über einer Geländestruktur 2 hinwegbewegt und dabei mit einer an dem Fahrzeug 5 montierten Kamera 3 Geländeaufnahmen erstellt. In Fig. 1 ist in einer schematischen Darstellung eine Aufnahme 1, die in der dargestellten Position von dem Fahrzeug 5 aufgenommen werden kann, beispielhaft dargestellt. Mithilfe von Geodäten kann jedem Punkt der Geländestruktur 2 (in Fig. 1 ist ein Geländepunkt G beispielhaft dargestellt) eine eindeutig definierte räumliche Lage zugeordnet werden, wobei im dargestellten Fall jeder Punkt einem raumfesten Geokoordinatensystem (x, y, z) zugeordnet werden kann. Beispielsweise lässt sich die Position des Geländepunkts G in dem Geokoordinatensystem durch den Vektor G=(XG, yc, ZG) beschreiben und die Position des Fahrzeugs 5 (oder eines Referenzpunkts dieses Fahrzeugs 5) lässt sich durch den Vektor P=(XP, yp, ZP) beschreiben.

Dem Fahrzeug 5 ist ein körperfestes Koordinatensystem (x‘, y‘, z‘) zugeordnet, wobei der Koordinatenursprung der Einfachheit halber im Punkt P liegend dargestellt ist. Das Fahrzeug 5 kann in Bezug auf das Geokoordinatensystem Bewegungen und Beschleunigungen in allen sechs Freiheitsgraden ausführen, wobei die Position, Geschwindigkeit und Beschleunigung des Fahrzeuges 5 durch die Lage, Bewegung und Beschleunigung des körperfesten Koordinatensystems in Bezug auf das Geokoordinatensystem beschreibbar sind.

Die Kamera 3 kann in dem Fahrzeug 5 fix montiert sein, sodass sich seine Lage in Bezug auf das körperfeste Koordinatensystem nicht ändert. In Fig. 1 ist beispielsweise die Kamera 3 genau im Koordinatenursprung des körperfesten Koordinatensystems des Fahrzeugs 5 angeordnet. Der Punkt P definiert somit auch die Position der Kamera. Gegebenenfalls kann die Kamera 3 auch in einer bewegbaren Montagestruktur angeordnet sein, beispielsweise einer stabilisierenden Kameraaufhängung, welche Bewegungen des Fahrzeugs 5 bis zu einem gewissen Ausmaß ausgleicht, sodass die Ausrichtung der Kamera 3 in Bezug auf eine Fahrt- bzw. Flugrichtung möglichst konstant bleibt. In dem Fall kann ein weiteres körperfestes, mit der Kamera 3 mitbewegtes Koordinatensystem definiert sein, wobei die Beziehung zwischen dem körperfesten Koordinatensystem des Fahrzeugs 5 und dem körperfesten Koordinatensystem der Kamera 3 stets bekannt sind, sodass die Lage der Kamera 3 in Bezug auf das Geokoordinatensystem eindeutig definiert ist.

Die Lage der Kamera 3 und deren mit einer Optikeinheit 13 eingestelltes Sichtfeld 15 bestimmen in Verbindung mit der Form der Geländestruktur 2 einen Aufnahmebereich 14, der in Fig. 1 schematisiert als Strich-Punkt-Linie angedeutet ist. Der Übersichtlichkeit halber ist die Geländestruktur 2 in Fig. 1 als zweidimensionale Linie dargestellt, es ist jedoch klar, dass der Aufnahmebereich 14 eine Fläche ist, die einer im Wesentlichen rechteckigen Projektion auf die Geländestruktur 2 entspricht.

Die in der dargestellten Lage von der Kamera 3 gemachte Aufnahme 1 ist in Fig. 1 schematisch dargestellt, wobei ein Bildpunkt B dem Geländepunkt G zugeordnet werden kann. Tatsächlich ist diese Zuordnung jedoch nicht immer eindeutig, da sich die Position des Fahrzeugs 5 und der Kamera 3 während der für die Aufnahme erforderlichen Belichtungszeit nicht nur in Flugrichtung weiterbewegt hat, sondern dabei gegebenenfalls auch andere translatorische und/oder rotatorische Bewegungen aufgetreten sind. Während eine translatorische Bewegung quer zur Bewegungsrichtung (also in Richtung der Achsen y' und z‘) den Aufnahmebereich 14 nur sehr geringfügig verschiebt, und daher manchmal auch vernachlässigt werden kann, hat jede Rotation um eine der Achsen (die im Zusammenhang mit Flugfahrzeugen üblicherweise als Rollen, Nicken und Gieren bezeichnet werden) eine sehr deutliche Verschiebung des Aufnahmebereichs 14 zur Folge. Dabei kann sich die Position des Geländepunkts G in der Aufnahme 1 (dies entspricht zum Beginn der Aufnahme dem Bildpunkt B) während der Belichtungszeit über mehrere Pixel verschieben, was eine Bildunschärfe zur Folge hat. Die Bewegung des Bildpunkts von der Position B zur Position B‘ ist in Fig. 1 durch eine Strichlinie dargestellt. Die Strichlinie entspricht einer zweidimensionalen Abbildung einer dreidimensionalen Trajektorie T des Geländepunkts G in dem körperfesten Koordinatensystem der Kamera 3 zwischen dem Beginn der Belichtung (Position B) und dem Ende der Belichtung (Position B‘). Ein Bildpunkt B kann auch als Pixel bezeichnet werden.

Als „Trajektorie“ wird im Zusammenhang mit der gegenständlichen Offenbarung die Bewegung eines Punktes in Bezug auf ein bestimmtes Koordinatensystem bezeichnet. Beispielsweise kann die Bewegung jedes Geländepunkts G in Bezug auf das körperfeste Koordinatensystem des Flugzeugs 5 oder der Kamera 3 als dreidimensionale (oder, wenn auch der Zeitliche Verlauf betrachtet wird, vierdimensionale) Trajektorie definiert werden oder es kann die Bewegung des Bildpunkts von der Position B zur Position B‘ in der Aufnahme 1 als zweidimensionale (oder, bei Berücksichtigung des Zeitverlaufs, dreidimensionale) Trajektorie definiert werden.

Bei genauer Kenntnis des Verlaufs der Trajektorie T ist es möglich, für den entsprechenden Bildpunkt (oder für einen definierten Bildbereich) ein sehr wirkungsvolles Modell für die Abbildung der Bewegungsunschärfe zu erstellen, welches die tatsächlichen Verhältnisse sehr gut berücksichtigt. Dabei können nicht nur die translatorischen und rotatorischen Bewegungen und Beschleunigungen der Kamera 3 in allen Richtungen berücksichtig werden, sondern es kann auch die Unschärfe berücksichtigt werden, die, etwa aufgrund von Bodenerhebungen wie Hochhäuser, Berge oder ähnlichem, durch die Entfernung eines Geländepunkts von der Schärfeebene, auf die die Optikeinheit 13 der Kamera 3 eingestellt ist, entstehen kann.

In vielen Fällen kann die Berücksichtigung der Entfernung der Geländepunkte jedoch vernachlässigt werden, etwa wenn die maximale Abweichung der Geländepunkte von der Schärfeebene zu gering ist, um relevante Unschärfen zu erzeugen, und daher vernachlässigt werden kann. In dem Fall kann es ausreichend sein, wenn lediglich die Trajektorie des Bildpunkts B, der den Geländepunkt G repräsentiert, in der Bildebene der Aufnahme 1 für die Modellierung der Bewegungsunschärfe berücksichtigt wird.

Um die Bewegungsunschärfe modellieren zu können, können an sich bekannte Algorithmen verwendet werden, wie sie in der einschlägigen Fachliteratur beschrieben sind, wobei der Fachmann in der Lage ist, bei Kenntnis der hierin offenbarten Lehren die geeigneten Algorithmen auszuwählen und zu implementieren.

Eine Modellierung von Bewegungsunschärfen ist beispielsweise in den folgenden Publikationen offenbart:

„Fast Motion Deblurring Using Sensor-Aided Motion Trajectory Estimation”, Lee et. al., 2014.

“Single Image Deblurring Using Motion Density Functions”, Gupta et. al. 2010.

“Image Deblurring using Inertial Measurement Sensors”, Joshi et. al., 2010.

“Blind restoration of aerial imagery degraded by spatially varying motion blur”, Punnappurath, Rajagopalan, Seetharaman, 2014.

Die Inhalte der oben zitierten Druckschriften werden für die Jurisdiktionen, in denen dies möglich ist, zum Inhalt der vorliegenden Beschreibung bzw. Anmeldung gemacht

Gemäß der gegenständlichen Offenbarung wird die Trajektorie T des Geländepunktes G (beziehungsweise des entsprechenden Bildpunkts B) während der Aufnahmedauer (d.h. der Belichtungsdauer) ermittelt. Dazu können Geodäten des Geländepunkts G, sowie Positionsdaten, Bewegungsdaten und gegebenenfalls Beschleunigungsdaten der Kamera ausgewertet werden.

Die Geodäten des Geländepunkts G können beispielsweise aus im Internet verfügbaren oder proprietären Datenbanken erhalten werden. Eine beispielhafte verwendbare Datensammlung von Geländepunkten ist beispielsweise unter dem Internetlink https://data.opendataportal.at/dataset/dtm-europe verfügbar.

Im Folgenden wird die Modellierung der Bewegungsunschärfe, sowie die Erstellung und Lösung eines darauf aufbauenden Optimierungsproblems gemäß einer vorteilhaften Ausführungsform der hierin offenbarten Lehren detailliert beschrieben.

Aufgrund der aufgezeichneten Kamerabewegungen und gegebenenfalls der Geodäten des Aufnahmebereichs lässt sich für jeden Bildpunkt im aufgenommenen, unscharfen Bild (g) der Pfad des Bildpunktes im zu berechnenden, geschärften, Bild (f) angeben. Somit lässt sich, aufgrund der errechneten Trajektorien, jeder Pixel im unscharfen Bild (g) als gewichtete Summe der Pixel im (unbekannten) geschärften Bild (f) darstellen. Wird die Trajektorie für jeden Pixel beschrieben, resultiert daraus ein lineares Gleichungssystem, das das aufgenommene, unscharfe, Bild (g) in Abhängigkeit des noch unbekannten, zu errechnenden Bildes (f) darstellt (A f = g, f ist zu berechnen). Die dabei erstellte Matrix (A) beschreibt zeilenweise für jeden Pixel im unscharfen Bild (g) die Trajektorie, die dieser Pixel im geschärften Bild (f) zurücklegt. Da diese Matrix im Allgemeinen nicht invertierbar ist, wird die Lösung dieses Problems auf ein Minimierungsproblem zurückgeführt, welches mit bekannten mathematischen Methoden, wie z.B. .Conjugate Gradient ‘, mit Hilfe der Fourier Transformation oder mit anderen iterativen Algorithmen gelöst werde kann.

Optional kann auch bildübergreifend für jeden Pixel die gleiche Trajektorie angenommen werden (z.B. bei vernachlässigbaren Änderungen der Kamerarotationen während der Aufnahme). In diesem Fall kann das unscharfe Bild (g) als Faltung des über dem gesamten Bild konstanten Blur-Kernels (Trajektorie der Bildpunkte) mit dem zu errechnenden, geschärften Bild (f) dargestellt werden (a * f = g). ln diesem Fall spricht man auch von einer Faltungsmatrix (a). Auch hierfür wird die Lösung (Invertierung) dieser Faltungsoperation auf die Lösung eines mathematischen Minimierungsproblems zurückgeführt, was sich jedoch aufgrund der Darstellung als Faltung (a * f = g, f ist zu berechnen) effizient lösen lässt.

Ändert sich die Trajektorie innerhalb des gesamten Bildes nur langsam (z.B. bei schrägblickende Sensoren oder bei Rotationen um die Hochachse), können optional auch überlappende oder nichtüberlappende Bildabschnitte definiert werden, innerhalb deren der Blur-Kernel als konstant angenommen werden kann. In diesem Fall können die jeweiligen unscharfen Bildabschnitte ebenfalls als Faltung der Blur-Kernel mit den geschärften, noch unbekannten, Bildabschnitten modelliert werden. Somit kann für jeden Bildabschnitt ein zugehöriges Minimierungsproblem aufgestellt und effizient gelöst werden. Das geschärfte Gesamtbild kann anschließend anhand der Lösungen in den jeweiligen Bildabschnitten berechnet werden. Die Anzahl und die Wahl der Bildabschnitte hängen davon ab, wie stark sich die Trajektorien der Bildpunkte innerhalb des Bildes unterscheiden.

Aufgrund der Sättigungseigenschaften der in der Kamera vorgesehenen Bildsensoren können beim Lösen des zuvor beschriebenen linearen Gleichungssystems Artefakte neben gesättigten Pixel (-Bereichen) auftreten. Um dies zu verhindern, kann im mathematischen Modell eine Sättigungseigenschaft für die Beseitigung der Bewegungsunschärfe berücksichtigt werden. Die Sättigung kann dabei durch die sogenannte nichtlineare Antwortfunktion des Sensors, im Folgenden bezeichnet als R, modelliert werden. Ein sehr einfaches, normalisiertes Modell davon kann z.B. durch die Funktion R(x) = min(x, 1) beschrieben werden, wobei x den normalisierten Wert eines bestimmten Pixels definiert. Diese Funktion R kann an die tatsächliche Antwortfunktion des Bildsensors individuell angepasst und der Übergang zwischen linearen und gesättigten Bereichen entsprechend modelliert werden. Das lineare Modell A f = g (oder a * f = g) ändert sich demnach zu R(A f)

= g (oder R(a * f) = g), wobei die Anwendung der Funktion R hier pixelweise zu verstehen ist. Da es sich hierbei nun um ein nichtlineares mathematisches Modell handelt, werden zur effizienten Lösung des Optimierungsproblems vorzugsweise adaptierte iterative Verfahren angewandt. Die Definition von R kann wie zuvor pro Pixel, für das gesamte Bild oder für überlappende oder nichtüberlappende Bildabschnitte erfolgen. So kann z.B. die Antwortfunktion R auf das Bild zuvor angewandte radiometrische Anpassungen wie Anpassung des Weißabgleichs oder Verringerung oder Beseitigung einer Vignettierung berücksichtigen.

In vorteilhafter Weise können neben extrinsischen Parametern (Kamerabewegungen und gegebenenfalls Geodäten des Aufnahmebereichs) und intrinsischen Parametern des Kameramodells, zusätzlich auch geometrische Verzerrungen (z.B. Linsenverzeichung) in der Berechnung der Matrix A oder des Blur-Kernels a berücksichtigt werden.

Alternativ oder zusätzlich können andere Bildbearbeitungsalgorithmen, wie z.B. Denoising oder Demosaicing, auch im Zuge des Ausgleichs der Bewegungsunschärfe angewandt werden.

In Fig. 2 sind die Komponenten eines Bildaufnahmesystems 4 dargestellt, anhand derer die Funktionsweise der hierin offenbarten Verfahren zur Bildschärfung erläutert wird.

Das Bildaufnahmesystem 4 umfasst eine Kamera 3 mit zumindest einer Optikeinheit 13 und zumindest einem Bildsensor 12, auf den die Optikeinheit 13 einstellbar ist. Die Kamera 3 kann in dem Fahrzeug 5 in einer Montagestruktur 17 befestigt werden, wobei die Ausrichtung des Kamera 3 in Bezug auf das Fahrzeug 5 entweder unveränderlich ist (fixe Montage) oder wobei die Ausrichtung der Kamera 3 in Bezug auf das Fahrzeug in definierter und bekannter Weise veränderbar ist, beispielsweise im Rahmen einer stabilisierenden Kameraaufhängung. Die Montagestruktur 17 ist in Fig. 2 stark schematisiert dargestellt. Entsprechend verwendbare Montagestrukturen 17 sind im Fachbereich an sich bekannt.

Die Kamera 3 umfasst eine Kamerasteuerung 16, welche beispielsweise die Einstellung der Optikeinheit 13 und die Bilderzeugung durch den Bildsensor 12 steuert. Dabei kann die Kamerasteuerung 16 auch die Verschlusszeit steuern, welche die Aufnahmedauer bzw. Belichtungsdauer jeder Aufnahme definiert. Die Verschlusszeit kann durch einen mechanischen Verschluss, durch eine elektronische Shuttertechnik (z.B. die als „global shutter“ oder „rolling shutter“ bezeichnete Auslesung eines CMOS-Bildsensors), oder durch eine Kombination dieser Techniken gesteuert werden.

Vorzugsweise ist der Bildsensor 12 ein Mittelformatsensor oder ein Großformatsensor.

Ist an der Kamera 3 ein mechanischer Verschluss oder ein elektronischer Verschluss oder eine Kombination von mechanischer und elektronischer Shuttertechnik vorgesehen, so kann zusätzlich der sich aus dem Verschlusssystem ergebende Shutter-Verlauf in der Berechnung (modifizierte Gewichte der beschriebenen Trajektorien der Pixel) der Matrix A und/oder des Kernels a berücksichtigt werden

Die Kamerasteuerung 16 weist eine Datenverbindung zu einer Steuerelektronik 6 auf, welche die Verwaltung und Verarbeitung der von der Kamera 3 gemachten Aufnahmen ausführt. Die Steuerelektronik 6 hat Zugriff auf eine Speichereinheit 11 , in der die Aufnahmen, sowie weitere Daten, wie etwa während der Aufnahme aufgezeichnete Geodäten, Positionsdaten, Bewegungsdaten und/oder Beschleunigungsdaten gespeichert werden können. Die Steuerelektronik 6 kann in einem herkömmlichen Computer implementiert sein oder es kann eine zu diesem Zweck spezifisch hergestellte Steuerelektronik 6 verwendet werden. Gegebenenfalls können die Steuerelektronik 6 und die Kamerasteuerung 16 auch in einem einzigen Gerät kombiniert sein.

Die Steuerelektronik 6 weist eine erste Schnittstelle 7 und eine zweite Schnittstelle 9 auf, wobei die erste Schnittstelle 7 eine Datenanbindung an ein Trägheitsnavigationssystem 8 erlaubt und wobei die zweite Schnittstelle 9 eine Datenanbindung an eine Positionsbestimmungssystem 10 erlaubt. In der in Fig. 2 dargestellten beispielhaften Ausführungsform sind das Trägheitsnavigationssystem 8 und das

Positionsbestimmungssystem 10 extern angebundene Geräte, wobei es sich beispielsweise um Sensoren bzw. Einheiten des Fahrzeugs 5 handeln kann. Die Schnittstellen 7, 9 können beispielsweise als Anbindungen an einen Datenbus des Fahrzeuges 5 implementiert sein, wenn diese eine Übermittlung der Daten von Trägheitsnavigationssystem 8 und Positionsbestimmungssystem 10 erlaubt. Alternativ können das Trägheitsnavigationssystem 8 und/oder das Positionsbestimmungssystem 10 als Teil des Bildaufnahmesystems 4 implementiert sein, wie dies in Fig. 2 durch das interne Trägheitsnavigationssystem 8‘ schematisch angedeutet ist, welches über eine interne Schnittstelle 7‘ mit der Steuerelektronik 6 verbunden ist. Beispielsweise kann somit das Bildaufnahmesystem 4 eine Schnittstelle 9 für das Positionsbestimmungssystem 10 des Fahrzeugs 5 und ein internes Trägheitsnavigationssystem 8‘ aufweisen, welches die Beschleunigungen der Kamera 3 direkt an dieser misst.

Mithilfe der von dem Positionsbestimmungssystem 10 ermittelten Daten können die Positionsdaten der Kamera 3 (zum Beispiel eine Geoposition und eine Höhe über Grund bzw. Flughöhe) und die Bewegungsdaten der Kamera 3 (zumindest entlang der Hauptbewegungsrichtung des Fahrzeugs 5, beispielsweise die als „Ground Speed“ bezeichnete Geschwindigkeit über Grund) ermittelt werden.

Mithilfe der vom Trägheitsnavigationssystem 8 ermittelten Daten können insbesondere die Beschleunigungen in allen translatorischen und rotatorischen Freiheitsgraden ermittelt werden, woraus sich in bekannter Weise auch die entsprechenden Bewegungen ableiten lassen. Gegebenenfalls können die Ausgleichsbewegungen einer stabilisierenden Kameraaufhängung ebenfalls berücksichtigt werden, falls eine solche Aufhängung verwendet wird.

Zu Anbietern von Trägheitsnavigationssystemen 8 und/oder Positionsbestimmungssystemen 10, die im Zusammenhang mit den hierin offenbarten Verfahren und Vorrichtungen verwendet werden können, zählen beispielsweise die Firmen Applanix, IGI Systems oder Novatel.

Die in Fig. 2 dargestellten Komponenten, Datenverbindungen und Systemgrenzen sind rein beispielhaft und sollen nicht einschränkend ausgelegt werden. Beispielsweise können die Kamerasteuerung 16 und die Steuerelektronik 6 als ein einziges Gerät ausgeführt sein. Andererseits können die hierin offenbarten Funktionen der Kamerasteuerung 16 und der Steuerelektronik 6 auch von einer Vielzahl von miteinander kommunizierenden Geräten ausgeführt werden.

Die Steuerelektronik 6 ist in der Lage, die Positions-, Bewegungs- und Beschleunigungsdaten der Kamera 3 mit dem Geokoordinatensystem in Beziehung zu setzen. Damit ist es möglich, unter Verwendung dieser Daten und der Geodäten der Geländestruktur 2 bei jeder Aufnahme 1 für Geländepunkte G im Sichtfeld 15 der Kamera beziehungsweise für Bildpunkte B in der Aufnahme 1 eine Trajektorie T zu erstellen.

Dadurch kann die Bewegung des Bildpunkts von der Position B zur Position B‘ (der dem Geländepunkt G zugeordnet ist) über den Bildbereich der Aufnahme 1, und gegebenenfalls auch die Entfernung des Geländepunkts G von der Kamera 3 zu jedem Zeitpunkt während der Aufnahme ermittelt werden. Somit kann anhand dieser Daten für jeden Bildpunkt eine Trajektorie beschrieben werden und diese in die Modellierung der Bewegungsunschärfe der Aufnahme einfließen. Durch Lösen des daraus resultierenden Optimierungsproblems können zahlreiche Bildunschärfen der Aufnahme 1 ausgeglichen und damit ein Bild optimaler Schärfe erstellt werden. Das Modell kann dabei entweder unterschiedliche Unschärfen einzelner Pixel bzw. verschiedener Bildbereiche, oder eine einheitliche Unschärfe der gesamten Aufnahme 1 abbilden.

Gegebenenfalls können die Daten durch Daten ergänzt werden, die aus der Planung des entsprechenden Aufnahmeprojekts bekannt sind. So können beispielsweise die Aufnahmepositionen und Geländeinformationen vorab definiert werden.

Gegebenenfalls können unterschiedliche Sichtfelder berücksichtigt werden, die sich durch unterschiedliche Einstellungen der Optikeinheit 13 oder durch eine Auswechslung der Optikeinheit 13 oder durch mehr als eine Optikeinheit gebildete Kamera ergeben können. Weiters kann auch die jeweilige Fokussierungseinstellung berücksichtigt werden, die die Entfernung der Schärfeebene von der Kamera 3 definiert. Gegebenenfalls können auch unterschiedliche Brennweiten für Farbe und Panchromatik verwenden werden, wobei die Korrekturen dann jeweils mit unterschiedlichen Parametern durchzuführen sind.

Die hierin offenbarten Verfahren können ohne zusätzliche Entfernungssensoren und ohne eine aufwändige Bildauswertung ausgeführt werden. Gegebenenfalls kann jedoch das Bildschärfungsverfahren zusätzlich durch eine Bildanalyse verbessert werden.

Beispielsweise kann die Position markanter Geländepunkte ermittelt und damit die Trajektorien der einzelnen Bildpunkte zur Erhöhung der Genauigkeit korrigiert werden. Beispielweise können Höhenmodelle die a posteriori erstellt werden, für eine (adaptive) Anpassung der Trajektorien der Bildpunkte verwendet werden. Die in den einzelnen Ausgestaltungen und Beispielen angegebenen einzelnen Merkmale und Varianten können (sofern nicht an Ort und Stelle etwas anderes ausgeführt ist) mit denen der anderen Beispiele und Ausgestaltungen frei kombiniert und insbesondere zur Kennzeichnung der Erfindung in den Ansprüchen ohne zwangläufige Mitnahme der anderen Details der jeweiligen Ausgestaltung bzw. des jeweiligen Beispiels verwendet werden. In der Beschreibung und den Ansprüchen bedeutet die Ausdrücke „im Wesentlichen“ oder „etwa“, sofern nichts anderes an Ort und Stelle angegeben ist, eine Abweichung von bis zu 10 % des angegebenen Wertes, wenn es physikalisch möglich ist, sowohl nach unten als auch nach oben, ansonsten nur in die sinnvolle Richtung, bei Gradangaben (Winkel und Temperatur) sind damit ! 10° gemeint.

Bezuqszeichen:

Aufnahme (1)

Geländestruktur (2) Kamera (3)

Bildaufnahmesystem (4)

Fahrzeug (5)

Steuerelektronik (6) erste Schnittstelle (7) Trägheitsnavigationssystem (8) zweite Schnittstelle (9) Positionsbestimmungssystem (10) Speichereinheit (11)

Bildsensor (12) Optikeinheit (13)

Aufnahmebereich 14 Sichtfeld 15 Kamerasteuerung 16 Montagestruktur 17