Verfahren zur Ermittlung von zweidimensionalen Bewegungsvektorfeldern in einer Bildsequenz und Bildverarbeitungseinrichtung hierzu

Die Erfindung betrifft ein Verfahren zur Ermittlung zweidimensionaler Bewegungsvektorfelder in einer Bildsequenz mit den Schritten:

Aufnehmen mindestens eines Bildes einer Szene mit einer ersten Belichtungsdauer;

Aufnehmen derselben Szene mit einer zweiten Belichtungsdauer, die länger als die erste Belichtungsdauer ist, so dass das mit der zweiten Belichtungsdauer aufgenommene Bild der Szene eine größere Bewegungsunschärfe hat als das mit der ersten Belichtungsdauer aufgenommene, mindestens eine Bild derselben Szene.

Die Erfindung betrifft weiterhin eine Bildverarbeitungseinrichtung mit mindestens einer Kamera zur Aufnahme einer Folge von Bildern einer Szene, mit einer Steuerungseinheit zur Steuerung der mindestens einen Kamera und mit einer Bildauswerteeinheit.

Konventionelle Video-Aufnahmeverfahren liefern zeitlich getrennte Momentbilder einer aufgenommenen dynamischen Szene. Um eine Ansicht einer beliebigen dynamischen Szene aus einem festen Blickpunkt zu jedem beliebigen Zeitpunkt zwischen einem fest definierten Anfangs- und Endzeitpunkt photorealistisch erzeugen zu können, ist eine Rekonstruktion des zeitlich kontinuierlichen Verlaufs der aufgenommenen Szene erforderlich. Dies erfolgt herkömmlicherweise durch Rekonstruktion des sogenannten „optischen Flusses" mittels Bildverarbeitungsverfahren. Dabei wird anhand einzelner Momentbilder auf das zweidimensionale Bewegungsvektorfeld der Szene geschlossen

Chr. Theobalt, J. Carranza, M.A. Magnor, H.-P. Seidel: „Enhancing Silhouette- based Human Motion Capture with 3D Motion Fields", in: Proc. IEEE Pacific Graphics 2003, Canmore, Canada, pp. 185-193, October 2003, offenbart ein Verfahren zur Erfassung von Bewegung in Bildern mit dreidimensionalen Bewegungsfeldern. Aus den Berechnungen des optischen Flusses im zweidimensionalen Raum für eine Vielzahl von Blickwinkeln und einem Objektmodell wird ein dreidimensionales Bewegungsfeld abgeleitet.

Die Bestimmung des optischen Flusses in Bildsequenzen ist bspw. in SukHan Lim und Abbas El Gamal: „Optical Flow Estimation Using High Frame Rate Sequences", in: Proc. Int. Conf. Image Processing, Vol. 2, 2001 , pp. 925-928 beschrieben. Hierzu wird eine spezielle Kamera mit hoher Bildrate verwendet und der optische Fluss zwischen den einzelnen Bildern mittels eines bekannten Verfahrens nach Lukas-Kanade berechnet.

Die Bewegungsschätzung in digitalen Bildsequenzen ist unter anderem aus der Bildkompressionstechnik bekannt. Dabei werden für Bildblöcke aufeinander folgende Bilder einer Sequenz Verschiebungsvektoren bestimmt, die eine Verschiebung von Bildblöcken beschreiben, die die geringste änderung des Bildinhalts aufweisen. Derartige Bewegungsschätzverfahnen sind bspw. in der WO 98/14010, EP 0 614 318 B1 bekannt.

Wei-Ge Chen, N. Nandhakumar, W.N. Martin, „Estimating image motion from smear: a sensor System and extensions"; IEEE 1995; International Conference on Image Processing (ICIP'95) -Volume 1 , pp. 199-202 ist ein Verfahren zur Bildbewegungsschätzung beschrieben, das auf der Auswertung von Bildrahmen beruht.

US 2006/0290821 A1 offenbart ein aus der Auswertung von globaler Bildbewegungsinformation und lokaler Bewegung in Bildblöcken beruhendes Verfahren zur Videoaufbereitung. Zur Beschreibung der lokalen Bildbewegung werden optische Flussvektoren berechet.

M. -Ben-Ezra und S. K. Nayar: „Motion-Based Motion-Deblurring" in: IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 26, No. 6, June 2004 beschreibt ein Verfahren zur Aufbereitung von durch eine Kamerabewegung signifikant verschlechterten Videos. Um die erforderliche Bewegungsinformation der Kamera zu erhalten ist ein zweiter Bilddetektor mit geringerer Auflösung als die Videoaufnahmekamera mit der Videokamera gekoppelt. Während mit der hochauflösenden Videokamera das aufzunehmende und nachzuverarbeitende Video mit langer Belichtungsdauer und geringer zeitlicher Auflösung aufgenommen wird, arbeitet der zweite Bilddetektor mit höherer zeitlicher Auflösung, kürzeren Belichtungsdauern und geringerer örtlicher Auflösung. Die Bewegung der Videokameras wird anhand der mit dem zweiten Bilddetektor aufgenommenen Bildsequenz bestimmt. Das Verfahren dient dazu, das lang belichtete Bild durch Kompensation der Bewegung der Kamera zu schärfen, während die Szene als statisch angenommen wird. Dazu wird der optische Fluss zwischen den Aufnahmen mit der geringen räumlichen Auflösung, die nur kurz belichtet werden, berechnet. Anschließend wird eine Annäherung an das Bewegungsfeld berechnet, das der Bewegung der Kamera während der langen Belichtungsdauer entspricht. Das lang belichtete, bewegungsunscharfe Bild wird dann mit Hilfe dieser Annäherung geschärft.

Die Koppelung von Videokamera und zweitem Bilddetektor kann in dem Verfahren von Ben-Ezra und Nayar entweder dadurch erfolgen, dass der zweite Bilddetektor an einem Gehäuse der Videokamera angebracht und auf das gleiche Objekt fokussiert ist. Es kann aber auch ein Strahlteiler verwendet werden, so dass Videokamera und zweiter Bilddetektor dieselbe Optik nutzen. Beschrieben ist auch der Einsatz eines speziellen Bildaufnahmechips mit zwei Bilddetektoren auf demselben Chip.

Die Rekonstruktion des optischen Flusses mittels Bildverarbeitungsverfahren auf die bekannte Weise hat den Nachteil, dass die Rekonstruktion des

„optischen Flusses" eine unterbestimmtes Problem ist, zu dessen Lösung weitere Randannahmen gemacht werden müssen, die nicht allgemein zutreffen. Der optische Fluss versagt zudem in Szenenregionen, die nicht in beiden Bildern sichtbar sind, wie beispielsweise bei Verdeckungen und Aufdeckungen. Der optische Fluss ist auch nicht notwendig identisch mit der wahren Bewegung der Szene, beispielsweise einer sich drehenden Spirale. Zeitlich nicht-lineare Bewegungen (Beschleunigung, Abbremsen) können mittels des optischen Flusses nicht korrekt ermittelt werden.

Ausgehend hiervon ist es Aufgabe der vorliegenden Erfindung ein verbessertes Verfahren zur Ermittlung des optischen Flusses in einer Bildsequenz zu schaffen, das einfach ist und verbesserte und robustere Ergebnisse liefert.

Die Aufgabe wird mit dem Verfahren der eingangs genannten Art gelöst durch Ermitteln eines zweidimensionalen Bewegungsvektorfeldes aus dem mit der zweiten Belichtungsdauer aufgenommenen länger belichteten Bild der Szene mit der höheren Bewegungsunschärfe in Bezug zu dem zeitlich mit diesem Bild der Szene zusammenhängenden mindestens einen mit der ersten kürzeren Belichtungsdauer aufgenommenen Bildes der Szene.

Es wird somit vorgeschlagen, die Bewegungsinformationen sowohl aus den Bildern einer Szene mit kurzer Belichtungsdauer, als auch aus den Bildern derselben Szene mit langer Belichtungsdauer gleichermaßen auszunutzen und miteinander zu korrelieren, um aus der Kombination beider Bildaufnahmen derselben Szene mit langer und kurzer Belichtungsdauer den optischen Fluss abzuleiten. Das zweidimensionale Bewegungsvektorfeld ist die Projektion der tatsächlichen dreidimensionalen Bewegung in der aufgenommenen Szene auf die Bildebene.

Mit den lang belichteten Aufnahmen der Szene stehen zusätzliche

Informationen über den wahren Verlauf der Szene in Bewegung zur Verfügung, so dass der

Lösungsraum zur Rekonstruktion des optischen Flusses erheblich eingeschränkt werden kann. Im Ergebnis führt die Berücksichtigung der Zusatzinformationen aus den lang belichteten Aufnahmen zu wesentlich verbesserten und robusteren Ergebnissen im Vergleich zu den bisherigen Verfahren, bei denen keine Korrelation von länger und kürzer belichteten Aufnahmen erfolgt.

Bei dem Verfahren wird ausgenutzt, dass die kürzer belichteten Bilder eine dynamische Szene in scharfen Momentaufnahmen abbilden, während die lang belichteten Bilder Bewegungsunschärfe zeigen. Das mindestens eine lang belichtete Bild wird zusammen mit kurz belichteten Bildern benutzt, um das komplexe 2D-Bewegungsfeld einer dynamischen Szene robust zu ermitteln.

Beispielsweise kann anhand einer lang belichteten Aufnahme sowie der zwei zeitlich nächstgelegenen kurz belichteten Aufnahmen das Bewegungsfeld einer Szene rekonstruiert werden, in dem ausgenutzt wird, dass die lang belichtete Aufnahme einer Faltung der beiden kurz belichteten Aufnahmen mit einem Kern, der von dem optischen Fluss abhängt, entspricht.

In einer bevorzugten Ausführungsform erfolgt somit eine Faltung von mindestens zwei mit der ersten Belichtungsdauer aufgenommenen Bildern der Szene und Ausnutzung von einem mit der zweiten Belichtungsdauer aufgenommenen Bildes derselben Szene.

Die Ermittlung des Bewegungsverlaufes kann verbessert werden, wenn das Aufnehmen des mindestens einen Bildes an der Szene mit der ersten zeitlichen Auflösung mit Hilfe einer ersten Bildaufnahmeeinheit erfolgt, die einen Verstärkungsfaktor zur Bildaufnahmesteuerung hat, der höher als der Verstärkungsfaktor einer zweiten Bildaufnahmeeinheit zum Aufnehmen derselben Szene mit einer zweiten Belichtungsdauer ist. Die Szene wird also sowohl mit kurzer Belichtungszeit und hohem Verstärkungsfaktor als auch mit möglichst langer Belichtungszeit und kleinem Verstärkungsfaktor

aufgenommen. Die Verstärkungsfaktoren müssen dabei so gewählt sein, dass die kurz belichteten Bilder nicht unterbelichtet sind, während die lang belichteten Bilder nicht überbelichtet werden. Die maximale Belichtungszeit ist von der Bildwiederholrate der Kameras abhängig.

Alternativ zur Bildaufnahme mit zwei unabhängigen Kameras ist auch denkbar, dass das Aufnehmen der Szene mit einer Kamera derart erfolgt, dass zeitlich hintereinander Bilder der Szene mit voneinander unterschiedlichen Belichtungsdauern aufgenommen werden, um von einer Szene Bilder mit unterschiedlicher Bewegungsunschärfe zu erhalten. Der Bewegungsverlauf wird dann aus den mit unterschiedlichen Belichtungsdauern aufgenommenen Bildern derselben Szene ermittelt. Auch hier ist es vorteilhaft, wenn die einzige Videokamera alternierend Bilder mit kurzer und langer Belichtungszeit bei simultan entsprechend wechselnden Verstärkungsfaktoren aufnimmt, so dass bei der Bildaufnahme mit langer Belichtungszeit ein kleiner Verstärkungsfaktor und bei Bildaufnahme mit kurzer Belichtungszeit ein großer Verstärkungsfaktor gewählt wird.

Aufgabe der vorliegenden Erfindung ist weiterhin, eine verbesserte Bildverarbeitungseinrichtung mit mindestens einer Kamera zur Aufnahme einer Folge von Bildern und einer Szene, mit einer Steuerungseinheit zur Steuerung der mindestens einen Kamera und mit einer Bildauswerteeinheit zu schaffen.

Die Aufgabe wird mit der Bildverarbeitungseinrichtung der eingangs genannten Art dadurch gelöst, dass die Steuerungseinheit eingerichtet ist, um mindestens ein Bild einer Szene mit einer ersten Belichtungsdauer und dieselbe Szene mit einer zweiten Belichtungsdauer aufzunehmen, die geringer als die erste Belichtungsdauer ist, so dass das mit der zweiten Belichtungsdauer aufgenommene Bild der Szene eine größere Bewegungsunschärfe hat, als das mit der ersten Belichtungsdauer aufgenommene, mindestens eine Bild derselben Szene, und dass die Bildauswerteeinheit zur Ermittlung des zweidimensionalen Bewegungsvektorfeldes aus dem mit der zweiten zeitlichen

Auflösung aufgenommene Bild der Szene mit größerer Bewegungsunschärfe im Bezug zu dem zeitlich mit diesem Bild der Szene zusammenhängenden, mindestens einen Bildes dieser Szene mit erster Belichtungsdauer eingerichtet ist.

Vorteilhafte Ausführungsformen sind in den Unteransprüchen beschrieben.

Die Erfindung wird anhand von Ausführungsbeispielen nachfolgend mit den beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:

Figur 1 - Blockdiagramm einer Bildverarbeitungseinrichtung mit zwei

Kameras und einer Bildauswerteeinheit zur Ermittlung des 2D-Bewegungsvektorfeldes in einer Bildsequenz;

Figur 2 - Blockdiagramm einer Bildverarbeitungseinrichtung mit einer

Kamera mit Strahlenteiler und an zwei Bildsensoren der Kamera angeschlossenen Bildauswerteeinheit;

Figur 3 - Belichtungszeitdiagramm zur Darstellung der

Bildaufnahmemöglichkeiten für die Ermittlung des 2D- Bewegungsverlaufs in einer Bildsequenz;

Figur 4 - Skizze von einer mit kurzen und langen Belichtungszeiten aufgenommenen Bildsequenz über die Zeit und aus einer ersten Näherung des optischen Flusses abgeleitetem Bild B ₀ .

Figur 1 lässt ein Blockdiagramm einer Bildverarbeitungseinrichtung 1 erkennen, die eine erste Kamera 2a zur Aufnahme einer Szene 3 mit einer ersten Belichtungsdauer hat. Diese erste Kamera 2a ist an eine zweite Kamera 2b gekoppelt, die auf dieselbe Szene 3 ausgerichtet ist, um diese Szene 3 mit einer zweiten Belichtungsdauer aufzunehmen. Hierzu sind die erste und zweite Kamera 2a, 2b durch zugeordnete Steuerungseinheiten 4a, 4b angesteuert, die separat oder als eine Einheit ausgebildet sein können. Die Kameras 2a, 2b werden derart angesteuert, dass die erste Kamera 2a die Szene 3 mit kurzer Belichtungszeit und hohem Verstärkungsfaktor (Gain) aufnimmt, während die zweite Kamera 2b dieselbe Szene 3 mit möglichst langer Belichtungszeit und kleinem Verstärkungsfaktor aufnimmt. Die Steuerungseinheiten 4a, 4b sowie

die Kameras 2a, 2b sind selbst so eingestellt, dass die kurzbelichteten Bilder nicht unterbelichtet sind, während die langbelichteten Bilder nicht der Szene 3 überbelichtet werden. Dies erfolgt durch geeignete Auswahl der Verstärkungsfaktoren. Die maximale Belichtungszeit selbst ist von der Bildwiederholrate der Kameras 2a, 2b abhängig.

Die mit kurzer Belichtungszeit durch die erste Kamera 2a aufgenommenen Bilder sowie das mindestens eine mit langer Belichtungszeit aufgenommene Bild derselben Szene 3 werden einer Bildauswerteeinheit 5 zugeführt, in der aus diesen kurz- und lang belichteten Bilder derselben Szene 3 das zweidimensionale Bewegungsvektorfeld BV berechnet wird, der die kurz belichteten Aufnahmen konsistent ineinander überführt und zugleich die lang belichtete Aufnahme rekonstruiert.

Figur 2 lässt eine andere Ausführungsform erkennen, bei der einer der zwei Kameras 2a, 2b synchron betrieben werden. Die beiden Kameras 2a, 2b besitzen durch einen optischen Strahlteiler 6 dieselbe optische Achse und benutzen dieselbe Optik 7. Wiederum wird mit der ersten Kamera die Szene 3 mit kurzer Belichtungszeit und hohem Verstärkungsfaktor mit der zweiten Kamera 2b dieselbe Szene 3 mit langer Belichtungszeit und kleinem Verstärkungsfaktor aufgenommen.

Eine alternative technische Realisierung besteht darin, eine einzige Videokamera 2 zu verwenden, die alternierend Bilder mit kurzer und langer Belichtungszeit bei simultan entsprechend wechselnden Verstärkungsfaktoren aufnimmt.

Figur 3 lässt ein Belichtungszeitdiagramm zur Darstellung der Bildaufnahmemöglichkeiten für die Ermittlung des Bildbewegungsverlaufs, d.h. des 2D-Bewegungsvektorfeldes BV in einer Bildsequenz erkennen.

Die herkömmlichen Verfahren a) haben vorgesehen, den optischen Fluss durch Betrachten zweier aufeinander folgender Kurzzeitbelichtungen zu bestimmen.

In einer Ausführungsform b) des Verfahrens zur Ermittlung des Bewegungsverlaufs, d.h. von 2D-Bewegungsvektorfeldem in einer Bildsequenz erfolgt ein regelmäßiges Umschalten der Belichtungszeit, um alternierend kurz belichtete Aufnahmen A, C, E, G und lang belichtete Aufnahmen B, D, F, H zu machen.

In einem anderen Verfahren c) können mit einem Zwei-Kamera-System kurz belichtete Bilder A, C, E, G und lang belichtete Bilder B, D, F, H simultan aufgenommen werden.

Eine andere Alternative d) sieht vor, mit einer entsprechend modifizierten Kamera 2 alternierend kurz belichtete Aufnahmen A, C, E, H und lang belichtete Aufnahmen B, D, F, H bei minimalen, jeweils gleich langen Totzeiten aufzuzeichnen.

Durch die Aufnahme einer Szene 3 mit lang und kurz belichteten Bildern A bis H stehen viel mehr Informationen zur Verfügung als bei den bekannten Methoden zur Bestimmung des 2D-Bewegungsvektorfeldes. Diese Informationen werden durch das folgende Modell zur Bildentstehung in Zusammenhang gebracht:

Ist v : R ² x [ti ,t2] → R ² , (f ,t) ι→ v, {χ ) die 2D-Bewegung eines Punktes der

Bildebene zur Zeit t, so lässt sich das langzeitbelichtete Bild Bo aus dem kurz belichteten Bild A wie folgt berechnen: J ₁ ² aA.{υ; ^x {χ))dt

Eine ähnliche Formulierung lässt sich für das kurz belichtete Bild C finden. Eine weitere Beschreibung des Bildentstehungsprozesses ist auch mittels der Integralgleichung

mit einem geeigneten Kern k : ω ² → R möglich.

Es wird ausgenutzt, dass die kurz belichteten Bilder A, C, E ₁ G die dynamische Szene 3 in scharfen Momentaufnahmen abbilden, während die lang belichteten Bilder B, D ₁ F, H Bewegungsunschärfe zeigen. Anhand einer lang belichteten Aufnahme B sowie der zwei zeitlich nächst gelegenen kurz belichteten Aufnahmen A, C kann das Bewegungsfeld der Szene 3 rekonstruiert werden. Dazu wird ausgenutzt, dass die lang belichtete Aufnahme einer Faltung entspricht mit den beiden kurz belichteten Aufnahmen A, C als Kern und dem zu ermittelnden 2D-Bewegungsvektorfeld als Definitionsbereich der Faltung.

Zur Bestimmung des 2D-Bewegungsvektorfeldes BV aus diesen Informationen sind verschiedene Ansätze möglich, wie beispielsweise Entfaltungsansätze, Variationsansätze, Analysis-by-Synthesis-Ansätze etc.

Figur 4 lässt eine Skizze von kurz belichteten Aufnahmen A ₁ C und einer lang belichteten Aufnahme B erkennen. Mit Hilfe beispielsweise des Analysis-by-

Synthesis-Ansatzes wird der Bildentstehungsprozess der lang belichteten Aufnahme B entsprechend der oben genannten Formel

schnell simuliert. Dies hat die Wirkung, dass die kurz belichteten Bilder A und C entlang eines initialen Bewegungsfeldes v° verschmiert und gewichtet gemittelt werden. Das auf diese Weise erzeugte Ergebnisbild Bo wird anschließend mit

der lang belichteten Aufnahme B verglichen. Zum Vergleich genügt ein einfaches Fehlermaß, z.B. das aufsummierte Fehlerquadrat SSD. Mit Hilfe eines geeigneten Optimierungsverfahrens, z.B. nach Powell wird das Bewegungsfeld v ⁿ iterativ solange variiert, bis der Fehlerwert e minimal ist.

Als initiales Bewegungsfeld v° stehen sowohl der Optische Fluss zwischen den beiden kurz belichteten Aufnahmen A und C zur Verfügung, als auch der Optische Fluss aus der Langzeitbelichtung B.