Die Erfindung betrifft ein Verfahren zur rechnergestützten Stabilisierung von Bildern, insbe- sondere von elektronisch aufgezeichneten Bildern (z.B. mit einer Videokamera), gegenüber Verdrehungen der Kamera um eine beliebige Achse um beliebig große Winkel. Die Erfindung betrifft auch Bildaufnahmesysteme mit einem Fischaugen-Objektiv (engl, „fϊsheye") für (halb-)sphärische Bilder, insbesondere auch Kameras mit 360°-Rundumsicht.

Verfahren zur elektronischen Bildstabilisierung sind bekannt und lassen sich grob in zwei Kategorien unterscheiden: (i) Kompensationsvorrichtungen für die Kamera selbst oder für den Lichtweg vom Objekt zum Kameraschirm und (ii) die rechnergestützte Korrektur der aufge¬ zeichneten Bilder, was i. a. eine elektronische Erfassung der Bilder voraussetzt und Nachbe¬ arbeitung erfordert.

Beispiele für Vorrichtungen der ersten Kategorie sind in den Druckschriften DE 43 42 717 Al oder DE 196 18 979 Al beschrieben. Diese eignen sich insbesondere auch zur Kompensation von Verwacklungen bei Aufnahmen auf Filmmaterial.

Mit modernen Digitalkamefas und mittlerweile gestiegener Rechnerleistung kommt aber auch der zweiten Kategorie praktische Bedeutung zu. Bestehende Verfahren zur Verwacklungs- kompensation, wie etwa die elektronische Bildstabilisierung in HandyCams, können aufgrund des begrenzten Öffnungswinkels perspektivischer Kameras nur geringfügige Kompensationen durchführen, wobei das Bild aufgrund der perspektivischen Transformation verzerrt wird. Bei einem Schwenk über mehr als den Öffnungswinkel der Kamera kann keine Kompensation mehr durchgeführt werden. Es ist eine grundsätzliche Schwierigkeit der elektronischen Nachbearbeitung, dass ein reales Bild einer (dreidimensionalen) Szene lediglich von einer zweidimensionalen Pixelanordnung erfasst wird. Um allein aus einer Sequenz von Bildern auf eine zwischenzeitlich erfolgte Rotation oder Translation der Kamera zurück zu schließen, ist eine numerische Rekonstruktion der 3D-Szene erforderlich, die sich auch heute nicht ohne größeren Aufwand, insbesondere in Echtzeit, bewerkstelligen lässt.

Man zieht deshalb bei der Szenenrekonstruktion manchmal zusätzliche externe Sensorik als Hilfsmittel hinzu. Beispielsweise ist bekannt, eine Kamera mit einem fest montierten Be- schleunigungs-Gyro-Sensor auszustatten, um neben Bildern auch gleichzeitig die Rotation der Kamera aufzuzeichnen (z.B. Suya You, Ulrich Neumann, and Ronald Azunia: Orientation Trackingfor Outdoor Augmented Reality Registration. IEEE Computer Graphics and App¬ lications 19, 6 (Nov/Dec 1999), 36-42). Der Rotationssensor misst durch Beschleunigungs¬ messer (Gyroskop-Prinzip) die relative Änderung der 3D Orientierung zwischen unterschied- liehen Aufnahmezeitpunkten. Zusätzlich können weitere absolute Messgrößen wie magneti¬ scher Nordpol und Gravitation (Lot) zur Erzeugung einer absoluten Orientierungsreferenz mit verwendet werden. Durch Integration der relativen Änderung über die Zeit wird eine absolute 3D-Orientierung bestimmt. Die Rotation des Sensors kann durch drei Winkel (Rx, Ry, Rz) um die drei Raumachsen (X5Y5Z) beschrieben werden (Euler- Winkel, vgl. Fig. 1 a) oder durch eine Rotation um eine Drehachse im Raum (vgl. Fig. 1 b, Achse- Winkeldarstellung (A, α), auch: Quaternionen-Darstellung).

Auf diese Weise kann eine Entkopplung von Rotation und Translation der Kamera erreicht werden, d.h. beide lassen sich getrennt bestimmen.

Bekannt ist auch ein hemisphärisches Bildaufnahmesystem, insbesondere eine Kamera mit Fischaugen-Objektiv. Dieses bildet eine Hemisphäre des Raumes auf eine Kreisscheibe in der Bildebene ab. Die 2D-Bildrepräsentation erfolgt dabei in den Winkelkoordinaten über der Einheitshalbkugel. Die Bildmitte bildet den Pol der Hemisphäre ab. Die Kugeloberfläche wird durch zwei Winkel parametrisiert, welche entlang der Längengrade (θ) und Breitengrade (φ) der Kugel verlaufen (vgl. Fig. 2 a). Ein Punkt (θ, φ) der Kugeloberfläche wird durch die sphä- rische Abbildung auf die Bildebene (x, y) abgebildet, wobei (x0, yo) den Pol (optische Achse) abbildet (vgl. Fig. 2 b).

Beispielsweise aus der US 6 002 430 ist auch ein sphärisches Bildaufhahmesystem bekannt, das den gesamten umgebenden Raum abbildet, indem zwei mit dem Rücken zueinander mon¬ tierte hemisphärische Kameras jeweils einen Halbraum aufnehmen. Aufgrund des von Null verschiedenen Abstandes der beiden Kamerazentren ist es dabei nahe liegend, Fischaugen- Objektive mit z.B. 190° Blickwinkel zu verwenden, um beide Bilder zu einem vollständigen Rundumbild nahtlos zusammensetzen zu können. Dennoch existieren stets (i) eine „Totzone" der Vorrichtung in unmittelbarer Nachbarschaft der Doppel-Kamera, die nicht eingesehen werden kann, sowie (ii) eine „Nahzone", in der sich die Parallaxenverschiebung der beiden Kameras bemerkbar macht. Für ausreichend weit entfernte Szenenpunkte spielt der Kamera- zentrenabstand indes praktisch keine Rolle mehr.

Im Bereich der so genannten „Augmented Vision" ist man bestrebt, Personen z.B. bei kom¬ plexen Arbeitsgängen zusätzliche Informationen in ihr Sichtfeld einzublenden. Man stattet die Personen dazu etwa mit transparenten Display-Brillen aus, die Texte oder Grafiken in eine Realansicht einblenden können, vergleichbar dem bekannten Head-Up Display (HUD) aus militärischen Flugzeugen. Um die dazu erforderliche genaue Kenntnis der Lage der Brille im 3D-Raum automatisch zu ermitteln, kann man Rundumsicht-Kameras starr mit der Brille ver¬ binden. Die Echtzeit- Analyse z.B. der Bewegung von bekannten Markierungspunkten im auf¬ gezeichneten Bild erlaubt die Positionsbestimmung der Brille im Arbeitsraum. Um aber - etwa für Außenanwendungeri - auf solche Markierungen verzichten zu können, sind wesent¬ lich komplexere Bildanalysen erforderlich.

Dabei wird es hilfreich sein, Einflüsse von Rotation und Translation auf das Bild der a priori unbekannten Szene getrennt zu analysieren. Es liegt deshalb nahe, auch hier Rotationssenso¬ ren einzusetzen. Allerdings wurde bislang noch kein Verfahren veröffentlicht, wie die zusätz¬ lichen Rotationsdaten zur Echtzeit-Rotationsstabilisierung des sphärischen Bildes zu benutzen sind. Es ist daher die Aufgabe der Erfindung, das elektronisch aufgezeichnete Bild einer sphäri¬ schen Kamera in Echtzeit so zu bearbeiten, dass es bei der Darstellung auf einem Sichtschirm (z.B. eines PC) gegenüber beliebigen Verdrehungen der Kamera invariant bleibt.

Die Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1. Die Un¬ teransprüche geben vorteilhafte Ausgestaltungen an.

Die Erfindung wird anhand von Figuren erläutert. Dabei zeigen:

Fig. 1 mögliche Darstellungen der Kameradrehungen, Fig. 1 a) mit Euler- Winkeln, Fig. 1 b) in Achse- Winkel-Darstellung,

Fig. 2a eine Skizze der hemisphärischen Geometrie;

Fig. 2b des zweidimensionalen Abbildes der Fig. 2a mit Bezeichnungen der hier be¬ nutzten Koordinaten, und

Fig. 3 einen schematischen Verlauf der Kalibrierfunktion k(θ) eines Fischauge- Objektivs.

Grundsätzliche Voraussetzung zur Durchführung des erfindungsgemäßen Verfahrens ist die starre Kopplung einer sphärischen Kamera mit einem 3 DoF (Degree of Freedom) Rotations¬ sensor. I Zur vereinfachten Erläuterung soll im Folgenden nur noch von einer einzelnen Fischaugen- Kamera die Rede sein, die I eine Hemisphäre abbildet. Zur Rundumsicht wird das Verfahren für beide Kameras simultan angewendet, und die erfindungsgemäß stabilisierten Bilder wer¬ den dann in an sich bekannter Weise zusammengefügt.

Die Pixelebene der Kamera erfordert ein zweidimensionales Koordinatensystem im 3D- Raum. Die Orientierung der Pixelebene ist dabei beliebig. Technische CCD-Chips weisen normalerweise rechteckige Pixel in rechtwinkliger Anordnung auf, so dass das kartesische Koordinatensystem (x, y) die natürliche Wahl ist. Sein Ursprung liegt typisch in einem Eck¬ pixel.

Durch die sphärische Projektion des Fischauges werden Objektpunkte auf einer Halbkugel (o. B. d. A. mit Radius Eins) um das Kamerazentrum auf eine Kreisscheibe in der Pixelebene abgebildet. Die natürlichen Koordinaten des Bildes sind dann ebene Polarkoordinaten (r, φ). Die optische Achse der Kamera soll senkrecht zur Pixelebene durch einen zentralen Pixel mit Koordinaten (x0, yo) verlaufen. Jeder Objektpunkt auf der Halbkugel erscheint unter einem Winkel θ zur optischen Achse und ist zudem durch seine Azimutposition φ gekennzeichnet. Die Festlegung von φ = 0 ist dabei willkürlich.

Die Besonderheit der Fischaugen-Projektion besteht darin, dass der Winkel θ im idealen Fall linear auf den Radius der Kreisscheibe abgebildet wird. Dies ist in Praxis für kleine Winkel sehr gut erfüllt, aber für O -» 90° wird die Abbildung typisch nicht-linear. Fig. 3 zeigt exem¬ plarisch die Kalibrierfunktion k(θ), die den jeweiligen Umrechnungsfaktor von Winkel (z.B. Radian) auf Pixelkoordinaten angibt und für jedes Objektiv einmal zu bestimmen ist.

Das sphärische Bild kann wegen der oben genannten Linearität durch die Polarkoordinaten (θ, φ) beschrieben werden. '■

Lässt man die Problematik diskreter Pixel außer acht, so besitzt ein Objektpunkt auf der Halbkugel bei den Koordinaten (θ, φ) in der Pixelebene die Pixelkoordinaten:

(1) JCp = x0 + Ä:(ι9)x ^cos(^) und yP = y0 +k(3)x$sin(φ)

Ändern sich nun bei einer Drehung der Kamera die Winkelkoordinaten des Objekts, etwa von (θ, φ) nach (θ', φ'), so wandert auch das Bild des Objekts von (xp, yp) nach (xp', yp')- Ver- i lässt es dabei die zulässigen Pixelkoordinaten des CCD-Chips, so ist das Objekt durch die Kameradrehung aus dem Blickfeld geraten. Es ist dann aber sicher im Blickfeld der zweiten, rückwärts gerichteten Kamera. Das Prinzip der erfmdungsgemäßen Bildstabilisierung besteht in der direkten Berechnung der Koordinatenverschiebungen (xp, yp) -» (xp'5 yp') für alle Bildpunkte aus zusätzlichen Rotati¬ onsdaten sowie in deren Rückgängigmachen durch Umkopieren der Farbwerte von (xp', yp') zurück nach (xp, yp). Dieses Umkopieren ist heute in allen gängigen Graphikkarten implemen- tiert und für Echtzeitanwendungen optimiert, z.B. zum Rotieren einer virtuellen Kamera in einem rechnergenerierten Raum.

Die Erfindung befasst sich daher allein mit der Abbildung (xp, yp) — » (xp', yp'), die es schnell aus den Daten eines Rotationssensors zu bestimmen gilt. Da die Kameradrehung in natürli- eher Weise durch eine 3x3-Drehmatrix beschrieben werden kann, ist es sinnvoll, das Problem dreidimensional zu formulieren, wofür man zusätzlich eine z-Achse entlang der optischen Achse, also senkrecht zur Pixelebene, definiert. Ebenso wird eine z' -Achse im gedrehten Ka¬ merakoordinatensystem eingeführt, und man kann schreiben

Dabei bezeichnet M = M(θ',φ',θ,φ) eine 3x3-Matrix, die von den neuen und alten Winkelko¬ ordinaten des Objektpunktes auf der Halbkugel nach und vor der Kameradrehung abhängt. Die Erfindung zeigt nun einen Weg auf, sich diese Matrix schnell zu verschaffen, was für die Echtzeitstabilisierung des Bildes wesentlich ist.

Die Gleichungen (1) lassen sich als Matrixgleichung zusammenfassen

(3)

wobei K eine 3x3-Kalibriermatrix (mit Kalibrierfunktion k(θ)) und pt die Normdarstellung des Pixelpunktes (xP, yP) in den Polarkoordinaten (θ, φ) ist. Die Matrix K ist nur einmal für alle θ aufzustellen und abzuspeichern. Sie ist immer invertierbar, und die Normdarstellung

(4) P1 = K-1WP

hat den Vorteil, dass sich die 3D-Position P des zugehörigen Objektpunktes auf der Halbku¬ gel unmittelbar aus den Winkelkoordinaten - und damit aus der Normdarstellung -angeben lässt. Gemäß der bekannten Definition sphärischer Polarkoordinaten für die Einheitskugel hat man nämlich

(5) A(S)P1 = A(S)K --11 (,S)P

sin .9 mit si(S) = so dass A(θ) eine invertierbare Matrix für θ ≠ 90°, 180° ist. ~5~ Ohnehin ist der Fall θ = 180° hier durch die eingangs getroffene Festlegung auf eine hemi¬ sphärische Kamera ausgeschlossen. Zwar könnte man eine 360°-Rundumsicht auf eine einzi¬ ge Kreisscheibe abbilden, aber dies hätte schon wegen der damit verbundenen Verzerrungen Nachteile. Insbesondere würde der rückwärtige Pol der Objektsphäre, also bei θ = 180°, auf den gesamten Rand der Kreisscheibe abgebildet werden.

Der Fall θ = 90° kann indes vorkommen, und er zieht wegen (A^)22 = 1/cosθ eine nicht defi¬ nierte (unendliche) Matrixkomponente nach sich. Die fragliche Komponente ist aber nur ein Artefakt der Beschreibung. Es kann bei der Implementierung abgefangen werden. Seine Her- kunft wird weiter unten aufgezeigt. Es ist nach Aufstellen von Gleichung (5) besonders vorteilhaft, die exakt bekannte Matrix¬ funktion A(θ) von vornherein mit der nur einmal zu bestimmenden Matrix K"!(θ) zu multipli¬ zieren und in einer Tabelle für alle θ abzuspeichern. Die Produktmatrix A K"1 ist ebenfalls invertierbar mit

und sollte genauso berechnet und tabelliert werden.

Bei der Kameradrehung liefert der Rotationssensor unmittelbar Messdaten für die um jede der Achsen gedrehten Winkel mit typischen Taktraten von 100-200 Messungen pro Sekunde, einer Winkelauflösung von typisch 0.05 Grad und einer Kurzzeitgenauigkeit von 0.1-0.3 Grad. Hieraus lässt sich sofort in an sich bekannter Weise eine 3x3 -Drehmatrix aufstellen, die die Koordinatentransformation eines beliebigen Raumpunktes in das nunmehr gedrehte - mit der Kamera verbundene — Koordinatensystem erlaubt. Dies gilt auch für jeden Objektpunkt der Einheitskugel, insbesondere für P . hu gedrehten Koordinatensystem besitzt er die Dar¬ stellung

(7) F= RP

und da Gleichung (5) natürlich auch im gedrehten Koordinatensystem gilt, hat man

(8) pP = K(S1W1 W)P' = K(W)A'1 (W)RA(S)K-1 {θ)pf

Der Vergleich mit Gleichung (2) zeigt, dass die dort auftretende Matrix M mit dem Matrix¬ produkt in Gleichung (8) identisch ist. Dieses wird effektiv als Produkt aus drei 3x3-Matrizen für jeden Pixel berechnet - zwei tabellierten Matrizen und einer gemessenen Rotationsmatrix, die für das gesamte Bild zu einem festen Zeitpunkt gilt. Gleichung (8) erklärt auch, wie die unendliche Matrixkomponente (A^)22 entsteht. Ein Ob- jektpunkt P' bei θ' = 90° befindet sich in der Ebene des Kamerazentrums, um das gedreht wurde, also bei Pl = O . Gleichwohl soll sein

was nur geht, wenn gegen Unendlich strebt. Die Wahl der z-Komponente Eins bei der Erhebung der Pixelkoordinaten in die dritte Dimension ist eine willkürliche, aber bequeme Festlegung in Gleichung (2). Sie verursacht das Beschreibungsproblem für θ' = 90°.

Das Ausführen von 3x3 -Matrixprodukten ist durch moderne Hardwareimplementierung heute mit sehr hoher Geschwindigkeit möglich. Durch Vorausberechnung des Mapping in Tabellen kann die Rotationskompensation des Bildes echtzeitfähig, d.h. schritthaltend mit der Taktrate der Bildaufhahme, durchgeführt werden. Typische Bildaufhahmeraten sind hierbei 15-30 BiI- der pro Sekunde.Mit Hilfe dieses Mapping lassen sich die Farbwerte aus ihren neuen Positio¬ nen auslesen und auf ihre alten zurückkopieren.

Bei einer Drehung der Kamera um das Kamerazentrum - in Abwesenheit von Kamera- Translation - ergibt sich so im Rechner und ggf. auf dem Monitor ein statisches, sphärisches Bild. Wird die Position des Kamerazentrums zusätzlich verändert, zeigt das Bild eine rotati¬ onsfreie Verschiebung der Szene, aus der sich der Translationszustand der Kamera verein¬ facht rekonstruieren lässt, i

Wenn die Bildstabilisierung besonders schnell erfolgen soll oder wenn sehr große Bilder zu stabilisieren sind, ist es eine vorteilhafte Ausführungsform des erfmdungsgemäßen Verfah¬ rens, das Mapping nicht für alle Pixel, sondern nur für eine Auswahl aus diesen durchzufüh¬ ren. Wählt man insbesondere die Knotenpunkte eines über das Bild gelegten Dreiecksma¬ schen-Netzes („triangulär mesh"), so werden zunächst zwar nur diese Netzpunkte zurückko¬ piert, aber moderne Graphikkarten verfügen auch über einen so genannten „Fragment- Shader", welcher Farbwerte zwischen bekannten Stützstellen interpolieren kann. Dies kommt typisch bei der Texturierung von Computergraphiken zum Einsatz. Bei vielen Anwendungen (gerade auch im Bereich des menschlichen Sehens) wird es auf die pixelgenaue Stabilisierung des Bildes nicht ankommen, so dass die Reduktion des Verfahrens auf wenige Netzknoten hohe Geschwindigkeitsvorteile bringen kann. >