Titel

Kamera und korrespondierendes Verfahren zur Auswahl eines aufzunehmenden Objekts

Stand der Technik

Die Erfindung betrifft eine Kamera nach dem Oberbegriff des Patentanspruchs 1 und ein korrespondierendes Verfahren zur Auswahl eines aufzunehmenden Objekts.

Häufig werden mit einer Kamera freihändig bewegte Szenen aufgezeichnet. Befindet sich in der aufzunehmenden Szene ein Objekt, das sich selbst bewegt, dann muss die Kamera entsprechend der Bewegung des Objektes nachgeführt werden. Diese Nachführung bzw. die zugehörige willentliche Schwenkbewegung der Kamera gelingt selbst professionellen Kameraleuten nur bedingt. Zur stabilen Nachführung der Kamera sollte die Bewegung des Objektes vermessen bzw. ermittelt werden. Dazu ist es erforderlich das bewegte Objekt in den aufeinander folgend aufgenommenen Bildern zu segmentieren. Aus der Analyse der aufgenommenen Bilder können neben dem gewünschten aufzunehmenden Objekt auch andere bewegte Objekte, welche gleichartige oder unterschiedliche Bewegungen aufweisen, bzw. ein statischer Hintergrund segmentiert werden. Da in den aufge- nommenen Bildern mehrere Objekte entdeckt werden können, ist somit zur Auswahl des gewünschten Objektes eine weitere Information erforderlich. Die Eingabe dieser Information kann beispielsweise über ein entsprechendes Bedienmenü erfolgen, führt aber bei schnellen Objekten zum Verlust der gewünschten Verfolgung.

In der Offenlegungsschrift US 2005/028070 Al werden ein Bildstabilisierungssystem und ein korrespondierendes Verfahren für eine Videokamera beschrieben. Das beschriebene Bildstabilisierungssystem zur automatischen Zielverfolgung umfasst eine Kamera mit einer Bilderfassungsvorrichtung, welche ein Videobild aufnimmt. Die Kamera ver- fügt über einen selektiv einstellbaren Bildbereich. Eine Verarbeitungseinheit ist operativ mit der Kamera gekoppelt und empfängt Signale, welche den Bildbereich der Kamera und die aufgenommenen Bilder umfassen. Die Verarbeitungseinheit verfolgt in den er- fassten Bildern automatisch die Bewegungen von wenigstens einem Objekt und bestimmt eine Stabilisierungseinstellung für das aufgenommene Videobild als Funktion einer unbeabsichtigten Veränderung des Bildbereichs der Kamera während eines Zeitintervalls zwischen der Aufnahme eines ersten Bildes und der Aufnahme eines zweiten Bildes. Die Bestimmung der Stabilisierungseinstellung basiert auf den Signalen, welche den Bildbereich angeben, und einer Analyse des ersten und zweiten Bildes.

Offenbarung der Erfindung

Die erfindungsgemäße Kamera mit den Merkmalen des unabhängigen Patentanspruchs 1 hat demgegenüber den Vorteil, dass eine Auswerte- und Steuereinheit eine Schwenkbe- wegung der Kamera ermittelt und mit ermittelten Bewegungen von Objekten vergleicht, welche in von einer Bilderfassungsvorrichtung erfassten Bildern dargestellt sind, wobei die Auswerte- und Steuereinheit mindestens ein Objekt als aufzunehmendes Objekt bestimmt, dessen ermittelte Bewegung am Besten mit der ermittelten Schwenkbewegung der Kamera übereinstimmt, und wobei die Auswerte- und Steuereinheit einen Bildaus- schnitt des von der Bilderfassungsvorrichtung erfassten Bildes in einer Speichereinheit ablegt, welcher das mindestens eine aufzunehmende Objekt darstellt.

Das erfindungsgemäße Verfahren zur Auswahl eines aufzunehmenden Objekts mit den Merkmalen des unabhängigen Patentanspruchs 7 hat demgegenüber den Vorteil, dass ei- ne Schwenkbewegung der Kamera während der Bildaufhahme ermittelt wird, wobei Bewegungen von Objekten in den erfassten Bildern ermittelt und mit der Kamerabewegung verglichen werden, wobei mindestens ein Objekt als aufzunehmendes Objekt bestimmt wird, dessen ermittelte Bewegung am Besten mit der ermittelten Schwenkbewegung der Kamera übereinstimmt, und wobei ein Bildausschnitt der erfassten Bilder ablegt wird, welcher das mindestens eine aufzunehmende Objekt darstellt.

Durch die erfindungsgemäße Kamera und das erfϊndungsgemäßen Verfahren kann das gewünschte aufzunehmende Objekt, das der Benutzer beispielsweise durch eine willentli- che Schwenkbewegung der Kamera verfolgt, in vorteilhafter Weise automatisch im abgelegten Bildausschnitt gehalten werden. Da der Benutzer durch die manuelle Nachführung der Kamera versucht, das gewünschte Objekt nahezu konstant im aufzunehmenden Bildausschnitt zu halten, weist das gewünschte Objekt nahe zu die gleichen Bewegungspara- meter wie die Kamera auf, so dass die Kamerabewegung in vorteilhafter Weise als Auswahlkriterium genutzt werden kann. Da die manuelle Nachführung nur ungenau geschieht und das Bild bei einer Nachführung oft verwackelt, ist eine Stabilisierung des Bildausschnitts mit dem gewünschten aufzunehmenden Objekt durch entsprechende bekannte Stabilisierungsverfahren von besonderem Nutzen.

Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen und Weiterbildungen sind vorteilhafte Verbesserungen der im unabhängigen Patentanspruch 1 angegebenen Kamera bzw. des im unabhängigen Patentanspruch angegebenen Verfahrens zur Auswahl eines aufzunehmenden Objekts möglich.

Besonders vorteilhaft ist, dass die Auswerte- und Steuereinheit die aufgenommene Bildsequenz zur Ermittlung eines optischen Flusses digital auswertet, wobei die Auswerte- und Steuereinheit den ermittelten optischen Fluss auswertet, um Informationen über die Schwenkbewegung der Kamera und/oder über die Bewegungen der Objekte in den BiI- dem zu erzeugen. Durch die Auswertung des optischen Flusses können Bildbereiche mit gleicher Bewegungsrichtung im erfassten Bild erkannt und segmentiert werden. Um die Informationen über die Kamerabewegung zu erzeugen, kann die Auswerte- und Steuereinheit beispielsweise den ermittelten optischen Fluss eines erkannten Bildhintergrunds auswerten. Alternativ kann die willentliche Schwenkbewegung der Kamera von einer Sensoreinheit erfasst werden, welche Informationen über die Kamerabewegung an die

Auswerte- und Steuereinheit zur Auswertung überträgt. Unter dem "optischen Fluss" versteht man in der Technik der digitalen Bildverarbeitung ein Vektorfeld, das für jeden Pixel die zweidimensionale Bewegung des entsprechenden Bildpunktes in einer Bildsequenz angibt.

In Ausgestaltung der Erfindung ist die Auflösung der von der Bilderfassungsvorrichtung erfassten Bilder deutlich größer als die Auflösung der in einer Speichereinheit abgelegten Bilder. Dadurch wird die Erkennung von bewegten Objekten, welche die gleiche Bewe- - A -

gung wie die Kamera ausführen, in vorteilhafter Weise erleichtert.

In weiterer Ausgestaltung der Erfindung legt die Auswerte- und Steuereinheit einen Schwerpunkt des mindestens einen aufzunehmenden Objekts als Mittelpunkt des aufzu- nehmenden Bildausschnitts fest und skaliert die Größe des aufzunehmenden Bildausschnitts auf die in der Speichereinheit verwendete Größe. Der Mittelpunkt und die Größe des abzuspeichernden Bildausschnittes werden über die Verteilung der ausgewählten Objekte errechnet.

In weiterer Ausgestaltung der Erfindung wird ein gemeinsamer Schwerpunkt als Mittelpunkt des aufzunehmenden Bildausschnitts festgelegt und/oder ein Objekt wird über einen zeitlichen Filter ausgefiltert, wenn mehrere Objekte mit gleicher Bewegungsrichtung als aufzunehmende Objekte bestimmt werden. Somit kann der ermittelte Schwerpunkt der ausgewählten Objekte auch zur Stabilisierung des Bildausschnitts verwendet werden.

Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden in der nachfolgenden Beschreibung näher erläutert.

Kurze Beschreibung der Zeichnungen

Figur 1 zeigt ein schematisches Blockdiagramm eines Ausführungsbeispiels einer erfindungsgemäßen Kamera.

Figur 2 zeigt ein Flussdiagramm eines erfindungsgemäßen Auswahlverfahrens eines auf- zunehmenden Objekts, das von der Kamera gemäß Fig. 1 durchgeführt wird.

Ausführungsformen der Erfindung

Nachfolgend wird unter Bezugnahme auf Fig. 1 und 2 die Funktionsweise der erfin- dungsgemäßen Kamera beschrieben. Wie aus Fig. 1 ersichtlich ist, umfasst die erfindungsgemäße Kamera 1 gemäß dem dargestellten Ausführungsbeispiel eine Auswerte- und Steuereinheit 10, eine Bilderfassungsvorrichtung 20, einer Speichereinheit 30, eine Sensoreinheit 40 und eine Bedieneinheit 50. Wie aus Fig. 2 ersichtlich ist, erfasst die Kamera 1 durch die Bilderfassungsvorrichtung 20 im Schritt SlO Bilder, welche von der Auswerte- und Steuereinheit 10 ausgewertet werden. Dabei analysiert die Auswerte- und Steuereinheit 10 eine von der Bilderfas- sungsvorrichtung 20 aufgenommene Bildsequenz, die mindestens zwei aufeinander folgend erfasste Bilder aufweist, um mindestens ein aufzunehmendes Objekt in Abhängigkeit von einer Schwenkbewegung der Kamera 1 während der Bildaufnahme zu segmentieren und zu stabilisieren. Zur Analyse der aufgenommenen Bildsequenz ermittelt die Auswerte- und Steuereinheit 10 im Schritt S20 die willentliche Schwenkbewegung der Kamera 1 während der Bildaufnahme. Die willentliche Schwenkbewegung unterscheidet sich durch die verschiedenen Bewegungsparameter wie Amplitude, Dauer, Richtung usw. von nicht willentlichen Kamerabewegungen wie Wackeln, Zittern usw. Im Schritt S30 ermittelt die Auswerte- und Steuereinheit 10 Bewegungen von Objekten in den erfassten Bildern. Im Schritt S40 vergleicht die Auswerte- und Steuereinheit 10 die ermittelten Ob- jektbewegungen mit der ermittelten Schwenkbewegung der Kamera 1. Im Schritt S50 bestimmt die Auswerte- und Steuereinheit 10 mindestens ein Objekt als aufzunehmendes Objekt, dessen ermittelte Bewegung am Besten mit der ermittelten Schwenkbewegung der Kamera 1 übereinstimmt. Somit wird von der Auswerte- und Steuereinheit 10 das Objekt als aufzunehmendes Objekt bestimmt, dessen ermittelte Bewegung die größte Über- einstimmung mit der ermittelten Schwenkbewegung der Kamera 1 aufweist. Anschließend legt die Auswerte- und Steuereinheit 10 einen Bildausschnitt des von der Bilderfassungsvorrichtung 20 erfassten Bildes in der Speichereinheit 30 ab, wobei der abgelegte Bildausschnitt das mindestens eine aufzunehmende Objekt darstellt. Da der Benutzer durch die manuelle Nachführung der Kamera 1 versucht, das gewünschte Objekt nahezu konstant im aufzunehmenden Bildausschnitt zu halten, weist das gewünschte Objekt nahe zu die gleichen Bewegungsparameter wie die Kamera 1 auf, so dass die Kamerabewegung in vorteilhafter Weise als Kriterium für die Auswahl des aufzunehmenden Objekts genutzt werden kann. Da die manuelle Nachführung nur ungenau geschieht und das Bild bei einer Nachführung oft verwackelt, ist eine Stabilisierung des Bildausschnitts mit dem gewünschten aufzunehmenden Objekt durch entsprechende bekannte Stabilisierungsverfahren von besonderem Nutzen.

Zur Erzeugung von Informationen über die Schwenkbewegung der Kamera und/oder über die Bewegungen der Objekte in den erfassten Bildern wertet die Auswerte- und Steuereinheit 10 einen optischen Fluss aus, der von der Auswerte- und Steuereinheit 10 durch eine digitale Auswertung der aufgenommenen Bildsequenz ermittelt wird. So kann die Auswerte- und Steuereinheit 10 beispielsweise den optischen Fluss eines erkannten BiId- hintergrunds auswerten, um die Informationen über die Schwenkbewegung der Kamera 1 zu erzeugen. Zusätzlich oder alternativ kann die Auswerte- und Steuereinheit 10 Informationen über die Schwenkbewegung der Kamera 1 von der Sensoreinheit 40 empfangen, welche die Schwenkbewegung der Kamera 1 über entsprechende Sensoren erfasst. Die Sensoreinheit 40 kann beispielsweise Inertialsensoren aufweisen, welche Informationen über die Schwenkbewegung der Kamera 1 über die Erfassung von Drehraten zur Verfügung stellen. Um die Verfolgung eines gewünschten Objekts zu erleichtern wird die Auflösung der von der Bilderfassungsvorrichtung 20 erfassten Bilder deutlich größer als die Auflösung der in der Speichereinheit 30 abzulegenden Bildausschnitte gewählt. Zur Festlegung der aufzunehmenden bzw. abzulegenden Bildausschnitte bestimmt die Auswerte- und Steuereinheit 10 einen Schwerpunkt des mindestens einen aufzunehmenden Objekts als Mittelpunkt des aufzunehmenden Bildausschnitts, wobei die Auswerte- und Steuereinheit 10 die Größe des aufzunehmenden Bildausschnitts auf die in der Speichereinheit 30 verwendete Größe skaliert.

Somit ermöglicht die erfindungsgemäße Kamera 1 eine stabilisierte Verfolgung eines gewünschten Objektes über den Vergleich der Schwenkbewegung der Kamera 1 mit der Bewegung von Objekten im Bild, wobei die Kamerabewegung entweder über die Inerti- albewegungen oder den optischen Fluss gemessen werden kann. Die Objekte werden vorzugsweise über den ermittelten optischen Fluss segmentiert. Zur stabilen Nachführung werden die Bewegungen der Objekte vermessen. Aus der Analyse des dichten optischen

Flusses ermittelt die Auswerte- und Steuereinheit 10 in den erfassten Bildern alle Objekte mit unterschiedlichen Bewegungen und den statischen Hintergrund. Da aber in den erfassten Bildern mehrere Objekte mit gleichartigen oder unterschiedlichen Bewegungen entdeckt werden können, erfolgt die Auswahl des gewünschten Objektes durch den Ver- gleich mit der Schwenkbewegung der Kamera 1. Gibt es mehrere Objekte mit einer vergleichbaren Bewegung kann der gemeinsame Schwerpunkt der ausgewählten Objekte als Mittelpunkt des aufzunehmenden Bildausschnitts und zur Stabilisierung verwendet werden und/oder ein Objekt kann über einen zeitlichen Filter ausgefiltert werden. Alternativ könnte das gewünschte aufzunehmende Objekt in diesem Fall über die Bedieneinheit 50 ausgewählt werden.

Zusammengefasst enthält die erfindungsgemäße Kamera 1 eine Bilderfassungsvorrich- tung 20 mit einer deutlich größeren Auflösung als zur Aufzeichnung von Bildsequenzen erforderlich ist. In diesen Bildsequenzen werden die Objekte über ihren gleichartigen Bildfluss segmentiert, wobei über die Schwenkbewegung der Kamera 1 die gewünschte Vorzugsbewegung des zu verfolgenden Objektes festgelegt wird. Die Schwenkbewegung wird dazu entweder über Inertialsensoren (Drehrate) oder über den Bildfluss des Hinter- grundes (Analyse der Eigenbewegung) festgestellt. Bewegen sich ein oder mehrere Objekte entsprechend der Schwenkbewegung der Kamera 1 wird der gemeinsame Schwerpunkt als Mittelpunkt des aufzuzeichnenden Bildausschnittes ausgewählt, d.h. der aktive Bildausschnitt wird so positioniert, dass das Objekt seine absoluten Bildkoordinaten behält, oder das gewünschte Objekt kann über eine zeitliche Filterung ausgefiltert werden. Die Größe wird bei Bedarf über die automatische Bildskalierung nachgeführt, so dass alle

Objekte der bevorzugten Bewegungsrichtung erfasst werden können.

.o0o.