Folgekamerasteuerung

Bei der Aufnahme von Videofilmen ist es sinnvoll, mehrere Ka¬ meras einzusetzen, um im resultierenden Film das Geschehen aus mehreren Blickwinkeln darstellen zu können. Insbesondere bei nicht wiederholbaren Ereignissen, 5 beispielsweise Sport¬ wettbewerben, kiann nur so ein qualitativ hochwertiger Film hergestellt werden.

Bislang werden dazu dann für die Bedienung auch die entspre¬ chende Anzahl von Kameraleuten benötigt, die jede der Kameras entsprechend den aus der jeweiligen Position sichtbaren In- halten ausrichten. Diese tragen ganz wesentlich zu den Kosten einer solchen Aufnahme bei. Wünschenswert ist daher eine Lö¬ sung, bei der Kameraleute entfallen können.

Insbesondere bei Überwachungskameras im Objektschutz ist es bekannt, eine Vielzahl von Kameras drahtlos oder drahtgebun¬ den aus der Ferne zu steuern. Jedoch steuert auch hier immer eine Person eine Kamera zur Zeit; lediglich kann die Person schneller von Kamera zu Kamera wechseln. Für den genannten Anwendungsfall ist diese Lösung gleichfalls nicht ausrei— chend, da nach wie vor für jede nachzuführende Kamera eine Person benötigt wird.

Die vorliegende Erfindung löst die Aufgabe, eine oder mehrere Videokameras koordiniert so zu steuern, daß die Videokameras einem Aufnahmeobjekt für längere Zeit automatisch nachfolgen. Dabei ist es im folgenden unerheblich, ob die Videoströme der Kameras aufgezeichnet werden und anschließend „offline" ge¬ schnitten werden, oder ob sie zu einem Übertragungswagen ge¬ leitet werden, in dem die Videodaten für eine Live— Übertragung unmittelbar und ohne Zeitversatz zusammengemischt werden.

Aus dem Bereich der graphischen Bildverarbeitung sind Techni¬ ken bekannt, bei denen aus den Bildinhalten durch Analyse der Musterveränderungen ein genügend charakteristisches Objekt irrt Kamerabild positioniert und verfolgt werden kann. Im Objekt- schütz ist diese Technik relativ erfolgreich eingesetzt, da dort die Bilder häufig für längere Zeit unverändert sind und das so zu überwachende Objekt eine deutliche Veränderung ge¬ genüber einem statischen Hintergrund darstellt. Auch ist es in diesem Zusammenhang bereits möglich, das Verfahren kinema— tisch umzukehren und eine Verfolgerfunktion bereitzustellen, bei der nicht die Position eines Objekts im Bild einer fest¬ stehenden Kamera bestimmt, sondern die Kamera dem Objekt nachzugeführt wird. Derartige Kameras werden beispielsweise von der Firma Sony hergestellt. Dabei ist zu berücksichtigen, daß diese Verfolgerfunktion lediglich auf einer zweidimensio¬ nalen Analyse der Bildinhalte erfolgt. Eine dreidimensionale Bewegungsanalyse befindet sich derzeit im Forschungsstadium; die derzeit vorgeschlagenen Lösungen benötigen alle ein SD- Modell des zu verfolgenden Objekts, was bei einer Sportüber- tragung beispielsweise jedoch nicht verfügbar ist.

Die folgenden Beschreibungen beziehen sich daher auf folgende Situation: für ein Ereignis wie ein Reitturnier, ein Fußball¬ spiel oder einen Ski-Abfahrtslauf wird eine Anzahl fernbe- dienbarer Kameras so installiert, daß die jeweiligen Sport¬ ler, d.h. die Interessensobjekte, immer im Bereich einer, häufiger im Bereich mehrerer Kameras sind. Die Fernbedienun¬ gen werden an einen zentralen Platz geführt und mit einem Rechner und einem Kontrollpult verbunden, so daß sowohl auto— matisch durch den Rechner als auch durch manuellen Eingriff am Kontrollpult die Kameras ausgerichtet werden können. Selbst bei Verwendung der Verfolgerfunktion ist mit nur einem Kameramann kein qualitativ hochwertiges Ergebnis erreichbar, weil die Steuerung der Kameras untereinander nicht ausrei— chend koordiniert wird. Zum einen ist die Ausrichtung einer Kamera auf ein Objekt immer manuell durchzuführen. Der Kame¬ ramann muß gedanklich ermitteln, welche Kamera als nächste zu positionieren ist. Insbesondere ist die Kamera nicht auf die

Stelle gerichtet, wo der Sportler in den Erfassungsbereich kommt, sondern auf die, bei das vorherige Mal der Erfassungs¬ bereich verlassen wurde. Ist die Verfolgerfunktion weiterhin eingeschaltet, wird sie irgendwelche sich bewegenden Objekte verfolgen, z.B. Hilfspersonal oder Zuschauer. Ferner ist die Verfolgerfunktion nicht unbedingt zuverlässig und wechselt, wenn der Sportler vorübergehend verdeckt ist, auf irgendein dann sichtbares, sich bewegendes Objekt.

Die Lösung gemäß der vorliegende Erfindung ist einsetzbar, wenn sich die aufzunehmenden Objekte auf einer vorgegebenen Bahn oder Fläche, beispielsweise einer Bobbahn, eines Par¬ cours oder eines Spielfelds bewegen. Zumindest die Leitkamera befindet sich oberhalb dieser Bahn oder Fläche. Sie wird von einem Kameramann auf das zu filmende Objekt nachgeführt. Dies erfolgt in der Regel durch ein Stativ mit einem fest mit der Kamera um eine waagerechte Achse schwenkbar ist, also der Ka¬ mera zwei Freiheitsgrade erlaubt. Daran sind Sensoren ange¬ bracht, mit denen der jeweilige Drehwinkel bestimmt werden kann; diese Sensordaten werden im Folgenden auch als Parame¬ ter der Freiheitsgrade bezeichnet. Aus diesen beiden Winkeln der optischen Achse des Kameraobjektivs zu dem Lot der Kame¬ raposition auf die Spielfläche und dessen Abstand wird der Schnittpunkt der optischen Achse mit der Spielfläche durch analytische Geometrie berechnet; dieser wird im folgenden auch als Sollpunkt bezeichnet. Daraus werden dann in Umkeh¬ rung des Rechengangs aus der Sollposition auf dem Spielfeld für jede Folgekamera die benötige Richtung der optischen Ach¬ se im Raum und daraus die benötigten horizontalen und verti- kalen 'Drehwάnkel berechnet, so daß jede dieser Folgekaineras auf den selben Sollpunkt des Spielfelds zielt. Diese Sollwer¬ te werden dann durch eine bekannte Regelung an die Kamera¬ steuerung übertragen und führen dazu, daß eine Bewegung der Leitkamera' derart auf die Folgekamera übertragen wird, olaß die Folgekamera auf ein Objekt gerichtet bleibt, das von der Leitkamera verfolgt wird.

Hierzu ist die Erkenntnis notwendig, daß bei einer erhöht an¬ gebrachten Kamera und einer weit genug beabstandeten Spiel¬ fläche die Neigung der Kamera die notwendige Entfernungsin¬ formation liefert. Wenn die Kamera beispielsweise bei einem Fußballfeld etliche Meter oberhalb des Tores befindet, dann kann zwar eine seitlich hinter der Torlinie befindliche Kame¬ ra in etwa mit den gleichen Drehwinkeln nachgeführt werden. Hingegen wird der senkrechte Drehwinkel einer an einer Sei¬ tenlinie befindlichen Kamera in erster Ordnung vom Abstand des Spielers von der Leitkamera abhängen. Dieser ist aber durchaus aus dem Neigungswinkel der Leitkamera berechenbar; der Drehwinkel der Leitkamera führt dann noch zu kleineren Korrekturen am Drehwinkel der Folgekamera.

In der Figur ist zur Verdeutlichung der zweidimensionale Fall skizziert. Die Leitkamera L ist um den Winkel α gegenüber dem Lot h _L auf die Ebene E geneigt und zielt damit auf den Sollpunkt S, der hier im zweidimensionalen Fall durch den Ab¬ stand d _L vom Fußpunkt des Lots h _L durch den Tangens von be- rechnet werden kann. Damit ist über den Abstand d _L des Lots h _L von der Position der Leitkamera L zu dem Lot Ϊ_ _F der Folge— kamera F der Abstand dp bestimmt und über den Arcustangens des Winkels ß.

Handelt es sich nicht um eine Ebene, sondern eine andere zweidimensionale Fläche, so ist es in vielen Fällen möglich, diese analytisch zu beschreiben, womit dann der Schnittpunkt eines Strahls mit dieser analytisch bestimmten Fläche nume¬ risch berechnet werden kann. Auch ist es möglich, eine Fläche aus Teilflächen zusammenzusetzen, die dann entweder Teile von Ebenen oder anderen analytisch beschreibbaren Flächen sind. Eine allzu genaue Beschreibung, die die Rechenleistung heuti¬ ger Prozessoren überfordern würde, ist dabei ersichtlich nicht notwendig; diese Rechenleistung kann durch Server oder auch Signalprozessoren bereitgestellt werden.

Die Parameter einer Fläche sind daher Parameter, mit denen eine räumliche Objektposition beschränkt ist; diese möglichen

Positionen werden im folgenden auch als Restriktionsfeld be¬ zeichnet. Anstelle einer Fläche kann aber auch eine Linie, eine analytisch beschreibbare Kurve oder eine Zusammensetzung davon verwendet werden. In diesem Fall ist im allgemeinen kein Schnittpunkt mit der optischen Achse gegeben. Handelt es sich um (windschiefe) Gerade, dann ist jedoch deren Abstand und der Lotpunkt des Abstands leicht analytisch berechenbar. Dieser ist der Punkt geringsten Abstands und damit der Soll¬ punkt. Diese Methode kann dann in gleicher Art wie bei zusam- mengesetzten Flächen auf zusammengesetzte Kurven übertragen werden, so daß auch hier ein Sollpunkt bestimmbar ist.

In diesen Fällen kann es sein, daß mehrere Punkte als Soll¬ punkte möglich sind, weil bei ihnen ein lokales Minimum des Abstands vorliegt. Dann wird derjenige Punkt verwendet, der am dichtesten am vorigen Sollpunkt liegt. Diese Methode gilt natürlich auch für nicht-ebene Flächen.

Alternativ hierzu kann anstelle einer Linie im Raum auch ein „Schlauch" um diese Linie als Restriktionsfeld verwendet wer¬ den. Analytisch wird diese als Extrusion eines Kreises oder einer geschlossenen Splinefunktion längs der (Spline-) Linie beschrieben. Jedoch ist der Rechenaufwand erheblich größer, so daß diese Lösung nicht bevorzugt eingesetzt wird.

In einer Weiterbildung der Erfindung werden die zeitlich frü¬ her bestimmten Sollpunkte systematisch verwendet, indem aus ihnen der nächste Sollpunkt extrapoliert wird. Zur Extrapola¬ tion sind insbesondere die in Kaiman—Filtern verwendeten Me- thoden zur Bestimmung des nächsten Schätzwerts gut verwend¬ bar. Dann wird einerseits bei Mehrdeutigkeiten der Sollpunkt genommen, der dem nächsten Schätz— oder Interpolationswert am nächsten liegt. Bevorzugt wird ein Mittelwert zwischen be¬ rechnetem Sollpunkt und interpoliertem Sollpunkt verwendet, der entweder mit festen Gewichten oder mit variablen Gewich¬ ten gebildet wird, wie sie von Kaiman- oder anderen Filtern vorgegeben werden. Damit wird insbesondere der Fall unter¬ stützt, daß Teile des Feldes oder der Bahn verdeckt sind.

Dann ist es ausreichend, daß der Kameramann der Leitkamera der Position des Objekts ungefähr nachfolgt, da der Positi¬ onsfilter die Sollpunkte entsprechend korrigiert. Bevorzugt hat der Kameramann an der Kamera einen Schalter, mit dem er vorübergehend ausschließlich die Interpolationswerte wirksam werden läßt. Dieser Schalter kann selbstverständlich auch im Regieraum über einen Monitor ausgelöst werden; die Anwendung von Bilderkennungs— und Klassifikationsmethoden eingeschlos¬ sen.

Es ist auch möglich, aus der Abstandsinformation zum Objekt und ggf. unter Einberechnung der eingestellten Brennweite der Leitkamera die Brennweite der Folgekamera anzupassen, so daß der Bildausschnitt von Leit— und Folgekamera ungefähr gleich bleiben, auch wenn sich das Objekt von der Folgekamera ent¬ fernt. Auch finden Methoden der analytischen Geometrie Ver¬ wendung, da je nach Lage des Sollpunkts in Bezug zu den Kame¬ rapositionen die Anpassung gleich— oder gegensinnig zu erfol¬ gen hat . Die Methode verwendet dann anstelle eines Sollpunkts eine Sollkugel und stellt den weiteren Freiheitsgrad der

Brennweite so ein, daß die Größe der Sollkugel gleich bleibt. Dabei ist es durchaus möglich, daß von einer Regiezentrale aus die Zoomfaktoren auch der Folgekameras verstellt werden; die Beibehaltung der Objektgröße gilt dann einfach relativ zu dem neuen Zoomfaktor.

Die oben genannte Nachfolgesteuerung, die aus den Bildinhal¬ ten die Bewegungsberechnung und damit die Position der Kamera nachführt, kann in die bisherigen Lösungen gut integriert werden. Da hierbei dann aber unterschiedliche Sollwerte für die Drehwinkel der jeweiligen Folgekamera bestimmt werden, ist ein Ausgleich notwendig. Dieser erfolgt in der Regel da¬ durch, daß die Sollwerte mit Fehlerwahrscheinlichkeiten be¬ rechnet werden und ein bewerteter Mittelwert derart gebildet wird, daß die schlechter approximierten Werte auch weniger stark gewichtet werden. Damit wird insbesondere erreicht, daß bei vorübergehendem Verschwinden des Objekts in der Folgeka¬ mera diese dennoch nachgeführt wird, dann aber nur nach den

Koordinaten der Leitkamera. Wird das Objekt wieder sichtbar, dann kann die bildinhaltgesteuerte Nachführung wieder auf das Objekt einrasten und die von der Leitkamera gegebenen Koordi¬ naten adjustieren. Umgekehrt wird beim Verschwinden in der Leitkamera manuell oder automatisch das Gewicht auf Null ge¬ stellt und damit nur die Objektnachführung in der Folgekamera verwendet .

In allen Fällen wird bevorzugt eine Fehlerabschätzung und - fortpflanzung bei der numerischen Berechnung verwendet.