Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
ARRANGEMENT AND METHOD FOR DISTINGUISIHING BETWEEN A BACKGROUND AND A FOREGROUND OBJECT IN A SCENE
Document Type and Number:
WIPO Patent Application WO/2023/126311
Kind Code:
A1
Abstract:
The present invention firstly relates to a method for distinguishing between a background (02) and at least one foreground object (01) in a scene to be imaged. According to the method, keying light is used for the background (02) with a local and temporal variation. The keying light is locally present only in some sections in each case in at least one section of the background (02) in discrete time intervals. The sections of the background (02) in which the keying light is present in the discrete time intervals change over time. At least one image of the scene is obtained, said image being constructed from a plurality of image sections. Furthermore, an at least single-channel keying signal is derived by determining a distribution of the keying light imaged in the at least one image. To determine a first channel of the keying signal, a directly imaged portion (06) of the keying light is determined from the individual image sections which each correspond locally with those of the sections of the background in which the keying light is present in the respective one of the time intervals. The invention also relates to an arrangement for imaging a scene comprising at least one foreground object (01) and a background (02).

Inventors:
HEINTZMANN RAINER (DE)
KETTERER RYAN (DE)
Application Number:
PCT/EP2022/087517
Publication Date:
July 06, 2023
Filing Date:
December 22, 2022
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
LEIBNIZ INSTITUT FUER PHOTONISCHE TECH E V (DE)
UNIV JENA FRIEDRICH SCHILLER (DE)
International Classes:
H04N5/272; H04N5/222; H04N5/275; H04N9/75
Domestic Patent References:
WO2001006766A12001-01-25
WO2012038009A12012-03-29
Foreign References:
AU2019311295A12021-01-21
US9355325B22016-05-31
DE102007041719A12008-05-15
US20180332239A12018-11-15
US3133814A1964-05-19
DE102007041719A12008-05-15
US10313607B22019-06-04
US20150347845A12015-12-03
DE102004051607B42006-04-20
DE102005034990B42008-11-20
DE602004010464T22008-11-20
Other References:
HASCHE, E.INGWER, P: "Game of Colors: Moderne Bewegtbildproduktion, Theorie und Praxis für Film, Video und Fernsehen", 2016, SPRINGER-VERLAG
Attorney, Agent or Firm:
ENGEL, Christoph K. et al. (DE)
Download PDF:
Claims:
28

Patentansprüche Verfahren zum Unterscheiden zwischen einem Hintergrund (02) und mindestens einem Vordergrundobjekt (01) einer abzubildenden Szene, folgende Schritte umfassend:

- Verwenden von Stanzlicht für den Hintergrund (02) mit einer örtlichen und zeitlichen Variation, wobei das Stanzlicht in einzelnen Zeitabschnitten örtlich nur abschnittsweise jeweils in mindestens einem Abschnitt des Hintergrundes (02) vorhanden ist, und wobei die Abschnitte des Hintergrundes (02), in denen das Stanzlicht in den einzelnen Zeitabschnitten vorhanden ist, zeitlich wechseln;

- Gewinnen von mindestens einem aus mehreren Bildabschnitten aufgebauten Bild der Szene; und

- Ableiten eines zumindest einkanaligen Stanzsignals zur Unterscheidung des mindestens einen Vordergrundobjektes (01) von dem Hintergrund (02) durch Bestimmen einer Verteilung des in dem mindestens einen Bild abgebildeten Stanzlichtes, wobei zum Bestimmen eines ersten Kanales des Stanzsignals ein direkt abgebildeter Anteil (06) des Stanzlichtes aus den einzelnen Bildabschnitten ermittelt wird, welche jeweils mit denjenigen der Abschnitte des Hintergrundes örtlich korrespondieren, in welchen das Stanzlicht in dem jeweiligen der Zeitabschnitte vorhanden ist. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ein Strahlengang eines das Stanzlicht bildenden Lichtstrahles zum zeitlich wechselnden Beleuchten der Abschnitte des Hintergrundes (02) und ein Strahlengang zum Abbilden des Hintergrundes (02) in die einzelnen Bildabschnitte konfokal sind. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Abschnitte des Hintergrundes (02), in denen das Stanzlicht in den einzelnen Zeitabschnitten vorhanden ist, jeweils durch mindestens eine Zeile gebildet sind; und dass die Bildabschnitte, aus denen der direkt abgebildete Anteil (06) des Stanzlichtes ermittelt wird, jeweils durch eine Bildzeile gebildet sind. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass zum Bestimmen des ersten Kanales des Stanzsignals ein erster Bildwandler (09) verwendet wird, welcher gemäß einem Rolling-Shutter-Verfahren arbeitet. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Verwenden des Stanzlichtes für den Hintergrund (02) dadurch erfolgt, dass der Hintergrund (02) mit einem zeilenweise abgelenkten Laserstrahl (04) eines Laserprojektors (03) beleuchtet wird, wobei der Laserstrahl (04) das Stanzlicht bildet. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass das Verwenden des Stanzlichtes für den Hintergrund (02) dadurch erfolgt, dass eine im Hintergrund (02) befindliche zweidimensionale Anzeige zeilenweise das Stanzlicht emittiert. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass zum Bestimmen der Verteilung des in dem mindestens einen Bild abgebildeten Stanzlichtes das mindestens eine Bild zunächst spektral geteilt wird, wodurch das mindestens eine Bild in einen Vordergrundkanal und in einen das separierte Stanzlicht umfassenden Hintergrundkanal geteilt wird. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass zum Bestimmen eines zweiten Kanales des Stanzsignals jeweils das in sämtlichen der Bildabschnitte des mindestens einen Bildes abgebildete Stanzlicht in den einzelnen Zeitabschnitten ermittelt wird. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass das Stanzlicht ein Spektrum mit einer oder mehreren Spektrallinien und/oder Spektralbanden aufweist . Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Spektralbanden eine Bandbreite aufweisen, welche höchstens 5 nm beträgt. Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass das Stanzlicht in unterschiedlichen Regionen des Hintergrundes (02) mit unterschiedlichen spektralen Zusammensetzungen verwendet wird, wobei die unterschiedlichen Regionen des Hintergrundes (02) ein Muster bilden, wobei in einer ersten Menge der Regionen des Hintergrundes (02) das Spektrum des Stanzlichtes eine Spektrallinie mit einer ersten Wellenlänge oder eine Spektralbande mit einer ersten mittleren Wellenlänge aufweist, und wobei in einer zweiten Menge der Regionen des Hintergrundes (02) das Spektrum des Stanzlichtes eine Spektrallinie mit einer zweiten Wellenlänge oder eine Spektralbande mit einer zweiten mittleren Wellenlänge aufweist . Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die erste Wellenlänge oder die erste mittlere Wellenlänge und die zweite Wellenlänge oder die zweite mittlere Wellenlänge einen spektralen Abstand zueinander aufweisen, welcher weniger als 100 nm beträgt. Verfahren nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass die Verwendung des Stanzlichtes in den Regionen der ersten Menge und die Verwendung des Stanzlichtes in den Regionen der zweiten Menge örtlich abwechseln, wobei die Regionen der ersten Menge und die Regionen der zweiten Menge eine regelmäßige Struktur bilden. Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass das auf dem mindestens einen Vordergrundobjekt (01) vorhandene Stanzlicht ermittelt wird, und dass diejenigen Abschnitte des Hintergrundes (02), aus denen jeweils das auf dem mindestens einen

Vordergrundobjekt (01) vorhandene Stanzlicht seinen Ursprung hat, ermittelt werden. Anordnung zur Abbildung einer mindestens ein Vordergrundobjekt (01) und einen Hintergrund (02) umfassenden Szene, folgende Komponenten umfassend:

- eine Vorrichtung (03) zur Erzeugung von Stanzlicht, welche dazu konfiguriert ist, das Stanzlicht für den Hintergrund (02) mit einer örtlichen und zeitlichen Variation zu verwenden, wobei das Stanzlicht in einzelnen Zeitabschnitten örtlich nur abschnittsweise jeweils in mindestens einem Abschnitt des Hintergrundes (02) vorhanden ist, und wobei die Abschnitte des Hintergrundes (02), in denen das Stanzlicht in den 32 einzelnen Zeitabschnitten vorhanden ist, zeitlich wechseln; und

- eine Bildaufnahme- und Bildverarbeitungsvorrichtung (08, 09, 11) zum Gewinnen von mindestens einem aus mehreren Bildabschnitten aufgebauten Bild der Szene; wobei die

Bildaufnahme- und Bildverarbeitungsvorrichtung (08, 09, 11) dazu konfiguriert ist, ein zumindest einkanaliges Stanzsignal zur Unterscheidung des mindestens einen Vordergrundobjektes (01) von dem Hintergrund (02) durch Bestimmen einer Verteilung des in dem mindestens einem

Bild abgebildeten Stanzlichtes abzuleiten, wobei zum Bestimmen eines ersten Kanales des Stanzsignals jeweils ein direkt abgebildeter Anteil des Stanzlichtes aus den einzelnen Bildabschnitten ermittelt wird, welche jeweils mit denjenigen der Abschnitte des Hintergrundes (02) örtlich korrespondieren, in welchen das Stanzlicht in dem jeweiligen der Zeitabschnitte vorhanden ist.

Description:
Anordnung und Verfahren zum Unterscheiden zwischen einem Hintergrund und einem Vordergrundobjekt einer Szene

Die vorliegende Erfindung betri f ft zunächst ein Verfahren zum Unterscheiden zwischen einem Hintergrund und mindestens einem Vordergrundobjekt einer abzubildenden S zene , sodass in einem die S zene abbildenden Bild der abgebildete Hintergrund ausgetauscht werden kann, wodurch das abgebildete Vordergrundobjekt vor einem anderen Hintergrund erscheint . Das erfindungsgemäße Verfahren stellt somit ein Stanzverfahren für die Produktion von einzelnen Bildern und/oder von Bewegtbild dar . Im Weiteren betri f ft die Erfindung eine Anordnung zur Abbildung einer mindestens ein Vordergrundobjekt und einen Hintergrund umfassenden S zene .

In Fernseh- und Filmproduktionen besteht oft der Bedarf , bestimmte Bildinhalte , insbesondere Vordergrundobjekte von einem Hintergrund frei zustellen . Hierfür sind u . a . verschiedene Chroma-Keying-Techniken beispielsweise auf der Basis von Blue- und Green-Screens bekannt . Auch sind Verfahren bekannt , bei welchen eine schmalbandige Hintergrundbeleuchtung für eine genaue optische Unterscheidung verwendet wird, wofür beispielsweise Natriumdampflampen genutzt werden .

Die US 2018 / 0332239 Al zeigt ein Verfahren zum Ersetzen eines Hintergrundes in Bildern . Die Bilder werden unter Verwendung von Infrarotlicht und sichtbarem Licht aufgenommen . Dabei werden insbesondere Obj ekte mit sichtbarem Licht beleuchtet , während der Hintergrund mit Infrarotlicht beleuchtet wird .

Die WO 01 / 06766 Al lehrt ein Verfahren zur

Bilddatenverarbeitung, bei welchem eine Trennung von einen Bildvordergrund darstellenden Objektdaten eines Bilddatensatzes von einem einen Bildhintergrund darstellenden Datensatz erfolgt. Ein von einer Kamera aufzunehmender Hintergrund wird in einer auf eine Aufnahmefrequenz der aufnehmenden Kamera abgestimmten Frequenz geändert. Die Änderung des Hintergrundes erfolgt beispielsweise durch Umschalten zwischen zwei Zuständen.

Die US 3,133,814 lehrt ein Verfahren zur Herstellung eines Farbbildes aus einem monochromen Originalbild von einer Vielzahl von Objekten. Bei diesem Verfahren werden die Objekte auf eine lichtdurchlässige Materialbahn gemalt und mit diffusem Licht beleuchtet.

Die DE 102007 041719 Al zeigt ein Verfahren zur Erzeugung einer erweiterten Realität in einem Raum. Auf einen Teil der den Raum begrenzenden Oberflächen werden mit einem digitalen Videoprojektor Bilder einer Bildfolge projiziert. Die Bilder werden räumlich und/oder zeitlich in Luminanz und/oder Chrominanz moduliert. Eine mit dem Videoprojektor synchronisierte Kamera nimmt zumindest einen Teil des Raumes auf.

Die US 10,313,607 B2 und die WO 2012/038009 Al lehren ein Verfahren zum Unterscheiden zwischen Hintergrund und Vordergrund einer Szenerie in Bildern. Der Hintergrund zeigt ein beliebiges Bild, welches mit einer Kodierung kodiert ist, sodass das beliebige Bild für einen direkten Betrachter des Hintergrunds sichtbar ist. Der Hintergrund wird von dem Vordergrund durch ein Signal unterschieden, welches von einem die Bilder aufzeichnenden Bildsensor der elektronischen Kamera mittels der Kodierung erzeugt wird. Der Hintergrund zeigt das beliebige Bild nur mit Farben aus einem oder mindestens zwei Bereichen eines sichtbaren Spektrums an. Das vom Hintergrund ausgehende Licht durchläuft vor dem Auftreffen auf den Bildsensor einen entsprechenden Farbfilter.

In dem Fachbuch von Hasche, E. und Ingwer, P.: „Game of Colors: Moderne Bewegtbildproduktion, Theorie und Praxis für Film, Video und Fernsehen", ISBN 978-3-662-43888-6, Springer- Verlag, Berlin, Heidelberg, 2016, wird im Kapitel 8 die Erzeugung und Anwendung von Masken beschrieben.

In der US 2015/0347845 Al ist ein System zum Ersetzen von fotografischen Szenen gezeigt, bei welchem u. a. in gemusterten Oberflächen punktförmige Merkmale mit unterschiedlichen Farben spaltenweise angeordnet sind.

Die DE 102004 051 607 B4 zeigt ein Verfahren zur Projektion digitaler Bilder auf einen Untergrund mit beliebiger Oberflächenstruktur oder -färbung. Es soll möglich sein, die durch den Untergrund verursachte Bildbeeinflussung pixelgenau kompensieren zu können. Das digitale Bild wird während eines Rendervorganges verarbeitet, indem es anhand eines zweidimensionalen Pixelversatzfeldes, welches Informationen über die Pro ektionsfläche enthält, geometrisch verzerrt oder anhand einer zweidimensionalen Oberflächentextur der Projektionsfläche farblich manipuliert wird.

Aus der DE 102005 034 990 B4 ist ein Verfahren zur Darstellung mehrerer digitaler Bilder auf einer Projektionsfläche bekannt, durch welches ein Gesamtbild mit einer großen Gesamtschärfe ermöglicht werden soll. Inhalte von betreffenden Bildpuffern, welche zu projizierende Intensitäten von Pixeln enthalten, werden in Bereiche der Projektionsfläche projiziert . In dem Artikel von Bimber, 0.; Iwai, D.; Wetzstein, G. und Grundhofer, A.: „The Visual Computing of Projector-Camera Systems" in Eurographics 2007 - Star - State of the Art Report, Siggraph '08: ACM Siggraph 2008 classes, August 2008, Artikel-Nr. 84, Seiten 1 bis 25 wird ein Verfahren zur Korrektur von Bildern in Realzeit vorgestellt, welche in Pro ektor-Kamera-Systemen auf Flächen projiziert werden, die nicht für eine Projektion von Bildern optimiert sind.

Die Dissertation von Grundhofer, Anselm: „Synchronized Illumination Modulation for Digital Video Compositing", Bauhaus-Universität Weimar, Fakultät Medien, 26. August 2010 lehrt ein Verfahren zur örtlichen und zeitlichen Modulation einer Beleuchtung, welche mit einer zur Aufnahme genutzten Kamera synchronisiert wird.

Die Dissertation von Schmedes, Ulrich: „Dynamisches Differenz- Keying in Chroma-Keying-Umgebungen", Technische Universität Ilmenau, Fakultät für Elektrotechnik und Informationstechnik, 30. August 2013 lehrt ein Chroma-Keying-Verfahren, bei welchem ein virtueller Hintergrund in voller Farbtiefe auf eine Studioleinwand projiziert werden soll.

Die DE 602004 010464 T2 zeigt ein Verfahren zur Gewinnung eines Bildes von einer Szene, welche ein primäres Objekt und ein sekundäres Objekt enthält. Es soll ein Bild von dem primären Objekt und ein Stanzsignal zur Unterscheidung des primären Objekts von dem sekundären Objekt zur Verfügung gestellt werden. Das primäre Objekt wird durch Stanzlicht mit einer ausgewählten Farbe und einer ausgewählten zeitlichen

Variation beleuchtet. Es werden mindestens zwei Bilder der

Szene gewonnen, wobei die zeitliche Variation des Stanzlichtes so ausfällt, dass die Amplitude des Stanzlichtes beim ersten Bild anders als beim zweiten Bild ist. Das Stanzsignal wird durch einen Vergleich der unterschiedlichen Mengen von Stanzlichtfärbe in den einzelnen Bildern abgeleitet.

Die Aufgabe der vorliegenden Erfindung besteht ausgehend vom Stand der Technik darin, eine flexibel anpassbare und erweiterbare Lösung zum verbesserten Unterscheiden zwischen einem Hintergrund und mindestens einem Vordergrundobjekt einer abzubildenden Szene zur Verfügung zu stellen.

Die genannte Aufgabe wird gelöst durch ein Verfahren gemäß dem beigefügten Anspruch 1 und durch eine Anordnung gemäß dem beigefügten nebengeordneten Anspruch 15.

Das erfindungsgemäße Verfahren dient zum bevorzugt graduellen Unterscheiden zwischen einem Hintergrund und mindestens einem Vordergrundobjekt einer abzubildenden Szene, sodass es sich bei dem Verfahren um ein Stanzverfahren handelt, wobei bevorzugt die im Abbildungsvorgang jeweils vom Hintergrund und vom Vordergrundobjekt herrührenden quantitativen Anteile ermittelt werden. Die Szene soll durch mindestens ein Bild abgebildet werden, in welchem das mindestens eine Vordergrundobjekt von dem Hintergrund unterschieden werden kann, um das mindestens eine Vordergrundobjekt im Bild freizustellen und/oder den abgebildeten Hintergrund zu entfernen und/oder gegen einen einen anderen Hintergrund darstellenden Bildinhalt auszutauschen, was bevorzugt graduell erfolgt, um beispielsweise semitransparente Bereiche des Vordergrundobjektes zu berücksichtigen. Die Abbildung des mindestens einen Vordergrundobjektes stellt die für die weitere Bildverarbeitung zu nutzende Bildinformation dar. Das mindestens eine Vordergrundobjekt kann beispielsweise durch einen menschlichen Darsteller und/oder Möbel oder andere Kulissenelemente gebildet sein. Da der Hintergrund im Bild entfernt bzw. ausgetauscht werden soll, ist er für die weitere Bildverarbeitung nicht relevant, sodass er bevorzugt gemäß den sich durch die Aufnahme und Unterscheidung ergebenden technischen Anforderungen ausgeführt ist. Da das mindestens eine Vordergrundobjekt bevorzugt graduell vom Hintergrund unterschieden wird, können insbesondere Übergänge zwischen dem Vordergrundobjekt und dem Hintergrund oder auch teiltransparente Bereiche des Vordergrundes quantitativ erfasst werden, sodass das Austauschen bzw. Entfernen des Hintergrundes an den Übergängen und den teiltransparenten Bereichen gemäß dem quantitativen Anteil des Hintergrundes erfolgt, was mit einer Bildblende oder einem Bildmischvorgang vergleichbar ist.

Das Verfahren sieht vor, dass Stanzlicht für den Hintergrund bzw. im Hintergrund verwendet wird, indem der Hintergrund mit dem Stanzlicht von vorn oder hinten beleuchtet wird und/oder der Hintergrund bzw. Teile des Hintergrundes das Stanzlicht emittieren. Somit wird das Stanzlicht von dem Hintergrund reflektiert und/oder transmittiert und/oder emittiert, sodass jedenfalls das Stanzlicht im Hintergrund präsent ist. Das Stanzlicht wird für den Hintergrund mit einer örtlichen und zeitlichen Variation verwendet, wobei das Stanzlicht in einzelnen Zeitabschnitten örtlich nur abschnittsweise jeweils in mindestens einem Abschnitt des Hintergrundes vorhanden ist, sodass die Abschnitte des Hintergrundes, in denen das Stanzlicht in den einzelnen Zeitabschnitten vorhanden ist, zeitlich wechseln. Der Hintergrund ist also in verschiedene Abschnitte geteilt, wodurch eine örtliche Aufteilung des Hintergrundes gegeben ist. Die Abschnitte können durch räumliche Abschnitte des Hintergrundes gebildet sein. Insofern der Hintergrund durch eine Fläche gebildet ist, sind die Abschnitte bevorzugt durch Flächenabschnitte gebildet. Das Stanzlicht ist nicht permanent in sämtlichen der Abschnitte des Hintergrundes vorhanden. Vielmehr ist das Stanzlicht im den einzelnen Zeitabschnitten nur in einzelnen der Abschnitte des Hintergrundes vorhanden. Bevorzugt wird über eine Zeitdauer, welche durch eine definierte Anzahl der Zeitabschnitte gebildet ist, in jedem der Abschnitte des Hintergrundes mindestens ein Mal das Stanzlicht verwendet. Dies führt dazu, dass der Hintergrund über diese Zeitdauer hinweg in seiner Gesamtheit das Stanzlicht emittiert bzw. vom Stanzlicht beleuchtet wird. Das mindestens eine Vordergrundobjekt wird bevorzugt nicht direkt vom Stanzlicht beleuchtet oder bevorzugt so, dass sich durch eine Richtung des Stanzlichtes und einen anderen Abstand über eine Parallaxe eine vom Hintergrund unterscheidbare Position an einem Ort einer Bildwandlung ergibt.

In einem weiteren Schritt des Verfahrens wird mindestens ein aus mehreren Bildabschnitten aufgebauten Bild der Szene gewonnen, welches insbesondere das im Hintergrund verwendete Stanzlicht und zumindest eines Kontur und Transparenz des mindestens einen Vordergrundobjektes abbildet. Hierfür wird bevorzugt eine Kamera verwendet, welche mindestens einen elektronischen Bildwandler aber bevorzugt mindestens zwei elektronische Bildwandler aufweist. Die Bildabschnitte werden bevorzugt zeitlich nacheinander gewonnen, was bevorzugt dadurch erfolgt, dass sie zeitlich nacheinander mit dem Bildwandler gewandelt werden. Die einzelnen Bildabschnitte entsprechen bevorzugt einzelnen Sensorelementen oder Gruppen von einzelnen Sensorelementen des Bildwandlers. Alternativ bevorzugt können die Bildabschnitte mit einer beweglichen Blende definiert werden. In einem weiteren Schritt des Verfahrens erfolgt ein Ableiten eines mindestens einkanaligen Stanzsignals zur bevorzugt graduellen Unterscheidung des mindestens einen Vordergrundobjektes von dem Hintergrund durch Bestimmen einer Verteilung des in dem mindestens einen Bild abgebildeten Stanzlichtes. Das Stanzsignal bzw. ein Kanal des Stanzsignals ist bevorzugt ein Maskensignal oder ein Transparenz- bzw. Alphasignal. In einem einfachen Fall ist das Stanzsignal bzw. einer der Kanäle des Stanzsignals ein binäres Signal, welches die Punkte des Bildes entweder dem Hintergrund oder dem mindestens einen Vordergrundobjekt zuordnet. Besonders bevorzugt handelt es sich aber um ein vielstufiges Signal im Sinne eines Graustufenbildes bzw. eines Transparenz- oder Alphakanales. Es handelt sich bevorzugt um ein Signal mit mindestens 256 Stufen oder um ein analoges Signal. Das Bestimmen der Verteilung des in dem mindestens einen Bild abgebildeten Stanzlichtes kann optisch erfolgen, indem beispielsweise eine spektrale Filterung des Bildes in einer abbildenden Optik erfolgt. Das Bestimmen der Verteilung des in dem mindestens einen Bild abgebildeten Stanzlichtes kann aber auch dadurch erfolgen, dass eine elektronische Bildverarbeitung des vom Bildwandler gewandelten Bildes erfolgt .

Zum Bestimmen eines ersten Kanales des Stanzsignals wird ein direkt abgebildeter Anteil des Stanzlichtes aus den einzelnen Bildabschnitten ermittelt, welche jeweils mit denjenigen der Abschnitte des Hintergrundes örtlich korrespondieren, in welchen das Stanzlicht in dem jeweiligen der Zeitabschnitte vorhanden ist. Das Ermitteln des Stanzlichtes erfolgt somit jeweils beschränkt auf die einzelnen Bildabschnitte; nämlich jeweils auf den jeweiligen der Bildabschnitte, welcher demjenigen der Abschnitte des Hintergrundes zugeordnet ist, der gerade durch das Stanzlicht beleuchtet wird bzw. das Stanzlicht emittiert. Somit kann das Ermitteln des Stanzlichtes auf denjenigen Teil des Stanzlichtes beschränkt werden, welcher direkt ohne Reflexion, ggf. unter partieller Transmission, aber ohne Beugung und ohne Streuung vom Hintergrund auf das Bild abgebildet wurde. Dieser Teil des im Hintergrund verwendeten Stanzlichtes wurde entweder vom Vordergrundobjekt nicht verdeckt oder hat einen transparenten bzw. teiltransparenten Abschnitt des Vordergrundobjektes ohne eine Beugung oder Streuung transmittiert. Die örtliche Korrespondenz der einzelnen Bildabschnitte zu den einzelnen Abschnitten des Hintergrundes ist dann gegeben, wenn der jeweilige Bildabschnitt den jeweiligen Abschnitt des Hintergrundes abbildet oder diesen Abschnitt des Hintergrundes abbilden würde, wenn dies nicht durch das Vordergrundobjekt verhindert wird. Bevorzugt umfasst das Stanzsignal mindestens einen weiteren Kanal, zu dessen Bestimmen auch ein indirekt abgebildeter Anteil des Stanzlichtes ermittelt wird.

Ein besonderer Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass es die aufwandsarme Bestimmung des direkt abgebildeten Anteil des Stanzlichtes ermöglicht, wodurch eine Unterscheidung zu einem indirekt abgebildeten Anteil des Stanzlichtes ermöglicht ist, was zu einem verbesserten Ergebnis beim Entfernen bzw. Austauschen des Hintergrundes im Bild führt.

Bevorzugt wird das Verfahren für mindestens zwei der Bilder ausgeführt. Bei den mindestens zwei Bildern handelt es sich bevorzugt um eine Bildfolge bzw. Bewegtbild. Die örtliche Korrespondenz des jeweils zur Bestimmung der Stanzfarbe herangezogenen Bildabschnittes zu demjenigen der Abschnitte des Hintergrundes, in welchen das Stanzlicht in dem jeweiligen der Zeitabschnitte vorhanden ist, führt zur konfokalen Detektion des Stanzlichtes. Insbesondere sind bevorzugt ein Strahlengang eines das Stanzlicht bildenden Lichtstrahles zum zeitlich wechselnden Beleuchten der Abschnitte des Hintergrundes und ein Strahlengang zum Abbilden des Hintergrundes in die einzelnen Bildabschnitte konfokal.

Bei bevorzugten Ausführungsformen ist der Hintergrund durch eine Fläche gebildet, bei welcher es sich bevorzugt um eine Oberfläche einer Wand, einer Leinwand, eines Bühnen- oder Studiovorhanges, einer Projektionsfläche oder einer zweidimensionalen Anzeige handelt. Die Abschnitte sind entsprechend durch Flächenabschnitte gebildet, welche bevorzugt dreieckig, viereckig, mehreckig oder kreisförmig sind. Die Abschnitte sind bevorzugt durch Rechtecke oder durch Zeilen gebildet. Entsprechend sind die Bildabschnitte, aus denen der direkt abgebildete Anteil des Stanzlichtes ermittelt wird, bevorzugt jeweils durch eine Bildzeile gebildet, sodass das Bild zeilenweise gewandelt wird. Die Bildzeilen korrespondieren örtlich mit den durch Zeilen gebildeten Abschnitten des Hintergrundes. Bei weiteren bevorzugten Ausführungsformen sind die Abschnitte des Hintergrundes und die korrespondierenden Bildabschnitte nicht unveränderlich sondern werden laufend an das Vordergrundobjekt und ggf. an den Hintergrund angepasst. Dabei können die Größe und/oder die Form der Abschnitte des Hintergrundes und der korrespondierenden Bildabschnitte angepasst werden.

Bei bevorzugten Ausführungsformen wird zum Bestimmen des ersten Kanales des Stanzsignals ein erster elektronischer Bildwandler verwendet, welcher gemäß einem Rolling-Shutter- Verfahren arbeitet. Entsprechend belichtet das abgebildete Bild den ersten Bildwandler abschnittsweise, bevorzugt zeilen- öder spaltenweise. Das Rolling-Shutter-Verfahren kann durch ein entsprechendes elektronisches Auslesen des ersten Bildwandlers oder auch mechanisch, beispielsweise mit einer mechanisch angetriebenen Schlitzblende oder Lochblende realisiert werden. Der erste Bildwandler wird durch das abgebildete Bild synchron zu dem zeilen- oder spaltenweise erfolgenden Beleuchten bzw. Emittieren des Hintergrundes zeilen- bzw. spaltenweise belichtet. Der erste Bildwandler ist bevorzugt durch einen CMOS-Bildwandler gebildet, welcher gemäß dem Rolling-Shutter-Verfahren arbeitet. Bei einer Ausführungsform dient der erste Bildwandler auch dazu, ein Bild des mindestens einen Vordergrundobjektes zu wandeln. Bei bevorzugten Ausführungsformen dient ein zweiter Bildwandler dazu, ein Bild des mindestens einen Vordergrundob ektes zu wandeln, wozu bevorzugt eine Separation in einem Abbildungsstrahlengang erfolgt, um den abgebildeten Hintergrund von dem mindestens einen abgebildeten Vordergrundobjekt zu unterscheiden. Diese Separation im Abbildungsstrahlengang erfolgt optisch, bevorzugt spektral und/oder bezogen auf eine Polarisationsrichtung und/oder bezogen auf eine Leuchtdichte. Grundsätzlich kann auch eine Separation im elektronisch gewandelten Bild erfolgen.

Bei bevorzugten Ausführungsformen erfolgt das Verwenden des Stanzlichtes für den Hintergrund dadurch, dass der Hintergrund mit dem Stanzlicht beleuchtet wird. Zum Erzielen der örtlichen und zeitlichen Variation des Stanzlichtes wird bevorzugt ein ansteuerbarer Projektor oder Licht-Scanner zum Beleuchten verwendet. Der Projektor bzw. Scanner emittiert das Stanzlicht. Besonders bevorzugt wird hierfür ein Laser- Projektor verwendet, sodass ein durch den Laser-Pro ektor erzeugter Laserstrahl das Stanzlicht bildet und den Hintergrund beleuchtet. Bevorzugt wird der Laserstrahl zeilenweise abgelenkt. Entsprechend wird der Laserstrahl scannerartig über den Hintergrund bewegt.

Bei weiteren bevorzugten Ausführungsformen erfolgt das Verwenden des Stanzlichtes für den Hintergrund dadurch, dass zumindest Teile des Hintergrundes das Stanzlicht emittieren. Hierfür umfasst der Hintergrund bevorzugt eine Lichtquelle, welche eine Vielzahl an örtlich verteilten Einzellichtquellen aufweist. Die Einzellichtquellen sind einzeln ansteuerbar und sind über die Abschnitte des Hintergrundes verteilt. Die Lichtquelle ist bevorzugt durch eine zumindest zweidimensionale Anzeige gebildet, beispielsweise in Form eines Bildschirmes, wie ein LED-Bildschirm. Entsprechend umfasst der Hintergrund bevorzugt eine solche zweidimensionale Anzeige, welche bevorzugt zeilenweise das Stanzlicht emittiert .

Das Stanzlicht weist bevorzugt eine Eigenschaft auf, in welcher es sich von Beleuchtungslicht zum Beleuchten des Vordergrundobjektes unterscheidet. Bevorzugt weist das Stanzlicht eine Stanzfarbe auf, in welcher sich das Stanzlicht bevorzugt zumindest weitgehend von dem Beleuchtungslicht und dem Vordergrundobjekt unterscheidet. Das Stanzlicht weist bevorzugt ein Spektrum mit einer oder mehreren Spektrallinien und/oder Spektralbanden auf. Ein Wellenlänge der mindestens einen Spektrallinie bzw. eine mittlere Wellenlänge der mindestens einen Spektralbande beträgt bevorzugt 532 nm, 440 nm oder 640 nm, wobei selbstverständlich auch andere mittlere Wellenlänge genutzt werden können. Die mindestens eine Spektralbande besitzt eine Bandbreite, welche bevorzugt höchstens 30 nm und besonders bevorzugt höchstens 5 nm beträgt. Bevorzugt weist das Spektrum des Stanzlichtes nur eine Spektrallinie bzw. Spektralbande auf. Entsprechend ist das Stanzlicht monochrom. Bevorzugt weist das Spektrum des Beleuchtungslichtes für das Vordergrundobjekt keine oder nur eine vernachlässigbare Überlappung mit dem Spektrum des Stanzlichtes auf. Dies kann beispielsweise durch die Verwendung von speziellen Filtern sichergestellt werden. Bei weiteren bevorzugten Ausführungsformen weist das Spektrum des Stanzlichtes mehrere der Spektrallinien oder Spektralbanden auf, um beispielsweise ein wellenlängenabhängiges Stanzsignal zu erhalten, wenn das Vordergrundobjekt teiltransparent ist. Das Spektrum des Stanzlichtes weist besonders bevorzugt mindestens drei der Spektrallinien bzw. Spektralbanden auf, wobei das Stanzlicht in der Summe bevorzugt weißes Licht darstellt. Die drei Spektrallinien bzw. Spektralbanden sind bevorzugt durch rotes, grünes und blaues Licht gebildet. Durch Gewichtung der drei Spektrallinien bzw. Spektralbanden können bei Bedarf auch andere Farben des Stanzlichtes erzeugt werden.

Bei bevorzugten Ausführungsformen wird das Stanzlicht in unterschiedlichen Regionen des Hintergrundes mit unterschiedlichen spektralen Zusammensetzungen verwendet, um eine Anpassung an den Hintergrund, an das Vordergrundobjekt und/oder an einzufügende Bildinhalte vorzunehmen. Beispielsweise kann das Spektrum des Stanzlichtes jeweils zwei Spektrallinien bzw. Spektralbanden aufweisen, welche in den unterschiedlichen Regionen des Hintergrundes unterschiedliche Wellenlängen aufweisen.

Bei einer bevorzugten Ausführungsform weist das Stanzlicht einen von einer ersten Wellenlänge bis zu einer zweiten Wellenlänge reichenden spektralen Verlauf auf, welcher in einer Erstreckungsrichtung des Hintergrundes verläuft. Der spektrale Verlauf reicht bevorzugt über das sichtbare Spektrum hinweg, sodass der Hintergrund regenbogenartig mit dem Stanzlicht beleuchtet wird. Der spektrale Verlauf verläuft bevorzugt vertikal, sodass er im Hintergrund von unten nach oben verläuft. Der spektrale Verlauf kann aber auch horizontal oder in eine andere Richtung verlaufen. Zum Beleuchten des Hintergrundes mit dem den spektralen Verlauf aufweisenden Stanzlicht wird bevorzugt ein Weißlicht-Laser mit einem Prisma oder mit einem Gitter verwendet. Vor dem ersten Bildwandler wird bevorzugt ein spektrales Filter mit einem spektralen Verlauf angeordnet, welcher mit dem spektralen Verlauf des Stanzlichtes im Hintergrund korrespondiert, sodass immer nur das direkt abgebildete Stanzlicht spektral zum Filter passt und anderes Licht eliminiert wird. Insoweit kann darauf verzichtet werden, den ersten Bildwandler gemäß einem Rolling- Shutter-Verfahren zu betreiben. Bevorzugt wird auch ein dritter Bildwandler aber ohne eine spektrale Filterung verwendet, welcher gemäß einem Global-Shutter-Verfahren betrieben wird.

Bei einer weiteren bevorzugten Ausführungsform bilden die unterschiedlichen Regionen des Hintergrundes ein Muster, wobei in einer ersten Menge der Regionen des Hintergrundes das Spektrum des Stanzlichtes eine Spektrallinie mit einer ersten Wellenlänge bzw. eine Spektralbande mit einer ersten mittleren Wellenlänge aufweist, während in einer zweiten Menge der Regionen des Hintergrundes das Spektrum des Stanzlichtes eine Spektrallinie mit einer zweiten Wellenlänge bzw. eine Spektralbande mit einer zweiten mittleren Wellenlänge aufweist. Dies führt insgesamt bevorzugt zu einem homogenen Verwenden des Stanzlichtes im Hintergrund, sodass der Hintergrund homogen mit dem Stanzlicht beleuchtet wird bzw. das Stanzlicht homogen emittiert. Hierfür wechseln die Verwendung des Stanzlichtes in den Regionen der ersten Menge und die Verwendung des Stanzlichtes in den Regionen der zweiten Menge örtlich ab, sodass eine strukturierte Beleuchtung bzw. ein strukturiertes Leuchten erzielt wird. Die Regionen der ersten Menge und die Regionen der zweiten Menge bilden bevorzugt eine regelmäßige Struktur. Die Struktur erlaubt die Identifizierung der zugordneten Region des Hintergrundes, wodurch örtliche Ausrichtungen von Normalen auf dem Vordergrundobjekt aus dem indirekt abgebildeten Stanzlicht ermittelt werden können. Die erste Wellenlänge bzw. die erste mittlere Wellenlänge und die zweite Wellenlänge bzw. die zweite mittlere Wellenlänge weisen einen spektralen Abstand zueinander auf, welcher bevorzugt weniger als 100 nm und weiter bevorzugt weniger als 30 nm beträgt. Das Stanzlicht wird also vom Menschen als monochrom wahrgenommen. Alternativ bevorzugt weisen das Stanzlicht in der ersten Menge der Regionen und das Stanzlicht in der zweiten Menge der Regionen Farben auf, welche metamer sind, aber spektral unterschiedlich zusammengesetzt sind. Bevorzugt weisen die Regionen der ersten Menge und/oder die Regionen der zweiten Menge in verschiedenen Abschnitten des Hintergrundes unterschiedliche Größen auf, um unterschiedliche Detaillierungsgrade (Levels of Detail) zu erzielen; beispielsweise in Form einer fraktalen Gestaltung. Wenn beispielsweise ein Abschnitt des Vordergrundobjektes wie exemplarisch eine Jacke eines Schauspielers reflektiert wird, so lässt sich der Hintergrund nur beschränkt im Detail identifizieren. Wenn aber ein grober Teil des aus den Regionen der beiden Mengen gebildeten Musters identifiziert werden kann, so kann das Ersetzen des Hintergrundes ausreichend gut vorgenommen werden. Bei weiteren bevorzugten Ausführungsformen unterscheidet sich das Stanzlicht in anderen/weiteren Eigenschaften insbesondere von dem Vordergrundobjekt und dem Beleuchtungslicht für das Vordergrundobjekt. Hierfür weist das Stanzlicht eine Polarisation auf oder/und das Stanzlicht wird als eine Pulsfolge verwendet. Alternativ oder ergänzend unterscheidet sich das Stanzlicht in seiner Leuchtdichte bzw. Lichtstärke von dem Beleuchtungslicht bzw. von dem vom Vordergrundobjekt reflektierten Licht um einen Faktor, welcher bevorzugt mindestens zwei und weiter bevorzugt mindestens zehn beträgt. In einer weiteren bevorzugten Ausführungsform unterscheidet sich das Stanzlicht durch eine zu einer Richtung der Abbildung geneigte Ausrichtung in derjenigen Position, auf welcher es im Bild abgebildet wird. Die Parallaxe wird vorzugsweise so gewählt, dass sich ein relativer Winkel zwischen 5 Grad und 40 Grad; bevorzugt von 10 ±5 Grad zwischen den Richtungen des Stanzlichtes und dem Beleuchtungslicht ergibt. Die genannten weiteren das Stanzlicht kennzeichnenden Eigenschaften erlauben eine genauere Unterscheidung des Vordergrundobjektes vom Hintergrund. Das sich in anderen/weiteren Eigenschaften unterscheidende Stanzlicht wird bevorzugt in der oben beschriebenen Ausführungsform genutzt, gemäß welcher das Stanzlicht strukturiert im Hintergrund verwendet wird.

Insofern das Stanzlicht eine Stanzfarbe aufweist, wird zum Bestimmen der Verteilung des in dem mindestens einen Bild abgebildeten Stanzlichtes das mindestens eine Bild bevorzugt zunächst spektral geteilt und/oder gefiltert, wodurch das mindestens eine Bild in einen Vordergrundkanal und in einen das separierte Stanzlicht umfassenden Hintergrundkanal geteilt wird. Hierdurch wird eine Verteilung des in dem mindestens einen Bild abgebildeten Stanzlichtes vor dessen elektronischer Wandlung bestimmt. Insofern das Stanzlicht eine charakterisierende Polarisation aufweist oder das Stanzlicht als eine Pulsfolge verwendet wird, erfolgt bevorzugt eine Polarisationsfilterung vor der elektronischen Wandlung bzw. eine zeitliche Filterung während oder nach der elektronischen Wandlung des Bildes. Zur Polarisationsfilterung bzw. Polarisationsteilung wird bevorzugt ein Polarisationsstrahlteiler verwendet.

Das spektrale Teilen des Bildes kann elektronisch im bereits gewandelten Bild erfolgen. Bevorzugt wird das mindestens eine Bild aber vor der elektronischen Bildwandlung optisch spektral geteilt, wodurch das mindestens eine Bild in einen optischen Vordergrundkanal und in einen das separierte Stanzlicht umfassenden optischen Hintergrundkanal geteilt wird. Weiterhin kann zur Unterscheidung des Stanzlichtes ein optomechanisches Element als ein örtlicher Demodulator verwendet werden, welches dazu konfiguriert ist, ein räumliches Muster zu trennen. Dies ist bevorzugt mindestens ein galvanometrischer Spiegel in Kombination mit einer Spaltblende oder einer Lochblende, welche eine Linienbeleuchtung bzw. Punktbeleuchtung kompensieren. Alternativ bevorzugt werden zweidimensional bewegliche mikromechanische Spiegel (MEMS) genutzt, um eine scannende Punktbeleuchtung zu kompensieren, was bevorzugt in Kombination mit einer reflektierenden Lochblende erfolgt, um die Trennung zu erzielen. Bei diesen Scanmethoden wird zur örtlichen Erfassung des Bildes bevorzugt ein oder mehrere Einkanalwandler in einer hohen zeitlichen Auflösung verwendet. Alternativ bevorzugt wird das Bild durch ein weiteres Rescannen mit dem genannten optomechanischen Element oder mit einem weiteren optomechanischen Element auf dem Bildwandler erzeugt. Alternativ bevorzugt wird ein räumlicher Lichtmodulator (Spatial Light Modulator, SLM), wie beispielsweise basierend auf Flüssigkristallen auf Silizium (Liquid Crystal on Silicon, LCoS) oder ein System mit digital aussteuerbaren Mikrospiegeln (Digital Micromirror Device, DMD) verwendet, um die räumliche Trennung zu erreichen. Hierbei kann es genügen, den räumlichen Lichtmodulator auf den Bildwandler abbilden zu lassen, ohne dass ein Rescannen nötig ist.

Zur Bildwandlung des Hintergrundkanales dient bevorzugt der erste Bildwandler. Zur Bildwandlung des Vordergrundkanales dient bevorzugt ein zweiter Bildwandler. Zur optischen Teilung des Bildes dient bevorzugt ein Strahlteiler. Zur spektralen optischen Teilung des Bildes dient bevorzugt ein dichromatischer Strahlteiler. Teilstrahlengänge des Strahlteilers bilden jeweils den optischen Vordergrundkanal und den optischen Hintergrundkanal. Der erste Bildwandler ist entsprechend im optischen Hintergrundkanal angeordnet. Der zweite Bildwandler ist entsprechend im optischen Vordergrundkanal angeordnet.

Bei bevorzugten Ausführungsformen ist das Stanzsignal zumindest zweikanalig. Zum Bestimmen eines zweiten Kanales des Stanzsignals wird jeweils das in sämtlichen der Bildabschnitte des mindestens einen Bildes abgebildete Stanzlicht in den einzelnen Zeitabschnitten ermittelt. Somit wird anders als bei der Bestimmung des ersten Kanales das Ermitteln des abgebildeten Stanzlicht in den einzelnen Zeitabschnitten nicht auf die einzelnen Bildabschnitte beschränkt. Dies führt dazu, dass auch das indirekt abgebildete Stanzlicht, welches insbesondere durch Reflexion, Brechung, Beugung und/oder Streuung an dem mindestens einen Vordergrundobjekt entsteht, erfasst wird, da Reflexion, Brechung, Beugung bzw. Streuung zur Folge haben, dass das in einem der Abschnitte des Hintergrundes verwendete Stanzlicht auch in anderen als dem örtlich korrespondierenden Bildabschnitt abgebildet wird. Da aber jeweils das in sämtlichen der Bildabschnitte des mindestens einen Bildes abgebildete Stanzlicht in den einzelnen Zeitabschnitten ermittelt wird, wird zusätzlich auch das am Vordergrundobjekt reflektierte, gebeugte und/oder gestreute Stanzlicht, d. h. das indirekt abgebildete Stanzlicht erfasst. Es wird somit eine Summe des direkt abgebildeten Stanzlichtes und des indirekt abgebildeten Stanzlichtes erfasst. Durch einen Vergleich mit dem das direkt transmittierte bzw. direkt abgebildete Stanzlicht erfassenden ersten Kanal kann auf das indirekt abgebildete Stanzlicht geschlossen werden. Durch Anwenden des zweiten Kanales des Stanzlichtes können bessere Ergebnisse bei der Bestimmung eines bevorzugt feinstufigen Alpha-Kanales und schließlich beim Freistellen von feingliedrigen Kanten des abgebildeten Vordergrundobjektes und/oder in teiltransparenten Bereichen des abgebildeten Vordergrundobjektes erzielt werden. Zum Bestimmen des zweiten Kanales des Stanzsignals wird bevorzugt ein dritter Bildwandler verwendet, welcher gemäß einem Global- Shutter-Verfahren arbeitet. Alternativ bevorzugt erfolgt das Bestimmen des zweiten Kanales des Stanzsignals mit dem ersten Bildwandler, welcher bildweise abwechselnd gemäß einem Rolling-Shutter-Verfahren und einem Global-Shutter-Verfahren betrieben wird. Auch kann der erste Bildwandler bzw. der dritte Bildwandler oder auch ein vierter Bildwandler so konfiguriert sein, dass jeweils das in sämtlichen der Bildabschnitte einer von mehreren Bildregionen des mindestens einen Bildes abgebildete Stanzlicht in den einzelnen Zeitabschnitten ermittelt wird. Beispielsweise kann einer der Bildwandler im Global-Shutter-Verfahren indirektes, insbesondere gestreutes Hintergrundlicht erfassen, dessen Ursprung in einem oberen Bereich des Hintergrundes liegt, während ein anderer der Bildwandler indirektes, insbesondere gestreutes Hintergrundlicht erfasst, welches aus einem unteren Bereich des Hintergrundes stammt. So können dann im Rahmen einer Nachbearbeitung Streulichtanteile beispielsweise durch Blau für einen Himmel und Grün-Braun für eine Landschaft ersetzt werden. Der zweite Kanal des Stanzsignals wird bevorzugt wie der erste Kanal des Stanzsignals aus dem optischen Hintergrundkanal ermittelt. Der zweite Kanal ist in einem einfachen Fall unabhängig von der Farbe, d. h. die spektralen Eigenschaften der Reflexion, Beugung bzw. Streuung, welche zu dem indirekt abgebildeten Stanzlicht führten, bleiben unberücksichtigt. In diesem Sinne ist der zweite Kanal monochrom. Bevorzugt beschreibt der zweite Kanal aber auch eine Abhängigkeit von der Farbe, wodurch die spektralen Eigenschaften der Reflexion, Beugung bzw. Streuung, welche zu dem indirekt abgebildeten Stanzlicht führten, berücksichtigt werden. Hierzu kann der zweite Kanal mehrere Subkanäle für verschiedene Farben oder eine zusätzliche Definition der Farbe im Farbraum oder eine zusätzliche Definition der spektralen Eigenschaften umfassen.

Das Ermitteln des zweiten Kanales des Stanzsignals, d. h. insbesondere das Ermitteln des indirekt abgebildeten Stanzlichtes erfolgt bevorzugt für die oben beschriebene Ausführungsform, bei welcher das strukturierte Stanzlicht verwendet wird, da hierdurch weitere Analysen ermöglicht werden. Bevorzugt werden örtliche Ausrichtungen von Normalen auf dem Vordergrundobjekt aus dem indirekt abgebildeten Stanzlicht ermittelt. Das aus dem zweiten Kanal des Stanzlichtes ermittelte indirekt abgebildete Stanzlicht wird mit oder ohne Informationen über die Normalen bevorzugt als Basis dafür verwendet, eine automatisierte indirekte Hintergrundinformation zu emulieren. Beispielsweise kann das Blau eines Himmels für eine solche indirekte Beleuchtung mit berücksichtigt werden. Bei vorhandenen Informationen über die Normalen werden bevorzugt auch spekulare Reflexionen berücksichtigt .

Bei bevorzugten Ausführungsformen wird das im Vordergrundkanal vorhandene Stanzlicht bzw. das auf dem mindestens einen Vordergrundobjekt vorhandene Stanzlicht ermittelt, um eine optische Wechselwirkung zwischen dem mindestens einen Vordergrundobjekt und dem Hintergrund zu ermitteln. Die ermittelte optische Wechselwirkung wird beim Ersetzen des abgebildeten Hintergrundes berücksichtigt, wodurch das Bild des Vordergrundobjektes vor dem ersetzten Hintergrund noch realistischer wirken kann. Zudem werden bevorzugt die Abschnitte des Hintergrundes, aus denen jeweils das auf dem mindestens einen Vordergrundobjekt vorhandene Stanzlicht seinen Ursprung hat, ermittelt. So können die optischen Wechselwirkungen zwischen dem mindestens einen Vordergrundobjekt und dem Hintergrund auch einem örtlichen Bereich des Hintergrundes zugeordnet werden, was bevorzugt beim Ersetzen des Hintergrundes berücksichtigt wird. Die Berücksichtigung des indirekt abgebildeten Stanzlichtes beim Ersetzen des abgebildeten Hintergrundes kann mit einem angepassten Aufwand erfolgen. Beispielsweise kann das für das Ableiten des ersten Kanales ermittelte direkt abgebildete Stanzlicht sehr viel höher aufgelöst bestimmt werden, wohingegen das indirekt abgebildete Stanzlicht mit einer groben Auflösung oder nur für ausgewählte Regionen mit einer feinen Auflösung ermittelt wird.

Bei bevorzugten Ausführungsformen wird das zumindest einkanalige Stanzsignal auf das mindestens eine Bild bzw. auf das mindestens eine die Szene oder zumindest das mindestens eine Vordergrundobjekt abbildende Bild angewendet, um in diesem mindestens einen Bild den abgebildeten Hintergrund der Szene zu entfernen und so das mindestens eine Vordergrundobjekt freizustellen, was bevorzugt graduell erfolgt, wofür das Stanzsignal bevorzugt einen vielstufigen Alpha-Kanal umfasst. Bevorzugt wird das Stanzsignal auf das mindestens eine Bild angewendet, um in dem mindestens einen Bild den abgebildeten Hintergrund der Szene durch andere Bildinhalte zu ersetzen, welche dann im Bild für das mindestens eine Vordergrundobjekt einen Hintergrund bzw. eine Umgebung darstellen. Bevorzugt wird das zweikanalige Stanzsignal auf das mindestens eine Bild angewendet, um jeweils das direkt abgebildete Stanzlicht und das indirekt abgebildete Stanzlicht in dem mindestens einen Bild zu entfernen und den abgebildeten Hintergrund der Szene durch andere Bildinhalte zu ersetzen, welche dann im Bild für das mindestens eine Vordergrundobjekt einen Hintergrund bzw. eine Umgebung darstellen. Wie bereits oben beschrieben wurde, ist das Stanzsignal bevorzugt vielstufig, sodass das Entfernen bzw. Ersetzen graduell, d. h. weich erfolgt. Dabei werden bevorzugt auch die optischen Wechselwirkungen zwischen dem Vordergrundobjekt und dem Hintergrund der Szene berücksichtigt, sodass diese Wechselwirkungen auch zwischen dem Vordergrundobjekt und dem einen anderen Hintergrund darstellenden Bildinhalt vorhanden sind.

Die erfindungsgemäße Anordnung dient zur Aufnahme mindestens eines Bildes einer mindestens ein Vordergrundobjekt und einen Hintergrund umfassenden Szene. Die Anordnung ermöglicht ein bevorzugt graduelles Unterscheiden zwischen dem Hintergrund und dem mindestens eine Vordergrundobjekt.

Die Anordnung umfasst zunächst eine Vorrichtung zur Erzeugung von Stanzlicht, welche bevorzugt durch einen ansteuerbaren Projektor, durch einen Laser-Pro ektor, einen Licht-Scanner, durch eine Lichtquelle mit einer Vielzahl an örtlich verteilten Einzellichtquellen, durch eine zweidimensionale Anzeige oder dergleichen gebildet. Der Projektor bzw. Scanner umfasst bevorzugt ein mikroelektromechanisches System (MEMS) zur Strahllenkung. Alternativ oder ergänzend kann der Projektor bzw. Scanner auch ein Liquid-Crystal-on-Silicon (LCoS) oder ein Digital Micromirror Device (DMD) umfassen. Die Vorrichtung zur Erzeugung von Stanzlicht ist dazu konfiguriert, das Stanzlicht für den Hintergrund mit einer örtlichen und zeitlichen Variation zu verwenden, wobei das Stanzlicht in einzelnen Zeitabschnitten örtlich nur abschnittsweise jeweils in mindestens einem Abschnitt des Hintergrundes vorhanden ist, und wobei die Abschnitte des Hintergrundes, in denen das Stanzlicht in den einzelnen Zeitabschnitten vorhanden ist, zeitlich wechseln.

Die Anordnung umfasst zudem eine Bildaufnahme- und Bildverarbeitungsvorrichtung zum Gewinnen von mindestens einem aus mehreren Bildabschnitten aufgebauten Bild der Szene. Die Bildaufnahme- und Bildverarbeitungsvorrichtung ist dazu konfiguriert, ein zumindest einkanaliges Stanzsignal zur Unterscheidung des mindestens einen Vordergrundobjektes von dem Hintergrund durch Bestimmen einer Verteilung des in dem mindestens einem Bild abgebildeten Stanzlichtes abzuleiten, wobei zum Bestimmen eines ersten Kanales des Stanzsignals jeweils ein direkt abgebildeter Anteil des Stanzlichtes aus den einzelnen Bildabschnitten ermittelt wird, welche jeweils mit denjenigen der Abschnitte des Hintergrundes örtlich korrespondieren, in welchen das Stanzlicht in dem jeweiligen der Zeitabschnitte vorhanden ist. Die Anordnung ist bevorzugt zur Ausführung des erfindungsgemäßen Verfahrens oder einer der beschriebenen bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens konfiguriert. Die Anordnung weist bevorzugt auch Merkmale auf, welche im Zusammenhang mit dem erfindungsgemäßen Verfahren beschrieben sind. Insbesondere umfasst die Anordnung bevorzugt den beschriebenen ersten Bildwandler und bevorzugt auch den zweiten Bildwandler und/oder den dritten Bildwandler. Die Bildaufnahme- und Bildverarbeitungsvorrichtung umfasst bevorzugt eine Kamera, in welcher die zwei bzw. drei Bildwandler und der Strahlteiler vereint sind. Alternativ bevorzugt umfasst die Bildaufnahme- und Bildverarbeitungsvorrichtung mehrere Bildwandlungsmodule mit jeweils einem der Bildwandler, sodass einer größere Anpassbarkeit gegeben ist. Die Kamera bzw. die Bildwandlungsmodule umfassen bevorzugt ein Objektiv, wobei das Objektiv auch separiert sein kann.

Die Bildaufnahme- und Bildverarbeitungsvorrichtung umfasst bevorzugt auch einen Computer, welcher insbesondere zur Bildverarbeitung konfiguriert ist. Der Computer ist insbesondere zur Ableitung des Stanzsignals konfiguriert. Der Computer ist bevorzugt auch zum Ersetzen des abgebildeten Hintergrundes der Szene durch andere Bildinhalte konfiguriert. Diese Konfigurationen des Computers sind bevorzugt durch Software-Plugins für bestehende Software-Lösungen zur Bild- und/oder Videoverarbeitung definiert.

Weitere Einzelheiten und Weiterbildungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung einer bevorzugten Ausführungsform der Erfindung, unter Bezugnahme auf die Zeichnung . Die einzige Fig. zeigt eine bevorzugte Ausführungsform einer erfindungsgemäße Anordnung zur Aufnahme mindestens eines Bildes (nicht gezeigt) einer ein Vordergrundobjekt 01 und einen Hintergrund 02 umfassenden Szene. Der Hintergrund 02 ist in einem einfachen Fall durch eine Wand gebildet. Die Anordnung umfasst einen Laser-Pro ektor 03 zur Erzeugung eines Laserstrahles 04, mit welchem der Hintergrund 02 scannerartig, d. h. zeilenweise beispielsweise von oben nach unten beleuchtet wird, was periodisch wiederholt wird. Der Laserstrahl 04 benötigt jeweils einen Zeitabschnitt, um eine Zeile (nicht dargestellt) des Hintergrundes 02 auszuleuchten. Innerhalb eines jeden dieser Zeitabschnitte befindet sich der Laserstrahl 04 nur innerhalb der jeweiligen Zeile auf dem Hintergrund 02. Der Laserstrahl 04 bildet ein Stanzlicht, welches bevorzugt eine Spektrallinie bei beispielsweise 532 nm, 440 nm oder 640 nm aufweist. Das durch den Laserstrahl 02 gebildete Stanzlicht wird von dem Hintergrund 02 reflektiert, wobei ein beispielhaft dargestellter Stanzlichtstrahl 06 resultierend aus diffus reflektiertem Stanzlicht 07 direkt abgebildet wird.

Die Anordnung umfasst eine Kamera, welche repräsentativ durch einen Strahlteiler 08, durch einen ersten Bildwandler 09 und durch einen zweiten Bildwandler 11 dargestellt ist, wobei weitere Komponenten der Kamera, wie beispielsweise ein Objektiv nicht dargestellt sind. Der Strahlteiler 08 ist dichromatisch, sodass er einen auf ihn gerichteten Abbildungsstrahlengang spektral teilt, wodurch das abgebildete Stanzlicht des Hintergrundes 02 auf den ersten Bildwandler 09 gerichtet wird, was beispielhaft für den direkt abgebildeten Stanzlichtstrahl 06 dargestellt ist. Auf den zweiten Bildwandler 11 ist insbesondere eine Abbildung des Vordergrundobjektes 01 gerichtet. Der erste Bildwandler 09 ist beispielhaft durch einen CMOS- Bildwandler gebildet, welcher gemäß einem Rolling-Shutter- Verfahren arbeitet, sodass er zeilenweise ausgelesen wird, was hier konjugiert synchron zu dem zeilenweise ausgeführten Beleuchten des Hintergrundes 02 erfolgt. Das Beleuchten des Hintergrundes 02 mit dem Laser-Pro ektor 03 und das Wandeln des Bildes des Hintergrundes 02 mit dem ersten Bildwandler 09 erfolgen somit zeilenweise konfokal. Hierdurch wird mit dem ersten Bildwandler 09 das direkt abgebildete Stanzlicht gewandelt, welches beispielhaft durch den direkt abgebildeten Stanzlichtstrahl 06 veranschaulicht ist. Das direkt abgebildete Stanzlicht hat keine Reflexion, Beugung oder Streuung außer aus der jeweils unmittelbar beleuchteten Zeile des Hintergrundes 02 erfahren. Das direkt abgebildete Stanzlicht hat insbesondere keine Reflexion, Beugung oder Streuung durch das Vordergrundobjekt 01 erfahren. Aus der mit dem ersten Bildwandler 09 gewandelten Abbildung des direkt abgebildeten Stanzlichtes wird ein erster Kanal eines Stanzsignals in Form eines feinstufigen Alpha-Kanales abgeleitet .

Der zweite Bildwandler 11 dient zur Wandlung der Abbildung des Vordergrundobjektes 01. Auf das gewandelte Bild wird das Stanzsignal angewendet, um die Abbildung des Vordergrundobjektes 01 graduell freizustellen, sodass im nächsten Schritt ein gewünschter Bildinhalt zur Abbildung eines anderen Hintergrundes (nicht gezeigt) an die Stelle der Abbildung des in der Szene befindlichen Hintergrundes 02 tritt. Bezugszeichenliste 01 Vordergrundobjekt

02 Hintergrund

03 Laser-Pro ektor

04 Laserstrahl

05 06 direkt abgebildeter Stanzlichtstrahl

07 diffus reflektiertes Stanzlicht

08 Strahlteiler

09 erster Bildwandler

10 11 zweiter Bildwandler