Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
SURFACE RECONSTRUCTION OF A LIT OBJECT BY MEANS OF PHOTOMETRIC STEREO ANALYSIS
Document Type and Number:
WIPO Patent Application WO/2019/030061
Kind Code:
A1
Abstract:
The invention relates to a method for surface reconstruction, at least one object (O) being lit simultaneously by a plurality of spaced-apart lamps (a-d), a photographic sequence comprising a plurality of individual images (EBr-EBr+n) of the at least one object (O) being captured and at least one visible object surface (OS1, OS2) of the object (O) being reconstructed by means of photometric stereo analysis, the light (La-Ld) emitted by the lamps (a-c; a-d) being modulated by various modulation frequencies (fa-fc; fa-fd), the light components of the respective lamps (a-d) reflected by the object (O) being identified on the basis of the modulation frequencies (fa-fd) thereof and being assigned to respective partial images (TBa-TBd) and the partial images (TBa-TBd) being used as input images for the photometric stereo analysis. A device (S1, S2) is designed for carrying out the method according to any of the preceding claims. The invention can be applied in particular to room monitoring of interiors and/or exteriors and/or for object identification, in particular in conjunction with general lighting.

Inventors:
SIESSEGGER BERNHARD (DE)
GALASSO FABIO (DE)
WERNECK NICOLAU (DE)
KAESTLE HERBERT (DE)
Application Number:
PCT/EP2018/070780
Publication Date:
February 14, 2019
Filing Date:
July 31, 2018
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
OSRAM GMBH (DE)
International Classes:
G06T7/586; G01B11/245
Domestic Patent References:
WO2012175703A12012-12-27
Foreign References:
US20090028424A12009-01-29
Other References:
JINWEI GU ET AL: "Multiplexed illumination for scene recovery in the presence of global illumination", 2011 INTERNATIONAL CONFERENCE ON COMPUTER VISION, 1 January 2011 (2011-01-01), pages 691 - 698, XP055193188, ISSN: 1550-5499, ISBN: 978-1-45-771101-5, DOI: 10.1109/ICCV.2011.6126305
KURIHARA TORU ET AL: "Real-time reflectance transformation using single frame surface orientation imager", 2014 IEEE/SICE INTERNATIONAL SYMPOSIUM ON SYSTEM INTEGRATION, IEEE, 13 December 2014 (2014-12-13), pages 287 - 291, XP032731493, ISBN: 978-1-4799-6942-5, [retrieved on 20150130], DOI: 10.1109/SII.2014.7028052
Download PDF:
Claims:
PATENTA S PRÜCHE

Verfahren zur Oberflächenrekonstruktion, bei dem

- mindestens ein Objekt (0) von mehreren voneinander beabstandeten Leuchten (a-c; a-d) gleichzeitig beleuchtet wird,

- eine fotografische Sequenz mit mehreren Einzelbildern (EB_r-EB_r+n) des mindestens einen Objekts (0) aufgenommen wird und

- mindestens eine sichtbare Objektoberfläche (0S1, 0S2) des Objekts (0) mittels fotometrischer Stereoanalyse rekonstruiert wird,

wobei

- das von den Leuchten (a-c; a-d) abgestrahlte Licht (La-Lc; La-Ld) mit unterschiedlichen

Modulationsfrequenzen (fa-fc; fa-fd) moduliert wird,

- die von dem Objekt (0) reflektierten Lichtanteile der jeweiligen Leuchten (a-c; a-d) anhand ihrer

Modulationsfrequenzen (fa-fc; fa-fd) erkannt und jeweiligen Teilbildern (TBa-TBc; TBa-TBd) zugeordnet werden und

- die Teilbilder (TBa-TBc; TBa-TBd) als Eingangsbilder für die fotometrische Stereoanalyse verwendet werden.

Verfahren nach Anspruch 1, bei dem

- jeder Bildpunkt (BP(x,y)) der Einzelbilder

(EB_r-EB_r+n) der Sequenz einer jeweiligen

Fourieranalyse unterzogen wird und

- aus der Fourieranalyse erlangte Fourier-Komponenten (FT_a-FT_c; FT_a-FT_d) als Werte der entsprechenden Bildpunkte den jeweiligen Teilbildern (TBa-TBc;

TBa-TBd) zugeordnet werden. Verfahren nach einem der vorhergehenden Ansprüche, bei dem mehr als drei Leuchten (a-d) mit jeweiligen

Modulationsfrequenzen (fa-fd) verwendet werden.

Verfahren nach Anspruch 3, bei dem

- das Objekt (0) von mehr als drei unterschiedlich

modulierten Leuchten (a-d) gleichzeitig beleuchtet wird,

- zu den mehr als drei Leuchten (a-d) gehörige jeweilige Teilbilder (TBa-TBd) erzeugt werden,

- fotometrische Stereoanalysen für unterschiedliche

Leuchten-Kombinationen mit jeweils drei Teilbildern durchgeführt werden und

- zumindest zwei der sich jeweils ergebenden

Objektoberflächen (OS1, OS2) zu einer einzigen finalen Objektoberfläche kombiniert werden.

Verfahren nach einem der Ansprüche 2 bis 4, bei dem

- die Modulationsfrequenzen (fa-fc; fa-fd) der Leuchten (a-c; a-d) zeitlich konstant gehalten werden,

- die mehreren Einzelbilder (EBr-EBr+n) mit einer

Abtastrate (f_s) der Kamera (K) aufgenommen werden, die höher ist als die Modulationsfrequenzen (fa-fc; fa-fd) , und

- die Fourieranalyse für einen Frequenzbereich

durchgeführt wird, der maximal bis zur halben Abtastrate (f s) reicht. 6. Verfahren nach einem der Ansprüche 2 bis 4, bei dem

- die Modulationsfrequenzen (fa-fc; fa-fd) der Leuchten (a-c; a-d) zeitlich konstant gehalten werden, - die mehreren Einzelbilder (EBr-EBr+n) mit einer

Abtastrate (f_s) aufgenommen werden, die niedriger ist als die Modulationsfrequenzen (fa-fc; fa-fd) , und

- die Fourieranalyse für einen Frequenzbereich

durchgeführt wird, der maximal bis zur halben Abtastrate (f_s) reicht.

Verfahren nach einem der Ansprüche 2 bis 4, bei dem

- die Modulationsfrequenzen (fa-fc; fa-fd) der Leuchten (a-c; a-d) zeitlich konstant gehalten werden,

- die mehreren Einzelbilder (EBr-EBr+n) mit einer

Abtastrate (f_s) aufgenommen werden, die niedriger ist als die Modulationsfrequenzen (fa-fc; fa-fd) , und

- vor der Fourieranalyse auf eine zeitliche Reihe

jeweiliger Bildpunkte (BP(x,y)) ein digitales

Tiefpassfilter mit einer Grenzfrequenz entsprechend einer Abtastrate (f_s) der Kamera (K) angewendet wird.

Verfahren nach einem der Ansprüche 2 bis 4, bei dem

- die Modulationsfrequenzen (fa-fc; fa-fd) der Leuchten (a-c; a-d) zeitlich konstant gehalten werden,

- die Einzelbilder mit einer Abtastrate (f_s) aufgenommen werden, die niedriger ist als die Modulationsfrequenzen (fa-fc; fa-fd) ,

- die Fourieranalyse für einen Frequenzbereich

durchgeführt wird, der bis zu der jeweiligen

Modulationsfrequenz (fa-fc; fa-fd) reicht und

- Fourier-Komponenten dieses Frequenzbereichs

unterschiedlicher Sequenzen gemittelt werden,

wobei

- die Abtastrate (f_s) und die Modulationsfrequenzen (fa-fc; fa-fd) nicht synchronisiert sind.

9. Verfahren nach einem der vorhergehenden Ansprüche, bei dem mindestens eine Modulationsamplitude konstant gehalten wird .

10. Vorrichtung (Sl, S2), wobei die Vorrichtung (Sl, S2) zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist. 11. Vorrichtung (Sl, S2) nach Anspruch 10, wobei die Leuchten (a-c; a-d) jeweils mindestens eine Leuchtdiode aufweisen.

12. Vorrichtung (Sl, S2) nach einem der Ansprüche 10 oder 11, wobei die Vorrichtung (Sl, S2) ein Überwachungssystem ist.

Description:
OBERFLACHENREKONSTRUKTION EINES BELEUCHTETEN OBJEKTS MITTELS

FOTOMETRISCHER STEREOANALYSE

BESCHREIBUNG

Die Erfindung betrifft ein Verfahren zur

Oberflächenrekonstruktion, bei dem ein Objekt von mehreren voneinander beabstandeten Leuchten beleuchtet wird, mehrere Einzelbilder des Objekts aufgenommen werden und eine sichtbare Objektoberfläche des Objekts mittels fotometrischer

Stereoanalyse rekonstruiert wird. Die Erfindung betrifft auch eine zur Durchführung des Verfahrens ausgebildete Vorrichtung. Die Erfindung ist insbesondere anwendbar zur Raumüberwachung von Innen- und/oder Außenräumen und/oder zur Objekterkennung, insbesondere im Zusammenhang mit einer Allgemeinbeleuchtung.

Die bildbasierte fotometrische Stereoanalyse ist eine Methode, um die dreidimensionale Oberfläche oder Oberflächenstruktur einer Szene oder eines Objekts (im Folgenden nur noch als Objekt bezeichnet) dadurch zu rekonstruieren, dass eine Sequenz von Einzelbildern des Objekts unter kontrolliert variierenden Beleuchtungsbedingungen mittels einer einzigen Digitalkamera, z.B. einer RGB-Kamera, aufgenommen wird. Dabei wird das Objekt hintereinander von unterschiedlichen Leuchten beleuchtet. Die Leuchten mit bekannter relativer Intensität befinden sich an bekannten Positionen und beleuchten das Objekt aus

unterschiedlichen Richtungen.

Die Einzelbilder einer Bildsequenz werden den jeweiligen Leuchten zugeordnet und als Eingangsbilder der fotometrischen Stereoanalyse verwendet. Da die durch die Kamera nicht sichtbaren Oberflächen nicht rekonstruiert werden können, wird diese Methode auch als "2^ D" -Rekonstruktion bezeichnet. Dabei hängt unter der Annahme, dass die Reflexionseigenschaften des Objekts lambertsch sind, die von der Kamera erfasste Helligkeit eines Oberflächenbereichs oder Oberflächenpunkts des Objekts nur von dem Beleuchtungswinkel oder Einfallswinkel des Lichts und nicht von der Blickrichtung der Kamera ab. Dies bedeutet, dass Oberflächenbereiche oder Oberflächenpunkte ihr Aussehen unabhängig von der Blickrichtung der Kamera

beibehalten .

Unter Berücksichtigung, dass eine beobachtete oder gemessene Helligkeit eines Oberflächenbereichs mit einem Wert eines entsprechenden Bildpunkts (auch als Bildpunkthelligkeit oder Luminanzwert bezeichenbar) der Kamera korrespondiert, können die Oberflächenvektoren an entsprechenden Oberflächenbereichen oder Oberflächenpunkten als auch das dortige diffuse

Rückstrahlvermögen (Albedo) bestimmt werden, falls mehrere Einzelbilder des Objekts unter unterschiedlichen

Beleuchtungsbedingungen aufgenommen werden.

Zur klassischen fotometrischen 2^ D-Rekonstruktion können beispielsweise folgende Schritte durchgeführt werden:

1. Die Intensität oder Helligkeit sowie eine Ausrichtung der Leuchten wird bestimmt oder festgelegt. Eine Position der

Leuchten deckt vorteilhafterweise eine hohe Winkelvariation ab, und zwar ohne Schattenwurf auf der Objektoberfläche und ohne Selbstabschattung . Dann wird eine gegenseitige Kalibration der Leuchten in Bezug auf ihre Stärke und Beleuchtungsrichtung durchgeführt. Dies kann beispielsweise dadurch erreicht werden, dass die Lichtintensität mittels eines Luxmeters gemessen wird oder durch Auswerten eines Bilds eines kalibrierten Objekts mit bekannter Geometrie und bekanntem Albedowert (z.B. einer Saphirkugel) bestimmt wird. Das Ergebnis der Kalibrierung kann in Form eines Satzes von

Beleuchtungsvektoren Li ausgedrückt werden, wobei der Betrag des Beleuchtungsvektors Li einer relativen Intensität der

zugehörigen Leuchte i entspricht und die Richtung des

Beleuchtungsvektors Li den Einfallswinkel bestimmt.

2. Ein Objekt wird unter einer vorgegebenen Beleuchtung jeweils einer der Leuchten mittels einer herkömmlichen 2D-Kamera aufgenommen. Die Blickrichtung der Kamera ist grundsätzlich beliebig, aber vorteilhafterweise so, dass eine gute Perspektive auf eine Objektoberfläche mit einer möglichst geringen

Abschattung erreicht wird.

3. Die Bildpunktwerte (Pixelmesswerte) PMw(x,y) der Bildpunkte BP(x,y) der aufgenommenen Einzelbilder (auch als "Capture Pixel Values" bezeichnet) hängen von der beobachteten Leuchtdichte oder Luminanz jeder der Oberflächenbereiche oder

Oberflächenpunkte der Objektoberflächen ab.

Dies kann für jeden der einem Oberflächenbereich oder

Oberflächenpunkt an der Stelle (x,y) entsprechenden Bildpunkte BP(x,y) auch so ausgedrückt werden, dass

PMw(x,y);i = pd(x,y) * (Li · n(x,y)) gilt, wobei PMw(x,y);i den Bildpunktwert dieses Bildpunkts BP(x,y) unter Beleuchtung nur der Leuchte i, pd(x,y) die Albedo des zugehörigen Oberflächenbereichs bzw. der zugehörigen Stelle (x,y), Li den (normierten) Beleuchtungsvektor Li und n(x,y) den Normalenvektor des zugehörigen Oberflächenbereichs / Oberflächenpunkts bzw. der Stelle (x,y) darstellt. Jedes Oberflächenelement bzw. jede Stelle (x,y) trägt also mit seiner Albedo pd(x,y) und mit seiner Normale n(x,y) genau zum

Pixelmesswert PMw(x,y) bei, und zwar in Abhängigkeit von der Beleuchtungsintensität Li.

(Li · n) ist folglich ein Vektorprodukt, das den Betrag des Beleuchtungsvektor Li und den Kosinus des Einfallswinkels Oi umfasst, nämlich gemäß (Li n) = | Li | · cos(Oi) .

4. Es ergibt sich also für drei Leuchten i = 1, 2, 3 für einen Bildpunkt und damit auch einen zugehörigen Oberflächenbereich das Gleichungssystem PMw(x,y);l = pd * (LI · n(x,y))

PMw(x,y);2 = pd * (L2 · n(x,y))

PMw(x,y);3 = pd * (L3 · n(x,y))

Aus diesem Gleichungssystem lassen sich die Albedo pd(x,y) und der Normalenvektor n(x,y) unter Berücksichtung der

Normaliserungsbedingung | n | =1 bestimmen. Dies kann für jeden der Bildpunkte BP (x, y) gesondert durchgeführt werden .

Es kann also ein Objekt mit unbekannter (Oberflächen- ) Albedo pd mit Hilfe von drei unterschiedlichen Beleuchtungsszenarien rekonstruiert werden. Für den Fall, dass die Albedo einer

Objektoberfläche bereits bekannt ist (beispielsweise das Objekt mit definierter Farbe vorbehandelt und/oder angestrichen worden ist) , kann die klassische fotometrische Stereoanalyse auch mit nur zwei Leuchten durchgeführt werden.

5. Die Oberflächenrekonstruktion kann mit den Normalenvektoren n der Bildpunkte bzw. Oberflächenbereiche durchgeführt werden, um eine volle Information über die dreidimensionale Struktur oder Form der Objektoberfläche zu erlangen, z.B. über

Gradientenbetrachtungen und anschließende Integration. Mit der Umskalierung der ermittelten Normalenvektoren n(x,y) = (n x (x, y) , n y (x, y) , n z (x, y) ) zu

N x (x,y) = -n x (x, y) /n z (x, y) und N y (x,y) = -n y (x, y) /n z (x, y) , lässt sich die Oberfläche durch Integration

z(x r y)— I N x (x,y 0 )dx + I N (_x Q ,y)dy + z Q

rekonstruieren .

Ein Nachteil der konventionellen fotometrischen Stereoanalyse ist, dass die Beleuchtung des Objekts zusammen mit der

Bildaufnahme viel Zeit benötigt, so dass sie für

Echtzeitanwendungen im Bereich einer Allgemeinbeleuchtung kaum in Frage kommt. Zudem muss bei der konventionellen fotometrischen Stereoanalyse eine Hintergrundbeleuchtung (die nicht von den Leuchten stammt) eliminiert werden. Diese

Hintergrundbeleuchtung muss jedes Mal von den Einzelbildern subtrahiert werden.

Es ist die Aufgabe der vorliegenden Erfindung, die Nachteile des Standes der Technik zumindest teilweise zu überwinden und insbesondere eine verbesserte Möglichkeit einer

Oberflächenrekonstruktion auf Basis der fotometrischen

Stereoanalyse bereitzustellen.

Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Ansprüche gelöst. Bevorzugte Ausführungsformen sind insbesondere den abhängigen Ansprüchen entnehmbar.

Die Aufgabe wird gelöst durch ein Verfahren zur

Oberflächenrekonstruktion, bei dem (i) mindestens ein Objekt von mehreren voneinander beabstandeten Leuchten gleichzeitig beleuchtet wird, (ii) eine fotografische Sequenz mit mehreren Einzelbildern des mindestens einen Objekts aufgenommen wird und (iii) mindestens eine sichtbare Objektoberfläche mittels einer fotometrischen Stereoanalyse rekonstruiert wird. Dabei wird das von den Leuchten abgestrahlte Licht mit unterschiedlichen Modulationsfrequenzen moduliert. Dann werden die von dem Objekt reflektierten Lichtanteile der jeweiligen Leuchten anhand ihrer Modulation erkannt und jeweiligen Teilbildern zugeordnet. Anschließend werden die Teilbilder als Eingangsbilder für die fotometrische

Stereoanalyse verwendet. Es ist ein Vorteil des Verfahrens, dass die Lichtanteile aufgrund der Modulation gleichzeitig bzw. simultan aus der aufgenommenen fotografischen Sequenz extrahiert werden können. Die drei oder mehr nur zu den jeweiligen Leuchten zugehörigen (Teil-) Bilder brauchen nicht mehr sequentiell bzw. nacheinander aufgenommen zu werden, da alle drei oder mehr Leuchten kodiert sind und damit parallel betrieben werden und insbesondere permanent

eingeschaltet bleiben können. Zudem braucht nun die

Hintergrundbeleuchtung nicht mehr aufwändig aus den

Einzelbildern subtrahiert zu werden, sondern wird - da sie nicht moduliert ist - einfach nicht berücksichtigt.

Das Rekonstruieren ist dadurch vorteilhafterweise in Echtzeit durchführbar, und zwar auch auf dem Gebiet der

Allgemeinbeleuchtung, z.B. zur Raumüberwachung und

Objekterkennung, insbesondere zur Erkennung einer Anwesenheit von Menschen und deren Aktivität. Das Rekonstruieren der sichtbaren Objektoberfläche kann nach Erstellen der Teilbilder mit herkömmlichen Methoden durchgeführt werden. Mittels der rekonstruierten Oberflächen kann wiederum eine Objekterkennung usw. durchgeführt werden. Eine Oberflächenrekonstruktion wird auch häufig als "Surface Reconstruction" bezeichnet.

Das Verfahren zur Oberflächenrekonstruktion kann auch als ein Verfahren zur Bestimmung oder Berechnung einer bzw. der Form und Ausrichtung von fotografisch aufgenommenen Oberflächen im Raum angesehen oder bezeichnet werden.

Die auf einen Punkt einer Objektoberfläche einfallenden

Lichtbündel der voneinander beabstandeten Leuchten weisen dort insbesondere unterschiedliche Einstrahlwinkel (auch als

Beleuchtungseinfallswinkel bezeichnet) und ggf.

unterschiedliche Beleuchtungsstärken auf. Die Leuchten können insbesondere unterschiedliche Ausrichtungen bzw.

Beleuchtungsrichtungen aufweisen .

Mittels des Verfahrens können eine oder auch mehrere

Objektoberflächen rekonstruiert werden. Dazu ist es insbesonders vorteilhaft, wenn (beispielsweise vorher oder während des Verfahrens) die Positionen oder Koordinaten der mehreren Objekte bzw. Objektoberflächen im Raum ermittelt werden, beispielsweise durch Methoden der Bilddatenverarbeitung. Dies ist deshalb vorteilhaft, weil dann die jeweiligen

Beleuchtungseinfallswinkel der drei Leuchten bekannt sind bzw. ermittelt werden können, um anschließend die photometrische Stereoanalyse durchzuführen. Unter einer fotografischen Sequenz kann insbesondere eine

Bildfolge oder ein Video verstanden werden. Die fotografische Sequenz umfasst insbesondere eine zeitliche Folge von

Einzelbildern. Die Einzelbilder können mittels einer Kamera aufgenommen werden. Die Kamera kann stationär sein. Die

Einzelbilder weisen insbesondere die gleiche Auflösung auf, z.B. eine matrixförmige Auflösung mit (m x n) Bildpunkten oder Pixeln, z.B. von 640 x 480, 1024 x 640, 1920 x 1080, usw. Bildpunkten.

Ist die Samplingrate oder Abtastrate f_s der Kamera hoch genug, können die in den Einzelbildern einer Sequenz vorhandenen Objekte auch dann noch als praktisch stationär angenommen werden, wenn sie sich nicht zu schnell bewegen. Die Zahl der für eine Sequenz verwendeten Einzelbilder ist nicht beschränkt. Es ist eine Weiterbildung, dass die Einzelbilder einer Sequenz zeitlich äquidistant voneinander beabstandet sind. Die Sequenz kann grundsätzlich beliebig sein. So kann die Sequenz eine Auswahl einer vollständigen Aufnahmereihe von Einzelbildern sein. Die vorgegebene Sequenz entspricht jedoch insbesondere einer vollständigen Aufnahmereihe von Einzelbildern bzw. allen Einzelbildern einer vorgegebenen Zeitdauer. Die Sequenzen können "laufende" Sequenzen einer Folge von 1 bis m Einzelbildern EB sein: { EB1 , EB2, EBn}, { EB2 , EB3, EBn+1 } usw. mit n < m. Es ist eine für eine besonders einfache

Oberflächenrekonstruktion vorteilhafte Weiterbildung, dass die Leuchten identisch aufgebaut sind. Die Leuchten können ein oder mehrere Lichtquellen (z.B. ein oder mehrere LEDs) aufweisen. Die fotometrische Stereoanalyse ist grundsätzlich bekannt und dient zur Rekonstruktion der räumlichen Objektoberfläche mittels Auswertung von zweidimensionalen (Eingangs- ) Bildern des

Objekts, die jeweils aus drei unterschiedlichen bekannten Beleuchtungsrichtungen aufgenommen wurden. Den

unterschiedlichen bekannten Beleuchtungsrichtungsrichtungen können jeweilige nicht parallel zueinander verlaufende

Beleuchtungsvektoren LI, L2 bzw. L3 zugeordnet sein.

Zur Nutzung der fotometrischen Stereoanalyse werden bisher drei (oder bei Kenntnis der Albedo zwei) voneinander beabstandete Leuchten nacheinander eingeschaltet und bei eingeschalteter Leuchte ein jeweiliges Bild aufgenommen. Die resultierenden Bilder dienen als Eingangsbilder für die fotometrische

Stereoanalyse .

Es ist eine Weiterbildung, dass das ausgestrahlte Licht der unabhängigen beabstandeten Leuchten charakteristisch

(individuell) moduliert ist. Insbesondere stellen die unterschiedlichen Modulationsfrequenzen keine Vielfachen voneinander dar. Beispielsweise können drei Leuchten ihr Licht mit Modulationsfrequenzen von 210 Hz, 330 Hz und 440 Hz modulieren. Dieses Konzept kann auf mehr als drei Leuchten erweitert werden.

Um ein Auftreten einer Intermodulation besonders effektiv zu verhindern, sind die Modulationsfrequenzen vorzugsweise nicht oder nicht genau aus Vielfachen von ganzen Zahlen

zusammengesetzt. So können Intermodulationsprodukte vermieden werden, die identisch zu einer der Modulationsfrequenzen sind, z.B. falls geringe Nichtlinearitäten in der Kamera oder im Kamerasystem auftreten. Die Modulationsfrequenzen können insbesondere paarweise teilerfremd sein. Die

Modulationsfrequenzen können grundsätzlich variiert werden.

Die Modulation kann allgemein als eine Kodierung des von der Leuchte abgestrahlten Lichts verstanden werden, welche es ermöglicht die Lichtanteile dieser Leuchte in einem digitalem Bild zu identifizieren bzw. zu extrahieren, obwohl das Objekt gleichzeitig von mehreren bzw. den anderen Leuchten gleichzeitig angestrahlt wird.

Es ist eine Weiterbildung, dass die Modulationsfrequenzen in einem Bereich zwischen 50 Hz und 1000 Hz, insbesondere zwischen 100 Hz und 1000 Hz, insbesondere zwischen 100 Hz und 500 Hz liegen. Die untere Grenze von 50 Hz oder sogar 100 Hz ist vorteilhaft, damit die Leuchten nicht für das menschliche Auge sichtbar flackern. Die obere Grenze ist vorteilhaft, damit eine Auswertung auch bei begrenzten oder geringen Abtastraten f_s noch mit geringen Fehlern durchführbar ist, was wiederum eine Nutzung einer preiswerten Videotechnik bzw. Kameratechnik ermöglicht (z.B. in Bezug an Anforderung an die Framerate) . Dass die von dem Objekt reflektierten Lichtanteile der jeweiligen Leuchten anhand ihrer Modulation erkannt und jeweiligen

("extrahierten") Teilbildern zugeordnet werden, ermöglicht es insbesondere, dass die extrahierten Teilbilder Bildern entsprechen (insbesondere genau entsprechen) , die nur noch die Lichtanteile einer bestimmten Leuchte aufweisen. Die Teilbilder weisen insbesondere das gleiche Format auf wie die fotografisch aufgenommenen Einzelbilder.

Es ist eine Ausgestaltung, dass jeder Bildpunkt der (zeitlichen) Sequenz einer jeweiligen Fourieranalyse unterzogen wird und aus der Fourieranalyse erlangte Fourier-Komponenten als Werte der entsprechenden Bildpunkte den jeweiligen Teilbildern zugeordnet werden. Dies ermöglicht eine besonders effektive und schnelle Erkennung (insbesondere in "Realtime") der von dem Objekt reflektierten Lichtanteile der jeweiligen Leuchten anhand ihrer Modulation. Zudem ermöglicht die Nutzung der Fourier-Komponenten eine einfache Möglichkeit, eine Hintergrundbeleuchtung nicht zu berücksichtigen.

Wie bei der Fourieranalyse üblich, definiert die Abtastrate den detektierbaren Frequenzbereich, während die Zahl der

aufgenommenen Einzelbilder bzw. die Beobachtungszeit die messbare Frequenzauflösung bestimmt. Beide Parameter können angepasst werden, um die schnellsten Ergebnisse für ein bestimmtes Modulationsschema zu bekommen.

Unter einer Fourieranalyse kann insbesondere die Durchführung einer Fourier-Transformation verstanden werden, beispielsweise einer schnellen Fourier-Transformation (FFT) . In anderen Worten wird für jeden Bildpunkt aus einer vorgegebenen Gruppe von zeitlich versetzt aufgenommenen Einzelbildern eine zugehörige Zeitreihe von Bildpunktwerten oder Pixelmesswerten bestimmt. Diese (bildpunktbezogene) Zeitreihe wird einer jeweiligen Fourieranalyse unterzogen. Durch die

Fouriertransformation wird ein Fourierspektrum mit

Fourier-Komponenten als Werten im Frequenzraum erzeugt. Die Bildpunktwerte im Zeitraum können auch als Pixelwerte,

Messwerte, Magnituden, Intensitätswerte, Luminanzwerte oder Helligkeitswerte angesehen werden, z.B. innerhalb eines

Wertebereichs von [0; 255] bzw. [0; 1024] usw.

Eine auch mögliche Gleitkomma-Kodierung weist gegenüber einer Integer-Kodierung den Vorteil auf, dass die relative Genauigkeit des Wertes von seinem Wert selbst nicht abhängig ist. Ein niedrigerer Pixelbeleuchtungswert wird mit derselben relativen Genauigkeit (z.B. 5%) übertragen bzw . repräsentiert wie ein hoher Intensitätswert. Es ist auch eine Ausgestaltung, dass mehr als drei bzw. mindestens vier voneinander beabstandete Leuchten mit jeweiligen

Modulationsfrequenzen verwendet werden. Dies ergibt den Vorteil, dass durch eine Überbestimmung eine räumliche Überdeckung oder Abschattung einer zu rekonstruierenden Oberfläche verringert oder sogar ganz vermieden werden kann.

Es ist eine für eine genauere Rekonstruktion besonders vorteilhafte Ausgestaltung, dass das mindestens eine Objekt von mehr als drei unterschiedlich kodierten, insbesondere

modulierten, Leuchten gleichzeitig beleuchtet wird,

entsprechend mehr als drei zu den jeweiligen Leuchten gehörige Teilbilder erzeugt werden, dann fotometrische Stereoanalysen für unterschiedliche Leuchten-Kombinationen mit jeweils drei Teilbildern durchgeführt werden. Zudem können dann insbesondere zumindest zwei der sich jeweils ergebenden rekonstruierten Objektoberflächen zu einer einzigen finalen Objektoberfläche kombiniert oder überlagert, z.B. übereinandergelegt und/oder gemittelt, werden. Diese Ausgestaltung ist besonders

vorteilhaft, falls Glanzbilder (auch als "spekulare Albedo" bezeichnet) vorliegen, z.B. wenn ein Objekt zumindest teilweise eine glänzende oder spiegelnde Oberfläche aufweist. Wenn eine spekulare Albedo vorliegt, tritt diese in den Teilbildern nur an bestimmten Stellen an der Objektoberfläche auf, wobei ein Auftreten und/oder eine Stärke dieser Stellen für

unterschiedliche Teilbilder unterschiedlich sein können. Das bedeutet, dass in jedem der Teilbilder glänzende Stellen der Objektoberfläche vorhanden sein können, für die keine brauchbare Information beigesteuert werden kann. Durch die Überlagerung der rekonstruierten Objektoberflächen lassen sich die fehlerhaften Stellen finden und beheben.

Beispielsweise kann dann, wenn vier Leuchten a, b, c und d gleichzeitig verwendet werden, eine jeweilige fotometrische Stereoanalyse für die Leuchten-Kombinationen (abc) , (abd) , (acd) und (bcd) durchgeführt werden. Dabei kann zumindest eine der sich jeweils ergebenden rekonstruierten Objektoberflächen an bestimmten Stellen keine sinnvolle Rekonstruktion zurückgeben. Durch Überlagerung von mindestens zwei der vier rekonstruierten Objektoberflächen lassen sich die fehlerhaften (glänzenden) Stellen finden und beheben.

Wie das Kombinieren bzw. Überlagern der rekonstruierten

Objektoberflächen durchgeführt wird, ist grundsätzlich nicht beschränkt. So können in einer Weiterbildung alle

rekonstruierten Objektoberflächen übereinandergelegt und/oder gemittelt werden. Insbesondere zur Unterdrückung von Glanzeffekten ist es jedoch vorteilhaft, nur eine Untermenge der rekonstruierten Objektoberflächen zu kombinieren, insbesondere eine solche Untermenge, welche den Glanzeffekt nicht oder nicht so stark zeigt.

Es ist eine Weiterbildung, dass zur Auswahl einer solchen Untermenge eine Mehrheitsentscheidung durchgeführt wird. Es werden dazu diejenigen Oberflächenrekonstruktionswerte verwendet (ggf. auch gemittelt oder gewichtet verwendet) , die in mehreren (z.B. zwei oder drei) rekonstruierten Obj ektoberflächen zumindest innerhalb einer vorgegebenen Bandbreite

übereinstimmen. Alternativ oder zusätzlich können

Ausreißertests durchgeführt werden, z.B. Ausreißertests nach Grubbs oder Nalimov.

Es ist besonders vorteilhaft, wenn das Kombinieren bzw.

Überlagern der zuvor rekonstruierten Objektoberflächen für jeden Oberflächenpunkt oder Oberflächenbereich der Objektoberfläche individuell durchgeführt wird. Dies kann auch als punktweises Kombinieren bezeichnet werden.

Bei ausreichend hoher Kamerabildrate bzw. Abtastrate ist das Nyquist-Shannon-Abtasttheorem erfüllt, und es treten nach Durchführung einer Fourieranalyse genauso viele

Fourier-Komponenten auf wie Modulationsfrequenzen / modulierte Leuchten vorhanden sind. Dieser Fall kann auch als

"Standard-Fourieranalyse" bezeichnet werden. Die Bildrate ist in diesem Fall mindestens doppelt so hoch wie die

Modulationsfrequenzen der Leuchten. Denn bei ausreichend langer Videosequenz (d.h., einer ausreichend großen Anzahl der aufgenommenen Einzelbilder) ist die Frequenzauflösung

ausreichend, um zwischen den unterschiedlichen Modulationsfrequenzen noch unterscheiden zu können. Häufig wird eine Auflösung von 1 Hz bis 10 Hz benötigt, was einer

Videosequenzlänge von einer Sekunde entspricht. Jedoch ist die vorliegende Erfindung nicht auf diesen Frequenzbereich beschränkt.

Es ist eine insbesondere zur Anwendung mit einer

Standard-Fourieranalyse vorteilhafte Ausgestaltung, dass die Modulationsfrequenzen zeitlich konstant gehalten werden, die mehreren Einzelbilder mit einer Bildrate aufgenommen werden, die höher ist als die Modulationsfrequenzen der Leuchten, und die Fourieranalyse für einen Frequenzbereich durchgeführt wird, der maximal bis zur halben Abtastrate reicht

(Nyquist-Frequenzlimit ) . In anderen Worten liegt die Abtastrate f_s mindestens zweifach über der zu messenden

Modulationsfrequenz (die auch als Lichtsignalfrequenz oder Nyquist-Frequenz bezeichnet werden kann) .

Die Fourieranalyse erfasst dabei an jedem Bildpunkt bzw. Pixel direkt die zu den Modulationsfrequenzen zugehörigen

Fourierbeträge (d.h., die Magnitude bzw. Höhe der gemessenen Linie) , welche den Bildpunktmesswert (Pixelwert) infolge der Bestrahlung mit der entsprechenden Leuchte widergibt. Diese Ausgestaltung weist den Vorteil auf, dass die

Fourieranalyse (für jeden Pixel) besonders einfach umsetzbar ist und besonders genaue Teilbilder erzeugt.

Unter einer konstanten Modulationsfrequenz kann insbesondere eine Modulationsfrequenz verstanden, die eine

Frequenzschwankung Af_signal von weniger als 10 Hz, insbesondere von weniger als 5 Hz, insbesondere von weniger als 2 Hz, insbesondere von weniger als 1 Hz, aufweist. Es ist auch eine Ausgestaltung, dass die Lichtsignal- bzw. Modulationsfrequenzen zeitlich konstant gehalten werden, die mehreren Einzelbilder mit einer Bildrate aufgenommen werden, die niedriger ist als zumindest eine Modulationsfrequenz der Leuchten (insbesondere als alle Modulationsfrequenzen der Leuchten) , und die Fourieranalyse für einen Frequenzbereich durchgeführt wird, der maximal bis zu der halben Abtastrate reicht .

Diese Ausgestaltung ergibt den Vorteil, dass eine Rekonstruktion von Objektoberflächen auch mit Kameras oder anderen

Bildaufnahmeeinrichtungen durchgeführt werden kann, die eine vergleichsweise geringe Abtastrate aufweisen, z.B. von ca. 30 Bildern pro Sekunde ("frames per second", fps) . Solche Kameras o.a. sind vergleichsweise kostengünstig.

Dass die mehreren Einzelbilder mit einer Bildrate aufgenommen werden, die niedriger ist als zumindest eine Modulationsfrequenz der Leuchten, kann auch als "Unterabtastung" oder

"Undersampling" bezeichnet werden. Bei einer Unterabtastung ergeben sich als Ergebnis einer Fourieranalyse mehrere

Fourier-Komponenten pro Modulationsfrequenz. Diese

Fourier-Komponenten liegen bei den zugehörigen Aliasfrequenzen f_alias, die sich gemäß f_alias = f_signal - n * f_s > 0 mit n = 0, 1, 2, 3 usw. ergeben, wobei f_signal die zugehörige Modulationsfrequenz und f_s die Sampling- oder Abtastrate ist. Bei der Anwendung der Fourieranalyse auf die abgetastete Signalsequenz werden die Parameter vorteilhafterweise so gewählt, dass die

Nyquist-Frequenz der Fourieranalyse nur die niedrigste zu erwartende Aliasfrequenz umfasst, während die Aliasfrequenzen höherer Ordnung unberücksichtigt bleiben. Analog kann die Samplingrate so gewählt werden, dass die Frequenzauflösung zur Erfassung der zu erwartenden niedrigsten Aliasfrequenz ausreicht, um sie von den benachbarten niedrigsten

Aliaskomponenten der anderen Leuchten trennen zu können.

Typischerweise wird zur Parametrisierung der Fourieranalyse die Nyquist-Frequenz auf f_s/2 (z.B. auf 30 Hz/2 = 15 Hz)

eingestellt und die Beobachtungszeit auf z.B. 1 sec, um eine Frequenzauflösung von 1 Hz zu erreichen. Die Fourieranalyse erfasst für den Fall der Unterabtastung also nur die Größen (z.B. Intensitäten) der niedrigsten Aliasfrequenzen der tatsächlichen Modulationsfrequenzen bzw. Lichtsignalfrequenzen. Es ist eine Weiterbildung, dass als "richtige"

Fourier-Komponente (deren Wert zur Erstellung der Teilbilder weiterverwendet wird) jeweils die Fourier-Komponente mit der kleinsten Aliasfrequenz f_alias pro Modulationsfrequenz verwendet wird. Die frequenztechnisch niedrigste Aliasfrequenz wird auch als Basisbandsignal bezeichnet.

Die Fourier-Komponente der kleinsten Aliasfrequenz enthält die Information der zugehörigen Signalamplitude (als hier die Information über den Messwert des Bildpunkts für eine bestimmte Modulationsfrequenz) , wobei nur eine Phaseninformation verloren geht. Alle anderen Fourier-Komponenten bei höheren Aliasfrequenz werden unterdrückt und nicht berücksichtigt.

Dies kann zusätzlich oder alternativ mittels Anwendung eines digitalen Tiefpassfilters auf die abgetastete Signalsequenz erreicht werden, der auch als Anti-Aliasingfilters bezeichnet werden kann. Die kleinste Fourier-Komponente pro Modulationsfrequenz kann dann weiterverwendet werden, um wie bereits oben beschrieben Werte für die Bildpunkte der Teilbilder bereitzustellen.

Ein möglicher Fall des Unterabtastung-Konzepts kann wie folgt umgesetzt sein:

Die Modulationsfrequenzen f_signal = fa, fb und fc der Leuchten i = a, b bzw. c lauten beispielsweise: fa = 150 Hz + 3 Hz = 153 Hz

fb = (2-150 Hz) + 6 Hz = 306 Hz

fc = (3-150 Hz) + 12 Hz = 462 Hz oder fa = 150 Hz + 3 Hz = 153 Hz

fb = 150 Hz + 6 Hz = 156 Hz

fc = 150 Hz + 12 Hz = 162 Hz

Die Abtastrate f_s von z.B. 30Hz ist viel kleiner als die Modulationsfrequenzen fa, fb bzw. fc . Eine Aufnahmezeit T von ca. einer Sekunde ermöglicht es, eine Abtastsequenz von 30

Einzelbildern einzulesen.

Aufgrund der Unterabtastung ergibt sich nach der Fourieranalyse ein Satz von Fourier-Komponenten bei Aliasfrequenzen fn_sub in den Fourierspektren der jeweiligen Bildpunkte. Die

Aliasfrequenzen fn_alias liegen bei fn_alias_n = f_signal - n · f s, mit n = 1, 2, 3, ... Die Aliasfrequenzen, die am nächsten an der Null liegen

(Basisband-Frequenzen) , sind fa_alias_5 = 3 Hz, (mit n=5)

fb_alias_10 = 6 Hz, (mit n=10)

fc_alias_15 = 12 Hz (mit n=15)

Durch Anwendung eines digitalen Tiefpass- oder

Anti-Aliasing-Filters mit einer Abschneidefrequenz bei 15 Hz werden alle anderen, höherfrequenten Aliasfrequenzen

unterdrückt. Die Abschneidefrequenz des - z.B. digitalen - Filters ist dabei so gelegt worden dass, nur noch die niedrigsten Aliaskomponenten gesehen werden. Es verbleiben nach der digitalen Filterung nur noch die Basisbandsignale.

Wenn das digitale Filter angewendet wird, bevor die

Fourieranalyse durchgeführt wird, braucht nicht mehr oder nicht mehr aufwändig darauf geachtet zu werden, dass deren Parameter der Nyquistfrequenz nicht zu hoch ist. Insbesondere braucht mit der Fourieranalyse dann nicht mehr gefiltert zu werden.

Die Basisbandsignale können mittels üblicher Fourieranalyse analysiert werden, um die Position und Größe der

Fourier-Komponenten zu finden.

Es ist also möglich, entweder "aktiv" ein digitales

Antialising-Filter anzuwenden und/oder die Fourieranalyse so parametrisieren, damit die höheren Aliases oberhalb der gewählten Nyquistfrequenz liegen und somit auch nicht mehr analysiert werden. Die zusätzliche Anwendung des digitalen Antialias-Filters ist vorteilhafterweise sicherer, da dabei nicht wie bei der Fourieranalyse mit Spiegeleffekten gerechnet zu werden braucht, die möglicherweise von Frequenzen oberhalb der Nyquistfrequenz durchgreifen können.

Es ist außerdem eine Ausgestaltung, dass die

Modulationsfrequenzen zeitlich konstant gehalten werden, die Einzelbilder mit einer Bildrate aufgenommen werden, die niedriger ist als die Modulationsfrequenzen der Leuchten, die Fourieranalyse für einen Frequenzbereich durchgeführt wird, der mindestens bis zu der jeweiligen Modulationsfrequenz reicht und gemessene Fourier-Komponenten aus mehreren wiederholte

Messungen gemittelt werden, wobei die Abtastrate und die Modulationsfrequenz nicht synchronisiert sind.

Die fehlende Synchronisation kann auch als zufällige Abtastung ("Random Sampling") oder stochastische Abtastung ("Stochastic Sampling") bezeichnet werden.

Beim Random Sampling wird ausgenutzt, dass dann, wenn das von einem Obj ekt reflektierte Licht (d.h., gemessene "Lichtsignale") mit einer niedrigen Abtastrate (Unterabtastung) erfasst wird, es noch teilweise Anteile bzw. Information der frequenztechnisch höherliegenden Modulationsfrequenz (Signalfrequenz) enthält. Die verbleibende Restinformation in der abgetasteten

Signalsequenz hängt dabei von der zufälligen Phasenlage zwischen der Abtastfrequenz und zu messenden Modulationsfrequenz ab. Beträgt die Samplingfrequenz beispielsweise 30 Hz, ist die abgetastete Signalsequenz mit einem 30 Hz-Raster gerastert.

Diese gerastete Signalsequenz ist fourieranalysierbar, insbesondere mittels einer Standard-Fourieranalyse (ohne

Berücksichtigung der Unterabtastung) bis zu einer Grenzfrequenz oberhalb der Abtastrate, insbesondere bis zu einem Halben der höchsten Modulationsfrequenz (z.B. 500Hz) oder bis zu der höchsten Modulationsfrequenz (z.B. 1000Hz) .

Aus der Fourieranalyse ergeben sich rudimentäre bzw.

abgeschwächte Werte der echten Fourier-Komponenten bei der

Grenzfrequenz. Weil die geringe bzw. langsame Abtastrate mit der Modulationsfrequenz nicht synchronisiert ist, lässt sich durch wiederholtes Messen (entsprechend der Bereitstellung

unterschiedlichen Sequenzen) das Signal/Rausch-Verhältnis verbessern. Es wird also für den Fall der zufälligen Abtastung ausgenutzt, dass jede Bildaufnahmesequenz Fourier-analysierbar ist, aber aufgrund der Unterabtastung von Einzelbildern nur einen bestimmten Bruchteil zu dem "wahren" Wert oder Höhenniveau der Fourier-Komponenten beisteuert. Durch Aufnahme einer

ausreichend hohen Zahl n von Sequenzen kann der wahre Wert durch einfache Summation erlangt werden.

Unter der dem Random Sampling zugrundeliegenden Annahme, dass die Aufnahmen der Sequenzen unkorreliert sind und zu zufälligen Zeitpunkten erfolgen (was z.B. dadurch erreicht werden kann, dass die Samplingrate unabhängig von den Modulationsfrequenzen ist) , wird sich der Wert der Fourier-Komponenten linear mit der Zahl n der aufgenommenen Sequenzen erhöhen. Das Rauschen erhöht sich jedoch nur mit der Wurzel von n. Dies führt zu einem

Signal-zu-Rausch-Verhältnis SNR mit

SNR(n) = (f_s / f_nyquist) -n/sqrt(n) wobei f_s die Abtastrate ist, z.B. 30 Hz, f_nyquist das Zweifache der Modulationsfrequenz ist, z.B. 1000 Hz, und n die Zahl der aufgenommenen Sequenzen ist. Da das Nutzsignal mit dem Faktor n an steigt, während das Rauschen nur mit dem Faktor sqrt (n) ansteigt, steigt das SNR mit n / sqrt (n) = sqrt (n) an. Durch Festsetzen der Zahl n auf einen ausreichend hohen Wert, z.B. auf n = 100, für alle Messungen kann die gemessene Fourier-Komponente als ein repräsentativer Wert angenommen werden und zur Erzeugung der Teilbilder usw. herangezogen werden.

Es ist zudem eine Ausgestaltung, dass eine jeweilige

Modulationsamplitude der Leuchten konstant gehalten wird. Dies erleichtert eine Durchführung des Verfahrens und steigert dessen Genauigkeit, weil eine Modulationstiefe der Intensität der einzelnen Leuchten entspricht.

Es ist eine zum gleichen Zweck vorteilhafte Weiterbildung, dass die Modulationsamplitude der Leuchten gleich hoch ist. Dies erleichtert insbesondere eine Kalibrierung.

Es ist eine Weiterbildung, dass die Amplitudentiefe (d.h., ein Verhältnis des Amplitudenhubs zu einer maximalen Amplitude Amax, also [Amax-Amin] /Amax) mindestens 5% beträgt, insbesondere mindestens 10%. Dies ermöglicht eine besonders gute

Detektierbarkeit durch eine Kamera.

Die Aufgabe wird auch gelöst durch eine Vorrichtung, die zur Durchführung des Verfahrens eingerichtet ist. Die Vorrichtung kann insbesondere mehrere voneinander

beabstandete Leuchten, mindestens eine Kamera, deren Sichtfeld in einen durch die Leuchten beleuchtbaren Raumbereich gerichtet ist, und eine Auswerteeinrichtung aufweisen. Die Vorrichtung ist insbesondere dazu eingerichtet, das von den Leuchten abgestrahlte Licht mit unterschiedlichen

Modulationsfrequenzen zu modulieren (beispielsweise über geeignete Treiber) . Mittels der Kamera ist eine fotografische Sequenz mit mehreren Einzelbildern aufnehmbar. Mittels der Auswerteeinrichtung ist die fotografische Sequenz auswertbar, um eine sichtbare Objektoberfläche eines im

Sichtfeld der Kamera befindlichen Objekts mittels fotometrischer Stereoanalyse zu rekonstruieren. Die Auswerteeinrichtung kann auch dazu eingerichtet sein, auf der Grundlage der

rekonstruierten Objektoberflächen eine Objekterkennung durchzuführen .

Es ist eine Weiterbildung, dass die Leuchten jeweils mindestens eine Leuchtdiode aufweisen.

Es ist eine Weiterbildung, dass die Vorrichtung ein

Überwachungssystem oder ein Teil eines Überwachungssystems ist, beispielsweise zur Überwachung von Innen- und/oder Außenräumen. Das Überwachungssystem kann ein verteiltes System sein, bei dem die Auswerteeinrichtung entfernt von den Leuchten und der Kamera angeordnet ist.

Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im

Zusammenhang mit der folgenden schematischen Beschreibung von Ausführungsbeispielen, die im Zusammenhang mit den Zeichnungen näher erläutert werden. Dabei können zur Übersichtlichkeit gleiche oder gleichwirkende Elemente mit gleichen Bezugszeichen versehen sein.

Fig.l zeigt ein Überwachungssystem gemäß einem ersten

Ausführungsbeispiel ; Fig.2 zeigt eine Sequenz von Einzelbildern, die von einer

Kamera des Überwachungssystems gemäß dem ersten Ausführungsbeispiel aufgenommen wurden;

Fig.3 zeigt eine Zeitreihe von Messwerten eines Bildpunkts der Sequenz;

Fig.4 zeigt ein Ergebnis einer Standard-Fourieranalyse der

Zeitreihe von Messwerten;

Fig.5 zeigt aus der Fourieranalyse gewonnene Teilbilder.

Fig.6 zeigt ein Überwachungssystem gemäß einem zweiten

Ausführungsbeispiel ;

Fig.7 zeigt eine Zeitreihe von Messwerten eines Bildpunkts einer Sequenz von Einzelbildern, ;

Fig.8 zeigt ein Ergebnis einer Standard-Fourieranalyse der

Zeitreihe von Messwerten, die von der Kamera des

Überwachungssystems gemäß dem zweiten

Ausführungsbeispiel aufgenommen wurden; und Fig.9 zeigt eine Bestimmung einer Oberflächenpunkts einer rekonstruierten Oberfläche aus einer Menge von mehreren Oberflächenpunkten.

Fig.l zeigt ein Überwachungssystem Sl gemäß einem ersten Ausführungsbeispiel. Das Überwachungssystem Sl weist drei voneinander beabstandete Leuchten a, b bzw. c auf. Die Leuchten a bis c sind voneinander beabstandet, so dass von ihnen abgestrahltes Licht unter unterschiedlichen Einfallswinkeln auf ein Objekt 0 fällt. Das Überwachungssystem Sl weist ferner eine Digitalkamera K auf, deren Sichtfeld in einen durch die Leuchten a bis c beleuchtbaren Raumbereich gerichtet ist. Die Kamera K ist in der Lage, zeitliche Sequenzen von

Einzelbildern EB (siehe Fig.2) mit einer bestimmten Abtastrate f_s aufzunehmen. In den Einzelbildern EB ist das Objekt O vorhanden bzw. abgebildet. Jedem Bildpunkt BP(x,y) eines Einzelbilds EB ist ein entsprechender Oberflächenbereich oder Oberflächenpunkt OP(x,y) zugeordnet.

Das Überwachungssystem Sl weist außerdem eine

Auswerteeinrichtung A auf, mittels der die fotografische Sequenz auswertbar ist, um eine für die Kamera K sichtbare

Objektoberfläche OSl, OS2 des Objekts 0 mittels fotometrischer Stereoanalyse zu rekonstruieren. Die Auswerteeinrichtung A kann auch dazu eingerichtet sein, auf der Grundlage der

rekonstruierten Objektoberflächen OSl, OS2 eine Objekterkennung und/oder Aktivitätserkennung durchzuführen.

Das Überwachungssystem Sl ist insbesondere dazu eingerichtet, das von den Leuchten a bis c abgestrahlte Licht La, Lb bzw. Lc mit unterschiedlichen Modulationsfrequenzen fa, fb bzw. fc zu modulieren (beispielsweise über geeignete Treiber) . Die

Modulationsfrequenzen fa, fb und fc sind insbesondere

teilerfremd, so dass ein Auftreten einer Intermodulation besonders effektiv verhindert werden kann. Die Leuchten a, b, und c können j eweils mindestens eine Leuchtdiode (o. Abb.) aufweisen, insbesondere mindestens eine weißes Licht La bis Lc abstrahlende Leuchtdiode. Die Leuchten a, b und c können einen gleichen Aufbau aufweisen . Fig.2 zeigt eine Folge oder Sequenz von n Einzelbildern EB_r, EB_r+l, EB_r+2, EB_r+n, die von der Kamera K des

Überwachungssystems S aufgenommen wurden. Jedes der Einzelbilder EB weist mehrere Bildpunkte BP(x,y) auf, z.B. mit x und/oder y aus einer Menge {1024 x 640}.

Aufgrund der Modulation der Leuchten a bis c unterscheiden sich die Beleuchtungssituationen der Bildpunkte BP(x,y) zur Zeit der Aufnahmen der Einzelbilder EB r bis EB r+n. Fig.3 zeigt eine Zeitreihe von Messwerten eines bestimmten Bildpunkts BP(x,y) aus der Sequenz der Einzelbilder EB_r bis EB_r+n. Die Größe bzw. der Wert des Bildpunkts BP(x,y) zu einem jeweiligen Zeitpunkts ist ein ( "Pixel- ") Messwert PMw(x,y) und kann z.B. einem Helligkeitswert entsprechen.

Fig.4 zeigt Fourier-Komponenten FT_a, FT_b, FT_c als ein Ergebnis einer Standard-Fourieranalyse der Zeitreihe von Messwerten PMw ( tr) , ... , PMw ( tr+n) zu Zeitpunkten tr, tr+n aus Fig.3.

Die Standard-Fourieranalyse kann beispielsweise eine schnelle Fouriertransformation (FFT) sein.

Die Magnituden oder Werte der Fourier-Komponenten FT_a, FT_b und FT_c entsprechen repräsentativen Intensitätsmesswerten Iw, die nur die Anteile der Lichtanteile La, Lb bzw. Lc der Leuchten a, b bzw. c umfassen.

Fig.5 zeigt aus der Fourieranalyse gewonnene drei Teilbilder TBa, TBb und TBc. Die Teilbilder TBa, TBb und Tc umfassen bzw.

beinhalten jeweils die Intensitätsmesswerte Iw der zugehörigen Fourier-Komponenten FTa, FTb und FTc an den jeweiligen

Bildpunkten BP(x,y). Die drei Teilbilder TBa, TBb und TBc entsprechen Einzelbildern, die nur bei Beleuchtung durch jeweils eine der Leuchten a, b bzw. c aufgenommen worden wären. Wie durch den Pfeil angedeutet, können diese drei Teilbilder TBa, TBb und TBc als Eingangsbilder für eine fotometrische Stereoanalyse verwendet werden, um die Objektoberflächen OS1, OS2 zu rekonstruieren.

Fig.6 zeigt ein Überwachungssystem S2 gemäß einem zweiten Ausführungsbeispiel. Das Überwachungssystem S2 ist ähnlich zu dem Überwachungssystem Sl aufgebaut, weist aber nun eine weitere Leuchte d auf, die moduliertes Licht Ld einer Modulationsfrequenz fd abstrahlt. Fig.7 zeigt analog zu Fig.4 ein Ergebnis einer

Standard-Fourieranalyse der Zeitreihe von Messwerten eines Bildpunkts BP(x,y) einer Sequenz von Einzelbildern EB_r, Eb_r+n, die von der Kamera K des Überwachungssystems S2 aufgenommen wurden. Es ergeben sich nun vier Fourier-Komponenten FT_a bis FT_d, die den Modulationsfrequenzen fa bis fd entsprechen .

Aus den vier Fourier-Komponenten FT_a bis FT_d aller Bildpunkte lassen sich entsprechende vier Teilbilder TBa bis TBd (siehe Fig.8) erzeugen.

Fig.8 zeigt die aus vier nutzbaren unterschiedlichen

Triplet-Gruppen von Leuchten-Kombinationen mittels

Fourier-Transformationen erzeugten entsprechenden Teilbilder TBa bis TBd. Dies sind die Teilbilder TBa, TBb und Tc der Leuchten-Kombination {a, b, c}, die Teilbilder TBa, TBb und TBd der Leuchten-Kombination {a, b, d}, die Teilbilder TBa, TBc und TBd der Leuchten-Kombination {a, c, d} und die Teilbilder TBb, TBc und TBd der Leuchten-Kombination {b, c, d} . Aus den jeweiligen Triplets der Teilbilder.

Da aber für eine fotometrische Stereoanalyse nur drei Teilbilder benötigt werden, lässt sich aus den Triplets der Teilbilder TBa bis TBd jeweils eine unabhängige fotometrische

Oberflächenrekonstruktion der Objektoberflächen OS1, OS2 des Objekts O durchführen.

Die vier unabhängigen Oberflächenrekonstruktionen lassen sich durch Überlagerung zu einem konsistenten Endergebnis für die Oberflächenrekonstruktion heranziehen. Dabei wird berücksichtigt, dass es in der Praxis zu Abweichungen der durch die verschiedenen Triplets rekonstruierten Oberflächen OSl, OS2 kommen kann, z.B. aufgrund von Abschattungen oder Glanzeffekten (spekulares Albedo) .

Fig.9 zeigt eine Bestimmung eines finalen Bildpunktwerts PMw_final für einen bestimmten Oberflächenpunkt OP(x,y) aus einer Menge von mehreren (hier: vier) Bildpunktwerten PMw_l bis PMw_4 für diesen gleichen Oberflächenpunkt OP(x,y) . Die vier Bildpunktwerte PMw_l bis PMw_4 entsprechen somit jeweils dem nominell gleichen Oberflächenpunkt OP(x,y), der sich aus den mittels der vier verschiedenen Leuchten-Kombinationen

rekonstruierten Oberflächen ergibt.

Liegt ein Bildpunktwert PMw_l außerhalb einer vorgegebenen Bandbreite B, die hier durch den Kreis angedeutet ist, zu den anderen Bildpunktwerten PMw_2 bis PMw_4, kann er als Ausreißer angesehen werden und aus einer Betrachtung zur Bestimmung des finalen Bildpunktwerts PMw_final ausgeschlossen werden, wie in dem linken Teil von Fig.9 dargestellt.

Das Ausschlussverfahren kann grundsätzlich auch auf mehr als einen der Oberflächenpunkte OP(x,y) angewandt werden.

Sind alle Bildpunktwerte bis auf einen Bildpunktwert

ausgeschlossen worden, wird der übriggebliebene Bildpunktwert als der finale Bildpunktwert PMw_final gesetzt. Sind mehrere Bildpunktwerte PMw_2 bis PMw_4 übrig geblieben, können diese z.B. gemittelt werden, um einen gemittelten Bildpunktwert PMw_avg zu berechnen, der als der finale Oberflächenpunkt PMw_final verwendet wird. Dies ist im rechten Teil von Fig. 9 gezeigt.

Die obigen Konsistenzkonzepte können auf alle Oberflächenpunkte OP(x,y) bzw. rekonstruierten Oberflächen OS1, OS2 angewandt werden .

Obwohl die Erfindung im Detail durch die gezeigten

Ausführungsbeispiele näher illustriert und beschrieben wurde, so ist die Erfindung nicht darauf eingeschränkt und andere

Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.

So kann die Bildrate des Kamera K auch so gering sein, dass eine Unterabtastung vorliegt.

Allgemein kann unter "ein", "eine" usw. eine Einzahl oder eine Mehrzahl verstanden werden, insbesondere im Sinne von

"mindestens ein" oder "ein oder mehrere" usw., solange dies nicht explizit ausgeschlossen ist, z.B. durch den Ausdruck "genau ein" usw .

Auch kann eine Zahlenangabe genau die angegebene Zahl als auch einen üblichen Toleranzbereich umfassen, solange dies nicht explizit ausgeschlossen ist.

BEZUGSZEICHENLISTE

Auswerteeinrichtung A

Leuchte a

Bandbreite B

Bildpunkt an der Position (x,y) BP(x,y)

Leuchte b

Leuchte c

Leuchte d

Einzelbilder r, r+n EB_r bis EB_r+n

Fourier-Komponente FT_a bis FT_d Modulationsfrequenzen der Leuchten a bis d fa bis Fd

Intensitätsmesswert Iw

Digitalkamera K

Moduliertes Licht der Leuchten a bis d La bis Ld

Objekt O

Oberflächenpunkt des Bildpunkts BP(x,y) OP(x,y)

Messwert des Bildpunkts BP(x,y) PMw(x,y)

Gemitteiter Bildpunktwert PMw_avg

Finaler Bildpunktwert PMw_final

Bildpunktwerte verschiedener Triplets PWm_l bis PWm_4

Objektoberfläche OS1

Objektoberfläche OS2

Abtastrate f_s

Überwachungssystem Sl bis S2

Teilbild TBa bis TBd