Die Erfindung behandelt ein Verfahren, bei dem mehrere Rohdaten-Messungen mit unterschiedlichen Belichtungszeiten miteinander kombiniert werden, um somit den Dynamikbereich des Bildsensors synthetisch zu erweitern und auf diese Weise Sättigungseffekte weitestgehend zu verhindern.

Mit Lichtlaufzeitkamera bzw. Lichtlaufzeitkamerasystem sollen hier insbesondere Systeme umfasst sein, die Entfernungen aus einer Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als Lichtlaufzeit- bzw. ToF- Kameras sind insbesondere PMD-Kameras mit Photomischdetektoren (PMD) geeignet, wie sie u.a. in der DE 197 04 496 A1 beschrieben sind.

Aus der DE 197 04 496 A1 ist ferner die Bestimmung einer Entfernung bzw. einer entsprechenden Phasenverschiebung des von einem Objekt reflektierten Lichts bekannt. Insbesondere wird offenbart, die Sendermodulation gezielt um 90°, 180° oder 270° zu verschieben, um aus diesen vier Phasenmessungen bzw. vier Phasenbildern über eine arctan-Funktion eine Phasenverschiebung und somit eine Entfernung zu bestimmen.

Aufgabe der Erfindung ist es, den Dynamikumfang eines Lichtlaufzeitkamera zu verbessern.

Vorteilhaft ist ein Verfahren zur Dynamikerweiterung von Roh-Phasenbildern (M) eines Lichtlaufzeitkamerasystems vorgesehen, bei dem das Lichtlaufzeitkamerasystem Entfernungen (d) aus einer Phasenverschiebung (Arp) einer emittierten und empfangenen Strahlung ermittelt wird, wobei für die Entfernungsermittlung mehrere Roh-Phasenbilder (M) zu unterschiedlichen Phasenlagen (cp _V ar) zwischen Beleuchtung und Empfänger erfasst und mit unterschiedlichen Belichtungszeiten (t _expi , t _exP 2) aufgenommen werden, mit den Schritten: a) Identifizierung nicht valider, d.h. gesättigter Pixel und valider, d.h. nicht gesättigter Pixel in den Roh-Phasenbildern (M), b) Berechnung von normierten Roh-Phasenbildern (M), indem ein fixer Pixel-Offset (Fixed Pattern Noise (FPN)) von jedem Roh-Phasenbild (M) abgezogen und das um den fixen Pixel-Offset (FPN) reduzierte Bild mit der jeweiligen Belichtungszeit (t _exp i, t _exP 2) normiert wird, gemäß c) Berechnung gewichteter und normierter Roh-Phasenbilder (M‘), indem die normierten Roh-Phasenbilder (M) mit einer jeweiligen Gewichtungsmatrix (G) multipliziert werden, gemäß d) Berechnung eines gewichteten und normierten HDR-Bilds für eine jeweilige Phasenlage indem die gewichteten normierten Roh-Phasenbilder M' der jeweiligen Phasenlage addiert und auf die Summe der Gewichtungsmatrizen normiert werden, gemäß wobei der Operator " ° " eine elementweise Multiplikation repräsentieren soll, wie z.B. der sog. Hadamard-Operator e) Berechnung eines HDR-Roh-Phasenbildes (MHDR), indem das gewichtete und normierte HDR-Roh-Phasenbild (M _HDR ) mit eine der Belichtungszeiten (t _expi , t _exP 2) multipliziert und das fixe Pixel-Offset addiert wird, gemäß f) Bereitstellung des HDR-Roh-Phasenbildes (MHDR) für eine nachfolgende Prozessierung.

Dieses Vorgehen hat den Vorteil, dass das HDR-Roh-Phasenbild (MHDR) für eine weitere Prozessierung zur Verfügung steht, die sich nicht von der herkömmlichen Prozessierung unterscheidet. Somit kann die HDR-Verrechnung als vollkommen unabhängiger Vorverarbeitungsschritt betrachtet und durchgeführt werden.

Weiterhin ist es von Vorteil, wenn im Schritt e) das gewichtete und normierte HDR- Roh-Phasenbild (M _HDR ) mit der längsten Belichtungszeit (t _expi , t _exP 2) multipliziert wird.

Bevorzugt ist es vorgesehen, wenn die Werte der Gewichtungsmatrix (G) im Schritt c) für jeden ungesättigten Pixel der jeweils zugrundeliegenden Belichtungszeit (t _{exp l} , entsprechen und für gesättigte Pixel diese Pixel in der Gewichtungsmatrix G den Wert NULL erhalten.

Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.

Es zeigen schematisch:

Figur 1 ein Lichtlaufzeitkamerasystem, Figur 2 ein HDR-Gewichtungsschema.

Figur 1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einer Lichtlaufzeitkamera, wie sie beispielsweise aus der DE 197 04 496 A1 bekannt ist.

Das Lichtlaufzeitkamerasystem 1 umfasst eine Sendeeinheit bzw. ein Beleuchtungsmodul 10 mit einer Beleuchtung 12 und einer dazugehörigen Strahlformungsoptik 15 sowie eine Empfangseinheit bzw. Lichtlaufzeitkamera 20 mit einer Empfangsoptik 25 und einem Lichtlaufzeitsensor 22.

Der Lichtlaufzeitsensor 22 weist mindestens ein Laufzeitpixel, vorzugsweise auch ein Pixel-Array auf und ist insbesondere als PMD-Sensor ausgebildet. Die Empfangsoptik 25 besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 15 der Sendeeinheit 10 kann beispielsweise als Reflektor oder Linsenoptik ausgebildet sein. In einer sehr einfachen Ausgestaltung kann ggf. auch auf optische Elemente sowohl empfangs- als auch sendeseitig verzichtet werden.

Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasenverschiebung des emittierten und empfangenen Lichts die Laufzeit und somit die zurückgelegte Wegstrecke des empfangenen Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle 12 und der Lichtlaufzeitsensor 22 über einen Modulator 30 gemeinsam mit einem bestimmten Modulationssignal M _o mit einer Basisphasenlage cpo beaufschlagt. Im dargestellten Beispiel ist ferner zwischen dem Modulator 30 und der Lichtquelle 12 ein Phasenschieber 35 vorgesehen, mit dem die Basisphase cpo des Modulationssignals Mo der Lichtquelle 12 um definierte Phasenlagen <p _V ar verschoben werden kann. Für typische Phasenmessungen werden vorzugsweise Phasenlagen von (p _var = 0°, 90°, 180°, 270° verwendet. Entsprechend des eingestellten Modulationssignals sendet die Lichtquelle 12 ein intensitätsmoduliertes Signal S _pi mit der ersten Phasenlage p1 bzw. p1 = cpo + cpvar aus. Dieses Signal S _pi bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 40 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben Acp(ti_) mit einer zweiten Phasenlage p2 = cpo + cpvar + Acp(ti-) als Empfangssignal S _P 2 auf den Lichtlaufzeitsensor 22. Im Lichtlaufzeitsensor 22 wird das Modulationssignal M _o mit dem empfangenen Signal S _P 2 gemischt, wobei aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung d ermittelt wird.

Ferner weist das System ein Modulationssteuergerät 27 auf, das in Abhängigkeit der vorliegenden Messaufgabe die Phasenlage <p _V ar das Modulationssignal Mo verändert und/oder über einen Frequenzoszillator 38 die Modulationsfrequenz einstellt.

Als Beleuchtungsquelle bzw. Lichtquelle 12 eignen sich vorzugsweise Infrarot- Leuchtdioden. Selbstverständlich sind auch andere Strahlungsquellen in anderen Frequenzbereichen denkbar, insbesondere kommen auch Lichtquellen im sichtbaren Frequenzbereich in Betracht.

High Dynamic Range-Aufnahmen sind im 2D-Bereich bereits weit etabliert. Im Falle von 3D-ToF-Messungen ist ein solcher Modus jedoch umso wichtiger, da es sich hierbei um ein aktives Messverfahren handelt, wodurch große Intensitätsunterschiede auftreten können. So kommt es im Nahbereich häufig zu Sättigungseffekten, während im Fernbereich infolge geringer Signalstärke des reflektierten Lichts bevorzugt ein hohes Distanzrauschen auftritt.

Bei dem hier beschriebenen Verfahren werden mehrere Rohdaten-Messungen, die mit mindestens zwei unterschiedlichen Belichtungszeiten aufgenommen wurden, entsprechend ihrer Belichtungszeit gewichtet miteinander kombiniert, so dass der gesamte Informationsgehalt aller Pixel abgesehen von gesättigten Pixeln ausgenutzt wird.

Ein weiterer Kernpunkt der Erfindung liegt darin, dass die HDR-Berechnung als vollkommen eigenständiger Vorverarbeitungsschritt durchgeführt werden kann und die nachfolgende Prozessierung der Messdaten unverändert und vollkommen unabhängig von dieser HDR-Berechnung erfolgen kann. Für die Ermittlung von Entfernung nach dem Phasenmessprinzip werden zunächst Phasenunterschiede / -Verschiebungen Acp = m zwischen dem emittierten und empfangenen Modulationssignal zu unterschiedlichen Phasenlagen (p _var zwischen Sender und Empfänger erfasst. Diese Phasenverschiebungen rriij werden für jedes Pixel ij eines Lichtlaufzeitsensors erfasst und bilden ein Roh-Phasenbild M. Zur Berechnung der tatsächlichen Phasenverschiebung Acp(ti_) werden wenigstens zwei, bevorzugt drei oder vier ggf. auch mehrere Roh-Phasenbilder M zu unterschiedlichen Phasenlagen (p _var erfasst.

Ausgehend von den Roh-Phasenbildern M können dann unter Berücksichtigung der bekannten Modulationsfrequenz und arctan-Beziehung Distanzen d bzw. Tiefenbilder D berechnet werden.

Erfindungsgemäß ist es nun vorgesehen, die Roh-Phasenbilder M mit mindestens zwei unterschiedlichen Belichtungszeiten t _{exp l} und t _{exp 2} aufzunehmen. Bei beispielsweise vier unterschiedlichen Phasenlagen (p _var und zwei Belichtungszeiten liegen dann acht Roh-Phasenbilder M vor.

Zur weiteren Bearbeitung werden in allen Roh-Phasenbildern M die gesättigten Pixel zum Beispiel anhand von Sättigungs-Schwellwerten identifiziert.

Um die Messungen beider Belichtungszeiten miteinander kombinieren zu können, müssen diese anschließend, nach Abzug des sog. Fixed Pattem Noise (FPN) auf die jeweiligen Belichtungszeiten normiert werden:

Für jedes dieser normierten Roh-Phasenbilder M wird nun zusätzlich eine Gewichtungsmatrix G entsprechender Größe erstellt. Die Werte dieser Gewichtungsmatrix G entsprechen für jeden ungesättigten Pixel der jeweils zugrundeliegenden Belichtungszeit t _{exp l} bzw. t _{exp 2} .

Für gesättigte Pixel erhält der jeweilige Eintrag in der Gewichtungsmatrix G dagegen stets den Wert NULL. Dabei können die gesättigten Pixel jedes einzelnen Roh- Phasenbildes M individuell betrachtet und somit als NULL-Gewichte in der korrespondierenden Gewichtungsmatrix G gespeichert werden. Alternativ kann jedoch auch eine Oder-Verknüpfung der gesättigten Pixel über alle vier Roh- Phasenbilder einer Belichtungszeit erfolgen, so dass die Gewichtungsmatrizen G aller vier Roh-Phasenbilder M einer Belichtungszeit jeweils identisch sind.

Es sei im folgenden Beispiel der Einfachheit halber angenommen, dass eine Szene mit einem Sensor mit einer Auflösung von 2 x 2 Pixeln mit zwei unterschiedlichen Belichtungszeiten t _expl und t _exp2 aufgenommen worden ist, wobei gelten soll: t _expl = 2t _exp2 . Grundsätzlich können die Belichtungszeiten selbstverständlich auch in jedem anderen Verhältnis zueinander stehen.

Ferner wird in diesem Beispiel angenommen, dass die oberen beiden Pixel für die längere der beiden Belichtungszeiten als gesättigt klassifiziert wurden. Für jede Belichtungszeit wird jeweils eine Gewichtungsmatrix G erstellt. Mit dieser werden dann alle Pixel multipliziert, wobei die gesättigten Pixel durch ein Gewicht von NULL unberücksichtigt bleiben und nur die nicht gesättigten Pixel einen Messwert beitragen.

Dem vorliegenden Beispiel sollen die folgenden normierten Roh-Phasenbilder zugrunde liegen:

Die gesättigten Pixel sind nun bereits identifiziert und in der entsprechenden Gewichtungsmatrix mit dem Gewicht NULL klassifiziert worden. Durch Multiplikation der normierten Roh-Phasenbilder mit den Gewichtungsmatrizen und berechnen sich dann die Matrizen M' als Zwischenergebnisse wie folgt:

Für die zweite Belichtungszeit erfolgt die Berechnung analog:

Diese Berechnung der Gewichtungsmatrizen sowie die anschließende Multiplikation wird nun in gleicher Weise jeweils individuell für jedes Roh-Phasenbild durchgeführt. Die entsprechend der korrespondierenden Gewichtungsmatrizen G gewichteten normierten Roh-Phasenbilder M' werden anschließend addiert und wiederum auf die Summe der Gewichtungsmatrizen normiert. Der Operator ' ° ' stellt hier ein Operator der elementweisen Multiplikation dar, der beispielsweise als Hadamard-Operator bekannt ist.

Mit der Annahme t _expl = 2t _exp2 lässt sich dies vereinfachen zu:

Durch die Multiplikation mit der längsten Belichtungszeit bleibt die ursprüngliche Auflösung erhalten. Würde die Multiplikation dagegen mit der kürzeren Belichtungszeit erfolgen, hätte dies eine Verringerung der Auflösung zur Folge, wäre aber bei Bedarf grundsätzlich auch möglich. Insbesondere könnte bei mehr als zwei Belichtungszeiten eine für die weitere Prozessierung besonders günstige Belichtungszeit gewählt werden. Zu bevorzugen wäre aber in der Regel die längste Belichtungszeit.

Die gesamte Pixelinformation aus allen aufgenommenen Roh-Phasenbildern M wird somit in optimaler Weise ausgenutzt. Abschließend werden die kombinierten HDR- Roh-Phasenbilder mit der längsten Belichtungszeit t _expl multipliziert und das FPN addiert, um diese in die Ausgangsform zu überführen. Folglich kann dann die herkömmliche Prozessierung in unveränderter weise auf die kombinierten, synthetisch erzeugten Roh-Phasenbilder M _HDR angewandt werden. Durch die HDR-Verrechnung wird der ursprüngliche Wertebereich erweitert, so dass nach der Kombination ebenfalls negative Pixelwerte auftreten können.

Figur 2 zeigt schematisch ein HDR-Gewichtungsschema für jeweils vier aufgenommene Roh-Phasenbilder mit zwei exemplarischen Belichtungszeiten t _e%pi = 1500 is und t _exp2 = 500 [is

Das Vorgehen dient grundsätzlich dazu einen Datensatz bestehend aus synthetischen Roh-Phasenbildern zu erzeugen, welche die gleiche Struktur aufweisen wie die Original-Roh-Phasenbilder und mit denen folglich in identischer Weise gerechnet werden kann, wie mit den Original-Roh-Phasenbildern.

Dadurch macht es für die Datenprozessierung keinen Unterschied, ob es sich um reale Roh-Phasenbilder oder die synthetisch erzeugten HDR-Roh-Phasenbilder handelt und die Verrechnung kann als vollkommen autonomer und unabhängiger Vorverarbeitungsschritt aufgefasst und ausgeführt werden.