Kerngedanke der vorliegenden Erfindung ist, die Entfernung von Inferenzstreifen aus Daten, die von einer Kamera hinter einer halbtransparenten Schicht (z. B. einem Display oder Deckglas) erfasst wurden. Diese Streifen entstehen durch Mehrfachreflexionen von Licht innerhalb einer oder mehrerer Schichten des Displays. Konstruktive Interferenz erzeugt hierbei typischerweise ringförmige Streifenmuster, die Daten und damit Algorithmen, die diese Datenpunkte verwenden, negativ beeinflussen.

Durch Anwenden einer pixelweisen Korrektur können die Streifen entfernt werden, indem die erhaltenen Daten mit einer pixelweisen Korrekturmatrix verrechnet werden, die entweder direkt gespeichert oder unter Verwendung eines parametrisierten Modells aus Parametern rekonstruiert wird.

Da die beschriebenen Interferenzringe die Daten (wie z.B. die Intensität) durch konstruktive oder destruktive Interferenz um einen bestimmten Faktor verändern, ist es erforderlich, diesen Faktor in Abhängigkeit von der Position auf der Pixelmatrix zu beschreiben. Wenn das System sowohl einen aktiven Beleuchtungsteil (TX) als auch einen Empfangsteil (RX) hat, können je nach Basislinie des RX/TX-Teils zwei Interferenzstrukturen auftreten. Die Position des Interferenzmusters kann von der Entfernung zu dem beobachteten Objekt abhängen. Eine bessere Korrektur kann daher erfolgen, wenn die Entfernung des Objekts bekannt ist und eine entfernungsabhängige Verschiebung des Streifenmusters angewendet wird.

Das allgemeine Verfahren besteht aus zwei Schritten, wobei der erste Schritt ein Kalibrierungsschritt ist und nur einmal durchgeführt werden muss. Der zweite Schritt, die Korrektur selbst, muss für jedes Bild durchgeführt werden.

Die Kalibrierung kann aus den folgenden Schritten bestehen, ist aber nicht darauf beschränkt:

Aufnahme mindestens eines Referenzbildes, z.B. eine ebene weiße Wand in festem Abstand (z.B. 1 m, idealerweise für unterschiedliche Temperaturen)

Bestimmung des/der Mittelpunkte(s) der einzelnen oder mehrfachen ringförmigen Interferenzmuster. Der letztgenannte Schritt könnte manuell durchgeführt werden, da es sich um einen Kalibrierungsschritt handelt. Der Mittelpunkt kann mit der Linsenmitte korrelieren, muss es aber nicht. Auch weitere (halb)automatische Ansätze zur Erkennung von Kreisen und ihrer Mittenposition, wie zum Beispiel die Hough-Transformation, könnten genutzt werden. Die Mittenposition und die Radien der Ringe können je nach Materialeigenschaften von der Systemtemperatur abhängig sein. Eine entsprechende Korrektur der Positionswerte kann daher erforderlich sein.

Die Referenzbilder können ggf. als Bild oder parametrisiert in der Kamera abgelegt sein.

Als nächster Schritt muss der pixelweise Korrekturfaktor bestimmt werden. Bei homogener Ausleuchtung der Wand können diese Faktoren als gemessener Helligkeitswert relativ zum mittleren Helligkeitswert des Bildes angenommen werden. Wenn die Wand nicht homogen ist, kann das Helligkeitsverhältnis mit und ohne Display verwendet werden. Wenn die Inhomogenität langwellig ist, könnte dies auch erfolgen, indem das Hochpassbild einer Referenzszene durch deren Tiefpassbild geteilt wird. Das Tiefpassbild könnte unter Verwendung eines Gaußschen Filters bestimmt werden. Möglicherweise muss auch die Temperaturabhängigkeit eines solchen Faktorarrays bestimmt werden.

Zur Reduktion des Speicherplatzbedarfs der Kalibrierparameter könnte ein parametrisiertes Modell ermittelt werden. Ein Beispiel für ein solches Modell könnte ein Chirp-Signal oder eine LUT mit gespeicherten Radien und Amplituden sein, ist aber nicht darauf beschränkt. Die Parameter könnten bestimmt werden, indem sie auf der Grundlage der theoretischen Beschreibung des Interferenzmusters berechnet werden oder indem Kurvenfitalgorithmen verwendet werden. Der Ansatz kann optional Linseneffekte direkt berücksichtigen, was aufgrund von Linsenunschärfeeffekten zu abnehmenden Faktoren bei größeren Radien führt.

Die Korrektur selbst würde auf einer pixelweisen Korrekturmatrix basieren, deren Werte mit den aufgezeichneten Daten multipliziert werden, um verbesserte Daten mit abgeschwächten Streifenmustern zu erhalten. Diese Korrekturmatrix könnte idealerweise einmal während der Initialisierungsphase der Kamera berechnet werden, falls keine Temperaturabhängigkeit berücksichtigt wird. Andernfalls müsste die Matrix in bestimmten Abständen aktualisiert werden. Jeder Frame müsste dann mit der Matrix multipliziert werden, um die Interferenzstrukturen zu entfernen.

Figur 1 zeigt exemplarisch ein erfindungsgemäßes Kamerasystem, mit einem Sensor der hinter einem Display angeordnet sind. Das Display dient beispielsweise für die Darstellung von Informationen oder Bildern und ist vorzugsweise als halbtransparente Schicht ausgebildet. Wie eingangs erwähnt können in dieser Anordnung Interfenzen durch das Eintreffende Licht im Display auftreten, die sich dann als Amplitudenschwankungen auf dem Sensor bemerkbar machen und erfindungsgemäß kompensiert werden.

Figur 2 zeigt eine weitere Anordnung, bei der zusätzlich eine Beleuchtung hinter dem Display angeordnet ist. Das das Display durchdringende Licht kann ggf. auch durch Interferenzen beeinträchtigt sein, so dass das ausgesendete Licht in der Szenerie ein interferenzbeeinflusstes Amplitudenprofil aufweist. Erfindungsgemäß ist es vorgesehen, auch diesen Interferenzeinfluss zu kompensieren.

Alternativ oder ergänzend zu den aufgenommen Referenzbildern kann es auch vorgesehen sein, eine Interferenzunterdrückung anhand der während des Betriebs der Kamera aufgenommenen Bilder durchzuführen. So kann beispielsweise aus einer Vielzahl von aufgenommenen Bildern eine in den Bildern vorhandener interferenzbeeinflusster Amplitudenverlauf ermittelt und kompensiert werden.