Verfahren zur Ermittlung der Farbanteile von Licht

Die Erfindung betrifft ein Verfahren zur Ermittlung der Farbanteile des Lichts wenigstens einer Lichtquelle mittels wenigstens eines Bildsensors, wobei mit dem wenigstens einen Bildsensor ein in Bildeinheiten (Pixel) unterteiltes Bild eines mit der wenigstens einen Lichtquelle beleuchteten Motivs aufnehmbar ist, wobei zu jeder Bildeinheit für mehrere Farbkanäle eine numerische Bildinformation gespeichert wird.

Die Erfindung betrifft weiterhin eine Foto- oder Filmkamera oder ein Zusatzmodul für eine solche Kamera, insbesondere mit wenigstens einem Objektiv und wenigstens einem Bildsensor zur Aufnahme eines Einzelbildes oder einer Reihe von Bildern. Die Erfindung betrifft auch eine Einheit für eine Foto- oder Filmkamera zur Bereitstellung von Farbinformationen über das beleuchtende Licht.

Beim Aufnehmen von Fotos oder beim Filmen ist die Problematik bekannt, dass die Wiedergabe eines aufgenommenen Motivs hinsichtlich der Farbe maßgeblich davon abhängt, dass die Farbanteile des verwendeten Lichtes bzw. die Farbtemperatur des Lichtes abgestimmt ist auf das verwendete Filmmaterial bzw. die spektrale Empfindlichkeit eines Bildsensors im Bereich der digitalen Fotografie bzw. Filmerstellung. Hierbei kann weiterhin das verwendete Licht nicht nur von einer Lichtquelle stammen, sondern ggfs. auch von mehreren, was zu Mischlichtsituationen führt.

In der klassischen Fotografie ist es dabei bekannt, dass ein Fotograf mittels eines Messgerätes die Farbtemperatur und somit die spektrale Farbverteilung, mithin

also die Farbanteile, des verwendeten Lichtes ausmisst, um sodann unter Berücksichtigung des verwendeten Filmmaterials durch Einsatz von verschiedenen Filtern eine optimale Weißdarstellung ohne Farbverfälschung bei Objekten im Motiv zu erreichen, die tatsächlich in der Realität eine weiße Farbe aufweisen. Weiterhin wird dabei erreicht, dass neutral graue Flächen in der bildlichen Wiedergabe ebenso neutral grau erscheinen.

Die Problematik wird in der digitalen Fotografie bzw. Filmerstellung dadurch gelöst, dass eingesetzte Kameras üblicherweise einen sogenannten Weißabgleich durchführen, der oftmals jedoch nicht in ausreichendem Maße zu zufrieden stellenden Foto- oder Filmergebnissen führt.

Hierbei ist es bekannt, dass bei digitalen Foto- oder Filmkameras voreingestellte Farbtemperaturwerte ausgewählt werden können, die sodann für eine Korrektur der tatsächlichen Bildaufnahmen eingesetzt werden. Ebenso ist es bekannt, einen automatischen Weißabgleich durchzuführen, bei dem mittels eines Bildverarbeitungsalgorithmus aus einem Bild anhand verschiedener Kriterien die voraussichtlich verwendete Farbtemperatur bzw. die Zusammensetzung des Lichtes einer oder mehrerer Lichtquellen im Wesentlichen lediglich abgeschätzt wird. Die so ermittelten Informationen hinsichtlich der Farbanteile des Lichtes werden sodann eingesetzt, um eine Korrektur der aufgenommenen Bilder durchzuführen.

Es wird dabei im Wesentlichen auf das Vorhandensein hinreichend neutraler Bildinhalte vertraut, was in der Konsequenz zu Schätzwerten für die Farbanteile des verwendeten Lichtes führt, die bei diesem bekannten Verfahren nicht nur von der Beleuchtung, sondern auch stark vom Bildinhalt abhängen.

Im Ergebnis werden so oftmals nur sehr einfache Korrekturwerte für jeden Farbkanal (beispielsweise RGB, rot - grün - blau) erhalten, über die die Farbkanäle eines aufgenommenen Bildes global über den gesamten Bildausschnitt ausbalanciert werden. Lokale variable Beleuchtungsverteilungen,

z.B. mit unterschiedlichen Lichtquellen (wie beispielsweise bei Mischlichtsituationen, insbesondere bei gelbem Sonnenlicht und blauem Himmelslicht) lassen sich so nur unzureichend abgleichen und können so nur als ein Kompromiss verstanden werden.

Die Aufgabe der Erfindung ist es, die Farbanteile des Lichtes wenigstens einer Lichtquelle hinreichend genau zu bestimmen, insbesondere unabhängig von dem Inhalt eines aufgenommenen Bildes und so verlässliche Korrekturwerte zu erhalten, die die Farbanteile des verwendeten Lichtes wenigstens einer Lichtquelle repräsentieren, insbesondere um so die Möglichkeit zu bieten, einen Weißabgleich nicht nur global, sondern z.B. auch lokal, beispielsweise Pixel für Pixel, durchzuführen, so dass auch Mischlichtsituationen erfolgreich korrigierbar sind.

Die Aufgabe wird gelöst durch ein Verfahren zur Ermittlung der Farbanteile des Lichtes wenigstens einer Lichtquelle mittels wenigstens eines Bildsensors, wobei mit dem wenigstens einen Bildsensor ein in Bildeinheiten, insbesondere in wenigstens eine Bildeinheit unterteiltes Bild einer mit der wenigstens einen Lichtquelle beleuchteten Motivs aufnehmbar ist, wobei zu jeder Bildeinheit für mehrere Farbkanäle eine numerische Bildinformation gespeichert wird und wobei erfindungsgemäß ein erstes Bild aufgenommen wird und wenigstens ein zweites Bild aufgenommen wird, welches nur oder zumindest im Wesentlichen nur die linear polarisierten Lichtanteile desselben Motivs umfasst, wobei durch Differenzbildung zwischen den numerischen Bildinformationen jedes Farbkanals von wenigstens einem Teil der Bildeinheiten eines ersten und wenigstens eines zweiten Bildes eine numerische Differenzinformation gebildet wird.

Weiterhin wir die Aufgabe gelöst durch eine Foto- oder Filmkamera oder ein Zusatzmodul für eine Foto- oder Filmkamera, insbesondere mit wenigstens einem Objektiv und wenigstens einem Bildsensor zur Aufnahme eines Einzelbildes oder einer Reihe von Bildern wobei wenigstens zwei Bildsensoren vorgesehen sind, wobei vor und/oder während einer Bildaufnahme ein erster Bildsensor mit unpolarisierten und ein zweiter Bildsensor mit linear polarisierten Licht oder beide

Bildsensoren mit unterschiedlich linear polarisiertem Licht beleuchtbar ist/sind, wobei aus den Bildinformationen beider Sensoren wenigstens eine Differenzinformation bildbar ist, mit der die Bildinformationen eines Bildsensors korrigierbar sind, insbesondere für einen Weißabgleich. Die Aufgabe wird auch gelöst durch eine Einheit für eine Foto- oder Filmkamera, bei der ein einziger Bildsensor vorgesehen ist, wobei vor und/oder während einer Bildaufnahme ein erstes Bild mit unpolarisierten und ein zweites Bild mit linear polarisierten Licht oder beide Bilder mit unterschiedlich linear polarisiertem Licht aufnehmbar sind, wobei aus den Bildinformationen beider Bilder wenigstens eine Differenzinformation bildbar ist, mit der die Bildinformationen eines Bildsensors der Kamera korrigierbar sind, insbesondere für einen Weißabgleich.

Die Erfindung geht zunächst davon aus, dass wenigstens ein Bildsensor eingesetzt wird, mittels dem in bekannter Weise ein in Bildeinheiten (d.h. Pixel zeilenweise und spaltenweise) unterteiltes Bild aufnehmbar ist. Es kann sich hierbei um denjenigen Bildsensor handeln, der ohnehin in einer Aufnahmevorrichtung, z.B. einer Kamera vorgesehen ist, um ein Bild aufzunehmen, oder um einen oder mehrere separate Bildsensoren, die nur zur Durchführung des Verfahrens eingesetzt werden. Ein oder mehrere separate Bildsensoren können zur Durchführung des Verfahren als eine dafür vorgesehen Einheit in eine Kamera integriert sein oder es handelt sich um eine externe Einheit oder externes Zusatzmodul, welche/s z.B. am Blitzschuh einer Kamera angesteckt werden kann.

Ein solcher Bildsensor kann eine Bildauflösung bieten, die der Auflösung entspricht, die für die Aufnahme von Fotos oder Filmen eingesetzt wird, z.B. viele Megapixel oder aber auch ein deutlich reduzierte Auflösung, ggf. auch nur einen Pixel. So kann ein mit einem solchen Bildsensor aufgenommenes Bild eine Auflösung von einem Pixel bis zu vielen Megapixeln haben kann.

Ein mit dem wenigstens einen Sensor aufgenommenes Bild weist somit eine oder mehrere Bildeinheiten auf, die auch als Pixel bezeichnet werden, wobei unter Zugrundelegung eines Farbraumsystems zu jeder Bildeinheit für mehrere Farbkanäle eine numerische Bildinformation gespeichert wird. Bei einem solchen bekannten Farbraumsystem kann es sich z.B. um den RGB-Farbraum handeln, bei dem als Grundfarben die Farben rot, grün und blau zugrunde gelegt werden. Jeder dieser Farben bildet einen Farbkanal im Sinne der Erfindung.

Um die Farbe einer Bildeinheit eines Bildes zu speichern, wird somit für jede Bildeinheit, bezogen auf das vorgenannte Beispiel des gewählten Farbraumes, eine Information über die anteilige Verteilung der Farben in dem jeweiligen Farbkanal, also z.B. rot, grün und blau gespeichert. Im RGB-Farbraum werden somit zu jeder Bildeinheit, bzw. Pixel wenigstens drei numerische Werte gespeichert.

Das Verfahren ermittelt demnach die Farbwerte (z.B. RGB) der Lichtfarbe, wie ein oder mehrere Sensoren aufgrund ihrer spezifischen spektralen Empfindlichkeiten sie empfangen.

Die vorliegende Beschreibung versteht einen Bildsensor im Sinne des Verfahrens als einen Bildaufnehmer, der mehrere Farbsignale (in der Regel 3-dimensional) empfängt. Ob dazu ein Bild durch ein Farbfiltermosaik nebeneinanderliegender Pixel oder übereinanderliegender Farbpixel (z.B. Foveon) mit nur 1 Aufnahme oder ob bei wechselnden Farbfiltern mehrfache Aufnahmen aufgezeichnet werden, ist für das Verfahren unwesentlich.

Wichtig für das Verfahren ist, dass die spektralen Empfindlichkeiten der am Verfahren beteiligten Sensoren möglichst gut übereinstimmen. Dieses gilt sowohl für die Sensoren, die an der Ermittlung der Lichtfarbe beteiligt sind (Meßsensoren) und ebenso für den Hauptsensor einer Kamera (Bildsensor), dessen Bild in einer bevorzugten Ausführung auf diese Lichtfarbe neutral abgeglichen werden soll.

Die Auflösung der Meßsensoren kann deutlich geringer gewählt werden als diejenige des Bildsensors, weil sich die Beleuchtung innerhalb einer Szene nur geringfügig und dann auch nicht abrupt ändert. Zudem ist ein gewisser Grad an lokaler Mittelung (was einer niederen Auflösung de facto entspricht) dem Verfahren nicht abträglich, weil in der elektronischen Auswertung zumindest für einen globalen Weißabgleich eine gewisse Mittelwertbildung der Beleuchtung vorgenommen wird.

Allerdings empfiehlt es sich, zumindest für den Fall einer Polarisationsauswertung mit einer Flüssigkristallanordnung eine hinreichende Ortsauflösung zur Verfügung zu stellen, um die Phasenverschiebung beispielsweise an den ortsabhängigen Neigungswinkel oder auch an die farbabhängige Wellenlänge im Fall eines Farbmosaiks anzupassen.

Je nach Motiv und Logik der elektronischen Auswertung kann es sinnvoll sein, unterschiedliche Belichtungsgrade der Szene aufzunehmen und auszuwerten. Dadurch lassen sich ansonsten über- und untersteuerte Bereiche, die nicht sinnvoll auszuwerten wären, dennoch nutzen.

In der Praxis werden die Bildinformationen erhalten, indem beispielsweise zur Bildaufnahme ein CMOS- oder CCD-Sensor verwendet wird, der entsprechende Filter für die jeweiligen Farben der Farbkanäle aufweist, so dass für jeden physikalisch repräsentierten Pixel dieses Bildsensors jede Farbe separat aufgenommen und abgespeichert werden kann. In einem gespeicherten Bild, welches beispielsweise in dieselbe Anzahl von Bildeinheiten unterteilt ist, wie sie auch der Bildsensor physikalisch aufweist, können somit unter Zugrundelegung des RGB-Farbraums für jede Bildeinheit drei numerische Bildinformationen gespeichert werden, wobei jede der drei Bildinformationen einem der drei Farbkanäle zugeordnet ist. Wird ein anderer Farbraum zugrund gelegt, so kann auch eine von 3 unterschiedliche Anzahl von Farbkanälen berücksichtigt werden.

Die Erfindung nutzt zur Lösung der Problematik die Tatsache, dass es an Körpern, die in einem aufgenommenen Motiv vorhanden sind, sowohl zu einer Reflektion des Lichtes an den Körper-Oberflächen kommt als auch zu einer Remission, d.h. einer Rückstrahlung des Lichtes aus dem Körperinneren.

Hierbei ist zu berücksichtigen, dass remittierte Strahlungsanteile aus dem Körperinneren vollständig unpolarisiert sind und aufgrund einer wellenlängenabhängigen Absorption die individuelle Körperfarbe bestimmen.

Im Gegensatz dazu reflektieren Grenzflächen die spektralen Lichtanteile einer oder mehrerer Lichtquellen nahezu wellenlängenunabhängig. Das reflektierte Licht ist dabei zumindest teilweise bis vollständig linear polarisiert, je nachdem, unter welchem Winkel die Reflektion von der Oberfläche eines Körpers beobachtet wird. Der höchste Polarisationsgrad liegt dann vor, wenn die Reflektion im Brewsterwinkel stattfindet.

Der Kerngedanke der Erfindung basiert darauf, das zumindest teilweise linear polarisierte Licht eines aufgenommenen Motivs auszuwerten, da dieses Licht, wie eingangs erwähnt ist, wellenlängenunabhängig ist und somit die Farbanteile der wenigstens einen verwendeten Lichtquelle repräsentiert. Eine Verfälschung durch die Farbe aufgenommener Körper kann somit ausgeschlossen werden.

Um somit eine Ausblendung der remittierten Lichtanteile aus einem Motiv zu erhalten, kann es gemäß einem möglichen Aspekt der Erfindung vorgesehen sein, dass zunächst wie vorgenannt ein erstes Bild aufgenommen wird, welches alle Polarisationsanteile bzw. Polarisationsrichtungen des Lichtes umfasst und somit sowohl die remittierten Lichtanteile eines oder mehrerer Körper in einem Motiv sowie auch die von dem einen oder mehreren Körper reflektierten Lichtanteile.

In dem wenigstens einen zweiten Bild hingegen werden nur die linear polarisierten Lichtanteile desselben Motivs erfasst, wonach anschließend von den somit in den beiden Bildern vorliegenden numerischen Bildinformationen eines jeden

Farbkanals von wenigstens einem Teil, gegebenenfalls von allen Bildeinheiten eines Bildes, die Differenz gebildet wird, so dass in der sodann enthaltenen Differenzinformation zu jedem der Farbkanäle einer jeden für das Verfahren benutzten Bildeinheit der Remissionsanteil im Wesentlich oder vollständig eliminiert ist und im Wesentlichen nur der Reflektionsanteil an Oberflächen übrig bleibt, der wie vorgenannt wellenlängenunabhängig ist und somit auf die Farbverteilung bzw. spektrale Zusammensetzung des für die Beleuchtung verwendeten Lichtes schließen lässt.

Gemäß einem anderen Aspekt der Erfindung kann es vorgesehen sein, dass auch bei einem ersten Bild die Aufnahme derart erfolgt, dass ein erstes Bild im Wesentlichen nur linear polarisierte Lichtanteile umfasst. Ansonsten erfolgt das verfahrensmäßige Vorgehen wie vorgenannt. Hierbei ist es wichtig, dass die Polarisationsrichtungen des linear polarisierten Lichtes, welches beim ersten und einem zweiten Bild erfasst wird, unterschiedlich ist, da sonst bei der Differenzbildung keine Differenz übrig bleibt. Besonders bevorzugt können die Polarisationsrichtungen bei dem ersten und einem zweiten Bild unter 90 Grad zueinander angeordnet sein. Dies hat den Vorteil, dass es in einem ersten Bild bei einer vorgegebenen Lage der Polarisation Reflexe gibt, die vollständig ausgelöscht werden und bei einem zweiten Bild mit dazu senkrecht eingestellter Polarisationsrichtung eben diese Reflexe maximal durch den Polarisator durchgelassen und im Bild erfasst werden. Sämtliche unpolarisierten Remissionsanteile im Licht werden bei beiden Bildern zumindest im Wesentlichen in gleicher Stärke erfasst.

Nach einer Differenzbildung zweier Bilder mit jeweils erfassten linear polarisiertem Licht, bevorzugt unter 90 Grad Polarisationsdifferenz zwischen den Bildern, wird somit in dem Differenzbild der reflektierte Lichtanteil, insbesondere der, der durch die Wahl der Polarisationsrichtung bestimmt wurde, dominieren.

Unabhängig davon, ob von zwei aufgenommenen Bildern eines der Bilder unpolarisiertes Licht erfasst hat oder beide linear polarisiertes Licht erfasst haben,

liegen somit für jede der für das Verfahren verwendeten Bildeinheiten der beiden Bilder, ggfs für alle Bildeinheiten der beiden Bilder pro Farbkanal je eine Differenzinformation vor. Mit Bezug auf den RGB-Farbraum ergeben sich somit für jede Bildeinheit, zu der eine Differenz gebildet wurde, drei Differenzinformationen, nämlich eine für den Farbkanal rot, eine für den Farbkanal grün und eine für den Farbkanal blau.

Da diese Differenzinformationen für jede der betrachteten Bildeinheiten vorliegen, besteht erfindungsgemäß die Möglichkeit, anhand dieser gewonnenen Differenzinformationen eine Korrektur in einem Bild, insbesondere einen wirksamen Weißabgleich lokal in einem aufgenommenen Bild, d.h. ggfs. sogar für jeden Pixel bzw. jede Bildeinheit eines Bildes durchzuführen. Hierbei kann es vorgesehen sein, zur Korrektur nur den Betrag der Differenzinformation, also ohne Berücksichtigung des Vorzeichens, auszuwerten.

Wird das Verfahren mit einem Bildsensor durchgeführt, der auch zur Aufnahme von Bildern bei einer Kamera genutzt wird, so können Differenzinformation mit derselben Auflösung vorliegen, wie Sie ein aufgenommenes Bild hat. Es kann dann eine pixelweise Korrektur eines aufgenommenen Bildes vorgenommen werden. Werden separate Bildsensoren eingesetzt, so kann die Auflösung, mit der Differenzinformationen vorliegen z.B. deutlich kleiner sein als die Auflösung eines Hauptbildsensors.

Es kann sodann vorgesehen sein, dass die Differenzinformationen für eine Korrektur eines Bildes von einem Hauptsensor bereichsweise den Bildeinheiten eines aufgenommenen Bildes zugeordnet werden. Wird z.B. mit Bildsensoren zur Durchführung des Verfahrens nur eine Bildeinheit verwendet, so können die Differenzinformation global zur Korrektur für alle Bildeinheiten eines aufgenommenen Bildes verwendet werden.

Bei Einsatz eines Hauptbildsensors einer Kamera zur Durchführung des Verfahrens kann vorteilhaft das verfahrensgemäß aufgenommene erste Bild auch genutzt werden, um dieses nach der Differenzbildung zu korrigieren.

Unabhängig von der physikalischen oder genutzten Auflösung des wenigstens einen Bildsensors, der zur Durchführung des Verfahren genutzt wird, kann es vorgesehen sein, die erhaltenen Differenzinformationen zu gewichten und/oder zu mittein, z.B. um so die gewichteten/gemittelten Differenzinformationen zur bereichsweisen oder globalen Korrektur von Bildern bzw. den Bildeinheiten (Pixeln) dieser Bilder zu nutzen.

Gemäß der Erfindung kann z.B. nur ein Bildsensor eingesetzt werden (z.B. zusätzlich zu einem Hauptbildsensor oder alleinig) mit dem nacheinander ein erstes und wenigstens ein zweites Bild aufgenommen wird. Es können auch wenigstens zwei Bildsensoren eingesetzt werden, wobei mit einem ersten Bildsensor immer das erste Bild und mit dem wenigstens einem zweiten Bildsensor zeitgleich wenigstens ein zweites Bild aufgenommen wird.

Hierbei kann an einer Kamera zur Durchführung des Verfahrens jeder Bildsensor eine eigene Abbildungsoptik aufweisen, oder die Bildsensoren nutzen eine gemeinsame Optik und eine nachfolgende Strahlteilung, um jeden Bildsensor mit einem Lichtbündel zu beleuchten. Ggfs. kann dafür auch die Optik verwendet werden, die eine Abbildung des Motivs auf einen Hauptbildsensor einer Kamera produziert.

Um das wenigstens eine zweite Bild, ggfs. auch das erste Bild mit lediglich oder zumindest im Wesentlichen linear polarisierten Lichtanteilen aufzunehmen, kann es vorgesehen sein, dass dies unter Verwendung eines linearen Polarisators, beispielsweise eines Polarisationsfilters oder eines Polarisationswürfels, erfolgt.

Es kann hierbei vorgesehen sein, dass beispielsweise eine bekannte Foto- oder Filmkamera mit wenigstens einem Objektiv und wenigstens einem (Haupt-)

Bildsensor zur Aufnahme eines Einzelbildes oder einer Reihe von Bildern eingesetzt wird. So kann mit einer solchen Kamera zunächst in üblicher Weise ein Bild aufgenommen werden, insbesondere welches das Licht ohne jegliche polarisationsbeeinflussende Maßnahmen aufnimmt (oder mit einer ersten Polarisationsrichtung) und anschließend kann von demselben Motiv nochmal, jedoch jetzt mit polarisationsbeeinflussenden Maßnahmen oder in einer anderen Polarisationsrichtung wenigstens ein zweites Bild aufgenommen werden, wobei aufgrund der Verwendung des Polarisators im Wesentlichen nur linear polarisiertes Licht bei einem zweiten Bild und ggfs auch dem ersten Bild den Weg zum Bildsensor findet.

Das erfindungsgemäße Verfahren kann so mit bereits am Markt erhältlichen Kameras lediglich unter Zuhilfenahme eines Polarisators durchgeführt werden.

Erfindungsgemäß kann es jedoch auch vorgesehen sein, Kameras oder Zusatzmodule für Kameras einzusetzen, die neben einem Hauptsensor noch zwei separate Bildsensoren zur Durchführung des Verfahrens aufweisen, wobei zumindest einer der Bildsensoren (nach Durchgang des Lichtes eines Motivs durch einem Polarisator) mit linear polarisiertem Licht beleuchtet wird, ggfs. auch beide Bildsensoren mit unterschiedlich linear polarisierten Licht beleuchtet werden.

Bei sämtlichen Ausführungen, bei denen ein erstes Bild ohne Verwendung eines Polarisators und ein zweites Bild mit Verwendung eines linearen Polarisators aufgenommen wird, kann es besonders bevorzugt vorgesehen sein, dass der Transmissionsverlust des Polarisators bei der Aufnahme eines zweiten Bildes im Vergleich zum ersten Bild kompensiert wird. Beispielsweise kann hierfür eine geänderte, insbesondere höhere Verstärkung im Signalweg eines Bildsensors angewendet werden oder aber es kann auch vorgesehen sein, auf die bei dem zweiten Bild erhaltenen numerischen Bildinformationen einen Multiplikator anzuwenden, der den Transmissionsverlust ausgleicht.

Auf diese Art und Weise können das erste Bild und das wenigstens eine aufgenommene zweite Bild aneinander kalibriert werden, insbesondere so dass in dem zweiten Bild, bezogen auf den transmittierten linearen Licht-Anteil im Wesentlichen gleiche oder ähnliche Signalpegel erreicht werden wie in dem ersten Bild desselben Motiv.

So wird durch die Differenzbildung sichergestellt, dass die auf Remission beruhenden Lichtanteile eliminiert werden und in dem so gebildeten Differenzbild die spektral unabhängigen Reflektionsanteile dominieren.

Hierbei werden in dem Differenzbild diejenigen Reflektionsanteile dominieren, deren Polarisationsrichtung parallel ausgerichtet sind zu der linearen Durchlassrichtung des Polarisationsfilters bzw. Polarisators, der bei der zweiten Bildaufnahme eingesetzt wurde. Da diese Anteile beim zweiten Bild in der Aufnahme aufgrund der Wirkung des linearen Polarisationsfilters maximal durchgelassen werden und die zweite Aufnahme hinsichtlich des Signalpegels insbesondere der remittierten Anteile kalibriert bzw. normiert ist an die erste Aufnahme, verbleibt bei der Differenzbildung im Bildinhalt des Differenzbildes der Informationsanteil, der parallel zur Ausrichtung des eingesetzten Polarisators liegt, also der Reflexionsanteil.

Werden für beide Bilder Polarisatoren eingesetzt, so kann ggfs. eine Kalibrierung der Bilder aneinander entfallen, da sich der Transmissionsverlust bei beiden Bildern gleich auswirkt.

Möglicherweise werden in einem fotografisch erfassten Motiv Körperoberflächen in verschiedenen Richtungen angeordnet sein, so dass auch Reflektionen des für die Beleuchtung verwendeten Lichtes und somit der insbesondere einen verwendeten Lichtquelle unter verschiedenen Winkeln erfolgen. Aufgrund der unterschiedlichen Ausrichtungen der Körperoberflächen in einer Szene wird es daher in einem aufgenommenen Bild Reflektionen unter vielen verschiedenen Winkeln geben, so

dass zum einen die Stärke der Reflektion und zum anderen auch der Grad der Polarisation über ein aufgenommenes Bild verteilt unterschiedlich sein kann.

Es wird jedoch in jedem aufgenommenen Motiv bezogen auf die gewählte Richtung der linearen Polarisation immer Motivbereiche geben, von denen eine Reflektion des Lichtes ausgeht und deren Differenzinformation ausgewertet werden kann, insbesondere um eine Korrektur eines ggfs erst später aufgenommenen Bildes durchzuführen.

Da am zuverlässigsten eine Information über die Farbanteile des verwendeten Lichtes wenigstens einer Lichtquelle aus denjenigen entstandenen Reflektionen gewonnen werden kann, bei denen der höchste Polarisationsgrad und/oder die höchste Reflektionsintensität vorliegt, kann es gemäß einem Aspekt der Erfindung vorgesehen sein, dass aus den Differenzinformationen jeder (verwendeten) Bildeinheit diejenigen Differenzinformationen von Bildeinheiten ausgewählt werden, die zumindest in einem der Farbkanäle oder in allen der Farbkanäle den höchsten Differenz-Betrag aufweisen. Diese ausgewählten Differenzinformation können sodann für eine Korrektur von Bildern verwendet werden.

Es kann aus diesen Differenz-Informationen mit dem höchsten Differenzbetrag geschlossen werden, dass bei der Reflektion, die in dieser betrachteten Bildeinheit erfasst wurde, ein hoher Polarisationsgrad vorliegt, so dass die gewonnene Differenzinformation eine sehr zuverlässige Information über den Farbanteil des reflektierten Lichtes wiederspiegelt, zumindest desjenigen Lichtes, welches lokal in der Bildaufnahme an dem betreffenden Körper reflektiert wurde, der in der betrachteten Bildeinheit abgebildet wurde.

In einer anderen Ausbildung der Erfindung kann es auch vorgesehen sein, dass mehrere zweite Bilder aufgenommen werden, wobei in jedem der zweiten Bilder das Licht mit einer linearen Polarisation einer anderen Polarisationsrichtung aufgenommen wird, insbesondere wobei für jedes Paar aus einem ersten und einem der zweiten Bilder Differenzinformationen gebildet werden. Auch hierbei

kann das erste Bild mit unpolahsiertem Licht oder aber auch mit linear polarisiertem Licht aufgenommen werden, wie es eingangs erläutert wurde.

Diesem Verfahrensaspekt liegt die überlegung zugrunde, dass wie vorgenannt, Körper mit verschiedenen Oberflächenausrichtungen in einem fotografierten Motiv aufgenommen werden können, wobei Reflektionen unter verschiedenen Winkeln und somit auch mit verschieden ausgerichteten linearen Polarisationen auftreten können. Durch die Aufnahme einer Serie von wenigstens zwei zweiten Bildern unter verschiedenen Polarisationsrichtungen (z.B. von 45 Grad zueinander) kann somit gewährleistet werden, dass Reflektionen unter verschiedenen Polarisationswinkeln bei der Differenzbildung aus zwei Bildern diskriminiert werden können. So können Differenzinformationen jeweils zu einem Paar aus zwei Bildern, nämlich einem ersten (unpolarisierten oder polarisierten) und einem der zweiten polarisierten Bilder oder aber auch zwischen zwei der zweiten polarisierten Bildern gebildet werden, wobei abhängig davon, welches Paar für die Differenzbildung, und somit welche Polarisationsrichtung verwendet wurde, Reflektionen aus verschiedenen Bereichen eines aufgenommenen Motivs jeweils das Differenzbild bzw. die Differenzinformation zu den Bildeinheiten dominieren können.

Hier kann es gemäß einem Aspekt der Erfindung vorgesehen sein, dass die Differenzinformationen zu wenigstens einem Teil der möglichen Paare, bevorzugt zu jedem Paar von Bildern verglichen werden, somit also ein Vergleich der erhaltenen Differenzbilder (zu ggfs. jeder Bildpaarung) stattfindet und die Differenzinformation eines Paares bzw. das Differenzbild eines Paares ausgewählt wird, bei dem zumindest in einem der Farbkanäle, gegebenenfalls in allen Farbkanälen, der höchste Differenz-Betrag vorliegt. Bei diesen Differenzinformationen wird demnach der Reflektionsanteil am höchsten sein, so dass das Differenzbild mit diesen höchsten Differenzanteilen eine zuverlässige Bestimmung der Farbanteile des verwendeten Lichtes zulässt. Dieses Differenzbild bzw. die Differenzinformationen eines jeden Farbkanals zu jeder ausgewählter Bildeinheiten dieses Differenzbildes kann demnach verwendet

werden, um bei später aufgenommenen Bildern einen Weißabgleich, beispielsweise pro Pixel bzw. Bildeinheit oder bereichsweise oder global durchzuführen.

Gemäß einem anderen Aspekt der Erfindung kann es vorgesehen sein, die Differenzinformation, die aus allen Paarungen zu jeder Bildeinheit vorliegen, zu vergleichen und zu jeder Bildeinheit diejenigen Differenzinformationen auszuwählen, die in zumindest einem der Farbkanäle den höchsten Betrag aufweisen. So wird gemäß diesem Aspekt nicht aus den verschiedenen Paaren ein vollständiges Differenzbild für die weitere Verarbeitung gewählt, sondern immer aus allen möglichen Paarungen die Differenzinformationen zu einer bestimmten Bildeinheit, die den stärksten Reflektionsanteil repräsentieren und somit also wie vorgenannt den höchsten zahlenmäßigen Betrag aufweisen. Hierdurch ergibt sich ein resultierendes Differenzbild, welches in jeder Bildeinheit aus Differenzinformationen zusammengesetzt sein kann, die aus verschiedenen der ursprünglichen Paarungen der aufgenommenen Bilder resultieren.

Unabhängig von den vorgenannten Ausführungen liegen gemäß der Erfindung zu jeder der betrachteten Bildeinheiten eines ersten und eines zweiten Bildes oder auch zwischen zwei zweiten Bildern Differenzinformationen vor. Hierbei gibt es zu jeder der betrachteten Bildeinheiten eine Anzahl von Differenzinformationen, die der Anzahl der verwendeten Farbkanäle des jeweils betrachteten Farbraumes entspricht, also beispielsweise drei Differenzinformationen pro Bildeinheit eines Bildes im RGB-Farbraum.

Gemäß der Erfindung kann es nun vorgesehen sein, dass die Differenzinformationen zu wenigstens einer Bildeinheit ggfs. zu mehreren oder allen Bildeinheiten direkt oder nach einer Umrechnung eingesetzt werden, um die Bildinformation eines ggfs. auch erst später aufgenommenen Bildes zu korrigieren, insbesondere wobei durch die Korrektur ein Weißabgleich durchgeführt wird.

Beispielsweise kann ein Differenzbild, also alle Differenzinformationen zweiter voneinander subtrahierter Bildinformationen zu jeder Bildeinheit logarithmiert werden. Es kann über alle Differenzinformation (insbesondere selektiv für jeden Farbkanal) eine globale Mittelwertbildung durchgeführt werden. Oder es wird ein Histogramm bzgl. der Häufigkeit der auftretenden Differenzinformation erstellt. Der Mittelwert oder der oder die häufigsten Differenzinformation können dann für jeden Farbkanal Korrekturwerte bilden, mit denen z.B. global ein aufgenommenes Bild hinsichtlich des Weisswertes korrigiert werden kann.

Wird beispielsweise ein Bild aufgenommen mit einer bestimmten Anzahl von Bildeinheiten, wobei jede Bildeinheit beispielsweise einer Spalte und einer Zeile des Bildes zugeordnet sein kann, so kann es vorgesehen sein, dass aufgrund einer vorherigen Differenzbildbildung zu jeder einzelnen Bildeinheit eines aufgenommenen Bildes eine Differenzinformation vorliegt, mit der die Korrektur vorgenommen werden kann. Es besteht so die Möglichkeit, pixelweise, d.h. pro Bildeinheit eines aufgenommenen Bildes, den Weißabgleich durchzuführen.

Es kann in einer anderen Ausführung auch vorgesehen sein, dass die Differenzinformationen gewichtet werden, um so eine für alle Bildeinheiten beispielsweise gemeinsame Differenzinformation zu bilden, die sodann zur Korrektur für später aufgenommene Bilder eingesetzt werden kann. Es erfolgt dann bei den später aufgenommenen Bildern in jeder einzelnen Bildeinheit eine Korrektur, beispielsweise anhand derselben Differenzinformation.

Aufgrund der bereits vorgenannten Tatsache, dass in einigen Bildbereichen eines aufgenommenen Bildes die Reflektionsanteile mal mehr und mal weniger stark ausgebildet sein können, kann es auch vorgesehen sein, dass die Differenzinformationen, die zu einer Bildeinheit vorliegt, gewichtet werden mit den Differenzinformationen benachbarter Bildeinheiten. So kann für eine jeweils betrachtete Bildeinheit eine neue resultierende Differenzinformation gebildet werden, die berücksichtigt, wie die Differenzinformationen in benachbarten Bildeinheiten sind. Es kann so erreicht werden, dass auch in Bildeinheiten, die bei

einer Aufnahme nur einen geringen Reflektionsanteil aufwiesen, bei zukünftig aufgenommenen Bildern korrekte Differenzinformationen vorliegen, um einen späteren Abgleich durchführen zu können.

Um das Verfahren mit einer Foto- oder Filmkamera oder einem Zusatzmodul zu einer Kamera durchzuführen, kann es vorgesehen sein, dass vor und/oder während einer Bildaufnahme das durch das Objektiv gesammelte Licht in einen unpolarisierten und einen linear polarisierten Anteil oder zwei verschieden ausgerichtete linear polarisierte Anteile aufgespalten wird, wobei die beiden Anteile jeweils von einem Bildsensor aufgenommen werden und wobei einer der Bildsensoren das eine erste Bild und der andere Bildsensor das eine zweite Bild aufnimmt.

Hier können aus den gewonnenen Differenzinformationen aus den Bildern der beiden Bildsensoren die numerischen Bildinformationen, die mit dem ersten Bildsensor aufgenommen wurden oder diejenigen Bildinformationen eines weiteren für die Foto- oder Filmaufnahme vorgesehenen Bildsensors korrigiert werden.

Es kann dabei vorgesehen sein, dass eine erfindungsgemäße Foto- oder Filmkamera oder Zusatzmodul, insbesondere mit wenigstens einem Objektiv und wenigstens einem Bildsensor zur Aufnahme eines Einzelbildes oder einer Reihe von Bildern eingesetzt wird, die zwei Bildsensoren umfasst, wobei vor und/oder während einer Bildaufnahme ein erster Bildsensor mit unpolarisiertem und ein zweiter Bildsensor mit linear polarisiertem Licht beleuchtbar ist oder die beiden Bildsensoren mit verschieden linear polarisiertem Licht beleuchtbar sind. Hierbei kann sodann aus den Bildinformationen der beiden Sensoren wenigstens eine Differenzinformation bildbar sein, mit der die Bildinformation eines Bildsensors korrigierbar ist, insbesondere für den vorgenannten Weißabgleich.

Es kann vorgesehen sein, dass der erste und der zweite Bildsensor separat zu einem Bildsensor in der Kamera vorgesehen sind, der zur Aufnahme des

Einzelbildes oder der Reihe von Bildern vorgesehen ist, also separat zu einem Hauptsensor. Hierbei können der erste und der zweite Bildsensor beispielsweise eine geringere Auflösung aufweisen als derjenige Haupt-Bildsensor, der zur Aufnahme des Einzelbildes oder der Reihe von Bildern vorgesehen ist.

Dem liegt die überlegung zugrunde, dass nicht zwingend zu jeder Bildeinheit eines aufgenommenen Bildes eine individuelle Differenzinformation zur Durchführung einer Korrektur vorliegen muss, sondern dass es gegebenenfalls ausreicht, eine oder nur einige wenige Differenzinformationen durch den ersten und zweiten Bildsensor zur Verfügung zu stellen, die global oder beispielsweise bereichsweise zur Korrektur bei denjenigen Bildeinheiten eines aufgenommenen Bildes angewandt werden, insbesondere die der globalen oder bereichsweise erfassten Differenzinformation zugeordnet sind.

Bei einer erfindungsgemäßen Kamera oder Zusatzmodul, die/das mit dem Verfahren zum Einsatz kommen kann, kann dem ersten und zweiten Bildsensor ein einziges oder je ein separates Objektiv zugeordnet sein, so dass mit dieser Anordnung aus Objektiv und dem ersten und zweiten Bildsensor im Wesentlichen die gleiche Szene erfasst wird wie mit dem Haupt-Bildsensor und dem Objektiv, welches für die tatsächliche Erfassung des gewünschten Szenenbildes eingesetzt wird.

Es kann alternativ auch vorgesehen sein, dass der erste und der zweite Bildsensor durch Licht beaufschlagt wird, welches aus dem Haupt-Strahlengang aus dem Haupt-Objektiv und einem Haupt-Bildsensor ausgekoppelt ist, der zur Aufnahme des Einzelbildes oder der Reihe von Bildern vorgesehen ist. Derartig ausgekoppeltes Licht kann beispielsweise nach der Auskopplung aufgespalten werden in einen unpolarisierten und einen linear polarisierten Anteil oder zwei verschieden linear polarisierte Anteile, wobei diese beiden aufgespaltenen Anteile jeweils wieder dem ersten und dem zweiten Bildsensor für die Verfahrensdurchführung zugeführt werden.

Es kann auch eine Kamera vorgesehen sein, die einen Hauptbildsensor aufweist und einen weiteren Bildsensor mit eigener Optik (Objektiv) zur Aufnahme desselben Motiv, wobei z.B. der zusätzliche Bildsensor eine geringere physikalische Auflösung aufweist als der Hauptbildsensor. Dieser zusätzliche Bildsensor kann in die Kamera oder in ein externes Zusatzmodul integriert sein. Es kann bei einer Biidaufnahme z.B. mit dem Hauptbildsensor das erfindungsgemäß erste Bild aufgenommen werden, welches z.B. alle unpolarisierten Lichtanteile oder alle Lichtanteile einer ersten Polarisationsrichtung einfängt.

Mit dem zweiten separaten Bildsensor kann nur linear polarisiertes Licht desselben Motivs oder eine andere Polarisationsrichtung aufgenommen werden. Hierfür kann zumindest in der Optik des zweiten Sensors ein Polarisator vorgesehen sein. Da der zweite separate Bildsensor eine geringere Auflösung hat kann es vorgesehen sein aus dem ersten Bild des Hauptsensors nur einen Teil der Bildeinheiten für die Durchführung des Verfahren auszuwählen, insbesondere einen Bereich im Bild, z.B. einen zentralen Bereich der in Anzahl und Anordnung der Bildeinheiten zu den Bildeinheiten des zweiten separaten Bildsensor korrespondiert.

So kann ein Differenzbild aus allen Bildeinheiten des Bildes vom zweiten Bildsensor und den ausgewählten Bildeinheiten des Bildes des ersten Hauptsensors erstellt werden. Die so erhaltenen Differenzinformationen können eingesetzt werden, ggfs. nach einer Gewichtung, Mittelung, Interpolation oder Zusammenfassung, um das Bild des ersten Hauptsensors, insbesondere global zu korrigieren.

In einer anderen Ausführung kann es auch vorgesehen sein, ein Einheit für eine Foto- oder Filmkamera vorzusehen, in der nur ein einziger Bildsensor vorgesehen ist, wobei vor und/oder während einer Bildaufnahme ein erstes Bild mit unpolarisierten und ein zweites Bild mit linear polarisierten Licht oder beide Bilder mit unterschiedlich linear polarisiertem Licht aufnehmbar sind, wobei aus den

Bildinformationen beider Bilder wenigstens eine Differenzinformation bildbar ist, mit der die Bildinformationen eines Bildsensors der Kamera korrigierbar sind, insbesondere für einen Weißabgleich. Eine solche Einheit kann ebenso wie vorbeschrieben in einer Kamera integriert sein oder extern angeordnet sein, z.B. über den Blitzschuh einer Kamera an der Kamera befestigt sein, insbesondere wobei über Kontakte im Blitzschuh und am Zusatzmodul eine Kommunikation durchführbar ist, um der Kamera Information für einen Weißabgleich zu übermitteln.

Bei den vorgenannten Kameraausführungen bzw. Ausführungen der Einheiten / Zusatzmodule kann so vor oder während einer Bildaufnahme mit einem Hauptbildsensor über den ersten und zweiten zusätzlichen Bildsensor die Bildung eines Differenzbildes erfolgen, wobei die erhaltenen Differenzinformationen eingesetzt werden können, um die Bildeinheiten desjenigen Bildes zu korrigieren, die mit dem Hauptsensor aufgenommen wurden.

Unter einem Polarisator wird, sofern nicht anderes erwähnt wird, in Sinne der Erfindung jede Art von polarisationsbeeinflussendem Element verstanden, z.B. ein einfaches Polarisationsfilter oder eine Anordnung aus Polarisationsfilter und/oder Lambda/2- oder Lambda/4-Platten.

Das polarisationsbeeinflussende Element kann auch ausgebildet sein als eine Flüssigkristallanordnung mit nachfolgendem Polarisationsfilter, insbesondere wobei der Grad der Polarisationsbeeinflussung durch unterschiedliche Spannungen an der Flüssigkristallanordnung einstellbar ist. Ebenso kann das polarisationsbeeinflussende Element ausgebildet sein als ein Polarisationsfilterarray, welches nebeneinander angeordnete Flächenbereiche aufweist, die unterschiedlich polarisiertes Licht passieren lassen oder das polarisationsbeeinflussende Element kann ausgebildet sein als ein doppelbrechendes Element, insbesondere vor welchem eine Maske, insbesondere eine Linienmaske angeordnet ist.

Ausführungsbeispiele der Erfindung sowie einleitende Anmerkungen sind anhand der folgenden Figuren erläutert. Es zeigen:

Figur 1 : die Beschreibung von Reflexion und Remission

Figur 2: die Wirkung unterschiedlicher Polfilterstellungen auf Reflexionsanteil und Remissionsanteil Figur 3: ein Schema des Verfahrens zur Bestimmung der beleuchtenden

Lichtfarbe

Figur 4: unterschiedliche Polarisationsrichtungen durch mehrfache Filter- Sensor-Kombination Figur 5: unterschiedliche Polarisationsrichtungen durch drehbare Filtereinheit mit gekoppelter (links) und feststehender (rechts) Sensoreinheit Figur 6: unterschiedliche Polarisationsrichtungen durch doppelbrechendes

Material mit Linienmaske Figur 7 unterschiedliche Polarisationsrichtungen durch Polfilterarray auf einer Sensorfläche Figur 8 unterschiedliche Polarisationsrichtungen durch spannungsgesteuerten Flüssigkristall Figur 9 eine farbkanal- und pixelweise Subtraktion von 2 unterschiedlich polarisierten Teilbildern (R ₁ G ₁ B) ₁ und (R ₁ G ₁ B) ₂ Figur 10 eine exemplarische Darstellung zweier Ausgangsbilder und eines

Differenzbildes

Figur 11 den Aufbau eines einfachen Sensormoduls Figur 12 die Kombination von 2 Sensormodulen Figur 13 den Aufbau eines einfachen Sensormoduls mit doppelbrechendem

Material und Linienmaske

Figur 14 den Aufbau eines einfachen Sensormoduls mit Flüssigkristall Figur 15 ein Sensormodul mit Flüssigkristall und Strahlteilung Figur 16 ein Sensormodul mit Polfilterarray

Figur 17 die Realisierung eines Polfilterarrays mit 2-stufigem Aufbau mit doppelbrechendem Material

Ziel des neuen Verfahrens ist die Gewinnung der Lichtfarbe der Beleuchtung innerhalb der aufzuzeichnenden Szene, um mit dieser Information einen sicheren automatischen Weißabgleich in elektronischen Kameras zu schaffen. Das Verfahren besitzt im Gegensatz zum Stand der Technik messtechnischen Charakter und nutzt den Polarisationsgrad von an Körperoberflächen reflektierten Lichtanteilen aus.

Der Reflexionsgrad an glänzenden oder auch matten Oberflächen ist in guter Näherung wellenlängenunabhängig. Die reflektierten Lichtanteile beliebiger Oberflächen sind daher spektral wie die beleuchtende Lichtart zusammengesetzt und damit unbunt. Der Polarisationsgrad dieser reflektierten Lichtanteile wird durch die Fresnel'schen Gleichungen (Reflexionsgesetz) begründet und lässt sich durch mindestens 2 unter verschiedenen Polarisationsrichtungen aufzunehmende Bilder auswerten

Die remittierten Lichtanteile von Körperoberflächen kennzeichnen seine Farbigkeit und sind durch mehrfache Streueffekte innerhalb des Körpers nahezu unpolarisiert.

Die Figur 1 zeigt diese Zusammenhänge. Die linksseitig dargestellte gerichtete Reflexion erzeugt ebenso wie die mittig dargestellte diffuse Reflexion zumindest teilweise polarisiertes Licht. Hingegen ist bei der Remission das Licht unpolarisiert.

Die Figur 2 zeigt die Wirkung unterschiedlicher Polarisationsfilterstellungen. In der linken Darstellung wird deutlich, dass sowohl reflektierte als auch remittierte Anteile das Polarisationsfilter passieren können. Bei der Ausrichtung des Polarisationsfilters gemäß der rechten Darstellung kann nur der eine linear polarisierte Lichtanteil des remittierten Lichtes das Filter passieren.

Die Differenzbildung von unter verschiedenen Polarisationsrichtungen aufgenommenen Bildern detektiert den Polarisationsgrad der unbunten Reflexionsanteile und lässt die bunten unpolarisierten Remissionsanteile verschwinden. Man kann so eine ortsaufgelöste Information der beleuchtenden Lichtfarbe innerhalb der Szene erhalten, wie sie ein Bildsensor empfängt.

Sowohl die Intensität des reflektieren Lichtanteils als auch sein Polarisationsgrad sind maßgeblich von der Ausrichtung der betrachteten Körperoberfläche zu Lichtquelle und Kamera und seiner Oberflächenrauhigkeit, nicht aber von der remittierten Körperfarbe abhängig. Bei 3-dimensionalen Objekten ergibt sich demgemäß ein lokal variabler Nutzsignalpegel.

Die Verhältnisse der sensor- und beleuchtungsspezifischen Lichtfarbwerte sind genau die Informationen, die für einen exakten Weißabgleich eines mit diesem Sensor aufgezeichneten Bildes benötigt werden.

Die praktische Umsetzung des Verfahrens wird schematisch in der Figur 3 dargestellt. Gemäß dieser Figur wird eine betrachtete Szene optisch abgebildet und dabei mehrere Bilder erzeugt. Die Bilderzeugung gliedertsich bdabei in eine Polarisationsfilterung, d.h. die Aufspaltung des einfallenden Lichtes in Anteile von verschieden ausgerichteten Polarisationen. Die so erhaltenen Bilder werden aufgezeichnet und es wird eine Differenz gebildet. Das jeweils erhaltene Differenzbild kann ausgewertet werden.

Zur Ermittlung der Lichtfarbe sind an die optische Abbildung bzgl. Auflösungsvermögen und geometrischer Verzeichnungsfreiheit deutlich geringere Anforderungen zu stellen als an die Optik des Hauptsensors einer Kamera. Es ist allerdings bevorzugt darauf zu achten, dass der Bildausschnitt der Teilbilder zur Differenzbildung möglichst gut übereinstimmt. Kantenversatz beispielsweise zwischen den Teilbildern oder auch ein ausgeprägter Farbquerfehler können zu Störsignalen im Differenzbild führen, die das Messergebnis verfälschen können. Inwiefern diese Effekte durch optische Genauigkeit bzw. Korrekturen oder erst

durch eine elektronische Korrektur bei der Bildauswertung kompensiert werden, ist eine Frage des angestrebten Systemdesigns.

Der betrachtete Bildausschnitt zur Bestimmung der Lichtfarbe muss nicht notwendigerweise mit dem Bildausschnitt des Hauptsensors übereinstimmen. So kann es erwünscht sein, z.B. über eine Weitwinkel- oder Fish-Eye-Optik das Gesichtsfeld zu erweitern, um die Bestimmung der beleuchtenden Lichtfarbe möglichst robust auszuführen.

Bei Einsatz nur einer einfachen Meßzelle (1 -Pixel-Sensor) ist es möglich, auf eine scharfe (fokussierende) optische Abbildung zu verzichten und eine Richtcharakteristik mit mechanischen Mitteln (wie z.B. beim Belichtungsmesser ohne Kalotte) zu verwenden.

Die Aufnahme mehrfacher Bilder desselben Bildausschnitts kann z.B. durch Mehrfachaufnahmen eines Sensors in zeitlich kurzer Abfolge oder z.B. durch Strahlaufteilung in unterschiedliche optische Pfade mit mehreren Sensoren oder z.B. durch versetzte Pixelraster zwischen den Teilbildern auf einer Sensorfläche, insbesondere ähnlich dem Farbfilterarray bei einfachen Farbsensoren geschehen.

Vorteil der Verwendung eines einzelnen Sensors ist die Konstanz des Bildausschnitts und der spektralen übertragungscharakteristik. Allerdings können schnell bewegliche Objekte durch die Zeitdifferenz zwischen den Bildern zu den erwähnten Verfälschungen des Messergebnisses führen.

Vorteil der Strahlaufteilung mit mehreren Sensoren ist die gleichzeitige Aufnahme der Differenzbilder, was zu Vorteilen bei schnell beweglichen Objekten führt. Allerdings ist hierbei bevorzugt auf gleiche Bildausschnitte und gleiche spektrale Charakteristik zwischen den Sensorpfaden zu achten. Diese Vorgaben lassen sich in der Regel z.B. durch elektronische Kalibrierfunktionen zwischen den Sensoren einhalten.

Zur Strahlteilung bieten sich beispielsweise optische Strahlteiler (Spiegel oder Würfel) und/oder optische Gitter an. Dabei ist bevorzugt darauf zu achten, dass evtl. Polarisationsänderungen durch die Strahlteilung weitgehend unabhängig von der Wellenlänge des Lichts geschehen. Ein einzelner Sensors mit versetztem Pixelraster für verschiedene Teilbilder kann bevorzugt die angesprochenen Punkte in einem Konzept vereinigen, nämlich die Aufnahme der Teilbilder zu einem Zeitpunkt und gleicher Bildausschnitt zwischen den Teilbildern.

Die Polarisationsfilterung kann durch Polarisationsfilter, dielektrische Grenzflächen oder auch doppelbrechendes Material geschehen. Bei unter dem Brewsterwinkel α _B auf eine dielektrische Grenzfläche einfallenden Strahlen wird ausschließlich der senkrecht zur Einfallsebene schwingende Polarisationsanteil reflektiert.

Bei optisch anisotropen Materialien geschieht die Lichtausbreitung richtungs- und polarisationsabhängig. So trennt sich ein senkrecht einfallender Strahl bei schief liegender optischer Achse des Kristalls in einen sog. ordentlichen Strahl ohne Ablenkung und einen außerordentlichen Strahl mit Ablenkung auf. Beide Strahlanteile sind senkrecht zueinander polarisiert. Durch unterschiedliche Ablenkung der Strahlanteile entsteht außerdem ein Doppelbild, was einer Erzeugung mehrfacher Bilder (s. vorangegangener Abschnitt) entspricht und demgemäß bevorzugt für die Realisierung der Aufnahme von Bildern mit unterschiedlicher Polarisation ist.

Die Polarisationsfilterung mit verschiedenen Ausrichtungen kann dabei mechanisch oder elektronisch erfolgen. Mechanisch lassen sich unterschiedliche Polarisationsrichtungen beispielsweise durch eine mehrfache Ausführung der Bildaufnahmeeinheit mit Polfilter und Sensor unter verschiedenen Ausrichtungen realsieren. Dies zeigt z.B. die Figur 4. Die Figur 5 zeigt demgegenüber eine drehbare Filtereinheit mit einfachem Sensor. Eine einfache (oder mehrfache) Bildaufnahmeeinheit mit doppelbrechendem Material ist in der Figur 6 dargestellt

und Figur 7 zeigt eine Bildaufnahmeeinheit, auf der ein Polfilterarray unterschiedlicher Polarisationsrichtungen aufgebracht ist.

Bei der drehbaren Variante kann der Sensor je nach Aufbau mit dem Polfilter verbunden und so gemeinsam gedreht werden.

Bei Verwendung eines doppelbrechenden Materials genügt ein Sensor, um eine Polarisationsrichtung auszuwerten. Allerdings ist bevorzugt eingangsseitig eine Maske, insbesondere eine Linienmaske zu verwenden, um das entstehende Doppelbild der senkrechten Polarisationsrichtungen räumlich voneinander zu trennen und separaten Pixelregionen des Sensors zuzuordnen.

Durch die Maskierung des doppelbrechenden Materials werden auf den betroffenen Sensorbereichen polarisierte Lichtanteile abgeschattet, die je nach Maskenstruktur wie ein frei zu gestaltendes Polfilterarray (s.u.) senkrechter Polarisationsrichtungen wirken. Im einfachsten Fall einer beispielhaft genannten Linienmaske ergibt sich eine Linienstruktur von parallel und senkrecht angeordneten Polarisationsrichtungen, im Fall einer Maske in der Struktur eines beispielhaft genannten Schachbrettmusters entsprechend ein Schachbrettmuster senkrechter Polarisationsrichtungen.

Bei der Variante mit Polfilterarray können die polarisierten Bildelemente lückenhaft verstreut liegen. Es bietet sich bevorzugt an, eine Polfilterzelle mit einer Agglomeration von RGB-Pixeln des Farbfiltermosaiks zu kombinieren, um die polarisierte RGB-Farbinformation möglichst örtlich zusammenhängend zu gewinnen.

Bei Kombination des Polfilterarrays mit dem Hauptbildsensor kann ergänzend der Helligkeitsverlust des Polfilters durch eine Flatfieldkalibrierung in Verbindung mit einer Interpolation aus der nicht polarisierten Umgebung kompensiert werden.

Für eine elektronische Ausführung unterschiedlicher Polarisationsrichtungen kann z.B. ein Flüssigkristalls mit einem nachgeschalteten Polarisationsfilter kombiniert werden. Es lässt sich so die Drehung der Polarisationsrichtung ohne bewegliche Teile realisieren. Die Figur 8 zeigt exemplarisch eine solche Anordnung.

Ein Flüssigkristall besitzt je nach Anordnung der Kristallmoleküle doppelbrechendes Verhalten. Durch ein elektrisches Feld (äußere angelegte Spannung) lässt sich die Orientierung der Kristallmoleküle innerhalb der Flüssigkeit ändern und damit die Doppelbrechung graduell steuern. Der Flüssigkristall wirkt als schaltbarer Phasenschieber mit Vorzugsrichtung im Prinzip wie ein λ/4- oder λ/2-Plättchen. Gemäß dieser Funktion kann daher ein Flüssigkristall einen linear polarisierten Lichtanteil geeigneter Ausrichtung z.B. durch eine λ/2-Verzögerung um genau 90° drehen, oder durch eine λ/4- Verzögerung zirkulär polarisieren (gleichmäßige Verteilung auf alle Schwingungsrichtungen wie unpolarisiertes Licht) oder ohne Verzögerung unverändert (0°) passieren lassen.

Durch Differenzbildung zwischen einem Bildpaar dieser 3 Fälle lässt sich die Lichtfarbe zwischen 2 zueinander senkrechten Polarisationsrichtungen auswerten.

Da die Phasenschiebung um einen festen Wellenlängenanteil nur für eine bestimmte Wellenlänge exakt funktioniert, wird empfohlen, die Steuerspannung des Flüssigkristalls farbabhängig (z.B. R, G und B) einzustellen. Andernfalls werden die Polarisationsanteile sowohl richtungs- als auch wellenlängenabhängig unterschiedlich übertragen, was zu Meßfehlern in der ermittelten Lichtfarbe führen kann. ähnliche Fehlmessungen können durch schrägen Lichteinfall hervorgerufen werden. Hier ist bevorzugt eine feste Phasenbeziehung einzuhalten und dementsprechend die Ansteuerung des LCs auf den Neigungswinkel ortsabhängig anzupassen. Eine exakte Phasenstellung kann durch eine geeignete Kalibriervorschrift (Flatfieldkalibrierung für die betrachtete Polarisationsrichtung) färb- und ortsabhängig ermittelt und eingestellt werden.

Die Differenzbildung der unter verschiedenen Polarisationsrichtungen gefilterten Bilder erfolgt in einer elektronischen Recheneinheit auf der Basis intensitätslinearer Farbsignale R, G, B. Aus Genauigkeitsgründen bietet es sich bei mit unterschiedlichen Sensoren aufgenommenen Teilbildern an, sensorkorrigierte Farbsignale zu verwenden, bei denen parasitäre Einflüsse wie Dunkelstrom, Empfindlichkeitsrauschen (Fixed Pattern Noise) und Fehlpixel bereits korrigiert sind. Das Differenzbild ergibt sich durch farbkanal- und pixelweise Subtraktion von 2 unterschiedlich polarisierten Teilbildern (R,G,B)i und (R ₁ G ₁ B) ₂ gemäß Figur 9.

Das Differenzbild Diff ist allgemein vorzeichenbehaftet. Da es in der weiteren Auswertung der Lichtfarbe um die Farbverhältnisse zwischen den R-, G- und B- Anteilen des Differenzbilds geht, ist dieser Umstand vernachlässigbar, weil bei ausreichendem Signalpegel die Farbwerte eines Pixels im Differenzbild entweder alle gleichzeitig positiv oder alle gleichzeitig negativ sind (Ausnahme: untersteuerte Bereiche mit überlagertem dominanten Signalrauschen). Ohne Beschränkung der Allgemeinheit lässt sich daher auch der Betrag des Differenzbilds nehmen und zur Lichtfarbe auswerten.

In der Figur 10 ist oben exemplarisch ein erstes Bild 1 dargestellt, welches in drei Spalten und drei Zeilen jeweils in einzelne Bildeinheiten unterteilt ist. Jeder der hier insgesamt neun Bildeinheiten umfasst eine Bildinformation für in diesem Beispiel drei Farbkanäle, die den Farben rot, grün und blau, also dem RGB- Farbraum entsprechen. Lediglich exemplarisch sind hier in jeder Bildeinheit drei Zahlen dargestellt, die im Verhältnis dem Anteil der jeweiligen Farben in der betrachteten Bildeinheit entsprechen, die bei der Aufnahme eines Motivs entstanden sind.

Es ist hier anzumerken, dass die hier gewählte Aufteilung eines Bildes in neun Bildeinheiten lediglich exemplarisch zu verstehen ist und selbstverständlich bei den heute gängigen Bildsensorauflösungen wesentlich mehr Bildeinheiten in einem Bild zum Einsatz kommen können oder ggfs. sogar weniger. Ersteres gilt

insbesondere dann, wenn derjenige Bildsensor, der zur Aufnahme eines Fotos eingesetzt werden soll, auch (mit) dazu vorgesehen ist, um die erfindungsgemäße Ermittlung der Farbanteile der wenigstens einen verwendeten Lichtquelle zu ermitteln.

Ist es hingegen vorgesehen, neben einem Bildsensor, der zur Aufnahme eines Fotos verwendet wird, separate Bildsensoren einzusetzen, die nur dazu dienen, das erfindungsgemäße Verfahren durchzuführen, so kann man mit einer gegebenenfalls deutlich geringeren Auflösung auskommen, sofern gegebenenfalls nur bereichsweise oder globale Differenzinformationen gebildet werden sollen, die zur globalen oder nur bereichsweisen Korrektur der Bildeinheiten eines aufgenommenen Bildes eingesetzt werden sollen.

Mit Bezug auf das hier genannte Beispiel soll das Bild 1 demnach ein erstes Bild im Sinne der Erfindung darstellen, bei dem vollständig unpolarisiertes Licht aufgenommen wurde bzw. das Licht eines Motivs, welches ohne Polarisationsbeeinflussung zu dem ersten Bildsensor gelangt ist. Alternativ kann Licht einer ersten lineare Polarisationsrichtung aufgenommen werden.

Demgegenüber zeigt das Bild 2 eine Aufnahme mit demselben oder einem äquivalenten Bildsensor, bei dem zur Erfassung des Bildes ein Polarisationsfilter eingesetzt wurde, bzw. eine andere Polarisationsrichtung mit dem Polarisator gewählt wurde.

Die Größe der hier gelisteten numerischen Bildinformationen in jedem Farbkanal RGB ist dabei bevorzugt (bei einer Aufnahme unpolarisiertes Licht / polarisiertes Licht) durch eine Kalibrierung / Normierung angepasst worden an die numerischen Werte, die im Bild 1 erreicht wurden. Hiermit kann insbesondere ausgeglichen werden, dass es durch Einsatz eines Polarisators bzw. eines Polarisationsfilters zu einem Transmissionsverlust kommt.

Zwischen den Bildern 1 und 2 wird gemäß der Erfindung eine Differenz gebildet, so dass in jeder der neun Bildeinheiten eine Differenz bezüglich jedes Farbkanals R, G und B auftritt. Bei dem hier gewählten Beispiel, welches nicht beschränkend zu verstehen ist, kann festgestellt werden, dass der Farbkanal R für rot im Differenzbild leicht dominiert und in den Farbkanälen G und B, also für grün und blau, eine Gleichverteilung vorliegt.

Es kann somit darauf geschlossen werden, dass bei der zur Beleuchtung verwendeten Lichtquelle ein leichter Rotanteil dominiert, wie er beispielsweise bei thermischen Lichtquellen auftritt oder beispielsweise auch bei Licht, welches durch die späte Abendsonne erzeugt wird.

Szenen, die mit dieser Beleuchtung fotografiert bzw. aufgenommen werden, werden somit aufgrund dieser Beleuchtung einen leichten Rotstich aufweisen, so dass unter Zugrundelegung der Erkenntnis über die hier vorliegenden Differenzinformationen ein Weißabgleich durchgeführt werden kann, nämlich beispielsweise dadurch, dass die Bildinformationen, die zu einem Bild erhalten werden, aufgrund der hier vorliegenden Differenzinformationen kalibriert bzw. normiert werden.

Wird ein Bild mit einem Bildsensor aufgenommen, der dieselbe Auflösung, also in diesem vereinfachten Beispiel neun Bildeinheiten aufweist, so kann es grundsätzlich vorgesehen sein, dass zu jeder Bildeinheit eine individuelle Korrektur stattfindet mit den Differenzinformationen, die zu der betreffenden Bildeinheit vorliegen.

Es kann in einer anderen Ausführung auch vorgesehen sein, dass die Differenzinformationen aus dem Differenzbild gewichtet und dabei beispielsweise bereichsweise oder global zusammengefasst werden zu mehreren Differenzinformationen pro Bereich oder nur zu einer Differenzinformation für das gesamte Bild, so dass beispielsweise bei einer globalen Zusammenfassung nur

ein einziges Tripel von Differenzinformationen für die Farbkanäle R, G und B vorliegt, die zur Korrektur aller Bildeinheiten eines aufgenommenen Bildes dienen.

Es ist darauf hinzuweisen, dass das hier genannte Beispiel lediglich stark vereinfachend dargestellt ist und weder in der Anzahl der hier verwendeten Bildeinheiten noch in der Größenordnung der dargestellten numerischen Zahlenwerte als beschränkend, sondern lediglich als veranschaulichend zu verstehen ist.

Zur Maximierung des Nutzsignalpegels bietet sich an, Bildpaare von senkrecht zueinander stehenden Polarisationsrichtungen voneinander zu subtrahieren. Eine der polarisierten Aufnahmen kann dabei durch eine geeignet normierte unpolarisierte Aufnahme ersetzt werden. Der Nutzsignalpegel halbiert sich dann zwar, die Differenzinformation bleibt allerdings qualitativ erhalten.

^ES 9' ^lt: Iwφohπaert = ⁷ 0° + ⁷ 90°

Damit folgt: Diff = I ₀ . - I ₉₀ . = I ₀ . - (I _unpolarmert - I ₀ .) = l{l _v - I _unpolansιen /2)

Die Pegelanpassung der unpolarisierten Aufnahme soll bevorzugt den Transmissionsgrad des Polarisationsfilters ausgleichen. Diese Normierung wird bevorzugt durch eine Kalibrierung so ermittelt, dass unpolarisierte Lichtanteile der Szene durch die Differenzbildung verschwinden.

Die Verwendung einer unpolarisierten Aufnahme zur Differenzbildung hat den Vorteil, dass sie für verschiedene Bilderpaare dienen kann, und so mit relativ wenig Bildaufnahmen möglichst viele unterschiedliche Polarisationsrichtungen ausgewertet werden können.

Die Auswertung unterschiedlicher Polarisationsrichtungen macht das Verfahren weitgehend unabhängig von der Position beleuchtender Lichtquellen, so dass bei beliebigen Richtungen der Beleuchtung ein ausreichendes Nutzsignal für die Auswertung zur Verfügung steht. In der Regel reichen 2 Bildpaare (z.B. 0790° und 457135°) dazu aus, das Verfahren ausreichend robust herzustellen.

Alternativ wäre im Falle eines drehbaren Polarisators auch ein Regelkreis denkbar, der die Polarisationsrichtung auf einen max. Nutzsignalpegel im Differenzbild regelt. In diesem Fall ist die Auswertung eines einzigen Differenzbilds für die Ermittlung der dominanten Lichtfarbe ausreichend robust.

Damit durch die Subtraktion der Bilderpaare die unpolarisierten Remissionsanteile verschwinden, ist eine möglichst gute übereinstimmung der Ortsinformation zwischen den Bildern wichtig. Je nach optischem Design und Fertigungstoleranzen kann es nötig sein, einen evtl. auftretenden Pixelversatz zwischen den Bildern oder auch einen Farbquerfehler innerhalb eines Bildes vor der Subtraktion elektronisch (z.B. durch Verschiebungs- oder Skalieralgorithmen) zu korrigieren.

Eine elektronische Auswertung, die der Optimierung von Genauigkeit und Robustheit der Lichtfarbgewinnung dient, kann in einer bevorzugten Ausführung, die mit allen anderen Ausführungen beliebig kombinierbar ist, z.B. nach folgendem allgemeinen Schema ablaufen:

1. Vereinigung verschiedener Differenzbilder zur Maximierung des Nutzsignalpegels

2. Bildung der relativen Lichtfarbanteile:

Diff _R + Diffo + Diff _B

Diffa g = DWR + Diffo + Diffs

3. Es kann bevorzugt vorgesehen sein, ungültiger Bereiche z.B. in Form einer messtechnischen ortsabhängigen Wichtungsfunktion W _meS s(x.y) zu kennzeichnen bzw. zu maskieren.

4. Es kann weiterhin bevorzugt die Erstellung erfolgen von einer bildinhaltsorientierten ortsabhängigen Wichtungsfunktion (Vertrauensmaß)

W _SZ ene(x,y) _> die den Bildinhalt bezüglich Relevanz und Zuverlässigkeit für die Ermittlung der beleuchtenden Lichtfarbe bewertet

5. Histogrammberechnung (Verteilung der Häufigkeiten) h(r,g) unter Berücksichtigung der meßtechnischen (s. 3.) und der bildinhaltsorientierten (s. 4.) Wichtungsfunktionen

6. Ermittlung der mittleren dominanten Lichtfarbe (r,g) _g ι _O bai aus der Histogrammverteilung (s. 5.)

Die Erfahrung zeigt, dass reale komplexe Szenen lokal Problemfälle wie

• Rauschen/Untersteuerung

• Spiegelnde Flächen (gerichtete Reflexion)

• Mehrere unterschiedliche Lichtquellen (z.B. Sonne/Himmel)

beinhalten können, die zu Fehlmessungen der beleuchtenden Lichtfarbe führen können. Um diese in bevorzugter Ausführung für die Auswertung fehlerträchtiger Regionen auszublenden, können Wichtungsfunktionen W(x,y) gemäß 3. und 4. erstellt werden, die die verlässlichen Bildstellen höher und die weniger vertrauenswürdigen Bildstellen niedriger bewerten.

a) Vereinigung verschiedener Differenzbilder

Es erfolgt die Vereinigung verschiedener Differenzbilder. Dabei können aus den unter verschiedenen Polarisationsrichtungen aufgenommenen Bildern Ij in einer möglichen Ausführung aus allen möglichen Kombinationen von Bildpaaren Differenzbilder berechnet werden:

Diffjk ( ^χ > y) = i j ( ^χ > y) - ¹ Ic ( ^χ . y)

Das endgültige Differenzbild Diff(x,y) kann ortsabhängig aus dem lokal betragsmäßig maximalen Differenzsignal zusammengesetzt werden:

Diff(x,y) = maχ(\Diff _jk (x,y)\)

Weil es sich um RGB-Farbbilder handelt, bietet sich zur Einfachheit an, die Maximalentscheidung von einem der drei Farbkanäle (z.B. Grünkanal) abhängig zu treffen. Sollte ein oder mehrere Farbkanäle dabei übersteuert sein (Clipping), so kann auf eine andere Differenzbildkombination ausgewichen werden (vgl. c) Erstellung einer meßtechnischen Wichtungsfunktion).

b) Bildung relativer Lichtfarbanteile

Es erfolgt die Bildung relativer Lichtfarbanteile. Die Lichtfarbe ist abhängig von der spektralen Zusammensetzung der Beleuchtung und dabei unabhängig von ihrer Intensität (Helligkeit). Die Lichtfarbe lässt sich daher durch Kombination von nur 2 Farbkomponenten darstellen. Da die Auswertung auf intensitätslineare Sensorsignale R, G, B aufsetzt, ist eine Histogrammanalyse ebenfalls auf linearen Farbkomponenten sinnvoll. Unter der Voraussetzung eines gleichanteilfreien Rauschanteils auf den Farbsignalen kann in einer möglichen Ausführung dieses Störsignal durch einen Mittelungsprozess, wie es eine Histogrammanalyse (s. T)) darstellt, eliminiert werden. Die linearen relativen Farbwertanteile r = Diff _R

Diff _R + Diff _G + Diff _B Diff _o

8 =

DiJf _R + Dijgr _G + DiJ? _B

erfüllen die gestellten Bedingungen von Linearität und Intensitätsinvarianz.

Alternativ sind auch intensitätsinvariante nichtlineare Darstellungen wie beispielsweise a = Ig(R /G) b = Ig(B ² Z(R - G) oder andere Verhältniskombinationen möglich. Aufgrund der nichtlinearen Transformation (Logarithmus) sollte eine solche Darstellung bevorzugt nur bei

geringem Rauschanteil eingesetzt werden. Ansonsten würde sich eine Mittelung in Form einer änderung des Mittelwerts auswirken.

c) Erstellung einer meßtechnischen Wichtungsfunktion

Es erfolgt die Erstellung einer meßtechnischen Wichtungsfunktion.

Ziel der meßtechnischen Wichtungsfunktion ist, nicht oder unsicher auswertbare

Bildbereiche zu detektieren und durch eine Gewichtsfunktion (i.d.R. zwischen 0 und 1) zu markieren.

Kriterien können sein:

• übersteuerte Bereiche (Clipping mindestens eines Farbkanals in den Ausgangsbildern)

• Stark verrauschte Bildbereiche mit zu geringem Störabstand (SNR)

Als SNR-Kriterium hat sich in einer möglichen Ausführung beispielsweise die lokale Filterung mit einem Medianfilter gemäß median( Diff)

SNR =

Diff - median( Diff)| bewährt.

d) Erstellung einer bildinhaltsorientierten Wichtungsfunktion

Es erfolgt weiterhin die Erstellung einer bildinhaltsorientierten Wichtungsfunktion. Ziel dieser bildinhaltsorientierten Wichtungsfunktion ist die lokale Gewichtung von

• kritischen Bildstellen mit niedrigem Gewichtungsfaktor und

• besonders zuverlässig erscheinenden Bildstellen mit hohem Gewichtungsfaktor.

Meßtechnisch auswertbare Bildbereiche können dennoch aufgrund spezieller Konstellationen der Objektoberflächenbeschaffenheit und der Szene zu Fehlmessungen der Lichtfarbe führen. Zu beachten ist, dass die elektronische Auswertung von komplexen Szenen die dominanten Lichtfarben (d.h. der

Lichtquellen bzw. Primärstrahler) und nicht sekundär strahlende Objektfarben finden soll. Als kritisch auszuwertende Bildstellen sind daher

• in den Schatten liegende Bildbereiche (keine direkte Beleuchtung und damit keine dominante Lichtquelle, außerdem oft stark verrauscht (s. c))

• glänzende (=spiegelnde) Objektoberflächen (Spiegelbilder auch farbiger Objekte innerhalb der Szene, die nicht die Lichtfarbe beinhalten)

• sehr raue oder dreidimensionale hochfrequente Objektoberflächen durch Mehrfachreflexionen, die zu farbigen falschen Lichtfarben im Differenzbild führen (z.B. Bäume, Gras, farbiger Samt oder Wolle etc.) einzustufen, um nur einige Beispiele zu nennen. Andererseits sind Bildstellen wie

• glänzende Objektoberflächen, solange es sich um Reflexe (= Spiegelbilder) von Lichtquellen handelt,

• graue Objekte (die sehr sicher sowohl im Differenzbild als auch im Originalbild zur Lichtfarbe ausgewertet werden können) sehr sicher (robust mit hoher Genauigkeit der Lichtfarbe) und daher bevorzugt auszuwerten.

Als Kriterien zur obigen Klassifizierung der Bildinhalte können folgende lokale Kriterien eingesetzt werden:

• Helligkeit Originalbild

• Helligkeit Differenzbild

• Chrominanz Differenzbild

• Helligkeit Polarisationsgradbild

• Chrominanz Polarisationsgradbild

Das Polarisationsgradbild P(x,y) kann aus einem Bildpaar Ij(x.y) und l _k (x,y) berechnet werden und ist als

definiert. Es wird für die 3 Farben separat bestimmt und besitzt entsprechend 3 Farbkomponenten Pr ₁ Pg, Pb.

Gemäß obiger Definition repräsentiert der Polarisationsgrad das Verhältnis von Nutzsignal Diff _Jk = I _} - I _k zur Helligkeit I ₁ + I _k . Dadurch fungiert er als Maß für die Auswertbarkeit einer Objektoberfläche unabhängig von der Helligkeit der Beleuchtung. Besonders hohe Polarisationsgrade erreichen glänzende Oberflächen und dunkle matte Oberflächen. Damit kann er als wesentlicher Indikator für die Erkennung von Spiegelbildern (kritische Fälle s.o) eingesetzt werden.

Zudem stellt die farbliche Zusammensetzung des Polarisationsgrads einen unmittelbaren Zusammenhang mit der Objektfarbe her. Betrachtet man die Inversion des Polarisationsgrads

enthält der Zähler eine Mischfarbe von Licht- und Objektfarbe (unter der beleuchtenden Lichtfarbe), der Nenner nur die Lichtfarbe. Der reziproke Polarisationsgrad stellt daher die lokal weißabgeglichene Objektfarbe dar. Für neutrale Objekte ergibt sich eine Kombination dreier gleicher Farbwerte des reziproken Polarisationsgrads und damit auch des Polarisationsgrads selbst. Neutrale Objekte lassen sich daher innerhalb der Szene als graue Objekte im Polarisationsgradbild lokalisieren.

Der Polarisationsgrad ist wie das Differenzsignal generell vom Einfallswinkel der Lichtstrahlen zur Objektoberfläche abhängig. Beim sog. Brewster-Winkel ist der Polarisationsgrad maximal. Weil der Einfallswinkel im wesentlichen vom öffnungswinkel zwischen Kameraausrichtung und der Beleuchtungsrichtung abhängt, ist der mittlere Polarisationsgrad ein globales Maß für die Auswertbarkeit und damit für die Anwendbarkeit des Verfahrens allgemein.

Als Helligkeitsmaß H(x,y) kann für Original-, Differenzbild und Polarisationsgradbild beispielsweise eine Linearkombination der 3 Farbwerte gemäß

H = (R + G + B)/3 sinnvoll verwendet werden.

Als zweidimensionale Chrominanzinformation (C1 , C2) sind intensitätsinvariante Darstellungen wie in b) Bildung relativer Farbanteile (s.o) geeignet.

Neutrale Objektregionen lassen sich beispielsweise aus den Farbwerten des Polarisationsgradbilds P _n P ₉ , P _b wie folgt bestimmen:

AGrey = J(P _r - 1/3) ² + (P _g - \ /3f + (P _b - 1/3) ²

( δGrey s~ι _S λ i_ • j. [ ThresholdGrey

GreyObject = e ^{v y}

Zur Lokalisierung der (positiven wie negativen) Fälle im Bild können die oben genannten Kriterien miteinander mathematisch verknüpft werden. Ergebnis ist jeweils eine Merkmalsfunktion, die die Erfüllung der betreffenden Situation (z.B. Spiegelbild viel/wenig) ausdrückt.

Die bildinhaltsbezogenen Wichtungsfunktion W(x,y) kann anschließend durch eine im wesentlichen logische Kombination (AND, OR lassen sich durch Multiplikation bzw. Addition bei kontinuierlichen Merkmalen realisieren) der einzelnen Merkmalsfunktionen erstellt werden.

Eine Kombinatorik kann beispielsweise sein (vgl. oben):

W _szene = (GreyObject OR (Spiegelung AND SehrHell)) AND

NOT (Dunkel OR (Spiegelung ANDNOT SehrHell) OR BuntesDijferenzbild)

e) Histogrammberechnung

Es erfolgt weiterhin eine Histogrammberechnung, bei der z.B. das Histogramm der Lichtfarbe unter Berücksichtigung der beiden Wichtungsfunktionen aus c) und d) pixelweise (Index n) gemäß

lKr„g, ) _n + W _mess (x,y) - W _szene (x,y) für r, ≤ r(x,y) _n+ι < r, + δγ λ ^h (r„gX _+i = l g, ≤ g(x,y) _n+ι K g _{1 +} Ag

[Kr ₁ , g X sonst berechnet werden kann.

f) Ermittlung der mittleren dominanten Lichtfarbe

Es erfolgt weiterhin als in dieser Ausführung letzter Schritt die Ermittlung der mittleren dominanten Lichtfarbe, die sich z.B. ergibt aus einer arithmetischen Mittelung der Histogrammverteilung:

Für die Realsierung des beschriebenen Weissabgleichverfahrens gibt es prinzipiell 2 bevorzugte Alternativen, die das Verfahren oder die genannten Vorrichtungen nicht beschränken.

1. Die Ausführung als separate Einheit (entweder als Zubehörteil zu einer

Kamera oder als unabhängiges Sensormodul in das Gehäuse integriert) oder

2. die Integration in eine Kamera, wobei wesentliche

Kamerafunktionselemente (z.B. Optik oder Sensor) für das Weißabgleichsverfahren mitverwendet werden.

Den Aufbau einer beispielhaften Sensoreinheit des beschriebenen Verfahrens zeigt die Figur 11.

über Objektiv und Strahlteilerspiegel werden 2 Bilder entworfen, die über jeweils eine Polfilter-Sensor-Kombination gleichzeitig aufgezeichnet werden. Die Polfilter sind in ihrer Orientierung um 90° gegeneinander verdreht. Die Einheit liefert somit 2 zueinander senkrecht polarisierte Bilder, aus denen die Differenz und weiter die Lichtfarbe gewonnen werden kann.

Um die Auswertung robust gegen beliebige Beleuchtungsrichtungen zu machen, können bevorzugt noch 2 zusätzliche Polarisationsrichtungen um 45° versetzt aufgenommen und ausgewertet werden. Dazu wird ein zusätzliches Sensormodul gemäß Figur 12 um 45° um die optische Achse verdreht eingesetzt.

Deckungsgleiche Bildinhalte sind nur für die Differenzbildung notwendig. Die Parallaxe zwischen den beiden Sensormodulen ist weniger kritisch, weil die Differenzbilder im wesentlichen unabhängig voneinander weiterverarbeitet werden.

Dieselbe Grundfunktion des Sensormoduls lässt sich mit einfachem optischen Pfad unter Verwendung eines doppelbrechenden Materials mit vorgeschalteter Linienmaske gemäß Figur 13 oder eines Flüssigkristalls gemäß Figur 14 realisieren.

Das Sensormodul mit Flüssigkristall kommt wie das Modul mit doppelbrechendem Material ohne Strahlteiler und einem einzigen Sensor aus. Mit dem Flüssigkristall- Modul lassen sich zudem die zwei für die Differenzbildung benötigten Bilder nur zeitlich hintereinander aufnehmen, was bei bewegten Objekten nachteilig ist.

Auch die einfachen Sensormodule mit Doppelbrechung oder mit Flüssigkristall sollten um 45° verdreht doppelt ausgeführt werden, entweder in separater doppelter Ausfertigung oder in Kombination mit einem Strahlteiler.

Bei Kombination der Flüssigkristallausführung mit Strahlteilung ergibt sich ein komplexes Sensormodul welches schematisch in Figur 15 dargestellt ist und besondere Möglichkeiten bietet: Jeweils 2 für die Differenzbildung benötigte Bilder lassen sich gleichzeitig aufnehmen und mit nur einem Sensormodul lassen sich 4 Polarisationsrichtungen auswerten. Dazu können im Wechsel die Flüssigkristalle ohne und mit λ/4 Phasenverschiebung (entspricht dem unpolarisierten Zustand, geschaltet werden.

Vergleichbare Eigenschaften wie die letztgenannte Variante mit Flüssigkristall und Strahlteilung bietet eine vom optischen Aufbau und bzgl. Kalibrierung deutlich einfacher zu realisierende Variante mit Polfilterarray auf der Sensorfläche. Dies zeigen die Figuren 16. Für eine sichere Funktion ist es ausreichend, 2 Polarisationsrichtungen mit 45° Verdrehung aufzubringen. Durch Differenzbildung der polarisierten Farben mit der unpolarisierten Umgebung lassen sich alle Richtungen im 45°-Raster auswerten. Der lokale Normierungsfaktor zwischen den polarisierten und unpolarisierten Farbwerten lässt sich durch eine Flatfieldkalibrierung mit polarisiertem Weißbild ermitteln.

Ebenso lässt sich das Polfilterarray durch eine Kombination von 2 Masken insbesondere mit einem geeigneten Antialiasing-Filter, realisieren. Figur 17 zeigt ein Polfilterarray, das durch doppelbrechendes Material in Kombination mit einer vorgeschalteten Maske realisiert werden kann. Um die 0790°- und parallel die 457135°-Polarisationsrichtungen auszuwerten, kann z.B. ein mehrlagiger Aufbau ähnlich der Anordnung eines optischen Antialiasing-Filters verwendet werden. Dabei dient die 1. Stufe (obere Maske und 1. Lage des doppelbrechenden Materials) der Filterung der 0790°-Richung und die 2. Stufe (45°- Polarisationsdreher, zwischenliegende Maske und 2. Lage des doppelbrechenden Materials) der Filterung der 457135°-Richtung. Bei der Differenzbildung ist die

Anordnung der Polarisationsrichtungen durch die 2-stufige Vorfilterung in der Sensorebene zu berücksichtigen.

Allgemein kann in einer Ausführung vorgesehen sein, ein Polfilterarray dadurch auszubilden, dass dichroitische Kristalle in einen Träger eingebettet werden und durch ein statisches elektrisches Feld bei der Aushärtung die Kristalle in gewünschter Richtung ausgerichtet werden. Bei einem Träger kann es sich z.B. um die Farbfilter eines Sensors handeln.

Die Meßeinrichtung kann in ein separates Gehäuse vergleichbar einem externen Blitzgerät eingebaut und an den Blitzschuh einer Kamera angeschlossen werden und bildet so ein Zusatzmodul bzw. externe Einheit. Die Kontakte bieten Stromversorgung und Kommunikationsschnittstellen, mit denen die Information der Lichtfarbe an die Kamera weitergegeben werden kann.

Alternativ lassen sich die Einheiten auch direkt in das Kameragehäuse integrieren und zur Messung der Lichtfarbe nutzen. Dabei ist durch eine geeignete Positionierung im Gehäuse sicherzustellen, dass die Optik nicht versehentlich verdeckt werden kann und der Bildausschnitt der Sensorik nicht durch das Kameraobjektiv unnötig eingeschränkt wird.

Innerhalb elektronischer Kameras lassen sich vorhandene Strahlengänge (Hauptstrahlengang, Sucherstrahlengang, Autofokus) durch Strahlteilung erweitern und an das beschriebene Verfahren anpassen. Die Sensormodule im vorangegangenen Abschnitt lassen sich auf diese Situation übertragen, evtl. kann auf die Meßoptik verzichtet werden.

Vorteil dieser Vorgehensweise ist die übereinstimmung des Bildausschnitts zwischen Mess- und Bildsensor, was für einen lokalen Weißabgleich vorteilhaft ist.

Ein weiterer Vorteil ist die Möglichkeit, den Hauptsensor als unpolarisiertes Teilbild zur Differenzbildung zu verwenden. Dadurch verringert sich die Anzahl der

notwendigen Messbilder (sinnvoll sind dann 2 Polarisationsrichtung mit einer Verdrehung von 45°).

Ebenfalls vorteilhaft ist die Messung der Lichtfarbe im Kamerastrahlengang, wodurch die Farbabstimmung zwischen Messeinrichtung und Hauptsensor entfallen kann.

Bei Integration in den Kamerastrahlengang könnte die vorgestellte Meßeinrichtung neben der Steuerung des Weissabgleichs ebenfalls die Belichtungssteuerunng übernehmen, der Belichtungssensor könnte dann entfallen.

Eine weitere Möglichkeit ist die Verwendung des Bildsensors als Messeinrichtung wie in Figur 14 oder 15 mit vorgeschaltetem Flüssigkristall und Polfilter dargestellt. Allerdings führt der Lichtverlust durch die Absorption des Polfilters im Hauptstrahlengang zu einer Reduktion der Empfindlichkeit des Kamerasystems um einen Faktor 2-3. Außerdem ließen sich so nur 2 Polarisationsrichtungen auswerten.

Prinzipiell ließe sich das Verfahren der Doppelbrechung ebenfalls in Verbindung mit dem Hauptsensor realisieren, allerdings würden durch die Linienmaske sowohl Licht- als auch Auflösungsverluste entstehen.

Als besonders interessante Möglichkeit bietet sich an, auf dem hochaufgelösten Bildsensor ein verteiltes Polfilterarray unterzubringen. Weil sich die Beleuchtungsinformation nur relativ langsam ändert, können die Polfilterbereiche auf der Sensorfläche ruhig lückenhaft verteilt werden, um die Bildinformation möglichst wenig durch die Polarisationsbereiche zu stören.

Für eine sichere Funktion ist ausreichend, 2 Polarisationsrichtungen mit 45° Verdrehung aufzubringen. Durch Differenzbildung der polarisierten Farben mit der unpolarisierten Umgebung lassen sich alle Richtungen im 45°-Raster auswerten.

Der lokale Normierungsfaktor zwischen den polarisierten und unpolarisierten Farbwerten lässt sich durch eine Flatfieldkalibrierung mit polarisiertem Weißbild ermitteln.

Eine Schwierigkeit bei allen Varianten der Kameraintegration entsteht bei Verwendung eines Polarisationsfilters vor dem Kameraobjektiv: der Polarisationsgrad reflektierter Anteile, auf dem das neue Messverfahren beruht, geht verloren, und das Nutzsignal verschwindet, so dass das Verfahren ergebnislos ist. Im Amateurbereich (Kompakt- und Sucherkameras) wäre diese Einschränkung vermutlich akzeptabel, weil hier so gut wie nie mit Polarisationsfilter gearbeitet wird.

Bezüglich sämtlicher Ausführungen ist festzustellen, dass die in Verbindung mit einer Ausführung genannten technischen Merkmale nicht nur bei der spezifischen Ausführung eingesetzt werden können, sondern auch bei den jeweils anderen Ausführungen. Sämtliche offenbarten technischen Merkmale dieser Erfindungsbeschreibung sind als erfindungswesentlich einzustufen und beliebig miteinander kombinierbar oder in Alleinstellung einsetzbar.