Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR GENERATING AN OUTPUT SIGNAL OF A PDAF PIXEL
Document Type and Number:
WIPO Patent Application WO/2021/078473
Kind Code:
A1
Abstract:
The invention relates to a method for generating an output signal of a PDAF pixel of an optoelectronic image sensor using pixel signals from further pixels arranged in an environment of the PDAF pixel. The image sensor comprises the PDAF pixel within the environment in a row of pixels running along a first direction and at least one further PDAF pixel, and the method comprises: detecting pixel signals of the pixels of the image sensor arranged within the environment; determining a structure direction of an image structure formed on the image sensor from the pixel signals of at least one portion of the pixels arranged within the environment; and generating the output signal of the PDAF pixel. In one case, the output signal is generated as an interpolation signal from the pixel signals of further pixels arranged within the environment and, in another case, it is generated as an amplified signal by correcting the pixel signal of the PDAF pixel with an amplification factor, wherein the output signal of the PDAF pixel is generated as the amplified signal, if the structure direction deviates from the first direction by less than a predefined angle.

Inventors:
HOPP BENJAMIN (DE)
Application Number:
PCT/EP2020/077140
Publication Date:
April 29, 2021
Filing Date:
September 28, 2020
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
LEICA CAMERA AG (DE)
International Classes:
H04N5/232; H04N5/369; H04N9/04
Foreign References:
US20140267839A12014-09-18
US20190098240A12019-03-28
US20150319412A12015-11-05
US20120236185A12012-09-20
Attorney, Agent or Firm:
MANITZ FINSTERWALD (MFP) (DE)
Download PDF:
Claims:
Patentansprüche

1. Verfahren (200) zur Erzeugung eines Ausgabesignals (11 ) eines PDAF- Bildpunkts (112) eines optoelektronischen Bildsensors (100) unter Verwendung von Bildpunktsignalen (106) von in einem Umfeld (110) des PDAF-Bildpunkts (112) angeordneten weiteren Bildpunkten (117), wobei der Bildsensor (100) innerhalb des zur Erzeugung des Ausgabesig nals (11 ) herangezogenen Umfelds (110) in einer entlang einer ersten Rich tung (101) verlaufenden Bildpunktreihe den PDAF-Bildpunkt (112) und min destens einen weiteren PDAF-Bildpunkt (114) aufweist, wobei das Verfahren (200) umfasst:

Erfassen (201) von Bildpunktsignalen (106) der innerhalb des Um felds (110) angeordneten Bildpunkte (112, 114, 117) des Bildsensors (100),

Bestimmen (225) einer Strukturrichtung einer auf den Bildsensor (100) abgebildeten Bildstruktur (32) aus den Bildpunktsignalen (106) zu mindest eines Teils der innerhalb des Umfelds (110) angeordneten Bild punkte (117), und

Erzeugen (240) des Ausgabesignals (11) des PDAF-Bildpunkts

(112), wobei das Ausgabesignal (11) des PDAF-Bildpunkts (112) in einem Fall als Interpolationssignal aus den Bildpunktsignalen (106) von innerhalb des Um felds (110) angeordneten weiteren Bildpunkte (117) und in einem anderen Fall als verstärktes Signal durch Korrektur (230) des Bildpunktsignals (106) des PDAF-Bildpunkts (112) mit einem Verstärkungsfaktor erzeugt wird, wobei das Ausgabesignal (11) des PDAF-Bildpunkts (112) als das verstärk te Signal erzeugt wird, falls die Strukturrichtung um weniger als einen vor- gegebenen Winkel von der ersten Richtung (101) abweicht.

2. Verfahren (200) nach Anspruch 1 , wobei das Bildpunktsignal (106) des PDAF-Bildpunkts (112) zur Erzeugung des verstärkten Signals dadurch korrigiert wird, dass lediglich ein ein vor gegebenes Dunkelsignal des PDAF-Bildpunkts (112) übersteigender Sig nalanteil des Bildpunktsignals (106) des PDAF-Bildpunkts (112) mit dem Verstärkungsfaktor skaliert wird.

3. Verfahren (200) nach einem der vorhergehenden Ansprüche, wobei der vorgegebene Winkel mindestens 0°, mindestens 10° oder min destens 13° und/oder höchstens 45°, höchstens 35° oder höchstens 23°, beispielsweise 14°, 18° oder 22,5° beträgt.

4. Verfahren (200) nach einem der vorhergehenden Ansprüche, wobei die Strukturrichtung aus einem ersten Kontrastwert und einem zwei ten Kontrastwert der abgebildeten Bildstruktur (32) bestimmt wird, wobei der erste Kontrastwert einen Kontrast der Bildstruktur (32) entlang der ersten Richtung (101) und der zweite Kontrastwert einen Kontrast der Bildstruktur (32) entlang einer von der ersten Richtung (101) verschiede nen, insbesondere entlang einer zu der ersten Richtung (101) orthogona len, zweiten Richtung (102) spezifiziert.

5. Verfahren (200) nach Anspruch 4, wobei der erste Kontrastwert unter Berücksichtigung einer Mehrzahl von ersten Bildpunktpaaren (130) erzeugt wird, die jeweils zwei der weiteren Bildpunkte (117) umfassen, die innerhalb des Umfelds (110) in entlang der ersten Richtung (101) verlaufenden ersten Bildpunktreihen (134) des Bildsensors (100) angeordnet sind, und/oder wobei der zweite Kontrastwert unter Berücksichtigung einer Mehrzahl von zweiten Bildpunktpaaren (140) erzeugt wird, die jeweils zwei der weiteren Bildpunkte (117) umfassen, die innerhalb des Umfelds (110) in entlang der zweiten Richtung (102) verlaufenden zweiten Bildpunktreihen (144) des Bildsensors (100) angeordnet sind.

6. Verfahren (200) nach Anspruch 5, wobei jedes erste Bildpunktpaar (130) aus zwei weiteren Bildpunkten (117) besteht, die jeweils die gleiche Farbe aufweisen, und/oder jedes zweite Bildpunktpaar (140) aus zwei weiteren Bildpunkten (117) besteht, die je weils die gleiche Farbe aufweisen.

7. Verfahren (200) nach einem der Ansprüche 5 und 6, wobei der erste Kontrastwert eine Summe von Differenzbeträgen der Bild punktsignale (106) der weiteren Bildpunkte (117) der einzelnen ersten Bild punktpaare (130) umfasst und/oder wobei der zweite Kontrastwert eine Summe von Differenzbeträgen der Bild punktsignale (106) der weiteren Bildpunkte (117) der einzelnen zweiten Bildpunktpaare (140) umfasst.

8. Verfahren (200) nach einem der Ansprüche 5 bis 7, wobei eine Anordnung der zweiten Bildpunktpaare (140) einer aus der ers ten Richtung (101) um den PDAF-Bildpunkt (112) in die zweite Richtung (102) gedrehten Anordnung der ersten Bildpunktpaare (130) entspricht.

9. Verfahren (200) nach einem der vorhergehenden Ansprüche, wobei die Strukturrichtung aus den Bildpunktsignalen (106) von Bildpunkten (117) unterschiedlicher Farbe bestimmt wird. 10. Verfahren (200) nach einem der vorhergehenden Ansprüche, wobei die Strukturrichtung unter Ausschluss der Bildpunktsignale (106) des PDAF-Bildpunkts (112) und des weiteren PDAF-Bildpunkts (114) bestimmt wird.

11. Verfahren (200) nach einem der vorhergehenden Ansprüche, wobei das Ausgabesignal (11) des PDAF-Bildpunkts (112) als das Interpo lationssignal erzeugt wird, falls die Strukturrichtung senkrecht zu der ersten Richtung (101) orientiert ist, vorzugsweise in allen Fällen, in denen die Strukturrichtung von der ersten Richtung (101) um mehr als den vorgege benen Winkel abweicht.

12. Verfahren (200) nach einem der vorhergehenden Ansprüche, wobei das Verfahren (200) ein Bestimmen (210) mindestens zweier Signal differenzwerte umfasst, wobei die einzelnen Signaldifferenzwerte aus Bildpunktsignalen (106) je weils zweier der weiteren Bildpunkte (117) bestimmt werden, die innerhalb des Umfelds (110) um den PDAF-Bildpunkt (112) in durch den PDAF- Bildpunkt (112) verlaufenden und für die einzelnen Signaldifferenzwerte je weils unterschiedlichen weiteren Richtungen (102, 103, 104, 105) beidseits des PDAF-Bildpunkts (112) angeordnet sind, und wobei das Interpolationssignal aus den Bildpunktsignalen (106) derjenigen weiteren Bildpunkte (117), die den kleinsten Signaldifferenzwert aufweisen, erzeugt wird.

13. Verfahren (200) nach Anspruch 12, wobei die weiteren Richtungen (102, 103, 104, 105) jeweils von der ersten Richtung (101) abweichen. 14. Verfahren (200) nach einem der Ansprüche 12 bis 13, wobei das Interpolationssignal als ein Mittelwert der Bildpunktsignale (106) derjenigen weiteren Bildpunkte (117), die den kleinsten Signaldifferenzwert aufweisen, erzeugt wird, beispielsweise als ein arithmetischer oder gewich teter Mittelwert.

15. Verfahren (200) nach einem der Ansprüche 12 bis 14, wobei die Signaldifferenzwerte einen diagonalen Signaldifferenzwert um fassen, der aus Bildpunktsignalen (106) zweier weiterer Bildpunkte (117) bestimmt wird, die innerhalb des Umfelds (110) um den PDAF-Bildpunkt (112) in einer durch den PDAF-Bildpunkt (112) verlaufenden Diagonalen richtung (103) beidseits des PDAF-Bildpunkts (112) angeordnet sind.

16. Verfahren (200) nach Anspruch 15, wobei die diagonale Signaldifferenz aus dem Bildpunktsignal (106) zweier von dem PDAF-Bildpunkt (112) in der Diagonalenrichtung (103) gleich weit entfernter weiterer Bildpunkte (117) bestimmt wird, wenn beide gleich weit entfernten weiteren Bildpunkte (117) funktionsfähig sind, wobei die diagonale Signaldifferenz aus Bildpunktsignalen (106) zweier in der Diagonalenrichtung (103) unterschiedlich weit von dem PDAF-Bildpunkt (112) entfernter weiterer Bildpunkte (117) bestimmt wird, wenn einer der in der Diagonalenrichtung (103) gleich weit entfernten weiteren Bildpunkte (117) defekt ist.

17. Verfahren (200) nach einem der Ansprüche 15 und 16, wobei die Signaldifferenzwerte einen weiteren diagonalen Signaldifferenz wert umfassen, der aus Bildpunktsignalen (106) zweier der weiteren Bild punkte (117) bestimmt wird, die innerhalb des Umfelds (110) um den PDAF-Bildpunkt (112) in einer durch den PDAF-Bildpunkt (112) verlaufen den und senkrecht zu der Diagonalenrichtung (103) orientierten weiteren Diagonalenrichtung (104) beidseits des PDAF-Bildpunkts (112) angeordnet sind.

18. Verfahren (200) nach einem der Ansprüche 12 bis 17, wobei die Signaldifferenzwerte einen senkrechten Signaldifferenzwert um fassen, der aus Bildpunktsignalen (106) zweier der weiteren Bildpunkte (117) bestimmt wird, die innerhalb des Umfelds (110) um den PDAF- Bildpunkt (112) in einer durch den PDAF-Bildpunkt (112) verlaufenden und senkrecht zu der ersten Richtung (101) orientierten Normalenrichtung (102, 105) beidseits des PDAF-Bildpunkts (112) angeordnet sind.

19. Verfahren (200) nach einem der Ansprüche 12 bis 18, wobei die weiteren Bildpunkte (117), die zur Bestimmung der einzelnen Signaldifferenzwerte herangezogen werden, an Bildpunktpositionen eines Farbfilters des Bildsensors (100) angeordnet sind, deren Farbe einer Farbe der Bildpunktposition des PDAF-Bildpunkts (112) entspricht.

20. Verfahren (200) nach einem der Ansprüche 12 bis 19, wobei die Signaldifferenzwerte aus Quadratwurzeln der zur Bestimmung der einzelnen Signaldifferenzwerte jeweils herangezogenen Bildpunktsigna le (106) bestimmt werden.

21. Verfahren (200) nach einem der vorhergehenden Ansprüche, wobei der PDAF-Bildpunkt (112) und der mindestens eine weitere PDAF- Bildpunkt (114) jeweils eine Blende (115) aufweisen, die den jeweiligen PDAF-Bildpunkt (112, 114) entlang einer senkrecht zu der ersten Richtung (101) orientierten Blendenkante (116) in einen freiliegenden Teil (119) und in einen abgedeckten Teil (118) teilt. 22. Verfahren (200) nach einem der vorhergehenden Ansprüche, wobei der PDAF-Bildpunkt (112) und der weitere PDAF-Bildpunkt (114) in nerhalb des Umfelds (110) an in der ersten Richtung (101) einander nächstgelegenen Bildpunktpositionen gleicher Farbe angeordnet sind.

23. Verfahren (200) nach einem der vorhergehenden Ansprüche, wobei der Bildsensor (100) eine Farbfiltermatrix umfasst, bei der alle Bild punkte (112, 114, 117), die in der entlang der ersten Richtung (101) verlau fenden und die PDAF-Bildpunkte (112, 114) umfassenden PDAF- Bildpunktreihe (120) angeordnet sind, die gleiche Filterfarbe aufweisen.

24. Sensoreinrichtung (1) mit einem optoelektronischen Bildsensor (100) und einer Auswerteeinrichtung (10) zur Erzeugung eines Ausgabesignals (11) eines PDAF-Bildpunkts (112) des optoelektronischen Bildsensors (100), wobei die Auswerteeinrichtung (10) dazu eingerichtet ist, das Ausgabesig nal (11) des PDAF-Bildpunkts (112) unter Verwendung von Bildpunktsigna len (106) von in einem Umfeld (110) des PDAF-Bildpunkts (112) angeord neten weiteren Bildpunkten (117) des Bildsensors (100) zu erzeugen, wobei der Bildsensor (100) innerhalb des zur Erzeugung des Ausgabesig nals (11 ) herangezogenen Umfelds (110) in einer entlang einer ersten Rich tung (101) verlaufenden Bildpunktreihe den PDAF-Bildpunkt (112) und min destens einen weiteren PDAF-Bildpunkt (114) aufweist, wobei die Auswerteeinrichtung (10) dazu eingerichtet ist,

Bildpunktsignale (106) der innerhalb des Umfelds (110) angeordneten Bild punkte (117) des Bildsensors (100) zu erfassen und eine Strukturrichtung einer auf den Bildsensor (100) abgebildeten Bildstruktur (32) aus den Bild punktsignalen (106) zumindest eines Teils der innerhalb des Umfelds (110) angeordneten Bildpunkte (112, 114, 117) zu bestimmen, wobei die Auswerteeinrichtung (10) dazu eingerichtet ist, das Ausgabesig nal (11) des PDAF-Bildpunkts (112) in einem Fall als Interpolationssignal aus den Bildpunktsignalen (106) von innerhalb des Umfelds (110) angeord neten weiteren Bildpunkte (117) und in einem anderen Fall als verstärktes Signal durch Korrektur des Bildpunktsignals (106) des PDAF-Bildpunkts (112) mit einem Verstärkungsfaktor zu erzeugen, und wobei die Auswerteeinrichtung (10) dazu eingerichtet ist, das Ausgabesig nal (11) des PDAF-Bildpunkts (112) als das verstärkte Signal zu erzeugen, falls die Strukturrichtung um weniger als einen vorgegebenen Winkel von der ersten Richtung (101) abweicht. 25. Kamera mit einer Sensoreinrichtung (1 ) gemäß Anspruch 24.

Description:
Verfahren zur Erzeugung eines Ausgabesignals eines PDAF-Bildpunkts

Die vorliegende Erfindung betrifft ein Verfahren zur Erzeugung eines Ausgabesig nals eines PDAF-Bildpunkts eines optoelektronischen Bildsensors und eine Sen soreinrichtung mit einem optoelektronischen Bildsensor.

Optoelektronische Bildsensoren mit PDAF-Bildpunkten (PDAF: phase detection autofocus) werden unter anderem in digitalen Kameras, etwa Foto- und Videoka meras, eingesetzt, um eine Phasenvergleich-Autofokusfunktion bereitzustellen.

Bei einem optoelektronischen Bildsensor mit integrierten PDAF-Bildpunkten sind die für den Phasenvergleich genutzten PDAF-Bildpunkte direkt auf dem Bildsensor integriert und es wird kein separater Autofokus-Sensor benötigt. Daher können Kameras mit derartigen Sensoren besonders kompakt gebaut werden, beispiels weise als spiegellose Systemkameras.

Die PDAF-Bildpunkte weisen in der Regel Blenden auf, die einen Teil der licht empfindlichen Fläche des jeweiligen PDAF-Bildpunkts abdecken und so dafür sor gen, dass der jeweilige PDAF-Bildpunkt die aus der zu fokussierenden Optik aus tretende Strahlung lediglich aus einer vorgegebenen Richtung empfängt. Die PDAF-Bildpunkte sind üblicherweise in zwei Gruppen unterteilt und die PDAF- Bildpunkte der beiden Gruppen empfangen Strahlung aus unterschiedlichen Rich tungen. Anhand der räumlichen Phasenverschiebung der aus den unterschiedli chen Richtungen empfangenen Bilder auf dem Bildsensor kann dann die Fokusla ge der Optik bestimmt und die Optik scharfgestellt werden. Die in den PDAF-Bildpunkten eingesetzten Blenden haben jedoch den Nachteil, dass ein Teil der auf die PDAF-Bildpunkte einfallenden Strahlung abgeschattet wird und die PDAF-Bildpunkte daher nicht die gleiche Bildinformation tragen wie gewöhnliche Bildpunkte ohne Blenden. Werden die Bildpunktsignale der PDAF-Bildpunkte daher zur Erstellung eines mittels des Bildsensors aufgenom menen Bildes verwendet, so weisen die Bilder in den die PDAF-Bildpunkte umge benden Regionen in der Regel Bildfehler auf.

Es ist Aufgabe der Erfindung ein Verfahren zur Erzeugung eines Ausgabesignals eines PDAF-Bildpunkts eines optoelektronischen Bildsensors, sowie eine Sen soreinrichtung mit einem optoelektronischen Bildsensor derart anzugeben, dass bei der Erstellung eines durch den Bildsensor aufgenommenen Bildes Bildfehler vermieden werden.

Diese Aufgabe wird durch ein Verfahren und eine Sensoreinrichtung gemäß den unabhängigen Ansprüchen gelöst. Weiterbildungen sind jeweils in den abhängigen Ansprüchen angegeben.

Es wird ein Verfahren zur Erzeugung eines Ausgabesignals eines PDAF- Bildpunkts eines optoelektronischen Bildsensors unter Verwendung von Bild punktsignalen von in einem Umfeld des PDAF-Bildpunkts angeordneten weiteren Bildpunkten angegeben. Der Bildsensor weist innerhalb des zur Erzeugung des Ausgabesignals herangezogenen Umfelds in einer entlang einer ersten Richtung verlaufenden Bildpunktreihe den PDAF-Bildpunkt und mindestens einen weiteren PDAF-Bildpunkt auf und das Verfahren umfasst:

Erfassen von Bildpunktsignalen der innerhalb des Umfelds angeordneten Bildpunkte des Bildsensors,

Bestimmen einer Strukturrichtung einer auf den Bildsensor abgebildeten Bild struktur aus den Bildpunktsignalen zumindest eines Teils der innerhalb des Um- felds angeordneten Bildpunkte, und

Erzeugen des Ausgabesignals des PDAF-Bildpunkts.

Das Ausgabesignal des PDAF-Bildpunkts wird dabei in einem Fall als Interpolati onssignal aus den Bildpunktsignalen von innerhalb des Umfelds angeordneten weiteren Bildpunkten und in einem anderen Fall als verstärktes Signal durch Kor rektur des Bildpunktsignals des PDAF-Bildpunkts mit einem Verstärkungsfaktor erzeugt, wobei das Ausgabesignal des PDAF-Bildpunkts als das verstärkte Signal erzeugt wird, falls die Strukturrichtung um weniger als einen vorgegebenen Winkel von der ersten Richtung abweicht.

Indem das Ausgabesignal des PDAF-Bildpunkts fallweise als Interpolationssignal oder als verstärktes Signal erzeugt wird, kann das eigentliche Bildsignal des PDAF-Bildpunkts, unabhängig von der Strukturrichtung der abgebildeten Bildstruk tur, besonders genau rekonstruiert werden und ein aus den Bildsignalen erstelltes Bild ist im Wesentlichen frei von Bildfehlern. Das Ausgabesignal des PDAF-Bildpunkts kann insbesondere in Abhängigkeit von der bestimmten Struk turrichtung als das Interpolationssignal oder als das verstärkte Signal erzeugt wer den.

Die Strukturrichtung wird dabei als diejenige Richtung bestimmt, in der die abge bildete Bildstruktur den geringsten Kontrast aufweist und entlang derer die Bild punkte des Bildsensors folglich mit im Wesentlichen der gleichen Intensität belich tet werden. Bei einer Bestimmung des Bildsignals des PDAF-Bildpunkts mittels Interpolation werden daher dann die besten Ergebnisse erzielt, wenn die Interpola tion entlang der Strukturrichtung erfolgt und das Ausgabesignal des PDAF-Bildpunkts aus entlang der Strukturrichtung um den PDAF-Bildpunkt herum angeordneten weiteren Bildpunkten des Umfelds erzeugt wird. Verläuft die Strukturrichtung jedoch im Wesentlichen parallel zu der ersten Rich tung, in der auch die PDAF-Bildpunkte nebeneinander angeordnet sind, so liefert zumindest der weitere PDAF-Bildpunkt, welcher, wie der PDAF-Bildpunkt, mit ei ner Blende abgeschattet ist, keine vollständige Information über die eintreffende Strahlung. Wird daher auch das Bildsignal des weiteren PDAF-Bildpunkts bei einer Interpolation verwendet, so kann es zu Bildfehlern in aus den Ausgabesignalen erstellten Bildern kommen. Indem das Ausgabesignal des PDAF-Bildpunkts dann, wenn die Strukturrichtung um weniger als den vorgegebenen Winkel von der ers ten Richtung abweicht, also im Wesentlichen parallel zu der ersten Richtung aus gerichtet ist, als das verstärkte Signal und nicht als Interpolationssignal erzeugt wird, werden Bildfehler, wie sie bei einer Interpolation entlang der ersten Richtung möglich sind, vermieden.

Je nach Ausgestaltung des Bildsensors kann es neben den genannten Fällen un ter Umständen auch noch andere Fälle geben, in denen das Ausgabesignal des PDAF-Bildpunkts weder als das genannte Interpolationssignal, noch als das ge nannte verstärkte Signal, beispielsweise durch eine Kombination aus den beiden genannten Signalen, erzeugt wird. Das Ausgabesignal des PDAF Bildpunkts kann jedoch auch lediglich auf die zwei genannten Arten erzeugt werden, nämlich ent weder als das Interpolationssignal oder als das verstärkte Signal.

Die den PDAF-Bildpunkt und den weiteren PDAF-Bildpunkt umfassende Bild punktreihe kann als PDAF-Bildpunktreihe bezeichnet werden. In der PDAF-Bildpunktreihe können neben dem PDAF-Bildpunkt einer oder mehrere der für die Erzeugung des Interpolationssignals herangezogenen weiteren Bildpunkte ebenfalls als PDAF-Bildpunkte ausgebildet sein. Alle PDAF-Bildpunkte innerhalb des Umfelds können ausschließlich in der PDAF-Bildpunktreihe, nicht jedoch in anderen Bildpunktreihen des Umfelds angeordnet sein. Bei dem Bildsensor kön nen insbesondere all diejenigen Bildpunkte innerhalb des Umfelds, die in der PDAF-Bildpunktreihe angeordnet sind und bei einer Erzeugung des Interpolati- onssignals herangezogen werden würden, als PDAF-Bildpunkte ausgebildet sein, so dass eine Rekonstruktion des Ausgabesignals des PDAF-Bildpunkts mittels Interpolation entlang der PDAF-Bildpunktreihe grundsätzlich nicht möglich ist.

Der Bildsensor kann insbesondere als ein Farbsensor mit farbselektiven Bildpunk ten ausgebildet sein. Beispielsweise können die farbselektiven Bildpunkte als grü ne, blaue und rote Bildpunkte mit einem grünen, blauen bzw. roten Farbfilter aus gebildet sein. Die farbselektiven Bildpunkte können auf dem Bildsensor an Bild punktpositionen angeordnet sein, die gemäß einer vorgegebenen Farbmatrix ver teilt sind. Die Bildpunkte können insbesondere gemäß einer Bayer-Matrix ange ordnet sein. Die einzelnen Zeilen der Bayer-Matrix umfassen abwechselnd entwe der grüne und rote Bildpunktpositionen oder grüne und blaue Bildpunktpositionen. Dabei sind entlang der einzelnen Zeilen die grünen und roten bzw. die grünen und blauen Bildpunktpositionen ebenfalls abwechselnd nebeneinander angeordnet. Zusätzlich sind die grünen Bildpunktpositionen der grün/roten Zeilen gegenüber den grünen Bildpunktpositionen der grün/blauen Zeilen jeweils um eine Spalte ge geneinander verschoben, so dass die Bayer-Matrix abwechselnd Spalten mit al ternierenden grünen und roten Bildpunktpositionen und Spalten mit alternierenden grünen und blauen Bildpunktpositionen aufweist.

Der Bildsensor kann aber auch als ein Monochromsensor ausgebildet sein, wel cher ohne farbselektive Bildpunkte ausgeführt ist und bei dem jeder Bildpunkt im gleichen Spektralbereich lichtempfindlich ist.

Das zur Erzeugung des Ausgabesignals herangezogene Umfeld kann symmet risch um den PDAF-Bildpunkt angeordnet sein. Es kann beispielsweise in der ers ten Richtung und in einer senkrecht zu der ersten Richtung orientierten Normalen richtung die gleiche Ausdehnung aufweisen, beispielsweise eine Ausdehnung von fünf Bildpunkten. Bei den genannten Bildpunkten, die zur Erzeugung des Interpolationssignals her angezogen werden, kann es sich beispielsweise um alle Bildpunkte handeln, die innerhalb des Umfelds in der für die Interpolation verwendeten Richtung neben dem PDAF-Bildpunkt und auf Bildpunktpositionen der Farbmatrix des Bildsensors angeordnet sind, denen die gleiche Farbe zugeordnet ist wie der Bildpunktposition des PDAF-Bildpunkts. Beispielsweise können sich der PDAF-Bildpunkt und die zur Erzeugung des Interpolationssignals herangezogenen Bildpunkte jeweils auf grü nen, roten oder insbesondere auf blauen Bildpunktpositionen befinden.

Die Interpolation kann beispielswiese entlang vorgegebener Interpolationsrichtun gen erfolgen, beispielsweise entweder entlang einer senkrecht zu der ersten Rich tung orientierten zweiten Richtung oder entlang gegenüber der ersten und zweiten Richtung um 45° geneigten Diagonalenrichtungen. Die Interpolation kann insbe sondere unter Ausschluss der ersten Richtung erfolgen und anstelle einer Interpo lation entlang der ersten Richtung kann dann die Korrektur des Bildpunktsignals des PDAF-Bildpunkts mit dem Verstärkungsfaktor erfolgen. Das Verfahren kann ein Bestimmen der für die Interpolation heranzuziehenden Interpolationsrichtung umfassen. Die jeweilige für die Interpolation herangezogene Interpolationsrichtung kann beispielsweise diejenige Richtung sein, entlang derer die für die Interpolation verwendeten weiteren Bildpunkte die geringste Bildsignaldifferenz aufweisen.

Der PDAF-Bildpunkt und der weitere PDAF-Bildpunkt können innerhalb des für die Erzeugung des Ausgabesignals herangezogenen Umfelds an Bildpunktpositionen gleicher Farbe angeordnet sein. Bei dem Bildsensor können innerhalb des für die Erzeugung des Ausgabesignals herangezogenen Umfelds insbesondere alle in der PDAF-Bildpunktreihe an Bildpunktpositionen gleicher Farbe angeordneten Bildpunkte, beispielsweise alle Bildpunkte an blauen, roten oder grünen Bildpunkt positionen, als PDAF-Bildpunkte ausgebildet sein. Dabei kann insbesondere jeder zweite Bildpunkt der PDAF-Bildpunktreihe innerhalb des Umfelds als ein PDAF-Bildpunkt ausgebildet sein, insbesondere bei einem Bildsensor mit Bay- er-Matrix. Darüber hinaus können nicht nur alle innerhalb des Umfelds in der PDAF-Bildpunktreihe angeordneten Bildpunkte gleicher Farbe als PDAF-Bildpunkte ausgebildet sein, sondern auch alle außerhalb des Umfelds in der PDAF-Bildpunktreihe angeordneten Bildpunkte gleicher Farbe, beispielsweise jeder blaue und/oder jeder zweite Bildpunkt der PDAF-Bildpunktreihe.

Die Strukturrichtung kann unter Berücksichtigung lediglich derjenigen Bildpunkte innerhalb des Umfelds bestimmt werden, die als vollflächig belichtete Bildpunkte und nicht als PDAF-Bildpunkte ausgebildet sind. Die Strukturrichtung kann unter Verwendung von Bildpunkten an Bildpunktpositionen lediglich einer Farbe be stimmt werden, beispielsweise an Bildpunktpositionen mit der Farbe der Bild punktposition des PDAF-Bildpunkts. Insbesondere kann die Strukturrichtung je doch auch unter Verwendung von Bildpunkten, die an Bildpunktpositionen unter schiedlicher Farbe angeordnet sind, beispielsweise unter Verwendung von Bild punkten an Bildpunktpositionen aller Farben, bestimmt werden.

Das verstärkte Signal kann erzeugt werden, indem das gesamte erfasste Bild punktsignal des PDAF-Bildpunkts oder lediglich ein Teil des Bildpunktsignals des PDAF-Bildpunkts mit dem Verstärkungsfaktor multipliziert wird. Der Verstärkungs faktor kann dabei dem Verhältnis aus der Gesamtfläche des PDAF-Bildpunkts zur Fläche des durch die Blende abgedunkelten Bereichs des PDAF-Bildpunkts ent sprechen, bei einem halbseitig abgedeckten PDAF-Bildpunkt also einem Faktor zwei.

Alternativ kann der Verstärkungsfaktor g auch aus einem Signalverhältnis von Bildpunktsignalen vollflächig belichteter Bildpunkte zu Bildpunktsignalen von als PDAF-Bildpunkte ausgebildeten abgeschatteten Bildpunkten bestimmt werden. Beispielsweise kann der Verstärkungsfaktor g bestimmt werden zu wobei y { das Bildpunktsignal eines /- ten vollflächig belichteten Bildpunkts und yp DAF .i das Bildpunktsignal eines /-ten abgeschatteten PDAF-Bildpunkts bezeich net. Die einzelnen Summen des Zählers und Nenners werden dabei jeweils über die gleiche Anzahl von Bildpunkten gebildet. Alternativ kann auch das Signalver hältnis aus einem Mittelwert, beispielsweise dem arithmetischen oder geometri schen Mittelwert, der Bildpunktsignale der vollflächigen Bildpunkte zu einem Mit telwert, beispielsweise dem arithmetischen oder geometrischen Mittelwert, der Bildpunktsignale der abgeschatteten PDAF-Bildpunkte bestimmt werden.

Weist der Bildsensor ein Farbfilter auf, so sind die zur Bestimmung des Signalver hältnisses herangezogenen vollflächig belichteten Bildpunkte jeweils an Bildpunkt positionen angeordnet, deren Farbe der Farbe der Bildpunktposition des PDAF-Bildpunkts, dessen Ausgabesignal erzeugt wird, entspricht. Dabei kann der PDAF-Bildpunkt selbst einen Farbfilter aufweisen, dessen Farbe der Farbe seiner Bildpunktposition entspricht oder er kann einen Farbfilter aufweisen, dessen Farbe sich von der Farbe seiner Bildpunktposition unterscheidet.

Die zur Bestimmung des Signalverhältnisses herangezogenen Bildpunkte können in einer vorgegebenen Umgebung um den PDAF-Bildpunkt, dessen Ausgabesig nal erzeugt wird, angeordnet sein. Die vorgegebene Umgebung kann beispiels weise eine lokale Umgebung des PDAF-Bildpunkts sein und beispielsweise höchstens zwei weitere, höchstens vier weitere, höchstens acht weitere oder höchstens sechzehn weitere PDAF-Bildpunkte umfassen. Die vorgegebene Um gebung kann auch die komplette PDAF-Bildpunktreihe, in der der betreffende PDAF-Bildpunkt angeordnet ist, sein. Alternativ kann die vorgegebene Umgebung auch die gesamte Bildpunktfläche des Bildsensors sein. Bei einer Weiterbildung des Verfahrens wird das Bildpunktsignal des PDAF-Bildpunkts zur Erzeugung des verstärkten Signals dadurch korrigiert, dass lediglich ein ein vorgegebenes Dunkelsignal des PDAF-Bildpunkts übersteigender Signalanteil des Bildpunktsignals des PDAF-Bildpunkts mit dem Verstärkungsfak tor skaliert wird.

Das Dunkelsignal ist dasjenige Bildsignal, welches der PDAF-Bildpunkt im unbe lichteten Zustand ausgibt. Da der Wert des Dunkelsignals unabhängig von der Belichtung des PDAF-Bildpunkts ist, reproduziert das verstärkte Signal das bei einer vollflächigen Belichtung des PDAF-Bildpunkts erzeugte Signal besonders genau, wenn lediglich der belichtungsabhängige und das Dunkelsignal überstei gende Anteil des Bildsignals des PDAF-Bildpunkts mit dem Verstärkungsfaktor skaliert wird.

Das verstärkte Signal y PDAF G kann insbesondere bestimmt werden zu mit dem erfassten Bildpunktsignal y PDAF des PDAF-Bildpunkts, dem Verstärkungs faktor g und dem Dunkelsignalanteil y 0.

Bei einer Weiterbildung des Verfahrens beträgt der vorgegebene Winkel mindes tens 0°, mindestens 10°, mindestens 13° oder mindestens 16° und/oder höchstens 45°, höchstens 35°, höchstens 23° oder höchstens 20°, beispielsweise 14°, 18° oder 22,5°. Wird der vorgegebene Winkel zu klein gewählt, so wird das Ausgabe signal auch bei einer lediglich geringen Abweichung der Strukturrichtung von der ersten Richtung mittels Interpolation erzeugt, was insbesondere bei Ausschluss einer Interpolation entlang der ersten Richtung zu Interpolationsfehlern führen kann. Andererseits wird das Ausgabesignal bei einer zu großen Wahl des vorge gebenen Winkels auch in den Fällen, in denen eigentlich eine fehlerfreie Interpola tion, beispielsweise entlang einer Diagonalenrichtung, möglich wäre, durch Kor rektur des Bildsignals des PDAF-Bildpunkts mit dem Verstärkungsfaktor erzeugt, was im Vergleich zu einer Interpolation zu einer ungenaueren Reproduktion des wahren Bildsignals des PDAF-Bildpunkts führen könnte.

Bei einer Weiterbildung des Verfahren wird die Strukturrichtung aus einem ersten Kontrastwert und einem zweiten Kontrastwert der abgebildeten Bildstruktur be stimmt, wobei der erste Kontrastwert einen Kontrast der Bildstruktur entlang der ersten Richtung und der zweite Kontrastwert einen Kontrast der Bildstruktur ent lang einer von der ersten Richtung verschiedenen, insbesondere entlang einer zu der ersten Richtung orthogonalen, zweiten Richtung spezifiziert. Auf diese Weise ist eine einfache und schnelle Bestimmung der Strukturrichtung möglich.

Die Strukturrichtung kann allgemein dadurch bestimmt werden, dass ein Winkel zwischen der Strukturrichtung und der ersten Richtung bestimmt wird. Die Struk turrichtung kann insbesondere aus dem Verhältnis des ersten und zweiten Kon trastwerts bestimmt werden, welches ein Maß für den Winkel zwischen der Struk turrichtung und der ersten Richtung ist. Insbesondere entspricht bei einer senk rechten Ausrichtung von erster und zweiter Richtung das Verhältnis des zweiten Kontrastwerts zu dem ersten Kontrastwert dem Kotangens des Winkels zwischen der Strukturrichtung und der ersten Richtung. Die Strukturrichtung weicht dann um weniger als den vorgegebenen Winkel von der ersten Richtung ab, wenn das Ver hältnis des zweiten Kontrastwerts zu dem ersten Kontrastwert einen aus dem vor gegebenen Winkel abgeleiteten Schwellenwert überschreitet. Der abgeleitete Schwellenwert kann beispielsweise dem Kotangens des vorgegebenen Winkels entsprechen und beispielsweise 6 oder 3 oder 2,4 oder 2 betragen.

Bei einer Weiterbildung des Verfahrens wird der erste Kontrastwert unter Berück sichtigung einer Mehrzahl von ersten Bildpunktpaaren erzeugt, die jeweils zwei der weiteren Bildpunkte umfassen, die innerhalb des Umfelds in entlang der ersten Richtung verlaufenden ersten Bildpunktreihen des Bildsensors angeordnet sind. Alternativ oder zusätzlich wird der zweite Kontrastwert unter Berücksichtigung ei- ner Mehrzahl von zweiten Bildpunktpaaren erzeugt, die jeweils zwei der weiteren Bildpunkte umfassen, die innerhalb des Umfelds in entlang der zweiten Richtung verlaufenden zweiten Bildpunktreihen des Bildsensors angeordnet sind.

Indem jeweils eine Mehrzahl erster Bildpunktpaare bzw. eine Mehrzahl zweiter Bildpunktpaare zur Bestimmung der Kontrastwerte herangezogen wird, können die Kontrastwerte besonders robust bestimmt werden, ohne dass kleinräumige Varia tionen der abgebildeten Bildstruktur die aus den Kontrastwerten bestimmte Struk turrichtung unverhältnismäßig stark beeinflussen würden. Der erste Kontrastwert und/oder der zweite Kontrastwert können beispielsweise als die Summe der Be träge der Differenzen der Bildpunktsignale der jeweiligen Bildpunkte der einzelnen ersten bzw. zweiten Bildpunktpaare bestimmt werden.

Die jeweiligen Bildpunkte einzelner erster Bildpunktpaare können symmetrisch um eine senkrecht zu der ersten Richtung verlaufende und den PDAF-Bildpunkt um fassende senkrechte Bildpunktreihe angeordnet sein. Die senkrechte Bildpunktrei he kann insbesondere durch eine den PDAF-Bildpunkt umfassende Bildpunktspal te des Bildsensors gebildet werden. Die jeweiligen Bildpunkte einzelner weiterer erster Bildpunktpaare können auch asymmetrisch in Bezug auf die senkrechte Bildpunktreihe angeordnet sein. Beispielsweise kann jeweils einer der Bildpunkte eines ersten Bildpunktpaares in der senkrechten Bildpunktreihe und der andere der Bildpunkte des jeweiligen ersten Bildpunktpaares in einer durch die senkrechte Bildpunktreihe begrenzten Hälfte der Umgebung, die zur Erzeugung des Ausga besignals des PDAF-Bildpunkts herangezogenen wird, angeordnet sein. Die Mehrzahl erster Bildpunktpaare kann zudem sowohl erste Bildpunktpaare umfas sen, deren jeweilige Bildpunkte symmetrisch um die den PDAF-Bildpunkt umfas sende senkrechte Bildpunktreihe angeordnet sind, als auch erste Bildpunktpaare, deren jeweilige Bildpunkte asymmetrisch um die den PDAF-Bildpunkt umfassende senkrechte Bildpunktreihe angeordnet sind. Entsprechend können die jeweiligen Bildpunkte einzelner zweiter Bildpunktpaare symmetrisch um die entlang der ersten Richtung verlaufende und den PDAF- Bildpunkt umfassende PDAF-Bildpunktreihe angeordnet sein. Die jeweiligen Bild punkte einzelner weiterer zweiter Bildpunktpaare können auch asymmetrisch in Bezug auf die PDAF-Bildpunktreihe angeordnet sein. Beispielsweise kann jeweils einer der Bildpunkte eines zweiten Bildpunktpaars in der PDAF-Bildpunktreihe und der andere der Bildpunkte des jeweiligen zweiten Bildpunktpaares in einer durch die PDAF-Bildpunktreihe begrenzten Hälfte der zur Erzeugung des Ausgabesig nals des PDAF-Bildpunkts herangezogenen Umgebung angeordnet sein. Die Mehrzahl zweiter Bildpunktpaare kann zudem sowohl zweite Bildpunktpaare um fassen, deren jeweilige Bildpunkte symmetrisch um die PDAF-Bildpunktreihe an geordnet sind, als auch zweite Bildpunktpaare, deren jeweilige Bildpunkte asym metrisch um die PDAF-Bildpunktreihe angeordnet sind.

Bei einer Weiterbildung des Verfahrens besteht jedes erste Bildpunktpaar aus zwei weiteren Bildpunkten, die jeweils die gleiche Farbe aufweisen, und/oder je des zweite Bildpunktpaar besteht aus zwei weiteren Bildpunkten, die jeweils die gleiche Farbe aufweisen. Indem die einzelnen Bildpunktpaare jeweils Bildpunkte gleicher Farbe umfassen, können die Kontrastwerte als Summen farbspezifischer Einzelkontraste bestimmt werden, wobei die farbspezifischen Einzelkontraste je weils durch Signaldifferenzen der gleichfarbigen Bildpunkte der einzelnen Bild punktpaare bestimmt werden.

Bei einer Weiterbildung des Verfahrens umfasst der erste Kontrastwert eine Summe von Differenzbeträgen der Bildpunktsignale der weiteren Bildpunkte der einzelnen ersten Bildpunktpaare und/oder der zweite Kontrastwert umfasst eine Summe von Differenzbeträgen der Bildpunktsignale der weiteren Bildpunkte der einzelnen zweiten Bildpunktpaare. Die Differenzbeträge werden dabei durch die Beträge der Differenzen der Bildpunkte der einzelnen Bildpunktpaare gebildet. Bei einer Weiterbildung des Verfahrens entspricht eine Anordnung der zweiten Bildpunktpaare einer aus der ersten Richtung um den PDAF-Bildpunkt in die zwei te Richtung gedrehten Anordnung der ersten Bildpunktpaare. Insbesondere um fasst die Mehrzahl erster Bildpunktpaare und die Mehrzahl zweiter Bildpunktpaare die gleiche Anzahl an Bildpunktpaaren. Außerdem umfassen die zweiten Bild punktpaare keinen Bildpunkt, der bei einer Drehung der Anordnung der Bildpunkte in der Umgebung des PDAF-Bildpunkts aus der zweiten Richtung in die erste Richtung auf einen PDAF-Bildpunkt, etwa den weiteren PDAF-Bildpunkt, abgebil det wird. Dadurch wird sichergestellt, dass die Signaldifferenzen der einzelnen ersten Bildpunktpaare zur Bestimmung des ersten Kontrastwerts und die Signaldif ferenzen der einzelnen zweiten Bildpunktpaare zur Bestimmung des zweiten Kon trastwerts gleich gewichtet werden und bei der Bestimmung der Strukturrichtung keine Vorzugsrichtung aufgrund einer ungleichmäßigen Anzahl oder Verteilung der ersten und zweiten Bildpunktpaare gegeben ist.

Bei einer Weiterbildung des Verfahrens wird die Strukturrichtung aus den Bild punktsignalen von Bildpunkten unterschiedlicher Farbe bestimmt. Insbesondere kann die Strukturrichtung aus den Bildpunktsignalen von Bildpunkten aller Farben bestimmt werden. Die Kontrastrichtung kann auf diese Weise besonders zuverläs sig bestimmt werden. Die Strukturrichtung kann insbesondere dadurch aus den Bildpunktsignalen von Bildpunkten unterschiedlicher Farbe bestimmt werden, dass die Mehrzahl erster Bildpunktpaare und/oder die Mehrzahl zweiter Bildpunktpaare Bildpunktpaare unterschiedlicher Farbe umfasst.

Bei einer Weiterbildung des Verfahrens wird die Strukturrichtung unter Ausschluss der Bildpunktsignale des PDAF-Bildpunkts und des weiteren PDAF-Bildpunkts bestimmt. Insbesondere kann die Strukturrichtung unter Ausschluss aller in dem Umfeld enthaltenen PDAF-Bildpunkte bestimmt werden, so dass beispielsweise bei einer Bestimmung der Strukturrichtung über den ersten und zweiten Kontrast wert der PDAF-Bildpunkt und der mindestens eine weitere PDAF-Bildpunkt in kei- nem der ersten und/oder zweiten Bildpunktpaare enthalten sind. Aufgrund der teilweisen Abschattung der PDAF-Bildpunkte eignen sich diese nicht zur Bestim mung der Strukturrichtung, beispielsweise über den ersten und zweiten Kontrast wert. Insbesondere können die jeweiligen zur Bestimmung des ersten und zweiten Kontrastwerts herangezogenen Bildpunktpaare unter Ausschluss des PDAF- Bildpunkts und des weiteren PDAF-Bildpunkts aus benachbart angeordneten Bild punkten gleicher Farbe gebildet werden.

Bei einer Weiterbildung des Verfahrens wird das Ausgabesignal des PDAF- Bildpunkts zumindest dann als das Interpolationssignal erzeugt, falls die Struktur richtung senkrecht zu der ersten Richtung orientiert ist, vorzugsweise in allen Fäl len, in denen die Strukturrichtung von der ersten Richtung um mehr als den vor gegebenen Winkel abweicht. Das Ausgabesignal des PDAF-Bildpunkts kann ins besondere grundsätzlich immer als das Interpolationssignal erzeugt werden, au ßer in den Fällen, in denen die Strukturrichtung um höchstens den vorgegebenen Winkel von der ersten Richtung abweicht.

Bei einer Weiterbildung umfasst das Verfahren ein Bestimmen mindestens zweier Signaldifferenzwerte, wobei die einzelnen Signaldifferenzwerte aus Bildpunktsig nalen jeweils zweier der weiteren Bildpunkte bestimmt werden, die innerhalb des Umfelds um den PDAF-Bildpunkt in durch den PDAF-Bildpunkt verlaufenden und für die einzelnen Signaldifferenzwerte jeweils unterschiedlichen weiteren Richtun gen beidseits des PDAF-Bildpunkts angeordnet sind. Außerdem wird das Interpo lationssignal aus den Bildpunktsignalen derjenigen weiteren Bildpunkte, die den kleinsten Signaldifferenzwert aufweisen, erzeugt.

Die entlang der unterschiedlichen weiteren Richtungen bestimmten Signaldiffe renzwerte sind jeweils ein Maß für den Kontrast der abgebildeten Bildstruktur ent lang der betreffenden weiteren Richtung. Diejenige weitere Richtung, entlang de rer die weiteren Bildpunkte den kleinsten Signaldifferenzwert aufweisen, entspricht dann der Richtung mit minimalem Kontrast. Daher kann davon ausgegangen wer den, dass die abgebildete Bildstruktur entlang der betreffenden Richtung orientiert ist und die Belichtung des PDAF-Bildpunkts im Wesentlichen mit der gleichen In tensität erfolgt, wie bei den beiden zur Bestimmung der Signaldifferenzwerte ent lang der betreffenden Richtung herangezogenen weiteren Bildpunkten. Indem das Interpolationssignal aus den Bildpunktsignalen derjenigen weiteren Bildpunkte, die den kleinsten Signaldifferenzwert aufweisen, erzeugt wird, entspricht das Interpo lationssignal besonders genau demjenigen Bildsignal, welches der PDAF- Bildpunkt liefern würde, wenn er keine Blende aufweisen und vollflächig belichtet werden würde.

Die weiteren Bildpunkte, aus denen die einzelnen Signaldifferenzwerte bestimmt werden, können entlang der betreffenden weiteren Richtung entweder symmet risch oder asymmetrisch um den PDAF-Bildpunkt herum angeordnet sein. Die wei teren Richtungen können insbesondere eine senkrecht zu der ersten Richtung orientierte Normalenrichtung und/oder gegenüber der ersten Richtung um 45° ge neigte Diagonalenrichtungen umfassen.

Bei einer Weiterbildung des Verfahrens weichen die weiteren Richtungen jeweils von der ersten Richtung ab. Insbesondere erfolgt also keine Interpolation entlang der in der ersten Richtung ausgerichteten PDAF-Bildpunktreihe. Da in der PDAF- Bildpunktreihe insbesondere an den Bildpunktpositionen, welche die gleiche Farbe wie die Bildpunktposition des PDAF-Bildpunkts aufweisen, weitere PDAF- Bildpunkte angeordnet sein können, könnte das Ausgabesignal des PDAF- Bildpunkts bei einer Interpolation unter Verwendung der PDAF-Bildpunkte mög licherweise fehlerhaft erzeugt werden. Anstelle der Interpolation entlang der ersten Richtung wird das Ausgabesignal des PDAF-Bildpunkts bei dem beschriebenen Verfahren als das verstärkte Signal erzeugt. Bei einer Weiterbildung des Verfahrens wird das Interpolationssignal als ein Mit telwert der Bildpunktsignale derjenigen weiteren Bildpunkte, die den kleinsten Sig naldifferenzwert aufweisen, erzeugt, beispielsweise als ein arithmetischer oder gewichteter Mittelwert. Ein derartiger Mittelwert ist besonders einfach zu berech nen und reproduziert gleichzeitig das bei einer vollflächigen Belichtung des PDAF- Bildpunkts erzeugte Signal besonders genau. Der gewichtete Mittelwert kann bei spielsweise mit den Abständen, in denen die einzelnen zur Bildung des Mittelwerts herangezogenen Bildpunkte von dem PDAF-Bildpunkt entfernt angeordnet sind, gewichtet werden.

Bei einer Weiterbildung des Verfahrens umfassen die Signaldifferenzwerte einen diagonalen Signaldifferenzwert, der aus Bildpunktsignalen zweier weiterer Bild punkte bestimmt wird, die innerhalb des Umfelds um den PDAF-Bildpunkt in einer durch den PDAF-Bildpunkt verlaufenden Diagonalenrichtung beidseits des PDAF-Bildpunkts angeordnet sind. Indem bei der Bestimmung des Interpolations signals auch die Diagonalenrichtung und nicht nur eine senkrecht zu der ersten Richtung orientierte weitere Richtung berücksichtigt wird, kann das Interpolations signal das bei einer vollflächigen Belichtung des PDAF-Bildpunkts erzeugte Bildsignal besonders genau reproduzieren.

Bei einer Weiterbildung des Verfahrens wird die diagonale Signaldifferenz aus dem Bildpunktsignal zweier von dem PDAF-Bildpunkt in der Diagonalenrichtung gleich weit entfernter weiterer Bildpunkte bestimmt, wenn beide gleich weit ent fernten weiteren Bildpunkte funktionsfähig sind, und die diagonale Signaldifferenz wird aus Bildpunktsignalen zweier in der Diagonalenrichtung unterschiedlich weit von dem PDAF-Bildpunkt entfernter weiterer Bildpunkte bestimmt, wenn einer der in der Diagonalenrichtung gleich weit entfernten weiteren Bildpunkte defekt ist.

Bei den zur Bestimmung der Signaldifferenz herangezogenen weiteren Bildpunk ten kann es sich jeweils um Bildpunkte vorgegebener Farbe handeln. Die vorge- gebene Farbe kann insbesondere die Farbe derjenigen Bildpunktposition sein, an der der PDAF-Bildpunkt angeordnet ist. Insbesondere kann es sich bei den von dem PDAF-Bildpunkt gleich weit entfernten Bildpunkten jeweils um dem PDAF-Bildpunkt in der Diagonalenrichtung nächstgelegene Bildpunkte der vorge gebenen Farbe handeln.

Die Bildpunktsignale der nächstgelegenen Bildpunkte vorgegebener Farbe wei chen üblicherweise am wenigsten von dem bei einer vollflächigen Belichtung des PDAF-Bildpunkts erzeugten Bildsignal ab, so dass bei einer Interpolation grund sätzlich die genauesten Ergebnisse erzielt werden können, wenn die Bildpunktsig nale der nächstgelegenen Bildpunkte verwendet werden. Um jedoch auch dann, wenn einer der beiden gleich weit entfernten Bildpunkte defekt ist, eine Interpolati on durchführen zu können, wird anstelle des defekten gleich weit entfernten Bild punkts ein in der entsprechenden Interpolationsrichtung weiter entfernt gelegener Bildpunkt, beispielsweise der zweitnächstgelegene Bildpunkt vorgegebener Farbe, für die Interpolation verwendet.

Bei einer Weiterbildung des Verfahrens umfassen die Signaldifferenzwerte einen weiteren diagonalen Signaldifferenzwert, der aus Bildpunktsignalen zweier der weiteren Bildpunkte bestimmt wird, die innerhalb des Umfelds um den PDAF- Bildpunkt in einer durch den PDAF-Bildpunkt verlaufenden und senkrecht zu der Diagonalenrichtung orientierten weiteren Diagonalenrichtung beidseits des PDAF- Bildpunkts angeordnet sind. Werden bei der Interpolation beide Diagonalenrich tungen berücksichtigt, approximiert das Interpolationssignal das bei einer vollflä chigen Belichtung des PDAF-Bildpunkts erzeugte Bildsignal besonders genau.

Bei einer Weiterbildung des Verfahrens umfassen die Signaldifferenzwerte einen senkrechten Signaldifferenzwert, der aus Bildpunktsignalen zweier der weiteren Bildpunkte bestimmt wird, die innerhalb des Umfelds um den PDAF-Bildpunkt in einer durch den PDAF-Bildpunkt verlaufenden und senkrecht zu der ersten Rich- tung orientierten Normalenrichtung beidseits des PDAF-Bildpunkts angeordnet sind.

Bei einer Weiterbildung des Verfahrens sind die weiteren Bildpunkte, die zur Be stimmung der einzelnen Signaldifferenzwerte herangezogen werden, an Bild punktpositionen eines Farbfilters des Bildsensors angeordnet, deren Farbe einer Farbe der Bildpunktposition des PDAF-Bildpunkts entspricht. Dadurch werden bei der Auswahl der für die Interpolation verwendeten weiteren Richtung lediglich die jenigen Bildstrukturen berücksichtigt, welche die gleiche Farbe wie die Bildpunkt position des PDAF-Bildpunkts aufweisen, so dass Farbfehler bei der Interpolation vermieden werden.

Bei einer Weiterbildung des Verfahrens werden die Signaldifferenzwerte aus Quadratwurzeln der zur Bestimmung der einzelnen Signaldifferenzwerte jeweils herangezogenen Bildpunktsignale bestimmt. Eine Bestimmung der Signaldiffe renzwerte aus den Quadratwurzeln der Bildpunktsignale hat gegenüber einer Be stimmung der Signaldifferenzwerte aus den Bildpunktsignalen selbst den Vorteil, dass signalabhängige Rauschbeiträge der einzelnen Bildpunktsignale die Signal differenzwerte weniger beeinflussen. Da das Rauschen der einzelnen Bildpunkt signale üblicherweise mit der Belichtung zunimmt, würde das Rauschen der ein zelnen Bildpunktsignale andernfalls dazu führen, dass die Signaldifferenzwerte bei gleicher Belichtungsdifferenz bei weniger belichteten Bildpunkten geringer sind als bei stärker belichteten Bildpunkten. Dies wiederum würde dazu führen, dass bei der Interpolation diejenigen Richtungen bevorzugt werden, in denen die Bildpunkte weniger belichtet werden als in den anderen weiteren Richtungen.

Bei einer Weiterbildung des Verfahrens weisen der PDAF-Bildpunkt und der min destens eine weitere PDAF-Bildpunkt jeweils eine Blende auf, die den jeweiligen PDAF-Bildpunkt entlang einer senkrecht zu der ersten Richtung orientierten Blen denkante in einen freiliegenden und in einen abgedeckten Teil teilt. Damit verläuft die Strukturrichtung, falls sie um weniger als den vorgegebenen Winkel von der ersten Richtung abweicht und das Ausgabesignal des PDAF-Bildpunkts als das verstärkte Signal erzeugt wird, senkrecht zu der den PDAF-Bildpunkt in den frei liegenden und abgedeckten Teil unterteilenden Blendenkante.

Es kann daher davon ausgegangen werden, dass der freiliegende Teil des PDAF- Bildpunkts und der abgedeckte Teil des PDAF-Bildpunkts jeweils mit der gleichen Intensität belichtet werden und dass folglich eine Korrektur des mittels des teilwei se abgedeckten PDAF-Bildpunkts erfassten Bildsignals mit dem vorgegebenen Verstärkungsfaktor das bei einer vollständigen Belichtung des PDAF-Bildpunkts erzeugte Signal reproduziert. Dies wäre beispielsweise bei einer parallelen Orien tierung der Blendenkante und der ersten Richtung nicht der Fall, da dann bei spielsweise die auf den freiliegenden Teil des PDAF-Bildpunkts eintreffende Strah lung unabhängig von dem Abstand ist, indem eine auf den abgedeckten Teil des PDAF-Bildpunkts abgebildete Strukturkante der Bildstruktur entlang der Blenden kante des PDAF-Bildpunkts verläuft. Bei dem Bildsensor können insbesondere alle PDAF-Bildpunkte innerhalb des zur Erzeugung des Ausgabesignals herange zogenen Umfelds entlang senkrecht zu der PDAF-Bildpunktreihe verlaufenden Blendenkanten in einen freiliegenden und in einen abgedeckten Teil geteilt sein.

Die senkrechte Orientierung der Blendenkanten einzelner, mehrerer oder aller PDAF-Bildpunkte der PDAF-Bildpunktreihe gegenüber der parallel zu der PDAF- Bildpunktreihe verlaufenden ersten Richtung stellt einen eigenständigen Aspekt der vorliegenden Erfindung dar, welcher insbesondere unabhängig ist von der Art und Weise, mit der das Ausgabesignal des PDAF-Bildpunkts erzeugt wird, wenn die Strukturrichtung um mehr als den vorgegebenen Winkel von der ersten Rich tung abweicht. Die Erfindung ist daher insbesondere auch allgemein auf Verfahren oder Bildsensoren gerichtet, bei denen der Bildsensor PDAF-Bildpunkte umfasst, die in einzelnen, parallel zueinander angeordneten PDAF-Bildpunktreihen ange ordnet sind und deren Blendenkanten senkrecht zu den einzelnen PDAF- Bildpunktreihen orientiert sind und bei denen das Ausgabesignal des PDAF- Bildpunkt als das verstärkte Signal erzeugt wird, wenn die Strukturrichtung der abgebildeten Bildstruktur um weniger als den vorgegebenen Winkel von der ersten Richtung abweicht.

Bei einer Weiterbildung des Verfahrens sind der PDAF-Bildpunkt und der weitere PDAF-Bildpunkt innerhalb des Umfelds an in der ersten Richtung einander nächstgelegenen Bildpunktpositionen gleicher Farbe angeordnet. Werden die ein zelnen PDAF-Bildpunkte besonders nah zueinander angeordnet, so kann die Pha sendifferenz zwischen den aus unterschiedlichen Richtungen auf den Bildsensor treffenden Anteilen der einfallenden elektromagnetischen Strahlung und damit auch die Fokuslage der scharfzustellenden Optik besonders genau bestimmt wer den. Eine Anordnung der PDAF-Bildpunkte an Bildpunktpositionen gleicher Farbe hat darüber hinaus den Effekt, dass in der Umgebung der PDAF-Bildpunktreihe lediglich die Bildpunkte einer Farbe modifiziert werden und damit die Bildpunktsig nale aller übrigen Farben korrekt erfasst werden können.

Bei einer Weiterbildung des Verfahrens umfasst der Bildsensor eine Farbfilter matrix, bei der alle Bildpunkte, die in der entlang der ersten Richtung verlaufenden und die PDAF-Bildpunkte umfassenden PDAF-Bildpunktreihe angeordnet sind, die gleiche Filterfarbe aufweisen. Insbesondere weisen die PDAF-Bildpunkte und die vollflächig belichteten weiteren Bildpunkte in der PDAF-Bildpunkreihe Farbfilter mit der gleichen Filterfarbe auf. Die PDAF-Bildpunkte können dabei jeweils an Bild punktpositionen der Farbfiltermatrix angeordnet sein, welchen eine Farbe zuge ordnet ist, die sich von der Filterfarbe der Farbfilter der PDAF-Bildpunkte unter scheidet. Außerdem können die weiteren, vollflächig ausgebildeten Bildpunkte der PDAF-Bildpunktreihe jeweils an Bildpunktpositionen angeordnet sein, deren Farbe der Filterfarbe der in der PDAF-Bildpunktreihe angeordneten Bildpunkte ent spricht. Beispielswiese können bei einer Bayer-Farbfiltermatrix alle PDAF-Bildpunkte in der PDAF-Bildpunktreihe an blauen oder roten Bildpunktpositionen angeordnet sein und keinen blauen bzw. roten Farbfilter, sondern einen andersfarbigen Farb filter umfassen, während alle weiteren Bildpunkte innerhalb der PDAF- Bildpunktreihe an grünen Bildpunktpositionen angeordnet sind und einen grünen Farbfilter umfassen. Es können aber auch alle PDAF-Bildpunkte in der PDAF- Bildpunktreihe an grünen Bildpunktpositionen angeordnet sein und keinen grünen, sondern einen andersfarbigen Farbfilter umfassen, während alle weiteren Bild punkte innerhalb der PDAF-Bildpunktreihe an blauen oder roten Bildpunktpositio nen angeordnet sind und einen blauen bzw. roten Farbfilter umfassen.

Es wird außerdem eine Sensoreinrichtung mit einem optoelektronischen Bildsensor und einer Auswerteeinrichtung zur Erzeugung eines Ausgabesignals eines PDAF-Bildpunkts des optoelektronischen Bildsensors angegeben, wobei die Auswerteeinrichtung dazu eingerichtet ist, das Ausgabesignal des PDAF- Bildpunkts unter Verwendung von Bildpunktsignalen von in einem Umfeld des PDAF-Bildpunkts angeordneten weiteren Bildpunkten des Bildsensors zu erzeu gen. Der Bildsensor weist innerhalb des zur Erzeugung des Ausgabesignals her angezogenen Umfelds in einer entlang einer ersten Richtung verlaufenden PDAF- Bildpunktreihe den PDAF-Bildpunkt und mindestens einen weiteren PDAF- Bildpunkt auf. Die Auswerteeinrichtung ist dazu eingerichtet, Bildpunktsignale der innerhalb des Umfelds angeordneten Bildpunkte des Bildsensors zu erfassen und eine Strukturrichtung einer auf den Bildsensor abgebildeten Bildstruktur aus den Bildpunktsignalen zumindest eines Teils der innerhalb des Umfelds angeordneten Bildpunkte zu bestimmen. Außerdem ist die Auswerteeinrichtung dazu eingerich tet, das Ausgabesignal des PDAF-Bildpunkts in einem Fall als Interpolationssignal aus den Bildpunktsignalen von innerhalb des Umfelds angeordneten weiteren Bildpunkten und in einem anderen Fall als verstärktes Signal durch Korrektur des Bildpunktsignals des PDAF-Bildpunkts mit einem Verstärkungsfaktor zu erzeugen, wobei die Auswerteeinrichtung dazu eingerichtet ist, das Ausgabesignal des PDAF-Bildpunkts als das verstärkte Signal zu erzeugen, falls die Strukturrichtung um weniger als einen vorgegebenen Winkel von der ersten Richtung abweicht.

Die Auswerteeinrichtung der Sensoreinrichtung ist insbesondere dazu ausgebildet, das vorgenannte Verfahren auszuführen. Insofern beziehen sich alle Vorteile und Weiterbildungen, die im Zusammenhang mit dem vorgenannten Verfahren be schrieben werden, auch auf die Sensoreinrichtung bzw. die Auswerteeinrichtung.

Die Erfindung bezieht sich weiter auf eine Kamera mit der vorgenannten Sen soreinrichtung. Die Kamera kann insbesondere als eine spiegellose Kamera, etwa als eine spiegellose Systemkamera ausgebildet sein.

Die Erfindung wird nachfolgend anhand von Figuren erläutert. Dabei zeigen in je weils schematischer Darstellung:

Fig. 1 eine Sensoreinrichtung mit einem optoelektronischen Bildsensor und ei ner Auswerteeinrichtung;

Fig. 2 einen Ausschnitt des optoelektronischen Bildsensors mit einer PDAF- Bildpunktreihe;

Fig. 3 einen PDAF-Bildpunkt mit einer zur Erzeugung eines Ausgangssignals des PDAF-Bildpunkts herangezogenen Umgebung des PDAF- Bildpunkts;

Fig. 4 die Umgebung mit einer entlang einer Strukturrichtung verlaufenden Strukturkante der Bildstruktur;

Fig. 5 die Umgebung mit zur Bestimmung eines ersten Kontrastwerts herange zogenen ersten Bildpunktpaaren;

Fig. 6 die Umgebung mit zur Bestimmung eines zweiten Kontrastwerts heran gezogenen zweiten Bildpunktpaaren;

Fig. 7 die Umgebung mit zur Bestimmung eines Interpolationssignals herange zogenen Interpolationsrichtungen; Fig. 8 eine weitere Umgebung eines PDAF-Bildpunkts eines weiteren

Bildsensors mit in einer Diagonalenrichtung unterschiedlich weit von dem PDAF-Bildpunkt entfernten weiteren Bildpunkten, sowie mit in einerwei teren Diagonalenrichtung dem PDAF-Bildpunkt nächstgelegenen weite ren Bildpunkten;

Fig. 9 ein Verfahren zur Erzeugung eines Ausgabesignals des PDAF Bild punkts; und

Fig. 10 ein weiteres Verfahren zur Erzeugung eines Ausgabesignals des PDAF Bildpunkts.

Fig. 1 zeigt eine Sensoreinrichtung 1 mit einem optoelektronischen Bildsensor 100 und einer Auswerteeinrichtung 10. Auf den optoelektronischen Bildsensor 100 wird ein Objekt 30 als eine Bildstruktur 32 abgebildet. Der optoelektronische Bildsensor 100 umfasst eine regelmäßige Anordnung einzelner Bildpunkte, welche jeweils Bildpunktsignale 106 erzeugen, die von der durch die Bildstruktur 32 vorgegebe nen Intensität der auf die einzelnen Bildpunkte einfallenden elektromagnetischen Strahlung abhängen. Die Auswerteeinrichtung 10 ist mit dem optoelektronischen Bildsensor 100 verbunden, um die Bildpunktsignale 106 zu erfassen und zu Aus gabesignalen 11 zu verarbeiten. Die Auswerteeinrichtung 10 ist dazu ausgebildet, die Ausgabesignale 11 derart zu erstellen, dass die Ausgabesignale 11 möglichst genau die auf die einzelnen Bildpunkte des Bildsensors 100 tatsächlich einfallende Intensität repräsentieren. Insbesondere ist die Auswerteeinrichtung 11 dazu aus gebildet, korrigierte Ausgabesignale 11 für teilweise abgeblendete PDAF-Bildpunkte des optoelektronischen Bildsensors 100 zu erstellen. Die Sen soreinrichtung 1 ist in einer in Fig. 1 nicht dargestellten digitalen Kamera angeord net.

In Fig. 2 ist ein Ausschnitt des optoelektronischen Bildsensors 100 dargestellt, welcher eine PDAF-Bildpunktreihe 120 mit entlang der PDAF-Bildpunktreihe 120 angeordneten PDAF-Bildpunkten 112 umfasst. Die PDAF-Bildpunktreihe 120 wird durch eine entlang einer ersten Richtung 101 orientierte Bildpunktzeile des opto elektronischen Bildsensors 100 gebildet. In einer senkrecht zu der ersten Richtung 101 orientierten und eine Normalenrichtung bildenden zweiten Richtung 102 um fasst der Bildsensor 100 nicht dargestellte weitere PDAF-Bildpunktreihen 120, welche beispielsweise regelmäßig voneinander beabstandet sind. Die PDAF- Bildpunkte 112 werden jeweils halbseitig von einer Blende 115 abgedeckt, so dass die einfallende Strahlung lediglich auf einen neben der Blende 115 freiliegenden Teil der PDAF-Bildpunkte 112 trifft.

Wie aus Fig. 2 hervorgeht, weist der optoelektronische Bildsensor 100 eine als Bayer-Matrix ausgebildete Farbfiltermatrix auf, welche grüne Bildpunktpositio nen G, blaue Bildpunktpositionen B und rote Bildpunktpositionen R umfasst. Die an den einzelnen Bildpunktpositionen G, B, R angeordneten Bildpunkte des Bildsensors 100 umfassen, soweit sie nicht in der PDAF-Bildpunktreihe 120 ange ordnet sind, jeweils einen Farbfilter, dessen Farbe der Farbe der entsprechenden Bildpunktpositionen G, B, R entspricht.

Innerhalb der PDAF-Bildpunktreihe 120 sind an den blauen Bildpunktpositionen jeweils die PDAF-Bildpunkte 112 angeordnet. Die PDAF-Bildpunkte 112 weisen jedoch keinen blauen, sondern einen andersfarbigen Farbfilter auf. Zwischen den einzelnen PDAF-Bildpunkten 112 sind in der PDAF-Bildpunktzeile 120 jeweils voll flächig belichtete weitere Bildpunkte an allen grünen Bildpunktpositionen G der Farbfiltermatrix angeordnet, welche grüne Farbfilter aufweisen.

In der PDAF-Bildpunktreihe 120 sind zwei unterschiedliche Typen von PDAF-Bildpunkten 112 angeordnet, welche jeweils auf in der ersten Richtung ent gegengesetzten Seiten abgedeckt sind, nämlich ein linksseitig abgedeckter Typ und ein rechtsseitig abgedeckter Typ von PDAF-Bildpunkten 112. Dabei umfasst die Bildpunktreihe 120 jeweils alternierend drei auf gleichfarbigen Bildpunktpositi onen nebeneinander angeordnete linksseitig abgedeckte PDAF-Bildpunkte 112 und drei auf gleichfarbigen Bildpunktpositionen nebeneinander angeordnete rechtsseitig abgedeckte PDAF-Bildpunkte 112.

Fig. 3 zeigt ein zur Erzeugung des Ausgabesignals 11 eines der PDAF-Bildpunkte 112 herangezogenes Umfeld 110 des betreffenden PDAF-Bildpunkts 112. Der PDAF-Bildpunkt 112, dessen Ausgabesignal 11 an hand des Umfelds 110 bestimmt wird, ist mittig innerhalb des Umfelds 110 ange ordnet, wobei das Umfeld 110 entlang der ersten Richtung 101 und entlang der zweiten Richtung 102 jeweils eine Breite von fünf Bildpunkten aufweist. Da in der PDAF-Bildpunktreihe 120 jeder zweite Bildpunkt ein PDAF-Bildpunkt ist, sind in nerhalb des Umfelds 110 in der PDAF-Bildpunktreihe 120 beidseits des PDAF- Bildpunkts 112 zwei weitere PDAF-Bildpunkte 114 angeordnet.

Wie in Fig. 3 ebenfalls dargestellt ist, unterteilen die Blenden 115 der PDAF- Bildpunkte 112, 114 die einzelnen PDAF-Bildpunkte 112, 114 jeweils entlang einer parallel zu der zweiten Richtung 102 verlaufenden Blendenkante 116 in einen frei liegenden und damit belichteten Teil 119 und in einen abgedeckten und daher un belichteten Teil 118. Alle übrigen Bildpunkte innerhalb des Umfelds 110 sind als vollflächig belichtete weitere Bildpunkte 117 ausgebildet.

Da die PDAF-Bildpunkte 112, 114 jeweils durch die Blende 115 abgeschattet wer den, können ihre Bildpunktsignale 106 nicht direkt als Ausgabesignal 11 verwen det werden. Daher ist die Auswerteeinrichtung 10 dazu eingerichtet, die Ausgabe signale 11 der PDAF-Bildpunkte 112, 114 jeweils unter Verwendung der Bild punktsignale 106 von Bildpunkten, die innerhalb eines Umfelds um den betreffen den PDAF-Bildpunkt 112, 114 gelegen sind, entweder als ein Interpolationssignal oder als ein verstärktes Signal zu erzeugen. Insbesondere wird das in Fig. 3 dar gestellte Umfeld 110 zur Erzeugung des Ausgabesignals 11 des in Fig. 3 darge stellten und im Zentrum des Umfelds 110 gelegenen PDAF-Bildpunkts 112 ver wendet. Zur Erzeugung der Ausgabesignale 11 der in Fig. 3 dargestellten weiteren PDAF-Bildpunkte 114 werden anlog jeweils um die weiteren Bildpunkte 114 zentrierte Umfelder herangezogen.

Ob das Ausgabesignal 11 des PDAF-Bildpunkts 112 als Interpolationssignal oder als verstärktes Signal erzeugt wird, hängt davon ab, wie die auf den Bildsensor 100 abgebildete Bildstruktur 32 im Bereich des Umfelds 110 um den PDAF-Bildpunkt 112 orientiert ist. Insbesondere hängt die Art und Weise der Er zeugung des Ausgabesignals 11 von einer Strukturrichtung der Bildstruktur 32 ab, entlang derer Grenzlinien zwischen hellen und dunklen Bereichen der Bildstruk tur 32 verlaufen. Beispielsweise ist die in Fig. 1 dargestellte Bildstruktur 32 in ei nen hellen und einen dunklen Bereich strukturiert, wobei die Grenzlinie zwischen dem hellen und dem dunklen Bereich eine Strukturkante 33 bildet und die Struk turrichtung der Bildstruktur 32 festlegt.

Wie in Fig. 4 dargestellt ist, ist die Strukturrichtung der Bildstruktur 32 innerhalb des Umfelds 110 durch einen Winkel 22 zwischen der entlang der Strukturrichtung verlaufenden Strukturkante 33 und der ersten Richtung 101 festgelegt. In allen Fällen, in denen der Winkel 22 höchstens einem vorgegebenen Winkel von bei spielsweise 18° oder 22,5° entspricht, die Strukturrichtung also im Wesentlichen entlang der ersten Richtung 101 verläuft, wird das Ausgabesignal 11 als das ver stärkte Signal aus dem Bildpunktsignal 106 des PDAF-Bildpunkts 112 bestimmt. In allen anderen Fällen wird das Ausgabesignal 11 als Interpolationssignal aus den Bildsignalen 106 der innerhalb des Umfelds 110 um den PDAF-Bildpunkt 112 her um angeordneten weiteren Bildpunkte 117 erzeugt.

Zur Bestimmung der Strukturrichtung bestimmt die Auswerteeinrichtung 10 einen ersten Kontrastwert, welcher einen Kontrast der Bildstruktur 32 entlang der ersten Richtung 101 angibt, und einen zweiten Kontrastwert, weicher einen Kontrast der Bildstruktur 32 entlang der zweiten Richtung 102 angibt. Wie in Fig. 5 dargestellt ist, wird der erste Kontrastwert anhand einer Mehrzahl erster Bildpunktpaare 130 bestimmt, wobei die einzelnen ersten Bildpunktpaare 130 jeweils zwei Bildpunkte gleicher Farbe umfassen, die jeweils in gemeinsamen, entlang der ersten Rich tung 101 verlaufenden ersten Bildpunktreihen 134 angeordnet sind. Die ersten Bildpunktreihen 134 werden insbesondere durch Bildpunktzeilen des Bildsensors 100 gebildet.

Analog wird der zweite Kontrastwert, wie in Fig. 6 dargestellt, anhand einer Mehr zahl zweiter Bildpunktpaare 140 bestimmt. Die einzelnen zweiten Bildpunktpaa re 140 umfassen jeweils zwei Bildpunkte gleicher Farbe, die jeweils in gemeinsa men, entlang der zweiten Richtung 102 verlaufenden zweiten Bildpunktreihen 144 angeordnet sind. Die zweiten Bildpunktreihen 144 werden insbesondere durch Bildpunktspalten des Bildsensors 100 gebildet. Die Anordnung der zweiten Bild punktpaare 140 entspricht dabei der aus der ersten Richtung 101 in die zweite Richtung 102, also um 90°, gedrehten Anordnung der ersten Bildpunktpaare 130.

Der erste Kontrastwert, welcher auch als horizontaler Kontrastwert bezeichnet werden kann, wird als Summe der Differenzbeträge der Bildpunktsignale 106 der Bildpunkte der einzelnen ersten Bildpunktpaare 130 gebildet zu mit den Differenzbeträgen |c h i | = | y 2 i - yi ,i \ der einzelnen Bildpunktsignale y , y 2 i des /- ten ersten Bildpunktpaares 130.

Analog wird der zweite Kontrastwert, welcher auch als vertikaler Kontrastwert be zeichnet werden kann, als Summe der Differenzbeträge der Bildpunktsignale 106 der Bildpunkte der zweiten Bildpunktpaare 140 gebildet zu mit den Differenzbeträgen \c v i \ = |y 2 j - yi ,i \ der einzelnen Bildpunktsignale y , y 2 i des /-ten zweiten Bildpunktpaares 140. Da die zur Erzeugung der Bildpunkt- Signale y l i , y 2 i herangezogenen Bildpunkte eines ersten bzw. zweiten Bildpunkt paares 130, 140 jeweils die gleiche Farbe haben, bilden die Differenzbeträge |c h i |, \c v i \ jeweils farbspezifische Einzelkontraste, die jeweils zu einem horizontalen bzw. vertikalen Gesamtkontrast aufsummiert werden.

Die in Fig. 5 dargestellte Mehrzahl horizontal orientierter erster Bildpunktpaare 130 umfasst sowohl erste Bildpunktpaare 130, deren Bildpunkte symmetrisch zu einer entlang der zweiten Richtung 102 ausgerichteten und den PDAF-Bildpunkt 112 umfassenden zentralen Bildpunktreihe 122 angeordnet sind, als auch erste Bild punktpaare 130, deren Bildpunkte asymmetrisch zu der zentralen Bildpunktrei he 122 angeordnet sind. Beispielsweise sind Bildpunkte der blauen und grünen ersten Bildpunktpaare 130 in den in der zweiten Richtung 102 an den äußeren Rändern des Umfelds 110 angeordneten äußersten ersten Bildpunktreihen 134 symmetrisch zu der zentralen Bildpunktreihe 122 angeordnet. Ebenso sind die Bildpunkte des in der PDAF-Bildpunktreihe 120 angeordneten grünen ersten Bild punktpaars 130, sowie die Bildpunkte der roten ersten Bildpunktpaare 130 in den zwischen der PDAF-Bildpunktreihe 120 und den beiden in der zweiten Rich tung 102 äußersten ersten Bildpunktreihen 134 symmetrisch um die zentrale Bild punktreihe 122 angeordnet. Dagegen sind die Bildpunkte der grünen ersten Bild punktpaare 130, die in den zwischen der PDAF-Bildpunktzeile 120 und den in der zweiten Richtung 102 äußersten ersten Bildpunktreihen 134 liegenden ersten Bildpunktreihen 134 angeordnet sind, asymmetrisch zu der zentralen Bildpunktrei he 122 angeordnet.

Analog umfasst auch die in Fig. 6 dargestellte Mehrzahl vertikal orientierter zweiter Bildpunktpaare 140 sowohl zweite Bildpunktpaare 140, deren Bildpunkte symmet risch zu einer durch die PDAF-Bildpunktreihe 120 gebildeten weiteren zentralen Bildpunktreihe angeordnet sind, als auch zweite Bildpunktpaare 140, deren Bild punkte asymmetrisch zu der weiteren zentralen Bildpunktreihe angeordnet sind. Beispielsweise sind die Bildpunkte der zweiten Bildpunktpaare 140, die in den in der ersten Richtung 101 äußersten zweiten Bildpunktreihen 144 des Umfelds 110 angeordnet sind, symmetrisch zu der durch die PDAF-Bildpunktreihe 120 gebilde ten weiteren zentralen Bildpunktreihe angeordnet, während die Bildpunkte derjeni gen grünen zweiten Bildpunktpaare 140, die in den zwischen der zentralen Bild punktreihe 122 und den beiden in der ersten Richtung 101 äußersten zweiten Bildpunktreihen 144 gelegenen zweiten Bildpunktreihen 144 angeordnet sind, asymmetrisch zu der weiteren zentralen Bildpunktreihe angeordnet.

Das aus dem zweiten Kontrastwert und dem ersten Kontrastwert gebildete Kon trastverhältnis

Cv_

C h ist ein Maß für die Abweichung der Strukturrichtung von der ersten Richtung 101 und entspricht dem Kotangens des Winkels 22. Überschreitet das Kontrastverhält nis einen vorgegebenen Grenzwert, beispielsweise einen Grenzwert von 3 oder 2,4, entsprechend einem Winkel 22 von 18° bzw. 22,5°, so wird das Ausgabesig nal 11 des PDAF-Bildpunkts 112 als das verstärkte Signal erzeugt, andernfalls wird das Ausgabesignal 11 als Interpolationssignal erzeugt. Alternativ kann der vorgegebene Grenzwert auch 4 betragen, entsprechend einem Winkel 22 von et wa 14°. In diesem Fall wird eine besonders schnelle Datenverarbeitung ermög licht, da sogenannte „Bit-Shift“ Operationen bei einem durch den Faktor zwei teil baren Grenzwert besonders schnell ausgeführt werden können.

Wie in Fig. 7 dargestellt ist, erfolgt die Interpolation entlang einer von der ersten Richtung 101 verschiedenen Interpolationsrichtung, insbesondere entweder ent lang einer Diagonalenrichtung 103, entlang einerweiteren Diagonalenrichtung 104 oder entlang einer der zweiten Richtung 102 entsprechenden Normalenrich tung 105. Das Interpolationssignal wird aus den Bildpunktsignalen der entlang der verwendeten Interpolationsrichtung dem PDAF-Bildpunkt 112 nächstgelegenen weiteren Bildpunkte 150 erzeugt, welche an Bildpunktpositionen angeordnet sind, die die gleiche Farbe aufweisen wie die Bildpunktposition des PDAF-Bildpunkts 112, also bei dem in Fig. 7 dargestellten Bildsensor 100 an blauen Bildpunktpositionen.

Bei einer Interpolation entlang der ersten Diagonalenrichtung 103 wird das Ausga besignal 11 des PDAF-Bildpunkts 112 aus den Bildpunktsignalen der in der obe ren rechten und der unteren linken Ecke des Umfelds 110 angeordneten blauen Bildpunkte erstellt, bei einer Interpolation entlang der weiteren Diagonalenrich tung 104 aus den Bildpunktsignalen der in der oberen linken und der unteren rech ten Ecke des Umfelds 110 angeordneten Bildpunkte und bei einer Interpolation entlang der Normalenrichtung 105 aus den Bildpunktsignalen der blauen Bildpunk te, welche am oberen und am unteren Rand des Umfelds 110 in der gleichen Spalte wie der PDAF-Bildpunkt 112 angeordnet sind.

Als die Interpolationsrichtung wird diejenige der Richtungen 102, 103, 105 ausge wählt, entlang derer Signaldifferenzwerte zwischen den Bildpunktsignalen der für die Interpolation verwendeten nächstgelegenen Bildpunkte 150 minimal ist. Die einzelnen Signaldifferenzwerte d j der -ten weiteren Richtung 102, 103, 105 wer den dabei als Differenzen der Quadratwurzeln der einzelnen Bildpunktsignale yl j , y2 j bestimmt zu und es wird entlang derjenigen Interpolationsrichtung 103, 104, 105 interpoliert, entlang derer der Signaldifferenzwert d j minimal ist.

Das Interpolationssignal y PDAF I entspricht einem Mittelwert der Bildpunktsignale der beiden entlang der ausgewählten Interpolationsrichtung beidseits des PDAF-Bildpunkts 112 nächstgelegenen Bildpunkte 150 blauer Farbe, beispiels weise kann das Interpolationssignal y PDAF I dem arithmetischen Mittelwert der ge nannten Bildpunktsignale entsprechen und zu berechnet werden.

In Fig. 8 ist der Bildsensor 100 mit einer alternativen Anordnung der PDAF-Bildpunkte 112, 114 dargestellt. Dabei befinden sich die PDAF-Bildpunkte 112, 114 innerhalb der PDAF-Bildpunktreihe 120 nicht an Bild punktpositionen blauer Farbe, sondern an Bildpunktpositionen grüner Farbe. Da bei einer Bayer-Farbmatrix entlang der durch die grünen Bildpunktpositionen G verlaufenden Diagonalenrichtungen 103, 104 ausschließlich grüne Bildpunktposi tionen G angeordnet sind, umfasst das um den zu korrigierenden PDAF-Bildpunkt 112 angeordnete Umfeld 110 entlang der Diagonalenrichtun gen 103, 104 beidseits des PDAF-Bildpunkts 112 jeweils zwei Bildpunkte mit ei nem grünen Farbfilter.

Insofern kann bei der in Fig. 8 dargestellten alternativen Anordnung der PDAF-Bildpunkte 112, 114 das Interpolationssignal bei einer Interpolation entlang der Diagonalenrichtungen 103, 104 nicht nur aus den dem PDAF-Bildpunkt 112 nächstgelegenen Bildpunkten 150 gleicher Farbe, sondern auch aus den dem PDAF-Bildpunkt 112 zweitnächstgelegenen Bildpunkten 151 gleicher Farbe, also den grünen Bildpunkten in den Ecken des Umfelds 110, erzeugt werden. Dabei können die Signaldifferenzwerte und das Interpolationssignal in den einzelnen Di agonalenrichtungen 103, 104 aus den nächstgelegenen und gleich weit entfernten Bildpunkten 150 gleicher Farbe bestimmt werden, falls in der betreffenden Diago nalenrichtung 103, 104 beide nächstgelegenen und gleich weit entfernten Bild punkte 150 gleicher Farbe funktionsfähig sind, wie es in Fig. 8 für die weitere Dia gonalenrichtung 104 dargestellt ist.

Ist jedoch einer der nächstgelegenen Bildpunkte 150 gleicher Farbe defekt, so kann anstelle des Bildpunktsignals des defekten nächstgelegenen Bildpunkts 150 das Bildpunktsignal des in der entsprechenden Diagonalenrichtung 103, 104 zweitnächstgelegenen Bildpunkts 151 gleicher Farbe zur Bestimmung der Signal differenzwerte und des Interpolationssignals herangezogen werden, wie es in Fig. 8 für die Diagonalenrichtung 103 dargestellt ist. In diesem Fall können der Signaldifferenzwert und das Interpolationssignal insbesondere aus Bildpunkten gleicher Farbe erzeugt werden, welche entlang der entsprechenden Diagonalen richtung 103, 104 unterschiedlich weit von dem PDAF-Bildpunkt 112 entfernt sind.

In Fig. 9 ist ein Verfahren 200 zur Erzeugung des Ausgabesignals 11 des PDAF- Bildpunkts 112 dargestellt. Das Verfahren 200 umfasst als ersten Schritt ein Er fassen 201 der Bildpunktsignale 106 der Bildpunkte des Bildsensors 100 durch die Auswerteeinheit 10. Danach umfasst das Verfahren 200 eine Interpolation 205 des Bildpunktsignals des PDAF-Bildpunkts 112 aus den Bildpunktsignalen 106 der innerhalb des Umfelds 110 angeordneten weiteren Bildpunkte 117. Flierzu werden erst die Signaldifferenzwerte d j bestimmt 210 und anschließend entlang derjeni gen Interpolationsrichtung 103, 104, 105, entlang derer der Signaldifferenzwert minimal ist, der Mittelwert der Bildpunktsignale der nächstgelegenen Bildpunkte gleicher Farbe bestimmt 215. Schließlich wird zunächst das so erzeugte Interpola tionssignal als Ausgabesignal festgelegt 220.

Anschließend umfasst das Verfahren 200 ein Bestimmen 225 der durch die Struk turkante 33 gegebenen Strukturrichtung der Bildstruktur 32. Weicht die Struktur richtung höchstens um den vorgegebenen Winkel von der ersten Richtung 101 ab, so umfasst das Verfahren 200 eine Korrektur 230 des Bildpunktsignals 106 des PDAF-Bildpunkts 112 mit einem vorgegebenen Verstärkungsfaktor g, um ein ver stärktes Signal zu bestimmen, wobei y PDAF das erfasste Bildpunktsignal des PDAF-Bildpunkts 112 und y 0 den Dunkelsignalanteil des PDAF-Bildpunkts 112 bezeichnet. Anschlie ßend erfolgt ein Festlegen 235 des Ausgabesignals 11 des PDAF-Bildpunkts 112 als das mit dem Verstärkungsfaktor korrigierte verstärkte Signal, beispielsweise indem das vorher erzeugte Interpolationssignal in einer Speichereinheit der Aus werteeinrichtung 11 überschrieben wird. Abschließend umfasst das Verfahren 200 ein Erzeugen 240 und Ausgeben des festgelegten Ausgabesignals 11 des PDAF-Bildpunkts 112 durch die Auswerteeinrichtung 10.

Bei dem in Fig. 9 dargestellten Verfahren 200 erfolgt stets das Bestimmen 205 des Interpolationssignals und das Interpolationssignal wird lediglich in den Fällen, in denen die Strukturrichtung um höchstens den vorgegebenen Winkel von der ers ten Richtung 101 abweicht, durch das verstärkte Signal ersetzt. Nachdem die Strukturrichtung bei einem vorgegebenen Winkel von weniger als 45°, insbeson dere von 18° oder 22,5°, im Durchschnitt häufiger um mehr als den vorgegebenen Winkel von der ersten Richtung 101 abweicht als um weniger als den vorgegebe nen Winkel, kann das Ausgabesignal 11 des PDAF-Bildpunkts 112 durch die in dem Verfahren 200 implementierte Reihenfolge des Bestimmens 205 des Interpo lationssignals und der Bestimmung 230 des verstärkten Signals besonders schnell erzeugt werden.

Fig. 10 zeigt eine alternative Ausführungsform des Verfahrens 200, bei der nach dem Erfassen 201 der Bildpunktsignale zunächst die Strukturrichtung bestimmt wird 225. Falls die Strukturrichtung um höchstens den vorgegebenen Winkel von der ersten Richtung 101 abweicht, erfolgt die Korrektur 230 mit dem Verstärkungs faktor und das Festlegen 235 des verstärkten Signals als das Ausgabesignal. Falls die Strukturrichtung um mehr als den vorgegebenen Winkel von der ersten Rich tung 101 abweicht, erfolgt bei dem in Fig. 10 dargestellten Verfahren die Interpola tion 205 des Bildpunktsignals des PDAF-Bildpunkts 112 aus den Bildpunktsigna len 106 der innerhalb des Umfelds 110 angeordneten weiteren Bildpunkte 117, wie es bereits im Zusammenhang mit Fig. 9 beschrieben wurde. Abschließend wird das Ausgabesignal entweder als das verstärkte Signal oder als das Interpola tionssignal erzeugt 240. Bezuqszeichenliste

1 Sensoreinrichtung

10 Auswerteeinrichtung

11 Ausgabesignal

22 Winkel

30 Objekt

32 Bildstruktur

33 Strukturkante

100 Bildsensor

101 erste Richtung

102 zweite Richtung

103 Diagonalenrichtung

104 weitere Diagonalenrichtung

105 Normalenrichtung

106 Bildpunktsignale

110 Umfeld

112 PDAF-Bildpunkt

114 weitere PDAF-Bildpunkte

115 Blende

116 Blendenkante

117 weitere Bildpunkte

118 abgedeckter Teil

119 freiliegender Teil

120 PDAF-Bildpunktreihe

122 zentrale Bildpunktreihe

130 erste Bildpunktpaare

134 erste Bildpunktreihen

140 zweite Bildpunktpaare

144 zweite Bildpunktreihen 150 nächstgelegene Bildpunkte

151 zweitnächstgelegene Bildpunkte 200 Verfahren zur Erzeugung eines Ausgabesignals 201 Erfassen von Bildpunktsignalen 205 Interpolation

210 Bestimmen von Signaldifferenzwerten 215 Bestimmen eines Mittelwerts 220 Festlegen des Interpolationssignals als Ausgabesignal 225 Bestimmen einer Strukturrichtung 230 Korrektur mit einem Verstärkungsfaktor

235 Festlegen des verstärkten Signals als Ausgabesignal 240 Erzeugen eines Ausgabesignals