Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
CAMERA
Document Type and Number:
WIPO Patent Application WO/2009/013073
Kind Code:
A1
Abstract:
The invention relates to an image sensor having light-sensitive elements disposed in lines and columns, a camera, and a camera system. The image sensor has a repeating pattern comprising two adjacent lines, wherein the first line comprises in an alternating fashion light-sensitive elements having a blue filter and light-sensitive elements having a red filter, and wherein the second line comprises light-sensitive elements without a blue filter and without a red filter, in other words, with no color filter.

Inventors:
ROUS MARTIN (DE)
Application Number:
PCT/EP2008/057573
Publication Date:
January 29, 2009
Filing Date:
June 16, 2008
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
BOSCH GMBH ROBERT (DE)
ROUS MARTIN (DE)
International Classes:
H04N9/04; B60Q1/14
Domestic Patent References:
WO2006014641A22006-02-09
WO2005115820A12005-12-08
WO2006014641A22006-02-09
WO2005115820A12005-12-08
Foreign References:
EP1594321A22005-11-09
US4121244A1978-10-17
US20060177098A12006-08-10
EP0427400A21991-05-15
DE102005061366A12006-07-13
EP1594321A22005-11-09
US4121244A1978-10-17
US20060177098A12006-08-10
Other References:
See also references of EP 2174507A1
Attorney, Agent or Firm:
ROBERT BOSCH GMBH (Stuttgart, DE)
Download PDF:
Claims:

Ansprüche

1. Bildsensor (20) mit in Zeilen (32, 33) und Spalten (30) angeordneten lichtempfindlichen Elementen (34, 36, 38), dadurch gekennzeichnet, dass der Bildsensor (20) zumindest eine 2x2-Matrix (40) von lichtempfindlichen EIe- menten (34, 36, 38) umfasst, derart, dass das lichtempfindliche Element (34) der ersten Reihe (46) und der ersten Säule (42) der 2x2-Matrix (40) einen Blaufilter (B) aufweist, dass das lichtempfindliche Element (36) der ersten Reihe (46) und der zweiten Säule (44) der 2x2-Matrix (40) einen Rotfilter (R) aufweist und dass die zwei lichtempfindlichen Elemente (38) der zweiten Rei- he (48) der 2x2- Matrix (40) weder einen Blaufilter (B) noch einen Rotfilter (R) aufweisen.

2. Bildsensor (20) nach Anspruch 1, dadurch gekennzeichnet, dass die lichtempfindlichen Elemente (38) der zweiten Reihe (48) der 2x2-Matrix (40) kei- nen Farbfilter (I) aufweisen.

3. Bildsensor (20) nach Anspruch 1, dadurch gekennzeichnet, dass der Bildsensor (20) ein sich wiederholendes Muster umfassend zwei benachbarte Zeilen (32, 33) aufweist, wobei die erste Zeile (32) abwechselnd lichtempfindliche Elemente (34) mit einem Blaufilter (B) und lichtempfindliche Elemente (36) mit einem Rotfilter (R) aufweist und wobei die zweite Zeile (33) lichtempfindliche Elemente (38) ohne Blaufilter (B) und ohne Rotfilter (R) aufweist.

4. Bildsensor (20) nach Anspruch 3, dadurch gekennzeichnet, dass die licht- empfindlichen Elemente (38) der zweiten Zeile (33) keine Farbfilter (I) aufweisen.

5. Bildsensor (20) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Bildsensor (20) ein CMOS-Bildsensor ist.

6. Kamera (10) mit einem Bildsensor (20) nach einem der vorhergehenden Ansprüche und einem Objektiv (22).

7. Kamerasystem (16) mit einer Kamera (10) umfassend einen Bildsensor (20) nach einem der Ansprüche 1 bis 5 und eine Auswerteeinheit (12).

8. Kamerasystem (16) nach Anspruch 7, dadurch gekennzeichnet, dass die Auswerteeinheit (12) derart ausgestaltet ist, dass die Auswerteeinheit (12) eine Unterscheidung zwischen roten und weißen Objekten durchführt.

9. Kamerasystem (16) nach Anspruch 8, dadurch gekennzeichnet, dass die Auswerteeinheit (12) derart ausgestaltet ist, dass die Auswerteeinheit (12) eine Unterscheidung zwischen roten Rücklichtern und weißen Abblendlichtern von Kraftfahrzeugen durchführt.

10. Kamerasystem (16) nach Anspruch 7, dadurch gekennzeichnet, dass die Auswerteeinheit (12) derart ausgestaltet ist, dass die Auswerteeinheit (12) eine Unterscheidung zwischen weißen und gelben Objekten durchführt, insbesondere dass die Auswerteeinheit (12) eine Unterscheidung zwischen weißen und gelben Fahrbahnmarkierungen durchführt.

Description:

Beschreibung

Titel Kamera

Stand der Technik

Die Erfindung betrifft einen Bildsensor mit in Zeilen und Spalten angeordneten lichtempfindlichen Elementen, eine Kamera und eine Kamerasystem.

Die EP 0 427 400 Al offenbart einen Bildsensor, bei dem ein Vierfarbenfilter, welches aus den Farben zyan, magenta, gelb und grün besteht, mit einem Festkörper-Bildsensorelement kombiniert ist. Aus der DE 10 2005 061 366 Al ist eine Bilderfassungsvorrichtung bekannt, die ein Bayer- Farbmuster mit den drei Farben grün, blau und rot benutzt, so dass jedes Pixel des Bildsensors Bilddaten entsprechend einer der Farben grün, blau und rot erzeugt.

Offenbarung der Erfindung

Vorteile der Erfindung

Der nachfolgend beschriebene Bildsensor, die Kamera mit einem derartigen Bildsensor, sowie das Kamerasystem haben den Vorteil einer höheren Separie- rungsleistung zwischen Rot und Weiß. Durch die farbgefilterte Zeile mit lichtempfindlichen Elementen mit Blaufiltern und Rotfiltern lässt sich so in vorteilhafter Weise eindeutig feststellen, ob es sich um ein rot gefärbtes Objekt, beispielsweise ein Rücklicht eines Kraftfahrzeugs, handelt oder nicht. Durch den Wechsel von farbgefilterten Zeilen und Zeilen ohne Farbfilter, z.B. ungerade Zeilen farbge- filtert und gerade Zeilen ungefiltert, ist es in vorteilhafter Weise möglich, zeilenorientierte Bildverarbeitungsalgorithmen zu verwenden, die auf reinen Intensi- tätsbilddaten, also auf den Bildsignalen der lichtempfindlichen Elemente ohne

Farbfilter, basieren. Dies trägt in vorteilhafter Weise zu einer hohen Verarbeitungsgeschwindigkeit bei, da keine Anpassung oder Umrechnung der farbgefil- terten Bilddaten notwendig ist.

Ein weiterer Vorteil der ungefilterten Zeilen besteht darin, dass an diesen Stellen die maximale Empfindlichkeit erhalten bleibt. Ein Farbfilter arbeitet im Allgemeinen nicht verlustfrei. Anwendungen, die darauf angewiesen sind schwache leuchtende Lichtquellen zu detektieren, sind darauf angewiesen möglichst wenig an Gesamtintensität zu verlieren.

Ein weiterer Vorteil des nachfolgend beschriebenen BRII Patterns besteht darin, dass durch Auswertung aller Pixel der beschriebenen 2x2-Matrix, die Rekonstruktion des Grünanteils möglich ist. Durch gewichtetes Subtrahieren der Bildsignale der lichtempfindlichen Elemente mit Rotfilter und Blaufilter von den BiId- Signalen der lichtempfindlichen Elementen ohne Farbfilter, also durch gewichtetes Subtrahieren der Rot- und Blauanteile vom I-Anteil, kann auf einen Grünanteil rückgeschlossen werden. In vorteilhafter Weise besteht damit auch die Möglichkeit, auf einen Farbanteil zu schließen, obwohl dieser nicht explizit gemessen wird.

Besonders vorteilhaft ist, dass der Bildsensor als CMOS-Bildsensor ausgeführt ist, da CMOS-Bildsensoren einen großen Dynamikbereich von vorzugsweise mindestens 8 Zehnerpotenzen umfassen. Dies hat den Vorteil, dass eine Farbunterscheidung sowohl bei sehr hellen als auch sehr lichtschwachen Objekten mög- lieh ist.

Eine Auswerteeinheit, die derart ausgestaltet ist, dass die Auswerteeinheit zwischen roten Rücklichtern und weißen Abblendlichtern von Kraftfahrzeugen unterscheiden kann, hat den Vorteil, dass einfach zwischen entgegenkommenden und vorausfahrenden Fahrzeugen unterschieden werden kann. Besonders vorteilhaft ist, wenn die Auswerteeinheit derart ausgestaltet ist, dass die Auswerteeinheit diese Unterscheidung durch Auswertung der Bildsignale der lichtempfindlichen Elemente mit Blaufilter und der Bildsignale der lichtempfindlichen Elemente mit Rotfilter durchführt.

Eine Auswerteeinheit, die derart ausgestaltet ist, dass die Auswerteeinheit zwischen weißen und gelben Fahrbahnmarkierungen unterscheiden kann, hat den Vorteil, dass einfach zwischen diesen beiden unterschiedlichen Typen von Fahrbahnmarkierungen unterschieden werden kann. Besonders vorteilhaft ist, wenn die Auswerteeinheit derart ausgestaltet ist, dass die Auswerteeinheit diese Unterscheidung durch Auswertung der Bildsignale der lichtempfindlichen Elemente mit Blaufilter und der Bildsignale der lichtempfindlichen Elemente mit Rotfilter durchführt.

Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen mit Bezug auf die Figuren und aus den abhängigen Patentansprüchen.

Zeichnung

Die Erfindung wird nachstehend anhand der in der Zeichnung dargestellten Ausführungsformen näher erläutert.

Es zeigen:

- Figur 1 ein Kamerasystem,

- Figur 2 eine Kamera,

- Figur 3 einen Bildsensor,

- Figur 4 eine 2x2-Matrix, - Figur 5 ein Diagramm der Transmissionskurven.

Beschreibung von Ausführungsbeispielen

Nachfolgend wird ein Bildsensor mit in Zeilen und Spalten angeordneten licht- empfindlichen Elementen, eine Kamera und ein Kamerasystem beschrieben. Der

Bildsensor weist ein sich wiederholendes Muster umfassend zwei benachbarte Zeilen auf, wobei die erste Zeile abwechselnd lichtempfindliche Elemente mit einem Blaufilter und lichtempfindliche Elemente mit einem Rotfilter aufweist und wobei die zweite Zeile lichtempfindliche Elemente ohne Blaufilter und ohne Rotfil- ter, also ohne einen Farbfilter, aufweist.

Das nachfolgend beschriebene bevorzugte Ausführungsbeispiel betrifft die Verwendung des Bildsensors, der Kamera und des Kamerasystems in einem Kraftfahrzeug zur Unterstützung des Fahrers als Fahrerassistenzsystem. Das be- schriebene Kamerasystem, die Kamera und der Bildsensor sind jedoch nicht auf diese Verwendung beschränkt, sondern können auch außerhalb der Kraftfahrzeugtechnik, beispielsweise im Bereich der Sicherheitstechnik, der Robotik und/oder der Produktionstechnik, eingesetzt werden.

Figur 1 zeigt ein Kamerasystem 16 umfassend eine Kamera 10 und eine Auswerteeinheit 12. Die Kamera 10 erzeugt Bildsignale und überträgt die erzeugten Bildsignale zur Auswerteeinheit 12. Nach Bearbeitung der Bildsignale durch die Auswerteeinheit 12 werden die bearbeiteten Bildsignale an ein nachfolgendes System 14 weitergeleitet. Im bevorzugten Ausführungsbeispiel ist die Auswerte- einheit 12 als separates Steuergerät ausgeführt. In einer Variante des bevorzugten Ausführungsbeispiels ist die Auswerteeinheit 12 integraler Bestandteil der Kamera 10 und/oder des nachfolgenden Systems 14. Die Verarbeitung der Bildsignale in der Auswerteeinheit 12 erfolgt im bevorzugten Ausführungsbeispiels mittels einer digitalen Rechnereinheit und einem Softwareprogramm. Bei dem nachfolgenden System 14 handelt es sich im bevorzugten Ausführungsbeispiel um eine Anzeigeeinheit, beispielsweise einen Bildschirm, welche die bearbeiteten Bildsignale zur Anzeige bringt. Alternativ oder zusätzlich wird in einer Variante des bevorzugten Ausführungsbeispiels eine anwendungsbezogene Steuer- und/oder Stellvorrichtung als nachfolgendes System 14 verwendet. Bevorzugt ist die Steuer- und/oder Stellvorrichtung als verstellbare Lichtanlage und/oder als aktiv geführtes Lenksystem ausgeführt.

Figur 2 zeigt die Kamera 10, umfassend einen Bildsensor 20 und ein Objektiv 22. Licht aus der Umgebung 24 wird durch das Objektiv 22 auf den Bildsensor 20 abgebildet.

Figur 3 zeigt den Bildsensor 20 mit in Zeilen 32, 33 und Spalten 30 angeordneten lichtempfindlichen Elementen 34, 36, 38. Der Bildsensor 20 weist ein sich wiederholendes Muster umfassend zwei benachbarte Zeilen 32, 33 auf, wobei die erste Zeile 32 abwechselnd lichtempfindliche Elemente 34 mit einem Blaufilter B

und lichtempfindliche Elemente 36 mit einem Rotfilter R aufweist. Die lichtempfindlichen Elemente 38 der zweiten Zeile 33 weisen keine Farbfilter I auf, insbesondere weisen die lichtempfindlichen Elemente 38 der zweiten Zeile 33 weder Blaufilter B noch Rotfilter R auf. Im bevorzugten Ausführungsbeispiel ist der BiId- sensor 20 als CMOS-Bildsensor ausgebildet. In einer Variante des bevorzugten

Ausführungsbeispiels ist der Bildsensor 20 als CCD-Bildsensor ausgeführt. In Figur 3 ist ferner beispielhaft eine 2x2-Matrix 40 von lichtempfindlichen Elementen 34, 36, 38 als Ausschnitt des Bildsensors 20 markiert. Diese 2x2- Matrix 40 ist mit Bezug auf die Figur 4 näher erläutert.

Figur 4 zeigt eine 2x2-Matrix 40 des Bildsensors gemäß Figur 3. Das lichtempfindliche Element 34 der ersten Reihe 46 und der ersten Säule 42 der 2x2-Matrix 40 weist einen Blaufilter B auf, während das lichtempfindliche Element 36 der ersten Reihe 46 und der zweiten Säule 44 der 2x2-Matrix 40 einen Rotfilter R aufweist. Die lichtempfindlichen Elemente 38 der zweiten Reihe 48 der 2x2-

Matrix 40 weisen weder einen Blaufilter B noch einen Rotfilter R auf. Vielmehr weisen die lichtempfindlichen Elemente 38 der zweiten Reihe 48 sowohl in der ersten Säule 42 als auch in der zweiten Säule 44 überhaupt keine Farbfilter I auf. Die 2x2-Matrix 40 stellt somit ein BRII-Pattern (Blau-Rot-Intensität-Intensität- Farbpattern) dar.

Figur 5 zeigt ein Diagramm der Transmissionskurven des Blaufilters B und des Rotfilters R. Auf der Abszisse ist die Wellenlänge 50 des einfallenden Lichtes in nm aufgetragen, während auf der Ordinate die Lichtdurchlässigkeit des Filters 52 in Prozent bezogen auf das einfallende Licht aufgetragen ist. Wie aus dem Diagramm zu entnehmen ist, weist das Blaufilter B eine maximale Lichtdurchlässigkeit bei Wellenlängen von etwa 450 nm auf, während das Blaufilter B für Licht mit Wellenlängen größer 550 nm nahezu keine Lichtdurchlässigkeit aufweist. Das Rotfilter R hat demgegenüber eine Sperrwirkung für Licht mit Wellenlängen klei- ner 570 nm. Die Lichtdurchlässigkeit des Rotfilters R für Licht mit Wellenlängen größer als 580 nm ist nahezu 100 %. Zum Vergleich zeigt das Diagramm die Lichtdurchlässigkeit I ohne Farbfilter: Die Lichtdurchlässigkeit der Schicht ohne selektive Filterwirkung auf dem lichtempfindlichen Element (Pixel) ist hierbei für den gesamten sichtbaren Spektralbereich von 400 nm bis 700 nm nahezu 100 %. Die Transmissionskurven des Blaufilters B und des Rotfilters R können dabei

je nach Qualität des Farbfilters und des verwendeten Filtermaterials unterschiedlich sein, wobei die Verläufe ähnlich sind, insbesondere bezogen auf den Wellenlängenbereich. Im bevorzugten Ausführungsbeispiel werden die Farbfilter im Herstellungsprozess des Bildsensors auf das Halbleitermaterial aufgebracht, um sicherzustellen, dass die gewünschten lichtempfindlichen Elemente (Pixel) mit der entsprechenden Farbmaske überdeckt sind. In einer Variante des bevorzugten Ausführungsbeispiels werden zusätzlich Mikrolinsen auf die einzelnen Farbfilter der lichtempfindlichen Elemente aufgebracht, so dass die durch die Farbfilter bedingte Dämpfung zumindest teilweise ausgeglichen wird.

Wie vorstehend mit Bezug auf die Figur 1 erläutert, erfolgt die Verarbeitung der von der Kamera erzeugten Bildsignale durch die Auswerteeinheit mittels Bildverarbeitungsalgorithmen. Durch die drei unterschiedlichen Typen der lichtempfindlichen Elemente mit den drei unterschiedlichen Filtertypen (B, R, I) werden die Bildsignale der einzelnen Pixel durch die Bildverarbeitungsalgorithmen unterschiedlich interpretiert und es wird eine daran angepasst Auswertung vorgenommen. Im bevorzugten Ausführungsbeispiel führt die Auswerteeinheit eine Interpolation der farbgefilterten Pixel in Intensitätspixel durch, indem jeweils die da- rüberliegende und darunterliegende Zeile zur Rekonstruktion genutzt wird. Damit fließen die farbgefilterte Pixel in die Interpolation mit ein. Ferner führt die Auswerteeinheit Vergleiche der Bildsignale eines lichtempfindlichen Elements mit einem Rotfilter mit den Bildsignalen des danebenliegenden lichtempfindlichen Elements mit einem Blaufilter und/oder dem nächsten lichtempfindlichen Element ohne Farbmaske durch. Ferner führt die Auswerteeinheit eine Auswertung dahinge- hend durch, ob ein Objekt im Erfassungsbereich rot ist, indem die Auswerteeinheit prüft, ob blaue Farbanteile vorhanden sind. Sind neben roten auch blaue Farbanteile vorhanden, schließt die Auswerteeinheit auf ein weißes Objekt. Die Auswerteeinheit ist derart ausgebildet, dass die Auswerteeinheit zwischen weißen und roten Objekten durch Auswertung der Bildsignale der lichtempfindlichen Elemente unterscheiden kann. Im bevorzugten Ausführungsbeispiel ist die Auswerteeinheit derart ausgestaltet ist, dass die Auswerteeinheit eine Unterscheidung zwischen roten Rücklichtern und weißen Abblendlichtern von Kraftfahrzeugen durchführt. Hierzu führt die Auswerteeinheit in einem ersten Schritt eine Objektsegmentierung von roten und weißen Bildbereichen durch, um in einem zwei- ten Schritt die segmentierten Bildbereiche als Abblendlichter von Kraftfahrzeugen

und/oder Rücklichter von Kraftfahrzeugen zu klassifizieren. In einer weiteren Variante des bevorzugten Ausführungsbeispiels ist die Auswerteeinheit derart ausgebildet, um zwischen weißen und gelben Fahrbahnmarkierungen, z. B. Fahrbahnlinien, zu unterscheiden. In einer gelben Farbmarkierung findet sich ein hö- herer Rotanteil gegenüber einer weißen Linie und/oder ein niedrigerer Blauanteil.

Dies ermöglicht die sichere Unterscheidung zwischen weißen und gelben Fahrbahnmarkierungen, so dass bei einem warnenden Fahrerassistenzsystem eine sichere Warnung des Fahrers bei Verlassen der Fahrspur auch bei vorhandenen gelben Fahrbahnmarkierungen erfolgt. Ferner ist die Auswerteeinheit des bevor- zugten Ausführungsbeispiels derart ausgebildet, dass im ersten Verfahrensschritt eine Auswertung nur in Abhängigkeit der Bildsignale der lichtempfindlichen Elemente ohne Farbfilter erfolgt und erst im zweiten Verfahrenschritt auch die Bildsignale der lichtempfindlichen Elemente mit Blaufilter und Rotfilter zur Gewinnung von Farbinformationen ausgewertet werden.