Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
LIGHT SENSITIVE SENSOR UNIT FOR AN ELECTRONIC CAMERA WITH A FLAT ARRANGEMENT OF PIXELS AND A METHOD OF READING PIXELS FOR COLOUR SIGNAL PROCESSING
Document Type and Number:
WIPO Patent Application WO/1998/019270
Kind Code:
A2
Abstract:
Disclosed is a light sensitive sensor unit for an electronic camera comprising a flat, gridlike arrangement of pixels with columns and lines. The pixels are individually addressable by means of an address decoder and are connected in columns to read wires and can be read by a readout unit. The invention is characterized in that at least two read wires are provided in each column and are connected to pixels located in each column in addition to a readout unit so that a selected central pixel can be isochronously and electrically read, both independently and together with the directly and/or indirectly adjacent pixels forming a group together.

Inventors:
SEGER ULRICH (DE)
APEL UWE (DE)
HOEFFLINGER BERND (DE)
GRAF HEINZ-GERD (DE)
Application Number:
PCT/DE1997/002527
Publication Date:
May 07, 1998
Filing Date:
October 30, 1997
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
STUTTGART MIKROELEKTRONIK (DE)
SEGER ULRICH (DE)
APEL UWE (DE)
HOEFFLINGER BERND (DE)
GRAF HEINZ GERD (DE)
International Classes:
H04N5/347; H04N5/374; H04N5/376; H04N9/04; (IPC1-7): G06T/
Foreign References:
EP0618737A21994-10-05
EP0757497A21997-02-05
US4580160A1986-04-01
Other References:
HYNECEK, JAROSLAV: "BCMD - an improved photosite structure for high-density image sensors" IEEE TRANSACTIONS ON ELECTRON DEVICES, Bd. 38, Nr. 5, 1.Mai 1991, (USA), Seiten 1011-1020, XP000200655 in der Anmeldung erw{hnt
PARULSKI, KENNETH A.: "Color Filters and Processing Alternatives for One-Chip Cameras" IEEE TRANSACTIONS ON ELECTRON DEVICES, Bd. ED-32, Nr. 8, 1.August 1985, (USA), Seiten 1381-1389, XP002061609 in der Anmeldung erw{hnt
Attorney, Agent or Firm:
R�sler, Uwe (Wilhelm-Mayr-Strasse 11, M�nchen, DE)
M�nich, Wilhelm (Wilhelm-Mayr-Strasse 11, M�nchen, DE)
Download PDF:
Claims:
PATENTANSPRÜCHE
1. Lichtempfindliche Sensoreinheit für eine elektronische Kamera, mit einer flächigen, Spalten und Zeilen aufweisenden, gitterförmigen Anordnung von Bildpunkten, die mittels eines Adressdecoders einzeln adressierbar sind und die spaltenweise mit Leseleitungen verbunden und über eine Ausleseeinheit auslesbar sind, dadurch gekennzeichnet, da in jeder Spalte wenigstens zwei Leseleitungen vorge sehen sind, die mit, in der jeweiligen Spalte angeordneten Bildpunkten sowie mit einer Ausleseeinheit verbunden sind, so da ein ausgewählter, zentraler Bildpunkt elektrisch unabhängig von und zeitgleich mit den unmittelbar und/oder mittelbar ben achbarten Bildpunkten, die zusammen eine Gruppe bilden, auslesbar ist.
2. Lichtempfindliche Sensoreinheit nach Anspruch 1, dadurch gekennzeichnet, da die Bildpunkte einen Spannungsausgang aufweisen, der mit einer Leseleitung verbunden ist, und da eine Signalmittelung der zeitgleich auf einer Leseleitung ausgelesenen Bild punkte erfolgt.
3. Lichtempfindliche Sensoreinheit nach Anspruch 1 oder 2, dadurch gekennzeichnet, da einzelne Bildpunkte, die in einer gemeinsamen Spalte angeordnet sind und über einen gleichen Gewichtungsfaktor verfügen, der für jeden Bildpunkt festgelegt ist, mit einer gemeinsamen Leseleitung auslesbar sind.
4. Lichtempfindliche Sensoreinheit nach Anspruch 3, dadurch gekennzeichnet, da jede Leseleitung mit einer Gewichtungsschaltung verbunden ist, in der die Gewichtung der ausgelesenen Bildpunkte erfolgt.
5. Lichtempfindliche Sensoreinheit nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, da die Signalmittelung bei Verwendung logarithmisch arbeitender Bildpunkte dem geometrischen Mittelwert der Helligkeiten entspricht.
6. Lichtempfindliche Sensoreinheit nach Anspruch 4 oder 5, dadurch gekennzeichnet, da die Leseleitungen über einen n aus m Multiplexer auf die Gewichtungsschaltung durchgeschaltet werden.
7. Lichtempfindliche Sensoreinheit nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, da die Gewichtungsschaltung eine erste Gewichtungsstufe aufweist, in der eine Multiplikation des ausgelesenen Signals mit der Anzahl der auf der Leseleitung angeschlossenen Bildpunkte sowie mit einem Faktor, der der Stellung der in der Gruppe zeitgleich ausgelesener Bildpunkte ent spricht, erfolgt.
8. Lichtempfindliche Sensoreinheit nach einem der Ansprüche 2 bis 7, dadurch gekennzeichnet, da ein Multiplexer vorgesehen ist, der die Leseleitungen der benachbart, vorzugsweise konzentrisch um den zentralen Bildpunkt gelegenen Bildpunkte zusammenschaltet und eine Mittelung punktsymmetrisch zum zentralen Bildpunkt gelegener Bildpunkte ermöglicht.
9. Lichtempfindliche Sensoreinheit nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, da die Bildpunkte für den Aufbau einer farbfähigen Kamera den Grundfarben Rot, Grün und Blau zugeordnet sind, da die Bildpunktanordnung und die Farbzuordnung zu den einzelnen Bildpunkten derart gewählt ist, da der zentrale Bildpunkt einer Grundfarbe jeweils von Bild punkten der anderen Grundfarben unmittelbar benachbart ist, da die Bildpunkte in einer geometrisch streng zyklischen Abfolge hinsichtlich ihrer Farbzuordnung angeordnet sind, da die streng zyklische Abfolge der Farbzuordnung jeweils benachbarter Bildpunkte in allen Symmetrierichtungen, die durch die geometrische Anordnung der Bildpunkte vorgegeben ist, gegeben ist.
10. Lichtempfindliche Sensoreinheit nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, da die Gewichtungsschaltung eine zweite Gewich tungsstufe aufweist, die eine Gewichtung getrennt nach Farbklassen durchführt.
11. Lichtempfindliche Sensoreinheit nach Anspruch 10, dadurch gekennzeichnet, da die Signale der gewichteten Farbklassen getrennt voneinander einer Weiterverarbeitungseinheit zugeführt werden, in der zur Bildung eines Bildpunktgruppensignals die Signale der einzelnen Farbklassen gewichtet und gemittelt werden.
12. Lichtempfindliche Sensoreinheit nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, da die Bildpunkte gemä einer hexagonalen Gitter struktur angeordnet sind.
13. Lichtempfindliche Sensoreinheit nach Anspruch 12, dadurch gekennzeichnet, da die Bildpunkte derart ausgebildet und angeordnet sind, da der Schwerpunkt des zentralen Bildpunktes mit einem gemeinsamen Schwerpunkt der, den zentralen Bildpunkt unmittelbar benachbarten Bildpunkte, die jeweils der gleichen Farbklasse angehören, zusammenfällt.
14. Lichtempfindliche Sensoreinheit nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, da die Bildpunkte eine quadratische, rechteckige oder hexagonale Form aufweisen.
15. Lichtempfindliche Sensoreinheit nach Anspruch 14, dadurch gekennzeichnet, da die Anordnung der einzelnen Bildpunkte einer Gitter struktur entspricht, die sich aus einer Überlagerung zweier kammförmig ineinan dergeschobener, orthogonaler Gitter ergibt.
16. Lichtempfindliche Sensoreinheit nach einem der Ansprüche 9 bis 15, dadurch gekennzeichnet, da zur Farbzuordnung der Bildpunkte unterschiedliche, den Grundfarben entsprechende Filterschichten vorgesehen sinned.
17. Lichtempfindliche Sensoreinheit nach einem der Ansprüche 1 bis 16, dadurch gekennzeichnet, da die Sensoreinheit aus HDRCSensoren zusam mengesetzt ist mit Bildpunkten, deren Ausgangssignale einer logarithmischen Kennlinie unterliegen.
18. Lichtempfindliche Sensoreinheit nach Anspruch 17, dadurch gekennzeichnet, da die HDRCSensoren auf einem Trägersubstrat auf gebracht sind und an ihrer dem Trägersubstrat zugewandten Seite eine reflexmin dernde Schicht aufweisen.
19. Lichtempfindliche Sensoreinheit nach einem der Ansprüche 12 bis 18, dadurch gekennzeichnet, da eine Bildpunktgruppe aus einem 7Tupel besteht, das über 5 spaltenförmig angeordnete Leseleitungen und über 3 zeilenförmig angeord nete Selektleitungen verfügt.
20. Verfahren zum Auslesen und Auswerten von Bildpunkten in einer lichtemp findliche Sensoreinheit nach einem der Ansprüche 9 bis 19 dadurch gekennzeichnet, da eine parallele. zeitgleiche Adressierung von wenig stens einer Gruppe von Bildpunkten vorgenommen wird, die um einen ausgewählten Bildpunkt, dem zentralen Bildpunkt angeordnet ist, und da eine Ausleseeinheit zeit gleich die benachbarten Bildpunkte nach Farbklassenzugehörigkeit mit dem zentra len Bildpunkt ausliest.
21. Verfahren nach Anspruch 20, dadurch gekennzeichnet, da die Gruppe aus Bildpunkten besteht, die jeweils einen gemeinsamen Schwerpunkt aufweisen, der mit dem Schwerpunkt des zentralen Bildpunktes übereinstimmt oder zumindest nahe dem Schwerpunkt des zentralen Bildpunktes liegt.
22. Verfahren nach Anspruch 20 oder 21, dadurch gekennzeichnet, da die Bildpunktwerte, der gemeinsam adressierten Bildpixel während des Auslesevorganges gemittelt werden.
23. Verfahren nach einem der Ansprüche 20 bis 22, dadurch gekennzeichnet. da durch einen digitaler Dekoder die Bildpunkte gezielt adressiert werden.
24. Verfahren nach Anspruch 23, dadurch gekennzeichnet, da die Grö e und Anzahl der zu adressierenden Grup pen von Bildpunkte durch den Dekoder festgelegt wird.
25. Verfahren nach einem der Ansprüche 20 bis 24, dadurch gekennzeichnet, da bei einer Bildpunktanordnung, bei der die Bildpunkte einer Zeilen und Spalteneinteilung unterliegen, alle Bildpunkte in einer Spalte oder einer Zeile getrennt jeweils über eine Spalten oder Zeilenleitung adressiert werden.
26. Verfahren nach Anspruch 25, dadurch gekennzeichnet, da einen gezielte und getrennte Adressierung von Spal ten oder Zeilenleitungen mittels einer Dekoderschaltung erfolgt.
27. Verfahren nach einem der Ansprüche 20 bis 26, dadurch gekennzeichnet, da für die Adressierung eines weiteren zentralen Bil dunktes in einer vorgegebenen Propagationsrichtung, in Propagationsrichtung neue Bildpunkte zu adressieren sind und entgegengesetzt angeordnete Bildpunkte der gleichen Farbklasse ersetzt werden.
28. Verfahren nach einem der Ansprüche 20 bis 27, dadurch gekennzeichnet, da zum Auslesen eines zentralen Bildpunktes beliebig viele Nachbarschaftsgruppen von Bildpunkten um den zentralen Bildpunkt herum zusätzlich adressiert und ausgelesen werden, die ebenso einer strengen zyklischen Abfolge in der Farbzuordnung unterliegen.
29. Verfahren nach einem der Ansprüche 20 bis 28, dadurch gekennzeichnet, da während des Auslesevorganges mit einer vorgege benen Auslesefrequenz auf jeder Leseleitung eine mit einem einstellbaren Wert durchgeführte Gewichtung erfolgt.
30. Verfahren nach Anspruch 29, dadurch gekennzeichnet, da die Gewichtung entsprechend der Anzahl der zeit gleich auf einer Leseleitung adressierten bzw. angeschlossenen Bildpunkte erfolgt.
31. Verfahren nach Anspruch 29 oder 30, dadurch gekennzeichnet, da die Gewichtung durch einstellbare Koeffizienten ge trennt für die Farbklassen durchgeführt wird.
Description:
Lichtempfindliche Sensoreinheit für eine elektronische Kamera, mit einer flächigen Anordnung von Bildpunkten sowie Verfahren zum Auslesen der Bildpunkte zur Farb- signalverarbeitung Technisches Gebiet Die Erfindung bezieht sich auf eine Lichtempfindliche Sensoreinheit für eine elektro- nische Kamera, mit einer flächigen, Spalten und Zeilen aufweisenden, gitterförmigen Anordnung von Bildpunkten, die mittels eines Adressdecoders einzeln adressierbar sind und die spaltenweise mit Leseleitungen verbunden und über eine Ausleseeinheit auslesbar sind.

Insbesondere wird ein Bildsensor mit einer Bildpunkteanordnung beschrieben, die dazu geeignet ist, analoge Signalverarbeitungsschritte der Bildaufbereitung und -auswertung im Sensorbaustein durchzuführen. Eine konfigurierbare digitale Ansteu- erlogik in Zusammenhang mit einem wahlfrei zugreifbaren Sensorarray und der Ein- richtung mehrerer paralleler Signalpfade macht die Helligkeitsinformation für jeden Farbkanal für jeden einzelnen Bildpunkt gleichzeitig verfügbar. Ein Farbkanal wird dabei direkt aus dem Bildpunkt, die beiden anderen durch Interpolation aus den di- rekten Nachbarn abgeleitet. Dies legt die Grundlage für verschiedene analoge ,,On- Chip"-Signalverarbeitungsfunktionen.

Stand der Technik Zur Aufnahme von Farbbildern mit Halbleiter-Sensoren werden mehrere Verfahren angewandt. Die Verfahren unterscheiden sich aufgrund unterschiedlicher zugrunde- liegender Sensorstrukturen (CCD IT, CCD~FT, CIT, CMOS xy...), ihrer Adressie- rungsmöglichkeiten (linear-, random-, Multipixelacces), ihrer Farbfiltertechnik (RGB, CMY, CMYW...) -Anordnung (orthogonal, hexagonal) und Form (Quadrat-Pixel, Rechteck-Pixel) und nicht zuletzt auch durch das vorgeschaltete optische Abbii- dungssystem (Strahlteiler, Monocular+Filterrad) oder im System integriertes Be- leuchtungssystem (z.B. stroboskopisch farbige Beleuchtung).

Gemeinsam ist diesen Verfahren der Farberfassung, da zur Detektion ein a priori monochromatischer Chipsensor verwendet wird, wobei die ,,Farbaufspaltung durch die"Erfassung" eines Bildes in mehreren, z.T. überlappenden spektralen Kanälen durchgeführt wird. Die Berechnung des Farbwertes (d.h. die Lage eines Farbwertes in einem 3dim. Farbraum) erfolgt anschlie end i.d.R. au erhalb des Sensor- Bausteins.

Die einfachste Methode, ein Farbbild zu gewinnen, ist die Verwendung eines rotie- renden Filterrades mit den unterschiedlichen Farbfiltern im optischen Strahlengang.

Dieses Verfahren bietet auch das beste "Cositing", d.h. Übereinstimmung von ge- messenem Farbwert und dem Ort des Me punktes, da ein und derselbe Bildpunkt für die sequentielle Erfassung in verschiedenen Farbkanälen verwendet wird und sich Fehler in allen Kanälen gleich auswirken. Diese Aufnahmetechnik ist jedoch aufgrund der damit erreichbaren Aufnahmegeschwindigkeit (begrenzt durch die Fil- terrad-Geschwindigkeit und die Notwendigkeit, mehrere Farbauszüge sequentiell zu erstellen) weniger gut für die Bewegtbildaufnahme geeignet.

Ähnliches gilt für Kamerasysteme, welche mit stroboskopischer farbiger Beleuchtung arbeiten. Derartige Systeme sind jedoch fremdlichtempfindlich und deshalb nur im Nahfeld, möglichst ohne Fremdlicht, einsetzbar. (Bspw. Endoskopie).

Die beste Farbauflösung bei der Bewegtbildanalyse erreichen Kamerasysteme mit 3- Chip - Anordnung, welche jeden Punkt des Objektraumes auf drei od. 4 Sensorma- trizen verteilen, jeden optischen Kanal separat filtern und so zu drei bzw. vier unter- schiedlichen zeitgleich aufgezeichneten Repräsentationen desselben Bildpunktes (objektbezogen) führen.

Ebenfalls sehr gute Ergebnisse erreichen Farbscannersysteme mit je einer getrenn- ten Zeile für jeden Farbkanal, welche mit mehreren, mit unterschiedlichen Farbfiltern belegten Sensoren eine Szene im Zeitmultiplex aufnehmen Die kostengünstigste Realisierung von Farbsensoren, gleichzeitig aber qualitativ minderwertigste Ausführung ist die Einchiplösung mit Farbmosaikfiltern, bei der die Farbbildpunkte durch das Aufbringen einer mosaikartig strukturierten Filterschicht unmittelbar auf die Sensorzellen gebildet werden. Diese Realisierung wird aber auf- grund der Herstellkosten in nahezu allen Niedrigpreisanwendungen favorisiert. Dabei wird eine Unterabtastung des Chrominanzwertes in Kauf genommen.

Für die numerische Beschreibung von Farbwerten werden bislang im wesentlichen folgende Farbmodelle verwendet: o RGB-Farbmodell . CMYK- oder CMY- Farbmodell . HSV-Farbmodell Jedes dieser Farbmodelle erfordert die Repräsentation eines Abbildes in verschiede- nen Farbauszugsbildern, die zur Deckung gebracht werden müssen und aus wel- chen ein Farbwert für jeden Ortspunkt auf dem Sensor zugeordnet werden mu . Da- zu werden, wie o.g. ,z.B. Farbfilter (CFA color filter arrays) auf den Sensor aufge- bracht und lithografisch strukturiert, so da die Signale einzelner Sensorpunkte ei- nem "Farbkanal" zugeordnet werden können. Die Signale mehrerer Sensorzellen müssen dann miteinander verrechnet werden.

Gängige Farbfiltersysteme sind das Bayer-Muster, das Old Sony Muster, das SONY Mavica-Filter, das CMY-Muster, das Hitatchi-Muster und ein generisches RGB(Staggered) Muster (siehe Figur 1. in der beschriebenen Reihenfolge von links nach rechts).

Die zugrundeliegende Sensoranordnung ist in nahezu allen Fällen eine orthogonale Matrix mit weitgehend linear arbeitenden Sensorzellen.

Ein Ma für die Güte eines Mosaikmusters ist das sog. "Cositing" d.h. die Güte, mit der die errechneten Farbauszugsmuster zur Deckung gebracht werden können. Sind Farbpunkte nicht exakt zur Deckung zu bringen, so resultieren bei der Abbiidung von Kanten Farbsäume, die sich störend auswirken. Diese Farbsäume entstehen auch bei Kameras mit Filterrad. wenn sich die Szene so schnell ändert, da sich zwischen der Auslesung des ersten und des darauffolgenden Farbauszuges bereits eine Ver- schiebung von Objekten ergeben hat.

Bekannte Farbfiltersystem sind bspw. in den nachfolgenden Beiträgen beschrieben: M.A.Kriss,"Color Filter Arrays for Digital Electronic Still Gameras",Proceedings of IS&T's 49th Annual Conference, Seite 272-278, 1995; Jaroslav Heynecek, BCMD-An Improved Photosite Structure for High-Density Image Sensors, IEEE Transaction on Electron Devices, Vol 38, No.5, Seite 1011-1020, Mai 1991; John E. Greivenkamp,,, Color dependent opticai prefilter for the suppression of aliasing artifacts", Applied Optics 1 Vol. 29, No.5, Feb. 1990; und K.A.Parulski, "Color Filters and Processing Alternatives for One-Chip Cameras",lEEE Transaction on Electron Devices, Vol. ED- 32, No.8, Seite 1381-1389, August 1985.

Darstellung der Erfindung Der Erfindung liegt die Aufgabe zugrunde, eine lichtempfindliche Sensoreinheit für eine elektronische, vorzugsweise farbfähige Kamera mit einer flächigen Anordnung von Bildpunkten derart auszugestalten, da die Farbsignalauswertung schneller und mit erhöhter Qualität möglich sein soll. Insbesondere soll die Sensoreinheit die schnelle Signalverarbeitung von HDRC-Bildsensoren, also lichtempfindlichen Senso- ren, deren Ausgangskennlinie logarithmisch verläuft, weitgehend vollständig nutzen.

Schlie lich soll ein Verfahren zur integrierten Signalaufbereitung angegeben werden, welches sich auf eine variable Bildsensorarchitektur abstützt und eine schnelle Si- gnalverarbeitung erlaubt.

Die Lösung der Erfindung ist im Anspruch 1 angegeben, in dem eine lichtempfindli- che Sensoreinheit beschrieben ist. Ein erfindungsgemä es Verfahren ist Gegen- stand des Anspruchs 20. Den Erfindungsgedanken vorteilhaft weiterbildende Merk- male sind Gegenstand der Unteransprüche.

Erfindungsgemä ist eine lichtempfindliche Sensoreinheit für eine elektronische Kamera, mit einer flächigen, Spalten und Zeilen aufweisenden, gitterförmigen Anord- nung von Bildpunkten, die mittels eines Adressdecoders einzeln adressierbar sind und die spaltenweise mit Leseleitungen verbunden und über eine Ausleseeinheit auslesbar sind, derart ausgebildet. da in jeder Spalte wenigstens zwei Leseleitun- gen vorgesehen sind, die mit, in der jeweiligen Spalte angeordneten Bildpunkten sowie mit einer Ausleseeinheit verbunden sind, so da ein ausgewählter, zentraler Bildpunkt elektrisch unabhängig von und zeitgleich mit den unmittelbar und/oder mittelbar benachbarten Bildpunkten, die zusammen eine Gruppe bilden, auslesbar ist.

Zur zeitgleichen Auslesung von Bildpunkten, die in einer Spalte angeordnet sind, ist es nötig, wenigstens zwei getrennte Leseleitungen pro Spalte vorzusehen. Unter dem Begriff Spalte ist hierbei jedoch nicht nur der streng lineare Falle von senkrecht untereinander angeordneten Bildpunkten gemeint, sondern es können auch Bild- punkt leicht versetzt untereinander angeordnet sein, die zu einer Spalte zu rechnen sind, wie es beispielsweise bei hexagonalen Gittern der Fall ist.

Das erfindungsgemä e Verfahren zum Auslesen- und Auswerten von Bildpunkten in der vorstehend beschriebenen lichtempfindlichen Sensoreinheit sieht eine parallele Adressierung von wenigstens einer Gruppe von Bildpunkten vor, die um einen ausgewählten Bildpunkt, dem zentralen Bildpunkt angeordnet ist, und liest zeitgleich mittels einer Ausleseeinheit die benachbarten Bildpunkte nach Farbklas- senzugehörigkeit mit dem zentralen Bildpunkt aus.

Dem erfindungsgemä en Verfahren liegt die Idee der parallelen Adressierung und Verarbeitung von Nachbarschaftsgruppen zu einem ausgewähiten zentralen Bild- punkt zugrunde. Das Verfahrens bedient sich dabei einer Zerlegung einer Faltungs- operation - dertige Faltungs- bzw. Filteroperationen werden in der Bildverarbeitung und -auswertung häufig zur Kontrastverstärkung und zur Glättung benutzt - in eine Reihe von Bildpunktezugriffen, bei denen die entsprechend einer Faltungsmatrix gleichgewichteten Bildpunktgruppen jeweils gemeinsam adressiert werden und deren Ausgangswerte bereits während des Auslesevorgangs gemittelt und nachfolgend gewichtet werden. Eine Verarbeitung der Sensorausgangswerte erfolgt dann teilwei- se auf der Ausgangsleitung, teilweise in einer nachgeschalteten analogen oder digi- talen Arithmetikeinheit, die eine Mittelung der Einzelzugriffe auf die Bildpunktgruppen durchführt.

Das Filterverhalten solcher aktiven Bildpunktsensoren kann durch Veränderung der Ausdehnung gleichgewichteter Bildpunktgruppen an verschiedene Faltungskerne angepa t werden. Für ein Sensorarray mit orthogonaler Anordnung müssen dazu die Adressdekoder in x- und y-Richtung getrennt auf die unterschiedliche Anzahl gleich- zeitig zu adressierender Bildpunkte-Nachbarn eingestellt werden.

Kurze Beschreibung der Zeichnungen Die Erfindung wird nachstehend ohne Beschränkung des allgemeinen Erfindungsge- dankens anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen beschrieben. Es zeigen: Fig. 1 Übersicht der klassischen Color Filteranordnungen verschiedender Hersteller, Fig. 2 Bildpunktanordnungen mit zentralem Symmetriepunkt, Fig. 3 Anordnung von Bildpunkten, die jeweils den unterschiedlichen Grund- farben zugeodnet sind, Fig. 4 Prinzipdarstellung des erfindungsgemä en Verlauf der Leseleitungen pro Spalte, Fig. 5 Sequenzdarstellung zum Wechsel der Bildpunkte einer Auslesegruppe, die jeweils zeitgleich ausgelesen werden, Fig. 6 parallelauslesbare Bildpunktegruppe in einer hexagonalen Gitteranord- nung, Fig. 7 Auslese- und Verarbeitungseinheit für hexagonale Bildpunkteanord- nung, und Fig. 8 Darstellung unterabgetasteter Gitterpunkte.

Darstellung von Ausführungsbeispielen Figur 1 ist zur Darstellung der Übersicht bekannter klassischer Color Filteranordnu- gen bereits in der Beschreibungseinleitung beschrieben worden.

Dem erfindungsgemä en Auslese- und Auswerteverfahren liegt vorzugsweise eine sternförmige Anordnung fotoempfindlicher, räumlich zusammenhändender Bild- punkte B als wiederkehrende, gleichgro e Untergruppierungen zugrunde (siehe Fi- gur 2), welche auf einem Substrat liegen, die lichtempfindliche Fläche darstellen und zeitgleich ausgelesen werden können. Die sternförmige Anordnung wird gebildet durch ein Zentrum Z, das dem Schwerpunkt eines fiktiven oder realen Bildpunktes entspricht, von dem mehreren "Strahlen" S zu realen, auf einem regelmä igen Gitter liegenden Bildpunkten derart ausgehen, da die Lage der einzelnen Gitterpunkte mit Sensoren symmetrisch und äquidistant zum Zentrum gewähit wird.

Ein Farbmuster für die erfindungsgemä e, lichtempfindliche Sensoreinheit ist in Figur 3 dargestellt, das die Bildpunkte in einer Art hexagonalen Anordnung zeigt, wobei sich die Farbzugehörigkeiten für die Grundfarben Rot (R), Grün (G) und Blau (B) in der angegebenen Weise zyklisch abwechseln. Die Anordnung enstammt der Überla- gerung zweier orthogonaler Gitter, die kammartig ineinander verschoben sind.

In Figur 4 ist eine erfindungsgemä e Zuteilung von zwei Leseleitungen pro Spalte für den Fall einer orthogonalen Gitteranordnung (siehe linke Bilddarstellung) sowie für den Fall einer hexagonalen Gitteranordnung (siehe rechte Bilddarstellung) von Bild- punkten dargestellt. Im orthogonalen Fall ist jeder Bildpunkt direkt mit jeweils zwei Leseleitungen verbunden, wohingegen im orthogonalen Fall durch die leicht ver- setzte Anordnung von Bildpunkten pro Spalte jeder Bilpunkt mit einer Leseleitung verbunden ist.

Zum Auslesen werden die Bildpunkte abwechselnd auf die Leseleitung für geradzah- lige und ungeradzahlige Zeilennummern geschaltet, so da jede Leseleitung jeweils nur die Hälfte der Bildpunkte pro Spalte erfa t.

In Figur 5 sind jeweils die Bildpunkte, die für den Auslesevorgang zeitgleich adres- siert sind und simultan ausgelesen werden, schattiert hinterlegt. So wird die Bild- punktegruppe im ersten Auslesevorgang (Fig. 5 a), die sich zyklisch um den zentra- len Bildpunkt B gruppiert, gemeinsam mir dem zentralen Bildpunkt B ausgelesen.

In einem unmittelbar darauffolgenden Ausleseschritt wird die in der Propagations- richtung (siehe Pfeil) nächstgelegene Bildpunktegruppe um den zentralen Bildpunkt R adressiert und ausgelesen u.s.w. (siehe die Figuren 5 b und c).

Für den speziellen Fall eines Sensorarrays mit hexagonaler Bildpunkteanordnung, die in Figur 6 dargestellt ist, sind die im folgenden beschriebenen Punkte für eine Auflösungssteuerung wichtig.

Mit der Verwendung von getrennten Spaltenleitungen (x0, ..., xs) für gerad- und unge- radzahlige Zeilen entsteht die Möglichkeit, gleichzeitig mit einem zentralen Bildpunkt den Ring der 6 nächsten Nachbarn zu adressieren. Dazu sind jeweils die benach- barte Zeile über und unter dem Zentralbildpunkt, sowie jeweils zwei Nachbarspalten rechts und links zusätzlich zu adressieren. Der hexagonale Aufbau erlaubt die Ver- wendung identischer Gewichtungskoeffizienten für alle gleichzeitig erfa ten Bild- punkte. Das Videosignal, das sich durch das Zusammenwirken mehrerer Verstärker einstellt, gibt nach Simulationen den mittleren Helligkeitswert über alle aktivierten aktiven Sensor-Bildpunkte wieder.

Die über die Ausleseleitungen (in der Figur fett gedruckt) aus dem Array herausge- führten Videosignale sind mittels einer geeigneten, für die Anwendung und die Zel- lanordnung entsprechend ausgelegten Multiplexerschaltung M auf mehrere Verar- beitungskanäle durchzuschalten. Ein weiterer Vorteil der doppelten Auslegung der Ausleseleitung ergibt sich aus der fuer die einzelne Ausleseleitung halbierten Anzahl der MOS-Schalter und der damit verbundenen Knotenkapazitaeten. Damit faellt bei gleicher Treiberleistung im einzelnen Bildpunkt der Einschwingvorgang auf der Leseleitung nach dem Wechsel der adressierten Bildzeile deutlich kuerzer aus.

Für eine auf drei Spektralbereichen basierende Farbauswertung ergeben sich somit andere Mulitplexerkonfigurationen als z.B. für eine Tiefpassfilterung monochromer Bildinhalte. Verschiedene Auslegungen dieses Multiplexers M können durch Pro- grammierung oder analog zu den Gate-Arrays durch eine gemeinsame Masterstruk- tur mit unterschiedlichen Personalisierungen hergestellt werden.

Da die in der HDRC-Technik verwendeten Sensoren prinzipiell eine hohe Auslese- rate ermöglichen, können durch interne Parallelisierung die Auslesesignale analog ausgelesen und analog weitgehend verarbeitet werden. Auf die parallele Weiterver- arbeitung wird noch an späterer Stelle eingegangen.

Die quasi hexagonale Anordnung bedingt, da die ungeradzahiigen Zwischenzeilen odd-rows) um eine halbe Bildpunktbreite gegen die geradzahligen Reihen (even-rows) nach links versetzt sind. Die erste Zeile mit der Indizierung 0 ist also ge- gen die Kante eingezogen. Durch den Einsatz von zwei getrennten Spaltenleitungen für die gleichen Bildpunktadressen in odd- und even-rows kann ein einheitliches Lay- out für alle Bildpunkte erzielt werden, damit ist trotz orthogonalem Layout die dichte Annäherung an ein echtes hexagonales Gitter gewährleistet.

Die zeitgleiche Adressierung von einem weiteren Bildpunkt-Ringen um den zentralen Bildpunkt kann Im Randbereich nur dann störungsfrei aufrechterhalten werden, wenn das tatsächliche Sensorarray jeweils 1 Zeilen und 2 Spalten pro Seite mehr enthält, als für die Bilddarstellung verwendet werden (Randwertproblem bei Filtern).

In Figur 7 ist die in Figur 6 angegebene hexagonale Bildpunkteanordnung erweitert mit einer schematisierten Auslese- und Verarbeitungseinheit dargestellt. Die Bilpunkteanordnung ermöglicht eine Spannungsmittelwertbildung der gepufferten Spannungsausgänge auf den Leseleitungen. Im Falle logarithmischer Eingangswerte ergibt sich mit guter Näherung das geometrische Mittel der Eingangswerte.

Eine spezielle Dekoderanordnung erlaubt die Selektion von j aus i Zeilen. Eine weite- re Dekoderanordnung, die einen Multiplexer steuert, erlaubt durch geeignete Be- schaltung die Auswahl von n aus m Leitungen. In Figur 7 werden, bspw. 5 der 10 dargestellten Leitungen ausgewählt und auf die Gewichtsschaltung C1,. , C5 aufge- schaltet.

Ferner ist eine Farbkanalgewichtungs und -Verarbeitungseinheit V vorgesehen, so da die Ausgänge aller zeitgleich adressierter Bildpunkte parallel nach au en (zum Arrayrand) geführt werden und zeitgleich verarbeitet werden können.

In dem vorgegebenen Beispiel des hexagonal orientierten Sensors sind 5 Leitungen nötig um 7 Sensorpixel zeitgleich auszulesen. Eine Multiplexerlogik M zwischen Ausleseleitung und Gewichtungsnetzwerk G führt die jeweils adressierten Kanälen (bei Farbauswertung typischerweise 5 Kanäle) "ihren" Verstärkern zu. Das Gewich- tungsnetzwerk G besteht hierbei aus 6 Kanälen mit z.T. unterschiedlichen Gewich- tungskoeffizienten (*C1.. *C6), von denen jeweils 5 gleichzeitig aktiv sind (2 "singles", hier auf *C1 und *C5 geschaltet, 2 ,,pairs" hier auf *C2 und *C4 geschaltet, 1 "center" hier auf *C3 geschaltet). Bei Verwendung als farbfähiger Bildsensor mu die Anordnung des Farbmosaikfilters entsprechend der in Figur 3 gezeigten Abfolge ge- staltet sein, die gewährleistet, dass die direkten Nachbarn des Bildpunktes einer Farbklasse ausschliesslich zu den anderen Farbklassen gehören.Die Kanalverstär- ker können online programmierbar ausgeführt werden, um die Gewichtung der Ka- näle den verwendeten Mosaicfiltern anpassen zu können.

Der Sonderfall "keine Farbfilter" führt bei geeigneter Einstellung der Koeffizienten zu einer Tiefpassfilterung.

In einer weiteren Multiplexerstufe werden die 6 analogen Kanälen (je 2 für R,G,B) derart verschaltet, da jeweils bis zu zwei Kanäle zusammengeschaltet werden kön- nen.

Im Fall der Farbsignalverarbeitung werden jeweils farbgleiche Signale (*Cr, *Cg, *Cb) zusammengefasst. Eine dritte Mittelungsstufe (*Cy) die alle drei Farbkanäle zu- sammenfasst, erzeugt ein Ma für die Luminanz des angewählten "Makropixels" Die erfindungsgemä e Bildpunkte-Anordnung führt insbesondere zu folgenden Vor- teilen: Eine gute Farbbildwiedergabe kann mit geringen Farbstörungen durch verbessertes ,,Cositing" erreicht werden: Für die Wiedergabe der Bildinformationen auf einem Display sind die Helligkeitswerte aller drei Farbkanäle für jeden Bildpunkt erforderlich. Bei der Bilderfassung durch Sensoren mit Farb-Mosaikfiltern steht für jeden Bildpunkt nur für einen Farbkanal der tatsächlich gemessene Wert zur Verfügung, die beiden anderen Farbwerte müssen durch Interpolation aus benachbarten Bildpunkten, die die entsprechende Farbmas- kierung aufweisen, ermittelt werden. Das hier angesprochene ideale Cositing be- deutet, da eine gute Übereinstimmung der Schwerpunktlage der für die Interpolati- on herangezogenen verschiedenfarbigen Bildpunkte besteht.

Im Fall eines exakt hexagonalen Arrays (Zeilen- und Spaltenpitch sind nicht gleich gro ) ist der Schwerpunkt jedes diskreten Farbbildpunktes identisch mit den Schwerpunkten der beiden komplementären, aus jeweils drei direkte benachbarten Pixeln berechneten, virtuellen Farbbildpunkte. Im Fall eines ineinadergeschobenen orthogonalen Array (quasi hexagonal, dafür identische Zeilen- und Spaltenpitches) werden geringe Abweichungen (< 1/8 c mit c=Gitterkonstante) erreicht. Im Gegen- satz dazu weicht bei bisher bekannten Farbmosaikfiltern der virtuelle Schwerpunkt des Farb-n-Tupels um mind. c 72 von dem Schwerpunkt der einzelnen Farbbild punkte ab.

Eine aufwendige Zwischenspeicherung analoger Werte, die bei den bekannten Sen- soren, die nur eine streng einzeilige Adressierungen erlauben, zur Berechnung von Farbinformationen zwingend erforderlich ist, ist nicht mehr nötig. Bildpunkte mit iden- tischen Spaltenindizes von gerad- und ungeradzahligen Zeilen werden jeweils über eigene Spaltenleitungen ausgelesen und über eine geeignete, flexible Multiplexer- struktur auf den Videobus mit 6 parallelen Kanälen (RGB jeweils für gerad- oder un- geradzahlige Zeilen) übertragen. Bei einer gleichzeitigen Adressierung von bis zu 3 Zeilen können somit die Bildinformation der 3 Farbpixelgruppierungen des betreffen- den Sterns getrennt über eigene Auslesekanäle bearbeitet (gewichtet, gemittelt) werden.

Eine Unterabtastung mit gleichzeitiger Umsetzung von hexagonale auf orthogonale Abtastgitter ist möglich: Eine Kompression der Datenmengen ist für die Übertragung von Bildinformationen über Kanäle mit geringerer Bandbreite (z.B. Bildtelephonie) oder für die Datenspeicherung wichtig. Die erfindungsgemä vorgestellte Bildpunk- tanordnung zusammen mit dem Multiplexerschema ermöglicht einen Betriebswech- sel des Sensors zwischen komprimierter Bilddatenausgabe (mit den entsprechenden Auflösungsverlusten) und der Vollbildauflösung. Für die Kompression der Bilddaten kann z.B. in jeder geradzahligen Zeile jeder 2. Bildpunkt adressiert werden. Zusätz- lich zu den durch die jeweilige Farbfilterschicht ermittelten tatsächlichen Farbwerten werden die interpolierten Farbwerte aus den direkt anschliessenden Zellen mit den komplementären Farbfilterbeschichtungen ausgegeben. Die geometrische Anordung der ausgelesen Bildpunkte liegt in diesem Fall auf einem orthogonalen Untergitter.

Zur Vermeidung typischer Unterabtastungseffekte (aliasing) mu das Signal tiefpa - gefiltert werden. Diese Tiefpa filterung sollte eine Kohärenzlänge aufweisen, die grö er oder gleich dem halben Gitterabstand des unterabgetasteten Gitters ist.

In Figur 8 obere Bildpunkteanordnung ist eine Beispiel für eine derartige Unterabta- stung auch Subsampling genannt mit Tiefpassfilterung dargestellt. Die schwarzen Bildpunkte stellen die Punkte des unterabgetasteten Gitters dar, die hellen Bild- punkte zeigen die jeweils in die Bewertung eines neuen Gitterpunktes einbezogenen Bildpunkte des ursprünglichen Gitters. Bei Anwendung des ,staggered hex RGB"- Patterns führt diese Form der Unterabtastung erneut auf ein staggered hex RGB Pattern mit 1/4 der Datenmenge. Da alle Flächenelemente bzw. Bildpunkte der vollen Matrix berücksichtigt werden, ist die Moire-Neigung gegenüber einer einfachen Un- terabtastung (durch exklusives Auslesen der dunklen Elemente) deutlich verringert.

Die untere Bildpunktanordnungen stellen ein Beispiel für eine Unterabtastung mit einer Gittertransformation dar. Aus dem staggered hex RGB-Pattern wird durch Un- terabtastung ein Pattern entsprechend dem orthogonalen SONY MAVICA Pattern.

Diese Transformation ist besonders dann sinnvoll, wenn ein Display entsprechend der Sony Mavica-Farbmatrix zur Verfügung steht, Bilder jedoch mit einer staggered hex Kamera aufgenommen worden sind.

BEZUGSZEICHENLISTE B Bildpunkt Z Zentrum eines Schwerpunktes S Strahlrichtung einer Symmetrielinie M Multiplexerschaltung V Verarbeitungseinheit G Gewichtungsnetzwerk