Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
DIGITAL PHOTOGRAPHY METHOD AND DIGITAL CAMERA
Document Type and Number:
WIPO Patent Application WO/2001/052525
Kind Code:
A2
Abstract:
The aim of the invention is to remove in terms of their effect on imaging sensor-related defects. To this end, the sensor matrix (1) is mechanically shifted by a predetermined vector (S). Since the mechanic shift leads to a shift of the imaging of the imaging ray (B¿1?, B¿2?) but not to a shift of the defects (x¿z?, y¿z?), a comparison of the images stored before and after the mechanical shift (7¿1?, 7¿2?, 9) and the comparative signal matrix $g(D) resulting from said comparison can be used to detect where sensor-related defects are located.

Inventors:
WACKER ALAIN (CH)
Application Number:
PCT/CH2001/000206
Publication Date:
July 19, 2001
Filing Date:
March 30, 2001
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
SINAR AG (CH)
WACKER ALAIN (CH)
International Classes:
H04N5/367; (IPC1-7): H04N5/217
Domestic Patent References:
WO1993025043A11993-12-09
Foreign References:
US4748507A1988-05-31
US4581649A1986-04-08
Other References:
PATENT ABSTRACTS OF JAPAN vol. 1998, no. 06, 30. April 1998 (1998-04-30) -& JP 10 038961 A (FUJITSU LTD), 13. Februar 1998 (1998-02-13)
PATENT ABSTRACTS OF JAPAN vol. 013, no. 272 (E-777), 22. Juni 1989 (1989-06-22) -& JP 01 062977 A (FUJITSU LTD), 9. März 1989 (1989-03-09)
Attorney, Agent or Firm:
Troesch, Jacques (Troesch Scheidegger Werner AG Schwäntenmos 14 Zumikon-Zürich, CH)
Download PDF:
Claims:
Patentansprüche :
1. DigitalfotografieVerfahren, bei dem eine Matrix (1) von optoelektrischen Sensorelementen mindestens einmal bezüglich dem Abbildungsstrahl der Kamera verschoben wird und in der Position vor der Verschiebung (S) ein erstes Bild (B1e), in der Position nach der Verschiebung ein zweites Bild (B2e) gespeichert wird, je in Form elektrischer Bildsignale in Funktion der Sensorausgangssignale und mit der jeweiligen SensorpositionsInformation, dadurch gekennzeichnet, dass von den Bildsignalen der beiden Bilder (Ble, B2e) abhängige Signale einer Vergleichsoperation (9) zugeführt werden und ein VergleichsresultatsBild (A), in Form elektrischer Vergleichsresultatsignale mit der Positionsinformation erzeugt wird, und mit elektrischen Signalen des VergleichsresultatsBildes (A) das erste und/oder zweite Bild zur Erzeugung eines Aufnahmebildes (BlK) modifiziert wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das erste und/oder zweite Bild (Ble, B2e) aus mehr als einem Teilbild (IIV) bereitgestellt werden, erzeugt durch weitere Verschiebungen der Matrix (1) entsprechend ihrer örtlichen Verteilung farbselektiver Sensorelemente.
3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass elektrische Bildsignale der beiden Bilder (Ble, B2e) direkt miteinander verglichen werden und Sensorelemente, deren Ausgangssignale ein mindestens in vorgegebenem Masse Übereinstimmung anzeigendes Vergleichsresultat im VergleichsresultatBild (A) ergeben, als störungsbehaftet (Z) identifiziert werden.
4. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass das erste (Ble) und/oder zweite Bild (B2e) rechnerisch (14) verschoben wird, indem die den elektrischen Bildsignalen zugeordnete Positionsinformation geändert wird, damit mindestens ein elektronisches Phantombild erzeugt wird, als eines der zu vergleichenden Bilder.
5. Verfahren nach einem der Ansprüche 1, 3 oder 4, dadurch gekennzeichnet, dass mindestens eines des ersten und zweiten Bildes (B2e) rechnerisch (14) an die Position des andern Bildes (Ble) verschoben wird, indem die den elektrischen Bildsignalen zugeordneten Positionsinformationen in Funktion der Verschiebung (S) zwischen den Matrixpositionen geändert werden, damit mindestens ein Phantombild (Bphl) des anderen Bildes (B1e) erzeugt wird und der Vergleich zwischen Phantombild (Bphl) und dem anderen Bild (Ble) vorgenommen wird.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass für die Erzeugung des Aufnahmebildes (BK1) elektrische Signale am ersten (Ble), zweiten (B2e) oder Phantombild (Bphl) ersetzt werden, deren zugeordnete Sensorelemente Positionen haben (xz, yz ; x'z, y'z), an denen, im VergleichsresultatBild (A), VergleichsresultatsSignale über einem vorgegebenen Schwellwert liegen.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das Ersetzen durch elektrische Signale (A (xz/yz)) eines der anderen Bilder erfolgt, und zwar von Sensorelementen stammend, deren Position der Positionsinformation entspricht an der, im VergleichsresultatsBild (A), VergleichsresultatsSignale über dem vorgegebenen Schwellwert liegen.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass aus dem VergleichsresultatBild (A) über störbehaftete Stellen (Z) an der Matrix und/oder über bewegte Bildbereiche (p) im Abbildungsstrahl geschlossen wird.
9. Verfahren nach dem Oberbegriff von Anspruch 1, dadurch gekennzeichnet, dass man nebst einer mechanischen Verschiebung (S) der Matrix (1) eine rechnerische Verschiebung mindestens eines der registrierten Bilder vornimmt und das unterschiedliche Abbildungsverhalten bei mechanischer Matrixund elektronischer Bildverschiebung zur Interpretation der Abbildung auswertet.
10. Digitalkamera mit einem den Abbildungsstrahl bildenden optischen System und einer Matrix (1) optoelektrischer Sensorelemente, welche bezüglich dem Abbildungsstrahl der Kamera verschieblich ist, dadurch gekennzeichnet, dass der elektrische Ausgang (Ai) der Matrix (1) mit den Eingängen mindestens zweier Bildspeichereinheiten (71, 72) wirkverbunden ist, deren Ausgänge (A71, A72) mit den Eingängen (Egl, E92) einer Vergleichereinheit (9) wirkverbunden sind, deren Ausgang wiederum auf einen Eingang einer Rechnereinheit (12) geführt ist.
11. Digitalkamera nach Anspruch 9, dadurch gekennzeichnet, dass die Ausgänge der Bildspeichereinheiten (71, 72) gleich mit den Eingängen (Egi, E92) der Vergleichseinheit (9) wirkverbunden sind.
12. Digitalkamera nach Anspruch 10, dadurch gekennzeichnet, dass die Matrix (1) mit einer steuerbaren Antriebsanordnung (3) wirkverbunden ist, der Ausgang der einen Bildspeichereinheit (72) über eine Recheneinheit (14) auf den Eingang einer weiteren Bildspeichereinheit (7Ph) geführt ist, wobei ein weiterer Eingang der Recheneinheit (14) mit einem Verschiebungsaufnehmer an der Matrix (1) und/oder dem Antrieb (3) wirkverbunden ist, und dass der Ausgang der weiteren Bildspeichereinheit (7Ph) mit dem Eingang (Es2) der Vergleichseinheit (9) wirkverbunden ist.
13. Digitalkamera nach Anspruch 12, dadurch gekennzeichnet, dass ein Ausgang der Vergleichseinheit mit einem Ausleseselektionseingang (E (xi, Yn)) wirkverbunden ist, deren Ausgang (Aph) mit einem Eingang an der Recheneinheit (R) wirkverbunden ist.
14. Digitalkamera nach dem Oberbegriff von Anspruch 10, dadurch gekennzeichnet, dass sie eine Recheneinheit (14) hat, welche ein elektronisch abgespeichertes Bild (B2e) rechnerisch verschiebt (Bph) und die dieses (Bph) mit einem von der Matrix (1) registrierten Bild (Ble) vergleicht.
Description:
Digitalfotografieverfahren und Digitalkamera Die vorliegende Erfindung betrifft ein Digitalfotografieverfahren nach dem Oberbegriff von Anspruch 1 sowie eine Digitalkamera nach demjenigen von Anspruch 10.

Die digitale Fotografie bietet einerseits viele Vorteile, da keine Filme Verwendung finden und damit laufende Kosten vermieden werden. Andererseits birgt aber die digitale Fotografie auch einen wesentlichen Nachteil : Fehlerstellen in fotochemischen Filmen treten nur einmal auf, bereits für ein nächstes Bild wird ein neues Negativ verwendet. Durch Verwendung opto-elektronischer Sensoren bzw. Wandler in der Digitalfotografie werden hingegen für jede Bildregistrierung dieselben Sensoren verwendet.

Fehlerstellen von oder auf diesen Bildsensoren wirken sich immer wieder aus.

Bereits heute sind verschiedene Verfahren bekannt, Fehlerstellen an einem elektronisch registrierten Bild zu entdecken und rechnerisch zu eliminieren bzw. teilweise zu kompensieren. Es sei beispielsweise auf die"Blemish Files" mit Information über fehlerhafte Einzelpixel bzw.

Pixelreihen hingewiesen, deren Information aus den umliegenden Pixeln interpoliert werden muss, sowie auf die sogenannten"Gain Files/White Shading-Verfahren"mit Verstärkungs-Korrekturwerten für alle Pixel, um deren unterschiedliche Güte zu homogenisieren.

Die vorliegende Erfindung geht primär von der Aufgabe aus, Störstellen, welche mechanisch mit der Matrix opto- elektronischer Sensoren verbunden sind, wie beispielsweise Kratzer in der Sensorbeschichtung, Staubpartikel auf der Matrix, fehlerhafte Pixel bzw. Sensoren und/oder

Glasfehler, Kratzer, Staub etc. im bzw. auf dem vor dem Sensor positionierten und damit verbundenen Schutzglas und/oder z. B. IR-Sperrfilter etc., auf einfache und zuverlässige Art und Weise zu detektieren und damit die Basis für eine entsprechende Bildkorrektur zu schaffen.

Beim Auffinden der nachfolgend dargestellten erfindungsgemässen Lösung wurde aber gleichzeitig erkannt, dass mit dem gefundenen Lösungsprinzip auch die Detektion weiterer Bildkriterien möglich wird, mit aufgrund der Detektion entsprechender Bildnachbearbeitung.

Am Digitalfotografieverfahren eingangs genannter Art wird die erwähnte Aufgabe primär der erwähnten Fehlerdetektion und zusätzlich der Eröffnung weiterer Detektionsmöglichkeiten von Bildeigenschaften, grundsätzlich dadurch ermöglicht, dass von den Bildsignalen der beiden Bilder abhängige Signale einer Vergleichsoperation zugeführt werden und ein Vergleichsresultats-Bild in Form elektrischer Vergleichsresultats-Signale mit der jeweiligen Sensor- Positionsinformation erzeugt wird und mit elektrischen Signalen des Vergleichsresultats-Bildes das erste und/oder zweite registrierte Bild modifiziert wird.

Grundsätzlich wird dabei ausgenützt, dass die erwähnten Fehler-bzw. Störstellen, welche mechanisch an die Matrix optoelektrischer Sensorelemente gebunden sind, sich bei Verschiebung der Matrix zusammen mit der Matrix verschieben, während das dem Abbildungsstrahl aufgeprägte Bild sich bezüglich der Matrix, invers zur Matrixverschiebung, verschiebt. Wird die Matrix nur beispielsweise nach rechts verschoben, verschiebt sich das Bild des Abbildungsstrahles bezüglich der Matrix nach links ; weil das Bild der Störstelle an der Matrix stationär

bleibt, sich das Bild im Abbildungsstrahl auf der Matrix verschiebt, verschiebt sich letzteres bezüglich des Störstellenbildes.

Dieses unterschiedliche Verhalten als ein einfaches Diskriminierungs-Kriterium zu erkennen, ist Basis der vorliegenden Erfindung. Sie bezieht sich sowohl auf digitale monochrome Fotografie wie auch auf digitale Farbfotografie.

Für die Realisation des erfindungsgemässen Verfahrens im Rahmen der digitalen Farbfotografie, bei welcher Matrixen mit Mustern unterschiedlich farbselektiver optoelektrischer Wandlerelemente bzw.-Sensoren eingesetzt werden, wird dabei vorgeschlagen, das erste und/oder zweite Bild aus mehr als einem Teilbild bereitzustellen, erzeugt durch weitere Verschiebungen der Matrix entsprechend ihrer örtlichen Verteilung farbselektiver Sensorelemente. Dabei ist es nicht zwingend, für beide der erwähnten Bilder eine gleiche Anzahl von Teilbildern bereitzustellen, es kann durchaus eines der Bilder mit der gesamten Farbinformation und damit den mehreren Teilbildern registriert werden, während das andere Bild-pro Pixel-nur mit Information bezüglich einer Farbe registriert werden kann und der erfindungsgemäss vorgenommene Vergleich trotzdem zur erwünschten Detektion von Fehlerstellen führt.

In einer einfachen Ausführungsform des erfindungsgemässen Verfahrens werden die elektrischen Bildsignale der beiden Bilder, welche selbstverständlich die Positionsinformation mit enthalten, direkt miteinander verglichen, und es werden Sensorelemente, deren Ausgangssignale ein mindestens in vorgegebenem Masse Übereinstimmung anzeigendes Vergleichsresultat im Vergleichsresultat-Bild ergeben, als störungsbehaftet identifiziert.

Weil nämlich bei der erwähnten mechanischen Matrixverschiebung störungsbehaftete Sensorelemente mitverschoben werden, ergibt der erwähnte direkte Vergleich Signalidentität an störungsbehafteten Sensorpositionen, bei Differenzbildung somit idealerweise entsprechende Nullsignale, wobei beispielsweise aufgrund von Verschiebungstoleranzen auch nicht ideal verschwindende Vergleichsresultats-Signale resultieren können und mithin ein das Mass der Übereinstimmung vorgebendes Kriterium, beispielsweise ein Schwellwert, vorgegeben wird, welcher für die Identifikation einer Störstelle unterschritten werden muss.

Bei der Weiterentwicklung der vorliegenden Erfindung wird grundsätzlich am Fotografieverfahren eingangs genannter Art erkannt, dass eine mechanische Matrixverschiebung zum oben erwähnten Bildverhalten führt, während eine rechnerische Verschiebung eines elektronisch registrierten Bildes zu einem andern Verhalten führt. Während nämlich bei mechanischer Matrixverschiebung, wie erläutert wurde das Bild fehlerbehafteter Sensoren sich bezüglich des Bildes des Abbildungsstrahles verschiebt, ergibt sich bei rechnerischer Verschiebung eines Bildes keine derartige Verschiebung. Wie gezeigt werden wird, kann diese an sich erfinderisch ausnützbare Erkenntnis mit der ersterwähnten ideal kombiniert werden, indem dabei das erste und/oder zweite elektronisch abgespeicherte Bild rechnerisch verschoben wird,-die den elektrischen Bildsignalen- jeweiligen Wandlungsresultaten an den Sensoren- zugeordnete Positionsinformation wird rechnerisch geändert.

Damit wird ein elektronisches Phantombild des zweiten und/oder ersten Bildes erzeugt. Wird nämlich das erste Bild um den inversen mechanischen Verschiebungsweg rechnerisch

verschoben, entsteht ein Phantombild des zweiten Bildes und umgekehrt.

Der Vergleich wird nun zwischen Phantombild und dem zugeordneten Nichtphantombild vorgenommen : Wird vom ersten Bild ein Phantombild erzeugt, erfolgt der Vergleich vorzugsweise am ersten Bild und dessen Phantombild und analog für das zweite Bild. Es können gegebenenfalls durchaus von beiden Bildern Phantombilder erzeugt werden und die Detektionsqualität durch doppelten Vergleich erhöht werden.

Damit ist nun insbesondere die Störstellendetektion vorgenommen. In einer weiteren bevorzugten Ausführungsform des erfindungsgemässen Verfahrens wird nun aber ausgenützt, dass die ungestörte Bildinformation für die Störstelle in den bereits vorhandenen Bildern vorliegt.

Dabei werden bevorzugterweise für die Erzeugung des Aufnahmebildes-also des definitiven Bildes-elektrische Signale am ersten, zweiten oder Phantombild ersetzt, an Positionen, an denen, im Vergleichsresultat-Bild, Vergleichsresultats-Signale unter einem vorgegebenen Schwellwert liegen. Damit wird auch das Problem behoben, dass bei uniformen Szenen, bei denen sich auch nach mechanischer Verschiebung um S uniforme Szenenabschnitte mit dem Ursprungsbild überlappen und als Fehlerbereiche interpretiert werden könnten.

Im weiteren wird es möglich, wie noch auszuführen sein wird, aus dem Vergleichsresultat-Bild nicht nur auf störbehaftete Stellen an der Sensormatrix zu schliessen, sondern auch über bewegte Bildbereiche im Abbildungsstrahl.

Eine erfindungsgemässe Digitalkamera zeichnet sich im weiteren nach dem Kennzeichen von Anspruch 10 aus bzw. nach

demjenigen von Anspruch 14, bevorzugte Ausführungsformen nach den Ansprüchen 11 bis 13. Die Erfindung wird anschliessend beispielsweise anhand von Figuren erläutert.

Diese Erläuterungen eröffnen dem Fachmann verschiedenste Realisationsmöglichkeiten der vorliegenden Erfindung. In den Figuren zeigen beispielsweise : Fig. 1 anhand eines Signalfluss/Funktionsblockdiagrammes das erfindungsgemässe Verfahren bzw. eine erfindungsgemässe Digitalkamera, woran das der Erfindung zugrundeliegende Grundprinzip realisiert ist ; Fig. 2 in einer Darstellung analog zu derjenigen von Fig.

1, eine erste Realisationsform der erfindungsge- mässen Kamera bzw. des erfindungsgemässen Verfahrens ; Fig. 3 in einer Darstellung analog derjenigen der Figuren 1 bzw. 2, das erfindungsgemässe Verfahren bzw. eine erfindungsgemässe Digitalkamera in bevorzugter Ausführungsform, und Fig. 4 die Darstellung eines Bayer-Pattern als Beispiel des Musters farbselektiver Sensoren an einer Sensormatrix für digitale Farbfotografie.

Detailbeschreibung Fig. 1 zeigt anhand eines Signalfluss/Funktionsblockdia- grammes, in vereinfachter Form, das Grundprinzip bzw. das Verfahren, welches der vorliegenden Erfindung zugrunde liegt bzw. der erfindungsgemässen Digitalkamera.

Eine Matrix 1 optoelektrischer Sensoren, wie beispielsweise eine CCD-Matrix, ist in der Kamera bezüglich des Abbildungsstrahles präzise verschieblich geführt (nicht dargestellt) und wie in Fig. 1 schematisch dargestellt mit einem Verschiebungsantrieb 3 antriebsverbunden. Bezüglich einer bevorzugt eingesetzten Präzisionsführung mit Antrieb einer derartigen Matrix 1 in einer Digitalkamera wird auf die WO 01/00001 derselben Anmelderin verwiesen, die diesbezüglich integrierter Beschreibungsteil der vorliegenden Anmeldung sein soll.

Mit dem (nicht dargestellten) Abbildungsstrahl der Kamera wird Bild B1 auf die Matrix 1 abgebildet. Die elektrischen Ausgangssignale der Matrixsensorelemente, am Ausgang A1, werden, über eine zeitgesteuerte Umschalteinheit 5, einer Multiplexereinheit zugeführt.

Die Matrix 1 wird durch einen Antrieb 3 um einen vorgebbaren Verschiebungsvektor S (xs, ys) verschoben.

Dadurch erscheint das Bild B2, wie in Fig. 1 rechts dargestellt, um den richtungsinvertierten Vektor S-1 verschoben, auf der Matrix 1 abgebildet.

Mit Hilfe der Zeit-Multiplexereinheit 5 wird das an der Matrix 1 optoelektrisch gewandelte Bild Ble an einer Speichereinheit 71 abgespeichert, gleichermassen, nach erfolgter Verschiebung S der Matrix 1, das Bild B2e in einer Speichereinheit 72. Die abgespeicherten Bilder sind gebildet durch von den Sensorausgangssignalen abhängigen Signale und Angaben der Position jedes Sensors auf der Matrix l. Gemeinsam werden beide Signalanteile, Signale der optoelektrischen Wandlung und Positionsangaben, im weiteren als Ausgangssignale der Sensoren und damit auch der Matrix 1 bezeichnet. Die elektronisch abgespeicherten Bilder Ble

und B2e werden anschliessend an einer Vergleichseinheit 9 verglichen. In Fig. 1 sind die den jeweiligen elektronischen Bildern Bleu entsprechenden, abgespeicherten Sensorausgangssignale und Positionssignale direkt der Vergleichseinheit 9 zugeführt. Wie aber noch erläutert werden wird, wird in bevorzugter Art und Weise der Vergleichseinheit 9 und einem und/oder beiden der Speichereinheiten 71 bzw. 72 eine in Fig. 1 gestrichelt eingetragene Verarbeitungseinheit 11l bzw. 112 zwischengeschaltet, so dass der jeweilige Ausgang A7l bzw.

A-72 mit den entsprechenden Eingängen Eg2 bzw. E91 wirkverbunden ist, jedoch nicht zwingend direkt.

An der Vergleichseinheit 9 werden, nach vorgegebenem Algorithmus, Ausgangssignale von Sensoren bzw.

Sensorgruppen, ggf. aufbereitet, miteinander verglichen.

Mit Hilfe des Vergleichsresultats A am Ausgang der Vergleichseinheit 9, welches einer Matrix von Vergleichsresultat-Signalen entspricht, wird vorzugsweise das zuerst registrierte Bild Ble überarbeitet. Dies erfolgt an einer Bildbearbeitungs-Recheneinheit 12. Es resultiert das entsprechend aufbereitete, korrigierte elektronische Bild Bk in einer Speichereinheit 14.

Anhand von Fig. 2, basierend auf der Darstellung von Fig.

1, soll nun eine höchst bevorzugte Ausführungsform des erfindungsgemässen Verfahrens bzw. einer erfindungsgemässen Digitalkamera erläutert werden mit dem Ziel, Störungen, welche an die Matrix 1 gekoppelt sind, wie beispielsweise Staubpartikel auf der Matrix, Kratzer an einer Matrixbeschichtung etc., zu erkennen.

Auf der Sensormatrix 1 sei am Ort xz, y, eine Stbrung Z, beispielsweise in Form eines Staubpartikels, vorhanden.

Wird die Matrix 1, wie anhand von Fig. 1 beschrieben wurde, um einen Verschiebungsvektor S verschoben, so wandert der Abbildungsstrahl-bewirkte Anteil des Bildes B1 auf der Matrix 1 entsprechend dem richtungsinvertierten Vektor S Die Lagekoordinaten der Störung Z an der Matrix 1 bleiben auch nach Verschiebung der Matrix 1 erhalten, d. h. die Störung Z wird zusammen mit der Matrix 1 verschoben, im Unterschied zum Bild aus dem Abbildungsstrahl.

Es wird mithin auch nach der Verschiebung S dieselbe Gruppe von Sensoren an der Matrix 1 die erwähnte Störung Z durch optoelektrische Wandlung erfassen. In den Speichereinheiten 71 und 72 resultieren die entsprechenden elektronischen Bilder Ble und B2e.

Werden nun an der Vergleichseinheit 9 die jeweils das elektronisch abgespeicherte Bild ausmachenden Sensorausgangssignale miteinander verglichen, und zwar wie an der Vergleichseinheit 9 dargestellt die Ausgangssignale von Sensoren gleicher Lagekoordinaten xn, yn, so erscheint als Vergleichsresultat-Signalmatrix A, am Ausgang AA der Vergleichseinheit 9, eine Signalmatrix bzw. ein elektronisches"Bild", an welchem an den mit der Störung Z beaufschlagten Sensorpositionen Signaldifferenzen verschwinden oder mindestens unter einen vorgegebenen Grenzwert fallen. Dies deshalb, weil die Störung Z an beiden elektronischen Bildern B,, B1e und B2, B2e dieselbe Sensoren-bzw. Positionengruppe gleichermassen beeinträchtigt.

Damit ist die Basis gegeben, der in Fig. 2 nicht wiederholend wiedergegebenen Recheneinheit 12 gemäss Fig. 1 die Information zu übermitteln, wo in der Matrix 1 störungsbeeinflusste Sensoren bzw. Pixel liegen. Daraus

kann die Recheneinheit 12 beispielsweise durch Signalinterpolation von Ausgangssignalen benachbarter Sensoren die störungsbedingten Ausgangssignale ersetzen.

Ausgehend von den Erläuterungen zu Fig. 2 ist in Fig. 3 eine besonders bevorzugte Ausführungsform der vorliegenden Erfindung dargestellt, bei der Fehler-bzw. Störstellen- beeinflusste Ausgangssignale von Sensoren bzw. Pixeln mit Signalen entsprechend dem ungestörten Bild des Abbildungsstrahls ersetzt werden und woran weiter ermöglicht wird, sich bewegende Bildpartien im Abbildungsstrahlengang zu erkennen und diese an der Recheneinheit 12 gemäss Fig. 1 entsprechend zu berücksichtigen bzw. zu bearbeiten.

Wie bereits anhand der Fig. 1 und 2 erläutert, werden Bild Ble und B2e in den zugeordneten Speichereinheiten 71 und 72 abgespeichert.

Nun ist der Verschiebevektor S bekannt, ihm entsprechend wurde ja auch die Matrix 1 zur Erstellung des Bildes B2e verschoben. Es wird, vorzugsweise aus einem der beiden abgespeicherten Bilder B1e bzw. B2e, wie in Fig. 3 dargestellt, bevorzugt aus dem Bild B2e, rechnerisch ein Phantombild PhB1 ermittelt. Hierzu wird der Ausgang der Speichereinheit 72 mit einer Recheneinheit 14 wirkverbunden und ihr, wie in Fig. 3 schematisiert, die Verschiebevektor- Information S zugeführt. Die Recheneinheit 14 ordnet nun die in der Speichereinheit 72, entsprechend dem Bild B2e, abgelegten Sensorausgangssignale neu um den Verschiebevektor S verschoben so um, dass als Phantombild PhBl ein Bild entsteht und in einer Speichereinheit 7Ph abgespeichert wird, welches, da um S verschoben, eigentlich dem Bild Big entspricht, mit dem Unterschied,

dass nun die Lagekoordinaten der störungsbeeinträchtigten Sensoren bzw. Pixel x'z = Xz + xs Y'z = Yz + Ys sind. Die"Störstelle"von Bild B2e wird um S mitverschoben. Das Bild PhB1 ist mithin das Phantom von Bild B1 bzw. Ble. Am Phantombild ist aber die Störstelle bezüglich derjenigen im Bild B1 bzw. B1e um S verschoben.

Nun erfolgt, in Analogie zu Fig. 1 nach einer Aufbereitung 112-gemäss Fig. 3 an der Recheneinheit 14-an der Vergleichseinheit 9, der Vergleich zwischen dem an der Speichereinheit 71 abgespeicherten Bild B1e und dem am Phantombildspeicher 7Ph abgespeicherten elektronischen Bild PhBl- Die daran gebildete Vergleichssignalmatrix weist nur dort nicht verschwindende Signalwerte auf bzw. Signalwerte, die über einem vorgegebenen Schwellwert liegen, wo Bild B1e vom Phantombild PhB1 abweicht, d. h., den Darstellungen von Fig.

3 folgend, an den Stellen xz/yz sowie an den Stellen x'z/y'z, um S auseinanderliegend. Weil der Verschiebevektor S bekannt ist, ist auch an der Vergleichssignalmatrix A in der Speichereinheit 9 bekannt, welche Signale von Störstellen an welchem der beiden verglichenen Bilder stammen.

Nun ist aber wesentlich zu erkennen, dass die Information, wie an der Stelle xz/yz von Bild B1 bzw. Ble die ungestörte Abbildungssinformation aussieht, vorliegt. Berücksichtigt man nämlich, dass beim Übergang vom Bild B1 bzw. Ble nach Bild B2 bzw. B2e das im Abbildungsstrahlengang vorhandene

Bild, schematisch mit BA dargestellt, bezüglich des Bildes der Störstelle Z auf der Sensormatrix 1 verschoben wurde, so ist erkenntlich, dass im Phantombild Ph31 das Signal entsprechend der Lage xz/yz dem Abbildungssignal entspricht, d. h. dem störungsfreien Abbildungsstrahl- Abbild. Somit wird aus dem Phantombildspeicher 7Ph das den Sensoren bzw. Pixeln mit der Lage xz/yz entsprechende Signal über den Selektionseingang E (xn/yn) angewählt und am Ausgang A7ph als Signal A (xz/yz) ausgelesen. Durch die hier nicht mehr dargestellte Recheneinheit 12 wird das Signal A (xz/yz) an die Stelle des Bildes B1 bzw. B1e gesetzt mit der Lagekoordinate xz/yz. Die Information bezüglich xz und yz wird somit aus der Vergleichssignalmatrix in der Vergleichseinheit 9 ermittelt. Somit wird, wie in Fig. 3 schematisiert, in der Bildspeichereinheit 14 gemäss Fig. 1 ein entstörtes Bild Bm gemäss B1 bereitgestellt.

Es ist auch durchaus möglich, aus den Signalen an der Vergleichseinheit 9, die Lagewerte x'z und y'z zu ermitteln und damit aus dem Bild Ble in der Speichereinheit 71 den entsprechenden störungsfreien Signalwert auszulesen und diesen im Phantombild anstelle der Signale entsprechend den Lagewerten x'z/y'z zu setzen, somit das Phantombild im Phantomspeicher 7Ph zu korrigieren.

Ebenfalls ist es selbstverständlich möglich, nicht Bild B2e rechnerisch um den Verschiebevektor S rückzuverschieben, sondern Bild B1e in der Speichereinheit 71 rechnerisch um den Verschiebevektor S-1 zu verschieben, bzw. beide Bilder B1e und B.-, quasi übers Kreuz zu verschieben, dann analog zum Vorerläuterten vorzugehen.

Wesentlich ist dabei die Erkenntnis, dass bei mechanischer Verschiebung der Sensormatrix 1 Störstellen Z stationär auf der Matrix bleiben, während bei rechnerischer Verschiebung

die Störstellen-Bildinformationen mit der Abbildungsstrahl- Bildinformation verschoben werden.

Das Vorgehen, insbesondere, wie es anhand von Fig. 3 erläutert wurde, ermöglicht noch weitere Auswertungen. Dies sei im folgenden weiterhin auf der Basis von Fig. 3 erläutert. Hat sich Bild B1 bzw. ein Bereich des Abbildungstrahlengang-Bildes BA zwischen der Registrierung von B1e in der Speichereinheit 71 und, nach Verschiebung S, der Registrierung von B2e in Speichereinheit 72, bewegt, so ergibt dies, wie in Fig. 3 schematisch bei p dargestellt, am Bild B2e und mit Bezug auf Bild B1e eine"mitverschobene" Abweichung. Diese Änderung p wird bei Erstellung des Phantombildes PhBl mit rückverschoben und führt an der Vergleichssignal-Matrix an der Vergleichseinheit 9 zu einem Signalbereich p', entsprechend einem Sensorbereich, woran das Vergleichsresultat nicht verschwindet. Dies aufgrund des Vergleichs des Phantombildes Phai, mit der Änderung p', mit dem elektronischen Bild Big in der Speichereinheit 71.

Im Unterschied zu nicht störungsbedingten, verschwindenden Signalen in der Vergleichssignal-Matrix A an der Vergleichseinheit 9, führen aber bewegungsbedingt nicht verschwindende Signale nicht zu Doppelsignalen. Dies ist ohne weiteres daraus ersichtlich, dass bei Vergleich von B1e und PhB ! in der Differenzsignalmatrix sowohl an der Stelle x-/y. wie auch an der Stelle x'z/y'z nicht verschwindende Signalwerte auftreten, während beim Vergleich der Abbildungsstrahl-bedingten Signale lediglich nicht verschwindende Signalwerte im Bereich p'erscheinen.

Durch Auswertung der Einmaligkeit von nicht verschwindenden Signalwerten an der Vergleichssignalmatrix an Vergleichs- und Speichereinheit 9 und der Doppelerscheinung von

störungsbedingten, nicht verschwindenden Signalwerten-um S verschoben-wird es möglich, die Bearbeitung des Bildes selektiv unter Berücksichtigung von Bewegungen einerseits und von Störungen anderseits vorzunehmen.

Die bisherigen vereinfachten Betrachtungen, welche das Prinzip der vorliegenden Erfindung aufzeigen sollen, beruhen einerseits auf einer"Schwarz/weiss"- Digitalfotografie-Technik, bei welcher alle Matrixsensoren gleichermassen Helligkeitswerte in elektrische Signale wandeln, und nicht angestrebt ist, eine digitale Farbfotografie zu erstellen.

In der Praxis ist der Einsatz von Sensoren bzw. Pixeln, welche alle gleichermassen die Farbinformation registrieren, (noch) nicht möglich. Es ist bekannt, dass bei Sensormatrixen für die digitale Farbfotografie, Muster von Sensoren vorgesehen werden, die z. B. je eine der Grundfarben Rot, Grün bzw. Blau registrieren. Bekannt ist dabei das sogenannte Bayer-Pattern, das das in Fig. 4 wiedergegebene Farbraster der Sensorselektivität hat.

Wird eine einzelne Aufnahme und Registrierung mit einer solchen Matrix gemacht, so spricht man von einer Ein-Shot- Aufnahme. Diese eignet sich insbesondere, um bewegte Objekte aufzunehmen. Die jeweils an den einzelnen Sensoren fehlenden Farbinformationen-an einem Rotsensor die Information bezüglich Grün und Blau etc., müssen aus den einen betrachteten Sensor umgebenden Sensoren interpoliert werden.

Für Aufnahmen höchster Qualität wird, z. B. bei Einsatz des erwähnten Bayer-Patterns, das sogenannte Vier-Shot- Verfahren eingesetzt. Bei diesem Pattern wird die Matrix nach einer Aufnahme um jeweils ein Sensorrastermass

horizontal verschoben, eine Bildregistrierung vorgenommen, dann die Matrix, bezogen auf die Ausgangsstellung, um ein Sensorrastermass vertikal verschoben, eine weitere Aufnahme registriert und schliesslich, bezogen auf die Ausgangsstellung, um ein Sensordiagonalrastermass horizontal und vertikal verschoben, wiederum ein Bild registriert. Dadurch steht für jedes Bildpixel die Farbinformation des roten, blauen und zweimal des grünen Kanals zur Verfügung.

Die Verschiebung erfolgt dabei bevorzugterweise mit der in der WO 01/00001 derselben Anmelderin beschriebenen Anordnung, dem dort beschriebenen Prinzip folgend.

Wird der hier vorliegendenfalls anhand der Figuren 1 bis 3 beschriebene und erfindungsgemässe Vorgang an einer solchen, wie beispielsweise einer Bayer-Pattern-Matrix ausgeführt, so lässt sich das der vorliegenden Erfindung zugrundeliegende Prinzip dadurch realisieren, dass eine Verschiebung S um mehr als ein Rastermass vorgenommen wird, streng genommen sogar schon bei kombiniert horizontal/vertikaler Verschiebung der Matrix um ein Diagonalrastermass. Da, wie aus Fig. 4 ersichtlich, jeder zweite Sensor ein Grünsensor ist, lassen sich mit nur zwei diagonal um ein Diagonalrastermass verschobenen Registrierungen, aufgrund der Informationsdichte, bereits ganze Bilder interpolieren und im Sinne der vorliegenden Erfindung miteinander vergleichen. Es kann durchaus angezeigt sein, eine Verschiebung um eine geradzahlige oder um eine ungeradzahlige Anzahl Rastermasse vorzunehmen, um das erfindungsgemässe Verfahren zu realisieren. Bei einer Verschiebung um eine geradzahlige Anzahl Rastermasse ist sichergestellt, dass am selben Bildort immer Sensoren derselben Farbselektivität vorliegen.

Für eine Verschiebung um eine ungeradzahlige Anzahl Sensorabstände spricht, die Vier-Shot-Technik mit einer grösseren Verschiebung S zugunsten der anhand der Fig. 1 bis 3 beschriebenen erfindungsgemässen Vorgehensweise zu kombinieren : Bei einer Verschiebung um ein Rastermass wird, betrachtet am Bayer-Pattern, horizontal bzw. vertikal z. B. neben einem rotselektiven Sensor immer ein grünseleRtiver liegen. Dasselbe gilt auch bei fünf, sieben etc.

Rastermass-Verschiebungen. Dabei wird der Qualitätsvorteil der Vier-Shot-Technik mit der Möglichkeit erfindungsgemässen Vorgehens kombiniert.

Diese Ausführungen zeigen, dass sich für den Fachmann viele Kombinationsmöglichkeiten ergeben, welche alle den oben dargelegten erfindungsgemässen Vorgehen entsprechen und dabei Aufnahmeschnelligkeit bzw.-Qualität mehr oder weniger gewichten.

Bei Einsatz der vorliegenden Erfindung in der Farbdigitalfotografie mit Matrixen von Sensoren unterschiedlicher Farbselektivitäten, wie beispielsweise einem Bayer-Pattern, werden beste Resultate dann erhalten, wenn, mit Blick auf Fig. 1, sowohl für Bild B1e wie auch für Bild B2e jeweils vier gemäss dem Vier-Shot-Verfahren verschobene Bildregistrierungen realisiert werden. Dies ist in Fig. 1 bei den jeweiligen Speichereinheiten 71 und 72 angedeutet.

Dann werden, der Erfindung folgend, die beschriebenen Verfahren an den sich zugeordneten Vier-Shot-Aufnahmen vorgenommen, also I1 mit 12 II1 mit 112 etc.

Durch diese Aufnahme von acht Teilbildern, vier vor Verschiebung um den Vektor S, vier danach, wird der Qualität des Bildes gegenüber dem Zeitaufwand für die Bildregistrierung klar Vorzug gegeben. Als extremes Gegenteil kann die Aufnahme von nur zwei Bildern, wie dies beschrieben wurde, angesehen werden, wobei dann Farbinterpolation vorgenommen wird. Selbstverständlich kann das beschriebene Vorgehen auch für die 2-Shot-und 3-Shot- Technik eingesetzt werden.

Wie erwähnt wurde, wird es mit dem erfindungsgemässen Vorgehen möglich, die Störstellen zu eliminieren, welche matrixgebunden sind. Zu diesen gehören insbesondere fehlerhafte Sensoren, Sensornester (Pixelnester), fehlerhafte Pixelreihen bzw.-kolonnen, Kratzer sowie Staub.

Im weiteren muss festgehalten werden, dass die erfindungsgemässe Verschiebung S um eine ganzzahlige Anzahl Rastermasse die Auswertung erleichtert. Es können aber auch nicht-ganzzahlige Verschiebungen eingesetzt werden, wobei dann, wie ein Blick auf Fig. 3 klarmacht, in der Vergleichssignalmatrix nicht mehr praktisch ideal verschwindende und nicht verschwindende Signalwerte auftreten. Dann müssen Schwellwerte gesetzt werden, um die wie erläutert unterschiedlichen Signalunterschiede zu diskriminieren.