Titel

Verfahren und Verarbeitungseinrichtung zum Verarbeiten von Messdaten eines

Bildsensors

Stand der Technik

Die Erfindung geht von einem Verfahren oder einer Verarbeitungseinrichtung nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.

Im herkömmlichen optischen Aufnahmesystemen besteht oftmals eine

Problematik in Bezug auf eine hinreichend präzise Abbildung von Bildern durch einen Bildsensor, da beispielsweise Abbildungsfehler optischer Komponenten eines realen Objektes in eine Mitte des Bildsensors eine andere Art Gestalt annehmen, als eine Abbildung des Objektes im Randbereich des Bildsensors. Zugleich können unterschiedliche Abbildungseigenschaften von Farben oder Farbverläufe an unterschiedlichen Positionen des Bildsensors auftreten, die eine suboptimale Darstellung oder Wiedergabe des realen Objektes durch den Bildsensor bewirken. Insbesondere durch die Farbfiltermaske stehen nicht an jedem Ort des Bildsensors alle Farben der Farbfiltermaske zur Verfügung.

Offenbarung der Erfindung

Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren, weiterhin eine Verarbeitungseinrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den

Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Verarbeitungseinrichtung möglich. Es wird daher ein Verfahren zum Verarbeiten von Messdaten eines Bildsensors vorgestellt, wobei dass Verfahren die folgenden Schritte aufweist:

Einlesen von Messdaten, die von Lichtsensoren in einer Umgebung einer Referenzposition auf dem Bildsensor aufgezeichnet wurden, wobei die Lichtsensoren um die Referenzposition auf dem Bildsensor angeordnet sind, wobei ferner Gewichtungswerte eingelesen werden, die jeden Messdaten der Lichtsensoren in einer Umgebung einer Referenzposition zugeordnet sind, wobei sich die Gewichtungswerte für an einem Randbereich des Bildsensors angeordnete Lichtsensoren von Gewichtungswerten für ein in einem

Mittenbereich des Bildsensors angeordnete Lichtsensoren unterscheiden und/oder wobei die Gewichtungswerte von einer Position der Lichtsensoren auf dem Bildsensor abhängig sind; und

Verknüpfen der Messdaten der Lichtsensoren mit den zugeordneten

Gewichtungswerten, um Bilddaten für die Referenzposition zu erhalten.

Unter Messdaten können Daten verstanden werden, die von einem Lichtsensor oder anderen Messeinheiten eines Bildsensors aufgezeichnet wurden und ein Abbild eines realen Objektes auf dem Bildsensor repräsentieren. Unter einer Referenzposition kann beispielsweise eine Position eines Lichtsensors einer Lichteigenschaft (z. B. ein rot gefilterter Spektralbereich) verstanden werden, für welchen andere Lichteigenschaften berechnet werden sollen (z. B grün und blau), oder dessen Messwert verarbeitet bzw. korrigiert werden soll. Die

Referenzpositionen bilden beispielsweise ein regelmäßiges Punktegitter welches es erlaubt die erzeugten Messdaten ohne weitere Nachverarbeitung als ein Bild auf einem System mit z.B. orthogonalem Anzeigegitter darzustellen (z. B. einem digitalen Computer-Display). Dabei kann die Referenzposition mit einer

Messposition oder der Position eines existierenden Lichtsensors übereinstimmen oder an einer beliebigen Stelle des durch die Achsen x und y Aufgespannten Sensor-Arrays liegen, wie es nachfolgend näher beschrieben ist. Unter einer Umgebung um eine Referenzposition eines Bildsensors können die

Lichtsensoren verstanden werden, welche in den angrenzenden anderen Zeilen - und/oder Spalten des Lichtsensorrasters eines Bildsensors an die

Referenzposition angrenzen. Beispielsweise bildet die Umgebung um die Referenzposition ein rechteckiges zweidimensionales Gebilde in welchem sich NxM Lichtsensoren unterschiedlicher Eigenschaften befinden. Unter einem Gewichtungswert kann beispielsweise ein Faktor verstanden werden, der mit den Messwerten der Lichtsensoren in der Umgebung der Referenzposition verknüpft oder gewichtet, beispielsweise multipliziert und das Ergebnis anschließend aufaddiert wird, um die Bilddaten für die Referenzposition zu erhalten. Hierbei können sich die Gewichtungswerte für Lichtsensoren abhängig von der Position auf dem Sensor unterscheiden, beispielsweise bezogen auf gleiche Lichtsensortypen, d. h. auf Lichtsensoren die zur Aufnahme von gleichen physikalischen Parametern ausgebildet sind. Dies bedeutet, dass die Sensorwerte oder Messdatenwerte von Lichtsensoren, die in einem

Randbereich des Bildsensors angeordnet sind, anders gewichtet werden, als die Messdatenwerte oder Werte von Lichtsensoren, die in einem Mittenbereich des Bildsensors angeordnet sind. Unter einem Verknüpfen kann beispielsweise eine Multiplikation von Messwerten der Lichtsensoren (d. h. der Lichtsensoren in der Umgebung der Referenzposition) mit den jeweils zugeordneten

Gewichtungswerten verstanden werden, gefolgt von beispielsweise einer Addition der jeweils gewichteten Messdatenwerte dieser Lichtsensoren.

Der hier vorgestellte Ansatz basiert auf der Erkenntnis, dass durch die

Gewichtung der Messdaten Lichtsensoren in Abhängigkeit von der jeweiligen Position auf dem Bildsensor eine technisch sehr einfache und elegante

Möglichkeit besteht, ungünstige Abbildungseigenschaften (wie z. B.

ortsabhängige oder thermische Veränderungen der Punktantwort„point spread function“) von optischen Komponenten (wie Linsen, Spiegeln oder ähnlichen) oder dem herkömmlichen Bildsensor selbst kompensieren können, ohne einen neuen, hoch-präzise arbeitenden, höher aufgelösten und teuren Bildsensor bzw. eine fehlerfrei abbildende teure Optik zu benötigen. Auf diese Weise kann durch die Gewichtung der Messdaten mit Gewichtungsfaktoren oder

Gewichtungswerten, die von einer Position des dem betreffenden Lichtsensor auf dem Bildsensor abhängig sind, diese ungünstige Abbildungseigenschaft korrigiert werden, wobei die Gewichtungswerte beispielsweise in einem vorangegangenen Verfahren oder zur Laufzeit eintrainiert oder ermittelt werden. Dieses Training kann beispielsweise für eine entsprechende Kombination aus Bildsensor und optischen Komponenten, also für ein konkretes optisches System vorgenommen werden, oder für Gruppen von Systemen mit ähnlichen Eigenschaften. Die trainierten Gewichtungswerte können nachfolgend in einem Speicher abgespeichert werden und für das hier vorgeschlagene Verfahren zu einem späteren Zeitpunkt ausgelesen werden.

Günstig ist eine Ausführungsform des hier vorgeschlagenen Ansatzes, bei der im Schritt des Einlesens Messdaten von Lichtsensoren eingelesen werden, die in je einer unterschiedlichen Zeile und/oder einer unterschiedlichen Spalte auf dem Bildsensor in Bezug zur Referenzposition angeordnet sind, insbesondere wobei die Lichtsensoren die Referenzposition vollständig umgeben. Unter einer Zeile kann vorliegend ein Bereich verstanden werden, der einen vorbestimmten Abstand zu einem Rand des Bildsensors hat. Unter einer Spalte kann vorliegend ein Bereich verstanden werden, der einen vorbestimmten Abstand zu einem anderen Rand des Bildsensors hat, wobei sich der die Spalte definierende Rand von einem die Zeile definierenden Rand unterscheidet. Dabei kann insbesondere der Rand, durch den die Zeilen definiert werden, in eine andere Richtung verlaufen oder senkrecht zu dem Rand sein, durch den die Zeilen definiert werden. Hierdurch können Bereiche auf dem Bildsensor unterschieden werden, ohne dass die Lichtsensoren selbst symmetrisch in Zeilen und Spalten auf dem Bildsensor positioniert sind (Matrix-förmig aufgebauter Bildsensor). Es ist vielmehr lediglich darauf abzustellen, dass die Lichtsensoren, die in der

Umgebung der Referenzposition an mehreren unterschiedlichen Seiten um die Referenzposition herum angeordnet sind. Eine solche Ausführungsform des hier vorgeschlagenen Ansatzes bietet den Vorteil, die Bilddaten für die

Referenzposition unter Berücksichtigung von Effekten oder Messwerten von Lichtsensoren korrigieren zu können, die im direkten Umfeld um die

Referenzposition zu beobachten sind. Beispielsweise kann hierdurch eine kontinuierlich zunehmende Veränderung bei der Punkt-Abbildung eines realen Objektes von einem Mittenbereich des Bildsensors hin zu einem Randbereich sehr präzise berücksichtigt bzw. kompensiert werden.

Gemäß einer weiteren Ausführungsform des hier vorgeschlagenen Ansatzes können im Schritt des Einlesens Messdaten von den Lichtsensoren eingelesen werden, die je zur Aufnahme von Messdaten in unterschiedlichen Parametern, insbesondere Farben, Belichtungszeiten, der Helligkeiten oder anderer

Lichttechnischen Parametern ausgebildet sind. Eine solche Ausführungsform des hier vorgeschlagenen Ansatzes ermöglicht die Korrektur von unterschiedlichen physikalischen Parametern wie der Abbildung von Farben, den Belichtungszeiten und/oder die Helligkeiten an den Lichtsensoren in den unterschiedlichen

Positionen des Bildsensors.

Von Vorteil ist weiterhin eine Ausführungsform des hier vorgeschlagenen Ansatzes, bei der ein Schritt des Ermittelns der Gewichtungswerte unter Verwendung einer Interpolation von Gewichtungsreferenzwerten, insbesondere wobei die Gewichtungsreferenzwerte Lichtsensoren zugeordnet sind, die in einem vordefinierten Abstand voreinander auf dem Bildsensor angeordnet sind. Unter den Gewichtungsreferenzwerten können somit Gewichtungsstützwerte verstanden werden, die Gewichtungswerte für einzelne Lichtsensoren repräsentieren, die in dem vorbestimmten Abstand und/oder Position

voneinander auf den Bildsensor angeordnet sind. Eine solche Ausführungsform des hier vorgeschlagenen Ansatzes bietet den Vorteil, dass nicht für jeden Lichtsensor auf dem Bildsensor ein entsprechend zugeordnete

Gewichtungswerte vorzusehen sind, sodass vorteilhaft eine Reduzierung des Speicherplatzes erreicht werden kann, der für die Implementierung des hier vorgeschlagenen Ansatzes vorzusehen ist. Diejenigen Gewichtungswerte für Lichtsensor oder Lichtsensoren, die zwischen den Lichtsensoren auf den Bildsensor angeordnet sind, denen Gewichtungsreferenzwerte zugeordnet sind, lassen sich dann durch eine technisch einfach zu implementierende Interpolation ermitteln, sobald diese Gewichtungswerte benötigt werden.

Vorteilhaft ist ferner eine Ausführungsform des hier vorgestellten Ansatzes, bei der die Schritte des Einlesens und des Verknüpfens wiederholt ausgeführt werden, wobei im wiederholt ausgeführten Schrittes des Einlesens als

Messdaten von Lichtsensoren eingelesen werden, die an einer anderen Position auf dem Bildsensor angeordnet sind als die Messdaten der Lichtsensoren, von denen in einem vorangegangenen Schritt des Einlesens Messdaten eingelesen wurden. Eine solche Ausführungsform des hier vorgeschlagenen Ansatzes ermöglicht die schrittweise Optimierung bzw. Korrektur von Messdaten für möglichst viele, gegebenenfalls fast alle sinnvoll zu betrachtenden

Referenzpositionen des Bildsensors, sodass eine Verbesserung der durch die Messdaten des Bildsensors repräsentierten Abbildung des realen Objektes ermöglicht wird.

Gemäß einer weiteren Ausführungsform können die Schritte des Einlesens und des Verknüpfens wiederholt ausgeführt werden, wobei im wiederholt

ausgeführten Schrittes des Einlesens Messdaten der Lichtsensoren in der Umgebung der Referenzposition ausgelesen werden, die auch im

vorangegangenen vorangegangenen Schritt des Einlesens eingelesen wurden, wobei ferner im wiederholt ausgeführten Schritt des Einlesens für diese

Messdaten andere Gewichtungswerte eingelesen werden, als den

Gewichtungswerten, die in dem vorangegangenen Schritt des Einlesens eingelesen wurden. Diese anderen Gewichtungswerte können beispielsweise für die Rekonstruktion von anderen Farbeigenschaften ausgelegt sein, als die Rekonstruktion von Farbeigenschaften, die im vorangegangenen Schritt des Einlesens beabsichtigt wurde. Denkbar ist auch, dass andere

Gewichtungsfaktoren für die selben Messwerte benutzt werden, um eine andere physikalische Eigenschaft des Lichtes aus den Messwerten zu erhalten. Es können auch bestimmte Gewichtungsfaktoren gleich Null werden. Dies kann beispielsweise vorteilhaft sein, wenn rote Farbe aus den Messwerten grüner, roter und blauer Lichtsensoren bestimmt werden sollen. In diesem Fall bietet es sich unter Umständen an die grünen und blauen Messdaten mit einem Faktor Null zu gewichten und somit zu ignorieren.

Die mehrfach wiederholte Ausführung des zuvor beschriebenen Verfahrens mit jeweils unterschiedlichen Gewichten stellt eine Sonderform dar, die es erlaubt Signale mit unterschiedlichen Signalrekonstruktionszielen für jede

Referenzposition zu berechnen, (z. B. kann die Rekonstruktion für das

Lichtmerkmals Helligkeit mit maximaler Auflösung eine andere Rekonstruktion erfordern als die Rekonstruktion des Merkmals Farbe usw.).

Unter einem Lichtsensortyp kann beispielsweise die Eigenschaft des

Lichtsensors zur Abbildung eines bestimmten physikalischen Parameters des Lichtes verstanden werden. Beispielsweise kann ein Lichtsensor eines ersten Lichtsensortyps dazu ausgebildet sein, bestimmte Farbeigenschaften des auf den Lichtsensor einfallenden Lichtes, wie beispielsweise rotes Licht, grünes Licht oder weißes Licht besonders gut zu erfassen, wogegen ein Lichtsensor eines anderen Lichtsensortyps dazu ausgebildet ist, die Helligkeit oder eine

Polarisationsrichtung des auf diesen Lichtsensor einfallenden Lichts besonders gut zu erfassen. Eine solche Ausführungsform des hier vorgeschlagenen Ansatzes bietet den Vorteil, die vom Bildsensor erfassten Messdaten für unterschiedliche physikalische Parameter sehr effektiv korrigieren zu können und hierbei mehrere physikalische Parameter durch die jeweils entsprechende Korrektur für diese Parameter gemeinsam berücksichtigen zu können.

Gemäß einer weiteren Ausführungsform des hier vorgeschlagenen Ansatzes können auch im Schritt des Einlesens Messdaten von den Lichtsensoren unterschiedlicher Lichtsensortypen eingelesen werden. Eine solche

Ausführungsform des hier vorgeschlagenen Ansatzes bietet den Vorteil, bei der Korrektur der Messdaten für die Bilddaten an der Referenzposition lediglich Messdaten von Umgebungs-Lichtsensoren zu verwenden, die unterschiedlichen Lichtsensortypen entsprechen. Auf diese Weise lässt sich sehr zuverlässig und robust eine Rekonstruktion der jeweils gewünschten Bilddaten an der

Referenzposition sicherstellen, da Messdaten bzw. gewichtete Bilddaten von unterschiedlichen Lichtsensortypen miteinander verknüpft werden, und so mögliche Fehler bei der Messung von Licht durch einen Lichtsensortyp möglichst gut kompensiert werden können.

Gemäß einer weiteren Ausführungsform des hier vorgeschlagenen Ansatzes können im Schritte des Einlesens die Messdaten von Lichtsensoren eines Bildsensors eingelesen werden, der zumindest teilweise eine zyklische

Anordnung von Lichtsensortypen als Lichtsensoren aufweist und/oder Messdaten von Lichtsensoren unterschiedlicher Größe auf dem Bildsensor eingelesen werden und/oder Messdaten von Lichtsensoren eingelesen werden, die je unterschiedliche Lichtsensortypen aufweisen, die eine unterschiedliche Fläche auf dem Bildsensor einnehmen. Eine solche Ausführungsform des hier vorgeschlagenen Ansatzes bietet den Vorteil, Messdaten von entsprechenden Lichtsensoren der entsprechenden Lichtsensortypen technisch einfach und schnell verarbeiten oder verknüpfen zu können, ohne diese Messdaten von den entsprechenden Lichtsensortypen zuvor skalieren oder anderweitig für eine Verknüpfung vorbereiten zu müssen. Technisch besonders einfach umsetzen lässt sich eine Ausführungsform des vorgeschlagenen Ansatzes, bei der im Schritt des Verknüpfens die mit den zugeordneten Gewichtungswerten multiplikativ gewichteten Messdaten der Lichtsensoren aufaddiert werden, um die Bilddaten für die Referenzposition zu erhalten.

Von Vorteil ist eine Ausführungsform des hier vorgeschlagenen Ansatzes als Verfahren zur Erzeugung einer Gewichtswertematrix zur Gewichtung von Messdaten eines Bildsensors, wobei dass Verfahren die folgenden Schritte umfasst:

Einlesen von Referenzbilddaten für Referenzpositionen eines Referenzbildes und Trainingsmessdaten eines Trainingsbildes sowie einer

Ausgangsgewichtswertematrix; und

Trainieren von in der Ausgangsgewichtswertematrix enthaltenen

Gewichtswerten unter Verwendung der Referenzbilddaten und der

Trainingsmessdaten, um die Gewichtswertematrix zu erhalten, wobei eine Verknüpfung von mit je einem Gewichtswert gewichteten

Trainingsmessdaten der Lichtsensoren gebildet und mit den

Referenzmessdaten für die entsprechende Referenzposition verglichen wird, wobei Lichtsensoren verwendet werden, die um die Referenzposition auf dem Bildsensor angeordnet sind.

Unter Referenzbilddaten eines Referenzbildes können Messdaten verstanden werden, die ein Bild repräsentieren, welches als optimal betrachtet wird. Unter Trainingsmessdaten eines Trainingsbildes können Messdaten verstanden werden, die ein Bild repräsentieren, welches von Lichtsensoren eines

Bildsensors aufgenommen wurde, sodass beispielsweise die räumlichen

Variationen der Abbildungseigenschaften der optischen Komponenten oder der Abbildungseigenschaften des Bildsensors bzw. derer Wechselwirkung (z. B. Vignettierung) noch nicht kompensiert wurden. Unter einer

Ausgangsgewichtswertematrix kann eine Matrix von Gewichtungswerten verstanden werden, welche initial bereitgestellt wird, wobei die

Gewichtungswerte durch ein Training verändert oder angepasst werden, um die gemäß einer Variante des vorstehend beschriebenen Ansatzes eines Verfahrens zur Verarbeiten von Messdaten erhaltenen Bilddaten von Lichtsensoren des Trainingsbildes den Messdaten von Lichtsensoren des Referenzbildes anzupassen.

Durch die Verwendung des Verfahrens zur Erzeugung der Gewichtswertematrix lassen sich somit Gewichtswerte erzeugen, die nachfolgend für eine Korrektur oder Verarbeitung von Messdaten einer Abbildung eines Objekts durch den Bildsensor verwendet werden können. Hierbei lassen sich spezifische

Eigenschaften bei der Abbildung des realen Objektes in die Messdaten des Bildsensors korrigieren, sodass nachfolgend die Bilddaten das reale Objekt in der von den Bilddaten gewählten Darstellungsform günstiger beschreiben, als die Messdaten, die direkt aus dem Bildsensor ausgelesen werden können.

Beispielsweise kann für jeden Bildsensor, jedes optisches System oder jede Kombination aus Bildsensor oder optischem System eine individuelle

Gewichtswertematrix erstellt werden, um den herstellungsindividuellen

Gegebenheiten des Bildsensors, dem optischen System oder der Kombination aus Bildsensor oder optischem System ausreichen Rechnung zu tragen.

Besonders vorteilhaft ist eine Ausführungsform des hier vorgestellten Ansatzes, bei der im Schritt des Einlesens als Referenzbild und als Trainingsbild je ein Bild eingelesen wird, das einen Bildausschnitt repräsentiert, der kleiner als ein von dem Bildsensor erfassbares Bild ist. Eine solche Ausführungsform des hier vorgeschlagenen Ansatzes bietet den Vorteil einer technisch bzw. numerisch deutlich einfacheren Bestimmung der Gewichtswertematrix, da nicht die

Messdaten des gesamten Referenzbildes bzw. des Trainingsbildes verwendet werden brauchen, sondern lediglich in Form von Stützpunktausschnitten einzelne Lichtsensor- Bereiche an bestimmten Positionen des Bildsensors herangezogen werden, um die Gewichtswertematrix zu berechnen. Hierbei kann beispielsweise zugrunde gelegt werden, dass eine Veränderung von Abbildungseigenschaften des Bildsensors von einem Mittenbereich des Bildsensors hinzu einem

Randbereich oftmals als abschnittsweise linear angenähert werden kann, sodass beispielsweise durch eine Interpolation die Gewichtswerte für diejenigen

Lichtsensoren ermitteln können, die nicht im Bereich der betreffende

Bildausschnitt des Referenzbildes bzw. des Trainingsbildes liegen. Varianten der hier vorgestellten Verfahren können beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware

beispielsweise in einer Verarbeitungseinrichtung implementiert sein.

Der hier vorgestellte Ansatz schafft ferner eine Verarbeitungseinrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer

Verarbeitungseinrichtung kann die der Erfindung zugrundeliegende Aufgabe schnell und effizient gelöst werden.

Hierzu kann die Verarbeitungseinrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die

Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine

Kommunikationsschnittstelle, die leitungsgebundene Daten einiesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einiesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.

Unter einer Verarbeitungseinrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Verarbeitungseinrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.

Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend

beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.

Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

Fig. 1 in Querschnittsansicht eine schematische Darstellung eines optischen

Systems mit einer Linse zur Verwendung mit einem Ausführungsbeispiel des hier vorgestellten Ansatzes;

Fig. 2 eine schematische Ansicht des Bildsensors in Aufsichtsdarstellung zur Verwendung mit einem Ausführungsbeispiel des hier vorgestellten Ansatzes;

Fig. 3 eine Blockschaltbild-Darstellung eines Systems zur Aufbereitung von dem als zweidimensional angeordnete Lichtsensor- Menge

ausgestalteten Bildsensor bereitgestellten Messdaten mit einer

Verarbeitungseinheit gemäß einem Ausführungsbeispiel des hier vorgestellten Ansatzes;

Fig. 4A eine schematische Aufsichtsdarstellung eines Bildsensors zur

Verwendung mit einem Ausführungsbeispiel des hier vorgestellten Ansatzes, in welchem Lichtsensoren unterschiedlicher Lichtsensortypen in einem zyklischen Muster angeordnet sind; Fig. 4B Darstellungen unterschiedlicher Lichtsensortypen, die sich in Form, Größe und Funktion unterscheiden können;

Fig. 4C Darstellungen von Makrozellen aus Zusammenschaltungen von

einzelnen Lichtsensorzellen;

Fig. 4D eine Darstellung einer komplexen Elementarzelle, welche die in dem in 4a vorgestellten Bildsensor die kleinste repetitive flächendeckende Gruppe von Lichtsensoren darstellt;

Fig. 5 nun eine schematische Aufsichtsdarstellung eines Bildsensors zur

Verwendung mit einem Ausführungsbeispiel des hier vorgestellten Ansatzes, bei der einige Lichtsensoren unterschiedlicher Form und/oder Funktion ausgewählt werden;

Fig. 6 eine schematische Aufsichtsdarstellung eines Bildsensors zur

Verwendung mit einem Ausführungsbeispiel des hier vorgestellten Ansatzes, wobei nun zu einer Referenzposition umgebende

Lichtsensoren als Messdaten-Iiefernde Lichtsensoren ausgewählt wurden, hier hervorgehoben eine Gruppe aus 3 x 3 Elementarzellen;

Fig. 7 eine schematische Aufsichtsdarstellung eines Bildsensors zur

Verwendung mit einem Ausführungsbeispiel des hier vorgestellten Ansatzes, wobei zu einer Referenzposition umgebende Lichtsensoren in unterschiedlich ausgedehnten Gebieten um den Lichtsensor ausgewählt wurden, hier am Beispiel einer 3x3, 5x5, 7x7 großen Gruppe von Elementarzellen;

Fig. 8 zeigt eine schematische Darstellung einer Gewichtungswertematrix zur Verwendung mit einem Ausführungsbeispiel des hier vorgestellten Ansatzes;

Fig. 9 ein Blockschaltbild einer schematischen Vorgehensweise, wie sie in einer Verarbeitungsvorrichtung gemäß Figur 3 ausgeführt werden kann; Fig. 10 ein Ablaufdiagramm eines Verfahrens zum Verarbeiten von Messdaten eines Bildsensors gemäß einem Ausführungsbeispiel;

Fig. 11 ein Ablaufdiagramm eines Verfahrens zur Erzeugung einer

Gewichtswertematrix zur Gewichtung von Messdaten eines Bildsensors gemäß einem Ausführungsbeispiel; und

Fig. 12 eine schematische Darstellung eines Bildsensors mit auf dem Bildsensor angeordneten Lichtsensor zur Verwendung in einem Verfahren zur Erzeugung einer Gewichtswertematrix zur Gewichtung von Messdaten eines Bildsensors gemäß einem Ausführungsbeispiel.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die, in den verschiedenen Figuren

dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche

Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.

Figur 1 zeigt in Querschnittsansicht eine schematische Darstellung eines optischen Systems 100 mit einer in eine optische Achse 101 ausgerichteten Linse 105, durch welche ein exemplarisch dargestelltes Objekt 110 auf einen Bildsensor 115 abgebildet wird. Hierbei ist aus der überzeichnet dargestellten Abbildung der Figur 1 erkennbar, dass ein Lichtstrahl 117, der in einem

Mittenbereich 120 des Bildsensors 115 auftrifft, einen geringeren Weg durch die Linse 105 nimmt, als ein Lichtstrahl 122, der durch einen Randbereich der Linse 105 tritt und ferner in einem Randbereich 125 des Bildsensors 115 auftrifft.

Neben einer Auswirkung bezüglich einer Helligkeitsreduktion im Lichtstrahl 122 durch den längeren Weg im Material der Linse 105 kann beispielsweise auch eine Veränderung der optischen Abbildung und/oder eine Änderung der spektralen Intensität in Bezug auf unterschiedliche Farben in diesem Lichtstrahl 122 verzeichnet werden, verglichen beispielsweise mit den entsprechenden Werten des Lichtstrahls 117. Denkbar ist ferner auch, dass der Bildsensor 115 nicht exakt planbar, sondern geringfügig konvex oder konkav ausgeformt ist oder gegenüber der optischen Achse 101 verkippt ist, sodass ebenfalls Veränderungen der Abbildung bei der Aufnahme der Lichtstrahlen 123 im Randbereich 125 des Bildsensors 115 resultieren. Dies führt dazu, dass

Lichtstrahlen, die im Randbereich 125 des Bildsensors 115 eintreffen, wenn auch nur geringfügig, so doch mit modernen Sensoren wahrnehmbare

unterschiedliche Eigenschaften haben, als Lichtstrahlen, die Mittenbereich 120 auf den Bildsensor 115 treffen, wobei eine solche Veränderung z. B. der lokalen Energieverteilung oder solche unterschiedliche Eigenschaften bei der

Auswertung des Abbildes des Objektes 110 durch die vom Bildsensor 115 gelieferten Daten möglicherweise unpräzise ist, sodass die von dem Bildsensor 115 gelieferten Messdaten gegebenenfalls für einige Anwendungen nicht hinreichend verwertbar sind. Das Problem taucht insbesondere in

hochaufgelösten Systemen auf.

Figur 2 zeigt eine schematische Ansicht des Bildsensors 115 in

Aufsichtsdarstellung, wobei nun exemplarisch durch das optische System 100 aus Figur 1 bewirkten Veränderung der Punktabbildung im Mittenbereich 120 gegenüber den Veränderungen der Punktabbildung im Randbereich 125 näher dargestellt sind. Der Bildsensor 115 umfasst hierbei eine Vielzahl von

Lichtsensoren 200, die Matrix-förmig in Zeilen und Spalten angeordnet sind, wobei die genaue Ausgestaltung dieser Lichtsensoren 200 nachfolgend noch näher beschrieben wird. Weiterhin wird ein erster Bereich 210 im Mittenbereich 120 des Bildsensors 115 dargestellt, in welchem beispielsweise der Lichtstrahl 117 aus Figur 1 auftrifft. Aus dem in der Figur 2 dargestellten kleinen Diagramm, dass dem ersten Bereich 210 zugeordnet ist und eine beispielhafte Auswertung einer bestimmten in diesem Bereich 210 des Bildsensors 115 detektierten spektrale Energieverteilung repräsentiert, ist erkennbar, dass der Lichtstrahl 117 in dem ersten Bereich 210 relativ scharf Punkt-förmig abgebildet wird.

Demgegenüber wird der Lichtstrahl 122, wenn er auf den Bereich 250 des Bildsensors 115 auftrifft, etwas "verschmiert“ dargestellt. Trifft ein Lichtstrahl auf einen der dazwischenliegenden Bildbereiche 220, 230, 240 des Bildsensors 115, so ist bereits aus den zugeordneten Diagrammen erkennbar, dass nun die spektrale Energieverteilung z. B. als Folge einer Abbildung durch asphärische Linsen verschiedene Gestalt annehmen kann, sodass eine punktgenaue

Detektion dieser von Farben und Intensitäten problematisch ist. Aus den jeweils zugeordneten Diagrammen ist erkennbar, dass die Energie der eintreffenden Lichtstrahlen nicht mehr scharf gebündelt ist und ortsabhängig unterschiedliche Gestalt annehmen kann, sodass die Abbildung des Objektes 110 durch die Messdaten des Bildsensors 115 insbesondere im Randbereich 125 des

Bildsensors 115 problematisch ist, wie es beispielsweise aus der Darstellung im Bildbereich 250 erkennbar ist. Sollen nun die von dem Bildsensor 115 gelieferten Messdaten für sicherheitskritische Anwendungen genutzt werden, beispielsweise für die Echtzeit- Erkennung von Objekten in einer Fahrzeugumgebung im

Einsatzszenario des autonomen Fahrens, ist möglicherweise eine hinreichend präzise Erkennung des Objektes 110 aus den von dem Bildsensor 115 gelieferten Messdaten nicht mehr möglich. Zwar können qualitativ hochwertige und deutlich höher auflösende optische Systeme mit homogeneren

Abbildungseigenschaften und höherauflösenden Bildsensoren verwendet werden, jedoch erfordert dies einerseits einen höheren technologischen Aufwand und andererseits erhöhte Kosten. Ausgehend von dieser Ausgangslage wird nun mit dem hier vorgestellten Ansatz eine Möglichkeit vorgestellt, die von den bisherig verwendeten Bildsensoren bereitgestellten Messdaten

schaltungstechnisch bzw. numerisch aufzubereiten, um eine verbesserte Auflösung der mit diesem Bildsensoren 115 gelieferten Messdaten zu erreichen.

Figur 3 zeigt eine Blockschaltbild-Darstellung eines Systems 300 zur

Aufbereitung von dem als Lichtsensor- Matrix ausgestalteten Bildsensor 115 bereitgestellten Messdaten 310. Zunächst werden die Messdaten 310 von dem Bildsensor 115 ausgegeben, die den jeweiligen Messwerten von Lichtsensoren 200 des Bildsensors 115 aus Fig. 2 entsprechen. Hierbei können die

Lichtsensoren des Bildsensors 115, wie nachfolgend noch näher beschrieben wird, unterschiedlich in Form, Position und Funktion aufgebaut sein und neben entsprechenden spektralen Werten, also Farbwerten, auch die Parameter Intensität, Helligkeit, Polarisation, Phase oder dergleichen erfassen.

Beispielsweise kann eine solche Erfassung dadurch erfolgen, dass einzelne Lichtsensoren des Bildsensors 115 durch entsprechende Farbfilter,

Polarisationsfilter oder dergleichen abgedeckt sind, sodass darunterliegende Lichtsensoren des Bildsensors 115 lediglich einen bestimmten Anteil der Strahlungsenergie mit einer bestimmten Eigenschaft des auf den Lichtsensor eintreffenden Lichtes erfassen und als entsprechenden Messdatenwert dieses Lichtsensors bereitstellen kann. Zunächst können diese Messdaten 310 (optional) in einer Einheit 320 vorverarbeitet werden. Je nach Ausführung können die vorverarbeiteten Bilddaten, die der Einfachheit halber noch als Messdaten 310' bezeichnet werden können, einer Verarbeitungseinheit 325 zugeführt werden, in der beispielsweise der nachfolgend noch näher beschriebene Ansatz in der Form einer Gitter- Basis- Korrektur implementiert wird. Hierzu werden die Messdaten 310' über eine Einleseschnittstelle 330 eingelesen und einer

Verknüpfungseinheit 335 zugeführt. Zugleich können Gewichtungswerte 340 aus einem Gewichtungswertespeicher 345 ausgelesen und ebenfalls über die Einleseschnittstelle 330 der Verknüpfungseinheit 335 zugeführt werden. In der Verknüpfungseinheit 335 werden dann beispielsweise gemäß der nachfolgend noch detaillierter ausgeführten Beschreibung die Messdaten 310‘ von den einzelnen Lichtsensoren mit Gewichtungswerten 340 verknüpft und die entsprechend erhaltenen Bilddaten 350 in einer oder mehreren parallelen oder sequenziellen Verarbeitungseinheiten weiterverarbeitet werden können.

Figur 4A zeigt eine schematische Aufsichtsdarstellung eines Bildsensors 115, in welchem Lichtsensoren 400 unterschiedlicher Lichtsensortypen in einem zyklischen Muster angeordnet sind. Die Lichtsensoren 400 können hierbei den Lichtsensoren 200 aus Fig. 2 entsprechen und als Pixel des Bildsensors 115 implementiert sein. Hierbei können die Lichtsensoren 400 der unterschiedlichen Lichtsensortypen beispielsweise unterschiedlich groß, unterschiedlich orientiert, mit unterschiedlichen spektralen Filtern behaftet sein oder andere

Lichteigenschaften erfassen.

Auch können die Lichtsensoren 400 als Sensorzellen Sl, S2, S3 oder S4 aufgebaut sein, wie es in der Fig. 4B erkennbar ist, die je einen Abtastpunkt für auf die Sensorzelle S fallendes Licht bilden, wobei diese Abtastpunkte als im Schwerpunkt der jeweiligen Sensorzellen gelegen angesehen werden können. Auch können die einzelnen Sensorzellen S zu Makrozellen M zusammengefasst werden, wie es in der Fig. 4C dargestellt ist, die je eine gemeinsame

adressierbare Gruppe aus Sensorzellen S bilden. Als Elementarzelle kann eine kleinste repetitive Gruppe von Sensorzellen bezeichnet werden wie z. B. in Fig. 4D in einer komplexen Form dargestellt. Die Elementarzelle kann auch eine unregelmäßige Struktur aufweisen. Die einzelnen Lichtsensoren 400 in Fig. 4 können mehrfach in einer

Elementarzelle Vorkommen oder einzigartige Eigenschaften aufweisen. Die Lichtsensoren 400 sind ferner bei Aufsicht auf den Bildsensor 115 sowohl in vertikaler als auch horizontaler Richtung in einer zyklischen Abfolge angeordnet, dabei liegen diese auf einem pro Sensortyp eigenen Gitter gleicher oder unterschiedlicher Periodizität. Diese vertikale als auch horizontale Richtung der Anordnung von Lichtsensoren in einer zyklischen Abfolge kann auch als Zeilen- bzw. Spaltenweise Anrodung der Lichtsensoren verstanden werden. Es können sich Regelmäßigkeit des Pattern auch Modulo n ergeben kann, d. h., dass die Struktur nicht in jeder Zeile/Spalten sichtbar wird. Ergänzend kann noch gesagt werden, dass jede zyklisch wiederholende Anordnung von Lichtsensoren von dem hier beschriebenen Verfahren genutzt werden kann, wenn gleich Zeilen und spaltenähnliche Anordnungen aktuell üblich sind.

Figur 5 zeigt nun eine schematische Aufsichtsdarstellung eines Bildsensors 115, bei der einige Lichtsensoren 400 aus einer zu gewichtenden Gruppe 515 in einer Umgebung eines Referenzposition 500 ausgewählt und durch eine nachfolgend noch näher beschriebenen Gewichtung gewichtet werden, um die vorstehend genannten Problematik zu lösen, dass durch den Bildsensor 115 nicht optimal verwendbare Messdaten 310 bzw. 310' entsprechend der Fig. 3 geliefert werden. Speziell wird hierbei eine Referenzposition 500 ausgewählt und mehrere

Lichtsensoren 510 in der Umgebung zu diesem Referenzposition 500 definiert, wobei die Lichtsensoren 510 (die auch als Umgebungslichtsensoren 510 bezeichnet werden können) beispielsweise in einer anderen Spalte und/oder einer anderen Zeile als die Referenzposition 500 auf dem Bildsensor 115 angeordnet sind. Als Referenzposition 500 dient hierbei eine (virtuelle) Position auf dem Bildsensor 115, die als Bezugspunkt für eine Rekonstruktion von zu bildenden Bilddaten für diese Referenzposition dient, das heißt, dass die aus den Messdaten der Umgebungslichtsensoren 510 zu rekonstruierenden Bilddaten den auszugebenden bzw. in einem nachfolgenden Verfahren auszuwertenden Bildparameter an dieser Referenzposition definiert. Die Referenzposition 500 braucht nicht zwingend an einen Lichtsensor gebunden sein; vielmehr können auch Bilddaten 350 für eine Referenzposition 500 ermittelt werden, die zwischen zwei Lichtsensoren 510 oder ganz außerhalb eines Bereichs eines Lichtsensors 510 liegt. Die Referenzposition 500 braucht also keine Dreieck- oder Kreisform haben, die beispielsweise an die Form eines Lichtsensors 510 angelehnt ist. Dabei können als Umgebungslichtsensoren 510 Lichtsensoren des gleichen Lichtsensortyps ausgewählt werden, wie ein Lichtsensor an der Referenzposition 500. Es können jedoch auch Lichtsensoren als für den hier vorgestellten Ansatz zu verwendende Umgebungslichtsensoren 510 ausgewählt werden, die einen anderen Lichtsensortyp als der Lichtsensor an der Referenzposition 500 darstellen, oder eine Kombination aus gleichen und andersartigen Lichtsensoren.

In Fig.5 ist eine Umgebung von 14 Einzelzellen gewählt (8 Quadraten, 4

Dreiecken und 2 Sechsecken) die eine relative Lage um den Referenzpunkt 500 aufweisen. Dabei brauchen die Umgebungslichtsensoren, die zur Rekonstruktion des Referenzpunktes verwendet werden nicht notwendigerweise benachbart sein oder die gesamte Fläche eines Sensorblockes 515 abdecken.

Um nun eine Korrektur der Abbildungseigenschaften des optischen Systems 100 gemäß Figur 1 bzw. der Erkennungsgenauigkeit des Bildsensors 115 zu verbessern, werden die Messdaten jedes der Lichtsensoren 400, also

beispielsweise eines Lichtsensors an der Referenzposition 500 und der

Umgebungslichtsensoren 510 mit je einem Gewichtungswert 340 gewichtet und die hierdurch erhaltenen gewichteten Messdaten miteinander verknüpft und als Bilddaten 350 der Referenzposition 500 zugeordnet. Hierdurch lässt sich erreichen, dass die Bilddaten 350 an der Referenzposition 500 nicht nur auf einer Information basiert, die tatsächlich durch einen Lichtsensor an der

Referenzposition 500 erfasst bzw. gemessen wurde, sondern dass die der Referenzposition 500 zugeordneten Bilddaten 350 auch Informationen enthalten, die durch die Umgebungslichtsensoren 510 erfasst bzw. gemessen wurden. Hierdurch ist es nun möglich, Verzerrungen oder andere Abbildungsfehler zu einem gewissen Grad zu korrigieren, sodass nun die der Referenzposition 500 zugeordneten Bilddaten denjenigen Messdaten sehr nahe kommen, die ein Lichtsensor an der Referenzposition 500 ohne z. B. die Abweichungen von einer idealen Lichtenergieverteilung bzw. den Abbildungsfehler aufnehmen oder messen würde.

Um nun möglichst eine gute Korrektur der Abbildungsfehler in den Messdaten durch diese Gewichtung vornehmen zu können, sollten Gewichtungswerte 340 verwendet werden, die in Abhängigkeit von der Position des Lichtsensors 400 auf dem Bildsensor 115 bestimmt oder trainiert werden, denen die jeweiligen

Gewichtungswerte 340 zugeordnet sind. Beispielsweise können

Gewichtungswerte 340, die Lichtsensoren 400 zugeordnet sind, welche sich im Randbereich 125 des Bildsensors 115 befinden, einen höheren Wert aufweisen, als Gewichtungswerte 340, die Lichtsensoren 400 zugeordnet sind, die sich im Mittenbereich 120 des Bildsensors 115 befinden. Hierdurch lässt sich

beispielsweise eine höhere Dämpfung kompensieren, die dadurch verursacht wird, dass ein Lichtstrahl 122 einen längeren Weg durch ein Material einer optischen Komponente wie der Linse 105 passiert. Bei der nachfolgenden Verknüpfung der gewichteten Messdaten für die Lichtsensoren 400 bzw. 510 im Randbereich 125 des Bildsensors 115 lässt sich hierdurch somit möglichst wieder ein Zustand zurück rechnen, der ohne einen Abbildungsfehler durch das optische System oder dem Bildsensor 115 erhalten würde. Insbesondere können dadurch bei geschickter Wahl der Gewichte Abweichungen in der Punkt- Abbildung und/oder Färb- und/oder Luminanz- und/oder Moire-Effekte reduziert werden.

Die Gewichtungswerte 340, die für eine solche Verarbeitung bzw. Gewichtung verwendet werden können, werden in einem nachfolgenden noch näher beschriebenen Trainingsmodus vorab bestimmt und können beispielsweise in dem in Figur 3 dargestellten Speicher 345 abgelegt sein.

Figur 6 zeigt eine schematische Aufsichtsdarstellung eines Bildsensors 115, wobei nun ebenfalls wieder die Referenzposition 500 umgebende Lichtsensoren als Umgebungslichtsensoren 510 ausgewählt wurden. Im Gegensatz zu der Auswahl der Referenzposition 500 und der Umgebungslichtsensoren 510 gemäß Fig 5. sind nun an der Zahl 126 individuelle Umgebungslichtsensoren in die Berechnung des Referenz- Punktes 500 einbezogen, woraus die Möglichkeit resultiert auch Fehler zu kompensieren die eine Lichtenergieverteilung auf eine größere Umgebung erzeugt hat.

Angemerkt werden kann ferner, dass für die Zielstellung von unterschiedlichen Lichteigenschaften an der Referenzposition 500 auch unterschiedliche

Gewichtungswerte 340 für die Umgebungslichtsensor 510 verwendet werden können. Dies bedeutet beispielsweise, dass für einen als Umgebungslichtsensor 510 betrachteten Lichtsensor ein erster Gewichtungswert 340 verwendet werden kann, wenn an der Referenzposition 500 als Ziel eine erste Lichteigenschaft rekonstruiert werden soll vorliegt und für den gleichen Umgebungslichtsensor 510 ein vom ersten Gewichtungswert unterschiedlicher zweiter Gewichtungswert 340 verwendet wird, wenn ein an der Referenzposition 500 eine andere

Lichteigenschaft darstellt werden soll.

Figur 7 zeigt eine schematische Aufsichtsdarstellung eines Bildsensors 115 wobei nun ebenfalls wieder zu einer Referenzposition 500 umgebende

Lichtsensoren als Umgebungslichtsensoren 510 ausgewählt wurden. Im

Unterschied zu der Darstellung aus den Figuren 5 und 6 sind die

Umgebungslichtsensoren 510 gemäß der Darstellung aus der Figur 7 nun nicht mehr ausschließlich aus einem Lichtsensorblock 520 sondern aus den 350 einzelnen Umgebungslichtsensoren einer 5x5 Elementarzelle 710 in Fig7 oder 686 einzelnen Umgebungs-Lichtsensoren einer 7x7 Elementarzelle 720 in Fig 7 berücksichtigt. Umgebungen beliebiger Größe sind wählbar, die Form ist nicht auf die Form der Elementarzellen und deren Vielfachen beschränkt und es müssen auch nicht alle Umgebungslichtsensoren für die Rekonstruktion des Referenzpunktes verwendet werden. Auf diese Weise lassen sich weitere Informationen aus einer größeren Umgebung um die Referenzposition 500 nutzen, um Abbildungsfehler der von dem Bildsensor 115 aufgenommenen Messdaten 310 kompensieren zu können, wodurch die entsprechende Auflösung der Abbildung des Objektes bzw. die Präzision der Bilddaten 350 nochmals gesteigert werden kann.

Um möglichst eine Reduktion der zur Ausführung des hier vorgeschlagenen Ansatzes erforderlichen Speichergröße des Speichers 345 (der beispielsweise ein Cache-Speicher sein kann) zu ermöglichen, kann gemäß einem weiteren Ausführungsbeispiel nicht für jedes der Lichtsensoren 400 ein entsprechender Gewichtungswert 340 in dem Speicher 345 abgelegt sein. Vielmehr kann beispielsweise für jeden n-ten Lichtsensor 400 eines entsprechenden

Lichtsensortyps auf dem Bildsensor 115 ein dieser Position des Lichtsensors 400 zugeordneter Gewichtungswert 340 als Gewichtungsreferenzwert in dem

Speicher 345 abgelegt sein. Figur 8 zeigt eine schematische Darstellung einer Gewichtungswertematrix 800, wobei die in der Gewichtungswertematrix 800 dargestellten Punkte den

Gewichtungsreferenzwerten 810 als den Gewichtungswerten 340 entsprechen, die jedem n-te Lichtsensor 400 des entsprechenden Lichtsensortyps (dem die Gewichtungswertematrix 800 zugeordnet ist) an der entsprechenden Position des Lichtsensors 400 auf dem Bildsensor 115 (d. h. im Randbereich 125 oder im Mittenbereich 120 des Bildsensors 115) zugeordnet sind. Diejenigen

Gewichtungswerte 340, die Lichtsensoren 400 auf dem Bildsensor 115 zugeordnet sind, die zwischen zwei Lichtsensoren liegen, denen je ein

Gewichtungsreferenzwert 810 zugeordnet ist, lassen sich dann beispielsweise durch eine (beispielsweise lineare) Interpolation aus den benachbarten

Gewichtungsreferenzwerten 810 ermitteln. Auf diese Weise lässt sich

(beispielsweise für jeden Lichtsensortyp) eine Gewichtungswertematrix 800 verwenden, die eine deutlich geringere Speichergröße erfordert, als wenn für jeden Lichtsensor 400 ein entsprechend zugeordneter Gewichtungswert 340 abgespeichert werden müsste.

Figur 9 zeigt ein Blockschaltbild einer schematischen Vorgehensweise, wie sie in einer Verarbeitungsvorrichtung 325 gemäß Figur 3 ausgeführt werden kann. Hierbei werden zunächst von dem Bildsensor 115 (oder der

Vorverarbeitungseinheit 320 (die Messdaten 310 (bzw. die vor Bilddaten 310') eingelesen, die als Messdaten oder Sensordaten 900 die eigentlich Informations liefernden Messdaten bilden, die von den einzelnen Lichtsensoren 400 gemessenen oder erfasst wurden. Zugleich ist aus diesen Messdaten 310 bzw. 310' auch eine Positionsinformation 910 bekannt, aus der zu entnehmen ist, an welcher Position sich das betreffende Lichtsensor 400 im Bildsensor 115 befindet, welches die Sensordaten 900 geliefert hat. Beispielsweise kann aus dieser Positionsinformation 910 einen Rückschluss darauf gezogen werden, ob sich der entsprechende Lichtsensor 400 im Randbereich 125 des Bildsensors 115 oder eher im Mittenbereich 120 des Bildsensors 115 befindet. Abhängig von dieser Positionsinformation 910, die beispielsweise über ein Positionssignal 915 an den Speicher 345 gesendet wird, werden im Speicher 345 alle

Gewichtungswerte 340 ermittelt die für die Position 910 zur Verfügung stehen und an die Verknüpfungseinheit 335 ausgegeben. Derselbe Sensormesswert kann hierbei für unterschiedliche Referenzpositionen und zu rekonstruierenden Lichteigenschaften je ein anderes Gewicht zugeordnet bekommen. Im Speicher 345 werden hierbei alle Gewichtungswertematrizen 800 gemäß ihrer Gewichtung von Position 910 verwendet, die jeweils Gewichtungswerte 340 oder

Gewichtungsreferenzwerte 810 enthält, die dem Lichtsensortyp zugeordnet sind, von dem die betreffenden Messdaten 310 bzw. 310' respektive die betreffenden Sensordaten 900 geliefert wurden. Für Referenzpositionen für die 800 keinen konkreten Wert enthält werden die Gewichte für Position 910 interpoliert.

In der Verarbeitungseinheit 335 werden dann zunächst in einer Sammeleinheit 920 die jeweils mit den zugeordneten Gewichtungswerten 340 gewichteten Messdaten 310 bzw. 310' respektive die mit den zugeordneten

Gewichtungswerten 340 gewichteten Sensordaten 900 gesammelt und gemäß ihrer Referenzpositionen und Rekonstruktionsaufgaben sortiert und anschließend die gesammelten und sortierten gewichteten Messdaten in einer Additionseinheit 925 in ihrer Gruppe addiert und das hieraus erhaltene Ergebnis als gewichtete Bilddaten 350 der jeweils zu Grunde gelegten Referenzpositionen und

Rekonstruktionsaufgabe 500 zugeordnet.

Der untere Teil der Fig. 9 zeigt eine sehr vorteilhafte Implementierung der Ermittlung der Bilddaten 350. Der Output Buffer 930 hat beispielsweise eine Höhe der in der Nachbarschaft enthaltenen Lichtsensoren 510. Jeder der Umgebungslichtsensoren 510 wirkt (unterschiedlich gewichtet) auf viele

Referenzpositionen 500. Wenn zu einer Referenzposition 500 (die in der Fig. 9 als Spalte dargestellt ist) alle gewichteten Werte vorliegen, wird entlang der Spalte addiert das Ergebnis ausgegeben. Die Spalte kann dann für einen neuen Referenzwert benutzt werden (cirular buffer indexing). Hieraus ergibt sich als Vorteil, dass jeder Messwert nur einmal verarbeitet wird, aber auf viele verschiedene Ausgangspixel (als Referenzpositionen 500) wirkt, was durch die verschiedenen Spalten dargestellt ist. Dadurch wird die gedachte Logik aus Figuren 4 bis 7„umgedreht“ und so Hardware Ressourcen gespart. Die Höhe des Speichers (Anzahl der Zeilen) richtet sich dabei nach der Menge der Umgebungspixel und sollte für jeden Umgebungspixel eine Zeile aufweisen, die Breite des Speichers (Anzahl der Spalten) ist nach der Menge derjenigen Referenzpositionen auszulegen die von jedem Messwert beeinflusst werden können.

Die aus dem Output Buffer 930 ermittelten Werte können dann in einer oder mehreren Einheiten wie den in der Fig. 9 dargestellten Einheiten 940 und 950 weiterverarbeitet werden.

Figur 10 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels des hier vorgestellten Ansatzes als Verfahren 1000 zum Verarbeiten von Messdaten eines Bildsensors. Das Verfahren 1000 umfasst einen Schritt 1010 des Einlesens von Messdaten, die von Lichtsensoren (Umgebungslichtsensoren) in einer Umgebung einer Referenzposition auf dem Bildsensor aufgezeichnet wurden, wobei die Lichtsensoren um die Referenzposition auf dem Bildsensor angeordnet sind, wobei ferner Gewichtungswerte eingelesen werden, die jeden Messdaten der Lichtsensoren in einer Umgebung einer Referenzposition zugeordnet sind, wobei sich die Gewichtungswerte für an einem Randbereich des Bildsensors angeordnete Lichtsensoren von Gewichtungswerten für ein in einem

Mittenbereich des Bildsensors angeordnete Lichtsensoren unterscheiden und/oder wobei die Gewichtungswerte von einer Position der Lichtsensoren auf dem Bildsensor abhängig sind. Schließlich umfasst das Verfahren 1000 einen Schritt 1020 des Verknüpfens der Messdaten der Lichtsensoren mit den zugeordneten Gewichtungswerten, um Bilddaten für die Referenzposition zu erhalten.

Figur 11 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels des hier vorgestellten Ansatzes als Verfahren 1100 zur Erzeugung einer

Gewichtswertematrix zur Gewichtung von Messdaten eines Bildsensors. Das Verfahren 1100 umfasst einen Schritt 1110 des Einlesens von Referenzbilddaten für Referenzpositionen eines Referenzbildes und Trainingsmessdaten eines Trainingsbildes sowie einer Ausgangsgewichtswertematrix. Ferner umfasst das Verfahren 1100 einen Schritt 1120 des Trainierens von in der

Ausgangsgewichtswertematrix enthaltenen Gewichtswerten unter Verwendung der Referenzbilddaten und der Trainingsmessdaten, um die Gewichtswertematrix zu erhalten, wobei eine Verknüpfung von mit je einem Gewichtswert gewichteten Trainingsmessdaten der Lichtsensoren gebildet und mit den Referenzmessdaten für die entsprechende Referenzposition verglichen wird, wobei Lichtsensoren verwendet werden, die um die Referenzposition auf dem Bildsensor angeordnet sind.

Durch einen solchen Ansatz lässt sich eine Gewichtswertematrix erhalten, die für Lichtsensor an unterschiedlichen Positionen auf dem Bildsensor jeweils entsprechende, unterschiedliche Gewichtungswerte zur Verfügung stellt, um eine möglichst optimale Korrektur von Verzerrungen oder Abbildungsfehlern in den Messdaten des Bildsensors zu ermöglichen, wie es durch den vorstehend beschriebenen Ansatz zum Verarbeiten von Messdaten eines Bildsensors implementiert werden kann.

Figur 12 zeigt eine schematische Darstellung eines Bildsensors 115 mit auf dem Bildsensor 115 angeordneten Lichtsensoren 400. Um nun die

Gewichtungswertematrix 800 (entweder mit dem Gewichtungsreferenzwerten 810 oder auch mit direkten Gewichtungswerten 340, die je einem einzelnen der Lichtsensoren 400 zugeordnet sind) zu erhalten, wie sie beispielsweise in der Figur 8 dargestellt ist, kann nun ein Referenzbild 1210 (auf welches hin die Gewichtungswertematrix 800 werden sollen) und ein Trainingsbild 1220 (welches die initialen Messdaten 310 des Bildsensors 115 ohne die Verwendung von Gewichtungswerten) repräsentiert, verwendet werden. Hierbei sollte versucht werden, die Gewichtungswerte derart zu bestimmen, dass die Ausführungen des vorstehend beschriebenen Verfahren zum Verarbeiten der Messdaten 310 bei Aufnahme des Trainingsbildes 1220 unter Berücksichtigung der

Gewichtungswerte auf verarbeitete Messdaten 350 für die einzelnen

Lichtsensoren 400 des Bildsensors 115 führt, die einer Aufnahme der Messdaten 310 des Referenzbildes 1210 entsprechen. Dabei wird beispielsweise die Interpolation der Werte 800 auch schon berücksichtigt.

Um auch einen Aufwand sowohl in numerischer und/oder schaltungstechnischer Hinsicht gering halten zu können, ist es auch denkbar, dass als Referenzbild und als Trainingsbild je ein Bild eingelesen wird, das einen Bildausschnitt

repräsentiert, der kleiner als ein von dem Bildsensor 115 erfassbares Bild ist, wie es in der Figur 12 dargestellt ist. Denkbar ist auch dass mehrere unterschiedliche Teil-Trainingsbilder 1220 verwendet werden, die zur Bestimmung der Gewichtungswerte zur Erreichung von Messdaten entsprechend zugeordneter Teil-Referenzbilder 1210 eingesetzt werden. Hierbei sollte die Teil- Trainingsbilder 1220 deckungsgleich mit den Teil-Referenzbildern 1210 auf dem Bildsensor 115 abgebildet werden. Durch ein solches Vorgehen lassen sich auch beispielsweise durch eine Interpolation Gewichtungswerte bestimmen, die wechselnden 400 des Bildsensors 115 zugeordnet sind, welche in einem Bereich des Bildsensors 115 liegen, welches nicht durch ein Teil-Referenzbild 1210 bzw. ein Teil-Trainingsbild 1220 abgedeckt sind.

Zusammenfassend ist anzumerken, dass der hier vorgestellte Ansatz eine Methode und deren mögliche Umsetzung in einer Hardware beschreibt. Die Methode dient der zusammenfassenden Korrektur mehrerer Fehlerklassen von Bildfehlern welche durch die physikalische Bildverarbeitungskette (Optik und Imager, Atmosphäre, Windschutzscheibe, Bewegungsunschärfe) entstehen. Insbesondere ist sie für die Korrektur von Wellenlängenabhängigen Fehlern die beim Abtasten des Lichtsignals durch den Bildsensor und deren Korrektur, dem sogenanntem„demosaicing“, vorgesehen. Des Weiteren werden Fehler die durch die Optik entstehen korrigiert. Das gilt für Fertigungstoleranzbedingte Fehler genauso wie für im Betrieb induzierte z. B. thermisch oder Luftdruck bedingte Veränderungen des Abbildungsverhaltens. So ist z. B. der Rot-Blau- Fehler üblicherweise im Bildzentrum anders zu korrigieren als am Bildrand, bei hohen Temperaturen anders als bei geringen Temperaturen. Dasselbe gilt für eine Abschwächung des Bildsignals am Rand (siehe shading).

Der beispielhaft zur Korrektur vorgeschlagene Hardware- Block„Grid based demoasicing“’ in der Form der Verarbeitungseinheit kann alle diese Fehler simultan korrigieren und dabei zusätzlich bei geeigneter Lichtsensorstruktur auch die Qualität der geometrischen Auflösung und des Kontrasts besser als herkömmliche Methoden erhalten.

Zusätzlich wird erläutert wie ein Trainingsverfahren zur Bestimmung der Parameter aussehen könnte. Die Methode nutzt aus, dass die Optik eine Punktantwort besitzt, deren Wirkung hauptsächlich in einer begrenzten räumlichen Umgebung stattfindet. Dadurch kann abgeleitet werden, dass eine Korrektur in erster Näherung durch eine Linearkombination der Messwerte der Umgebung stattfinden kann. Diese erste bzw. lineare Näherung benötigt weniger Rechnenperformance und ist modernen Vorverarbeitungslayern von neuronalen Netzen ähnlich. Es lassen sich spezielle Vorteile für aktuelle und zukünftige Systeme durch eine direkte Korrektur von Bildfehlern direkt im Imager-Baustein realisieren. Je nach nachgeschalteter Verarbeitungslogik kann dies einen superlinearen positiven Effekt auf die nachgelagerten Algorithmen haben, da durch die Korrektur Bildfehler nicht mehr in den Algorithmen beachtet werden brauchen, was insbesondere für lernende Verfahren ein großer Vorteil ist. Der hier vorgestellte

Ansatz zeigt, wie sich dieses Verfahren als Hardware- Blockschaltbild in einer allgemeineren Form realisieren lässt. Diese allgemeinere Methodik erlaubt es auch andere Merkmale als die visuelle Bildqualität zu verbessern. Zum Beispiel könnten direkt die für das Maschinensehen wichtigen Kantenmerkmale hervorgehoben werden, wenn der Messdatenstrom nicht für ein anzeigendes

System vorgesehen ist.

Umfasst ein Ausführungsbeispiel eine„und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.