Trainieren eines künstlichen neuronalen Netzes

Die Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes zur Umwandlung eines Eingangsbildes in ein Ausgangsbild, wobei das Eingangsbild als Nachtaufnahme zumindest eines Fahrzeuginsassen ausgebildet ist. Ferner betrifft die Erfindung ein Bildverarbeitungssystem mit einem solchen Verfahren.

Heutige Fahrzeuge sind mit Innenraumkameras ausgestattet, die insbesondere den Fahrer überwachen sollen. Dabei spielt die Erkennung der Kopfpose oder der Körperhaltung und Gesichtserkennung eine wichtige Rolle, da aus ihr Merkmale wie die Aufmerksamkeit, die Müdigkeit, die Blickrichtung und weitere Eigenschaften des Zustandes des Fahrers abgeleitet werden können. Diese Informationen werden einem System im Fahrzeug zugespielt, welches bei einer gegebenen Notwendigkeit wie fehlender Aufmerksamkeit entweder eine Warnung an den Fahrer erzeugt, oder selber eine gewisse Aktion unternimmt.

Diese Systeme zur Fahrerüberwachung durch Erkennung der Kopfpose oder der Körperhaltung mit Hilfe von Innenraumkameras zeigen eine sehr gute Performance bei Tageslicht. Unterstützt werden diese Systeme durch zusätzliche Beleuchtung im Fahrzeuginnenraum, die beispielsweise den Kopfbereich des Fahrers ausleuchten. Damit wird insbesondere die Erkennung bei Nacht unterstützt.

Die DE 10 2005 023 697 A1 zeigt eine Einrichtung zur Steuerung der Innenbeleuchtung eines Kraftfahrzeugs, wobei im Kraftfahrzeug mindestens ein Sensor angeordnet ist, welcher die Blickrichtung von Fahrzeuginsassen erfasst, wobei ein Steuergerät unter Anwendung von Ausgangsgrößen des mindestens einen Sensors Steuersignale für im Kraftfahrzeug befindliche Beleuchtungselemente erzeugt. Es ist daher eine Aufgabe der Erfindung Mittel anzugeben, welche zur verbesserten und vereinfachten Fahrzeuginsassenüberwachung bei Nacht führen.

Die Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1. Ferner wird die Aufgabe gelöst durch ein solches Bildsystem mit den Merkmalen des Anspruchs 14 und eine Verwendung mit den Merkmalen des Anspruchs 18.

Die Aufgabe wird gelöst durch ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes zur Umwandlung eines Eingangsbildes in ein Ausgangsbild, wobei das Eingangsbild als Nachtaufnahme zumindest eines Fahrzeuginsassen ausgebildet ist, umfassend der folgenden Schritte:

- Bereitstellen eines künstlichen neuronalen Netzes,

- Trainieren des künstlichen neuronalen Netzes basierend auf Eingangsbildern, welche als Nachtaufnahme zumindest eines Fahrzeuginsassen ausgebildet sind, und anhand von Ausgangsbildern, welche zumindest einen vordefinierten Bereich des zumindest einen Fahrzeuginsassen in voller Ausleuchtung oder Tageslicht umfassen, so dass durch den in voller Ausleuchtung oder Tageslicht aufgehellten Bereich eine Extraktion vorgegebener Fahrzeuginsassenmerkmale ermöglicht wird, mit den Schritten:

- Bestimmung der vordefinierten Bereiche und individuelle Ermittlung eines Aufhellungsgrades für die bestimmten Bereiche,

- Anwendung des künstlichen neuronalen Netzes auf die Eingangsbilder unter Verwendung des ermittelten Aufhellungsgrades für die bestimmten Bereiche;

- Ausgabe von Ausgangsbilder durch das künstliche neuronale Netz, welche zumindest den einen vordefinierten Bereich des zumindest einen Fahrzeuginsassen in voller Ausleuchtung oder Tageslicht umfassen, so dass durch den in voller Ausleuchtung oder Tageslicht aufgehellten Bereich eine Extraktion vorgegebener Fahrzeuginsassenmerkmale ermöglicht wird. Ferner wird die Aufgabe gelöst durch ein Bildverarbeitungssystem zur Umwandlung eines Eingangsbildes in ein Ausgangsbild, wobei das Eingangsbild als Nachtaufnahme zumindest eines Fahrzeuginsassen ausgebildet ist, umfassend eines nach einem wie oben beschriebenen Verfahren trainierten künstlichen neuronalen Netzes, wobei das Bildverarbeitungssystem dazu ausgelegt ist, eine Umwandlung des Eingangsbildes in ein Ausgangsbild, welches zumindest einen vordefinierten Bereich des zumindest einen Fahrzeuginsassen in voller Ausleuchtung oder Tageslicht aufweist, unter Verwendung des trainierten künstlichen neuronalen Netzes vorzunehmen, so dass durch den in voller Ausleuchtung oder Tageslicht aufgehellten Bereich eine Extraktion vorgegebener Fahrzeuginsassenmerkmale ermöglicht ist.

Erfindungsgemäß wurde erkannt, dass ein vollständiges Ausleuchten bei Nacht eines Fahrzeuginnenraums eines Fahrzeuges eine hohe Anzahl an Leuchtquellen notwendig ist, welche neben kritischen Designeinschränkungen zu erheblichen Mehrkosten im Fahrzeug führen können.

Es wurde erkannt, dass die heutigen Kamerasysteme durch Weitwinkeloptiken eine breite Überwachung eines großen Bereiches im Fahrzeuginnenraum ermöglichen, welches somit zu einem erheblichen Mehraufwand bei der Ausstattung mit einer geeigneten Beleuchtung führen kann. Ferner kann die Synchronisation von Kameras und Beleuchtung bei steigender Auflösung zu einem signifikanten Kostenanstieg führen. Bei längerem Einschalten der Beleuchtung kann es zudem zu einer hohen Wärme- und Verlustleistung bei der Verwendung einer Vielzahl von Beleuchtungselementen kommen. Auch wurde erkannt, dass bei der Verwendung von IR-basierter Beleuchtung entweder spezielle IR-Kameras, oder Farbkameras notwendig sind, die sensitiv im infraroten Bereich sind. Dies kann den Anwendungsbereich der Kamera deutlich einschränken.

Hier setzt die Erfindung an und gibt als Lösung ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes sowie ein Bildverarbeitungssystem mit einem solchen trainierten künstlichen neuronalen Netz an. Mittels des erfindungsgemäßen Verfahrens und des erfindungsgemäßen Bildverarbeitungssystems ist ein trainiertes künstliches neuronales Netz vorhanden, welches aus einer Nachtaufnahme eines Fahrers oder anderen Fahrzeuginsassen ein Tagbild erstellt oder zumindest diejenigen Bereiche aufhellt oder in Tageslicht darstellt, die für eine Extraktion der gewünschten Fahrzeuginsassenmerkmale notwendig sind.

Dabei können solche Bereiche beispielsweise das Gesicht sein, wenn beispielsweise eine Blickerfassung zur Bestimmung der Aufmerksamkeit/Müdigkeit des Fahrzeuginsassen ermittelt werden soll.

Unter einem Bild in Tageslicht kann eine Aufnahme verstanden werden, welche einer Aufnahme bei Tageslicht aufgenommen entspricht.

Die aufzuhellenden oder in Tageslicht darzustellenden Bereiche können beispielsweise vorab oder dynamisch im Betrieb des Systems festgelegt werden.

Unter Bilder oder Aufnahmen sind entsprechende Bilddaten gemeint, welche mit zumindest einem Sensor erzeugt werden.

Durch das erfindungsgemäße Verfahren und das erfindungsgemäße Bildverarbeitungssystem ist es möglich ohne zusätzliche Beleuchtung vereinfacht eine gute Aufwertung von schwach oder unzureichend ausgeleuchteten Bereichen zu erzielen.

Während des Trainings werden dazu vorzugsweise Bildpaare mit unterschiedlicher Belichtungszeit aufgenommen. Diese Bildpaare werden herangezogen, um das künstliche neuronale Netz derart zu trainieren, dass es länger belichtete Ausgangsbilder basierend auf kürzer belichteten Eingangsbildern rekonstruieren kann. Diese Ausgangsbilder ähneln anschließend Aufnahmen bei Tageslicht und es können weitere Algorithmen zur detaillierten Erkennung von Fahrzeuginsassenmerkmalen auf den Gesichtern oder der Posen auf diesen Ausgangsbilder angewandt werden. Durch die Erfindung ist es möglich, Bereiche von Interesse auch ohne zusätzliche Beleuchtung trotz Dunkelheit und fehlenden Farbinformationen in eine Darstellung umzurechnen, welche einer Aufnahme bei voller Ausleuchtung oder Tageslicht entspricht.

Durch das erfindungsgemäße Verfahren und das erfindungsgemäße Bildverarbeitungssystem wird eine effiziente Methode zur Verbesserung der Bildqualität bei unzureichender Beleuchtung angegeben. Durch das erfindungsgemäße Verfahren und das erfindungsgemäße Bildverarbeitungssystem wird eine deutliche Verbesserung der Bildqualität bei der Anzeige von Nachtaufnahmen erzielt, ohne die Innenraumbeleuchtung eines Fahrzeugs zu erhöhen. Es wird daher keine zusätzliche Beleuchtung benötigt, welche die Innenraumbereiche aufhellt. Insbesondere ist dies gerade bei der Verwendung von Weitwinkelkameras, welche üblicherweise im Fahrzeuginnenraum eines Fahrzeugs verwendet werden, von Vorteil.

Das derart aufgehellte oder in Tageslicht generierte Ausgangsbild kann zur Extraktion der gewünschten Fahrzeuginsassenmerkmale an eine Verarbeitungseinheit weitergeleitet werden. Mithilfe der so gewonnenen Fahrzeuginsassenmerkmale können verschiedene Anwendungen ausgeführt werden, beispielsweise ein Warnton ausgegeben werden, wenn beispielsweise eine erhöhte Müdigkeit/verminderte Aufmerksamkeit festgestellt worden ist. Alternativ oder zusätzlich kann das Ausgangsbild auf einer Anzeigeeinheit im Fahrzeug dem Fahrzeuginsassen angezeigt werden, beispielsweise über ein Head-Up-Display.

Durch die Erfindung ist es möglich, ein sehr dunkles Eingangsbild mit wenig Kontrast und Farbinformationen in eine beispielsweise Taghelle oder zumindest genügend aufgehellte Repräsentation umzuwandeln bzw. zumindest Bereiche von Interesse des Bildes Taghell oder zumindest genügend aufgehellt umzuwandeln. Vorzugsweise lagert das Bildverarbeitungssystem einer Detektions- oder Anzeigeeinheit vor, zur Anzeige des bearbeiteten Ausgangsbildes oder zur Weiterverarbeitung des Ausgangsbildes. Die Detektions- oder Anzeigeeinheit kann jedoch auch in dem Bildverarbeitungssystem integriert sein.

Vorzugsweise werden vorhandene Schichten des künstlichen neuronalen Netzwerkes mit Schichten für Extraktionsfunktionen geteilt, sodass Fahrzeuginsassenmerkmale automatisch zur Verfügung stehen. Weiterhin vorzugsweise kann das Training hierfür gemeinsam stattfinden.

Vorzugsweise werden die Bereiche unter Verwendung semantischer Segmentierung des Innenraums extrahiert. Darüber hinaus kann die Aufhellung verschiedener Bereiche im Eingangsbild zu einem unterschiedlichen Grad erfolgen, z.B., bei zusätzlicher Ausleuchtung einzelner Bereiche im Innenraum, beispielsweise durch etwa Leselampe oder Licht von außen oder etwa bei besonders dunklen Bereichen im Innenraum, z.B., durch Schatten.

In bevorzugter Ausgestaltung umfasst der zumindest eine vordefinierte Bereich das Gesicht des zumindest einen Fahrzeuginsassen. Dadurch können besonders gut Fahrzeuginsassenmerkmale wie die Blickrichtung / Bewegung der Augenlider aus den aufgehellten oder in Tageslicht umgewandelten Gesichtsbildes extrahiert werden. Bei Erkennung von Müdigkeit können beispielsweise Warntöne ausgegeben werden oder andere Maßnahmen ergriffen werden.

Dadurch kann die Sicherheit enorm erhöht werden, insbesondere bei Nachtfahrten, die mit erhöhter Müdigkeit einhergehen. Die Fahrzeuginsassenmerkmale können beispielsweise von einer angeschlossenen Auswerteeinheit extrahiert und bewertet werden, ohne den Fahrzeuginnenraum des Fahrzeugs zu stark und für beispielsweise den Fahrer für die Aufnahme des Eingangsbildes störend zu erhellen. Dies verbessert ebenfalls das trainierte künstliche neuronale Netz aufweisende Bildverarbeitungssystem.

Weiterhin bevorzugt umfasst der zumindest eine vordefinierte Bereich zumindest die Kopfpose des Fahrzeuginsassen. Diese ist ebenfalls besonders wichtig zum Erkennen von Müdigkeit /Aufmerksamkeit während einer Nachtfahrt. Dies verbessert ebenfalls das trainierte künstliche neuronale Netz aufweisende Bildverarbeitungssystem.

Vorzugsweise umfasst der zumindest eine vordefinierte Bereich zumindest die Körperhaltung des Fahrzeuginsassen. Aus einer Körperhaltung kann beispielsweise der Fahraufmerksamkeitspegel des Fahrzeuginsassen geschätzt werden. Auch kann bei einer unausgeglichenen Haltung oder gar gefährlichen Haltung ein Warnton ausgegeben werden. Dies verbessert ebenfalls das trainierte künstliche neuronale Netz aufweisende Bildverarbeitungssystem.

Weiterhin vorzugsweise ist das künstliche neuronale Netz als CNN (Convolutional Neural Network) ausgestaltet. Dieses faltende neuronale Netz eignet sich besonders für eine Bildverarbeitung. Dies verbessert ebenfalls das trainierte künstliche neuronale Netz aufweisende Bildverarbeitungssystem.

Bei einem solchen künstlichen neuronalen Netz können die Parameter für komplexe Szenen automatisch erlernt werden, indem hierbei die Verbesserungen lokal und adaptiv auf verschiedene Bildbereiche (Personen im Innenraum) angewendet werden. Ferner kann ein solches künstliches neuronales Netz die Rechenzeit reduziert, da das CNN mit CNNs für eine anschließende Extraktion leicht kombinierbar ist. Bei dieser Kombination werden die Fahrzeuginsassenmerkmale im künstlichen neuronalen Netz verbessert, sodass die Extraktionsfunktionen auf Merkmalen arbeiten, welche die niedrigere Ausleuchtung bei Nacht kompensieren können.

Weiterhin vorzugsweise wird das künstliche neuronale Netz dahingehend trainiert, zur Umwandlung Informationen aus besser ausgeleuchteten Bildbereichen des Eingangsbildes heranzuziehen, um das Ausgangsbild zu generieren. Dies bedeutet, dass bei Vorhandensein von Beleuchtung im Fahrzeuginnenraum Informationen aus den besser beleuchteten Bereichen genutzt werden, um die Umrechnung für die unbeleuchteten Bereiche weiter zu verbessern. Dadurch wird das Ausgangsbild verbessert. Dies verbessert ebenfalls das trainierte künstliche neuronale Netz aufweisende Bildverarbeitungssystem. Vorzugsweise sind mehrere Eingangsbilder bereitgestellt, zur Umwandlung in zumindest ein Ausgangsbild, wobei das künstliche neuronale Netz derart trainiert wird, dass zur Umwandlung eines ersten Eingangsbildes Informationen aus besser ausgeleuchteten Bildbereichen eines zweiten Eingangsbildes herangezogen werden, um den zumindest einen vordefinierten Bereich des zumindest einen Fahrzeuginsassen in voller Ausleuchtung oder Tageslicht als Ausgangsbild zu generieren. Hier wird das Netz dann weniger mit Einzelbildern für jede Kamera individuell trainiert, sondern als Gesamtsystem bestehend aus mehreren Kamerasystemen. Dadurch kann ein künstliches neuronales Netz auf die Gegebenheiten der einzelnen Innenräume angepasst werden und ein verbessertes Ergebnis erzielt werden. Dies verbessert ebenfalls das trainierte künstliche neuronale Netz aufweisende Bildverarbeitungssystem.

Vorzugsweise sind Informationen, zum Ausgleich fehlender Färb- und/oder Kontrast und/oder Helligkeitsinformationen bereitgestellt, wobei das künstliche neuronale Netz dazu trainiert wird, die Umwandlung unter Verwendung der bereitgestellten Färb- und /oder Kontrastinformationen zu generieren. Dies bedeutet, dass Helligkeitswerte bzw. Luminanzwerte und/oder Farbinformationen und/oder Kontrastinformationen bereitgestellt werden, mit denen das künstliche neuronale Netz eine verbesserte Umwandlung erzielt.

Vorzugsweise wird der Aufhellungsgrad stufenweise erlernt.

Somit kann das Verfahren die Bereiche mit Personen im Bild um einen Faktor d aufhellen, wobei dieser Faktor d dynamisch an die vorherrschenden Lichtverhältnisse angepasst werden kann. Insbesondere kann der Faktor d für die einzelnen Bildbereiche, z.B., Fahrer oder Insassen im Rückraum, separat angepasst werden, so dass lokal auf unterschiedliche Beleuchtungsverhältnisse im Innenraum eingegangen werden kann.

In weiterer Ausgestaltung wird das künstliche neuronale Netz trainiert eine Gammakorrektur und/oder einen Weißabgleich und/oder eine Histogrammäqualisation nachzubilden. Dazu wird dem künstlichen neuronalen Netz ein Datensatz bestehend aus „dunklen Eingangsbildern (Nachtaufnahmen)“ und den dazugehörigen „taghellen“ oder „ausgeleuchteten Bildern“ zur Verfügung gestellt. Je nach Art des Trainings wird das künstliche neuronale Netz dazu konfiguriert, Verfahren wie Weißabgleich, Gammakorrektur und Histogrammäqualisation in einer optimalen Weise nachzubilden. Dabei versteht man unter Weißabgleich im Wesentlichen die Anpassung an die Farbtemperatur des Lichts.

Unter Gammakorrektur wird eine in der Bildverarbeitung oft verwendete Korrekturfunktion verstanden, welche beispielsweise die Helligkeitsinformation von Bildpunkten verändert. Die Histogrammäqualisation ist ein Verfahren zur Kontrastverbesserung in Grauwertbildern, das über eine bloße Kontrastverstärkung hinausgeht.

Auf diese Art lassen sich sehr dunkle Eingangsbilder in entsprechende Ausgangsbilder umwandeln, welche für eine merkmalsbasierte Erkennung oder eine Betrachtung vorteilhaft ist.

Vorzugsweise werden Bildqualitätsinformationen bereitgestellt, wobei das künstliche neuronale Netz dazu trainiert wird, die Umwandlung unter Verwendung der bereitgestellten Bildqualitätsinformationen zu generieren. Dadurch kann das Netz dahingehend trainiert werden, Ausgangsbilder zu erzeugen, welche für beispielsweise Computer Vision und Human Vision optimierte Bilddaten berechnet. Unter Computer Vision / Human Vision wird der Versuch verstanden, dabei die von Kameras aufgenommenen Bilder auf unterschiedlichste Art und Weise zu verarbeiten und zu analysieren, um deren Inhalt zu verstehen oder geometrische Informationen zu extrahieren.

Durch ein solch verbessertes künstliches neuronales Netz kann im Bildverarbeitungssystem ein verbessertes Ausgangsbild erzeugt werden. Vorzugsweise wird das künstliche neuronale Netz dazu trainiert, das Eingangsbild in ein vollständig ausgeleuchtetes oder in Tageslicht dargestelltes Ausgangsbild umzuwandeln. Vorzugsweise sind ein oder mehrere Bildsensoren zur Aufnahme des zumindest einen Fahrzeuginsassen vorgesehen. Die Bildsensoren können als Kameras ausgestaltet sein. Dadurch wird eine gute Abdeckung des Fahrzeuginnenraums erzielt.

Weiterhin vorzugsweise ist der eine oder mehrere Bildsensor als Weitwinkelkamera ausgebildet. Dadurch kann mit wenigen Kameras eine gute Abdeckung erzielt werden.

Ferner wird die Aufgabe gelöst durch eine Verwendung des wie oben beschriebenen Bildverarbeitungssystems in einem Fahrzeuginnenraum eines Fahrzeugs zur Überwachung zumindest eines Fahrzeuginsassen.

Weitere Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Figuren.

Darin zeigen schematisch:

FIG 1 : ein erfindungsgemäßes Verfahren schematisch, und

FIG 2: ein erfindungsgemäßes Bildverarbeitungssystem schematisch in einem Fahrzeuginnenraum, und

FIG 3: ein von einem Fahrer mittels eines erfindungsgemäßen Bildverarbeitungssystems aufgenommenen Eingangsbild (links) und umgewandelten Ausgangsbild (rechts), und

FIG 4: zeigt eine weitere Ausführungsform eines erfindungsgemäßen Verfahrens schematisch.

FIG 1 zeigt ein Trainieren eines erfindungsgemäßen neuronalen Netzes schematisch. Dieses erhält in einem ersten Schritt S1 als Eingangsbilder 6 (FIG 3) Nachtaufnahmen aus dem Fahrzeuginnenraum eines Fahrzeugs 1 (FIG 2), welche zumindest einen Fahrzeuginsassen, beispielsweise den Fahrer zeigt.

Das Eingangsbild 6 (FIG 3) wird vorzugsweise von Bildsensoren, wie Weitwinkelkameras erzeugt.

Das künstliche neuronale Netz ist dabei vorzugsweise als CNN Convolutional Neural Network) ausgestaltet. Dieses faltendes neuronale Netz eignet sich besonders für eine maschinelle Bildverarbeitung. Ein solches Netz weist beispielsweise mehrere Ebenen auf.

Anschließend wird das künstliche neuronale Netz in einem Schritt S6 dahingehend trainiert, die Nachtaufnahme in ein aufgehelltes Ausgangsbild oder Tagbild (Nachtaufnahme in Tageslicht) umzuwandeln. Dazu werden mehrere Nachtaufnahmen mit verschiedenen Kontraststufen/Farbinformationen und dazugehörigen gewünschten Ausgangsbildern 7 (FIG 3) während des Trainings verwendet.

Vorzugsweise wird das gesamte Eingangsbild 6 (FIG 3) umgewandelt.

Das künstliche neuronale Netz kann aber auch dahingehend trainiert werden, lediglich verschiedene Bereiche aus dem Eingangsbild 6 (FIG 3) aufzuhellen oder in ein Tagbild umzuwandeln. Dies können besonders das Gesicht, die Kopfpose und die Haltung sein. So kann aus diesen Fahrzeuginsassenmerkmalen besonders auf einen physischen Zustand (Müdigkeit, Unkonzentriertheit etc.) geschlossen werden, beispielsweise durch Extraktion der Blickrichtung, der Bewegung der Augenlider etc. und ggf. geeignete Maßnahmen bei schlechten physischen Zustand getroffen werden. Dadurch kann eine sicherere Fahrt garantiert werden. Diese Bereiche können beispielsweise unter Verwendung semantischer Segmentierung des Innenraums extrahiert werden. Darüber hinaus kann die Aufhellung verschiedener Bereiche im Eingangsbild zu einem unterschiedlichen Grad erfolgen, z.B., bei zusätzlicher Ausleuchtung einzelner Bereiche im Innenraum (durch etwa Leselampe oder Licht von außen) oder etwa bei besonders dunklen Bereichen im Innenraum, z.B., durch Schatten. Ferner kann als zusätzlicher Schritt S2 das künstliche neuronale Netz dahingehend trainiert werden, bei Vorhandensein von Beleuchtung im Fahrzeuginnenraum zur Umwandlung Informationen aus besser ausgeleuchteten Bildbereichen des Eingangsbildes 6 (FIG 3) heranzuziehen, um das Ausgangsbild zu generieren. Dadurch kann die Umwandlung für die unbeleuchteten Bereiche weiter verbessert werden, und ein besseres Ausgangsbild erzielt werden.

Während des Trainings werden dazu vorzugsweise Bildpaare mit unterschiedlicher Belichtungszeit aufgenommen. Diese Bildpaare werden herangezogen, um das künstliche neuronale Netz derart zu trainieren, dass es länger belichtete Ausgangsbilder basierend auf kürzer belichteten Eingangsbildern rekonstruieren kann. Diese Ausgangsbilder ähneln anschließend Aufnahmen bei Tageslicht und es können weitere Algorithmen zur detaillierten Erkennung von Fahrzeuginsassenmerkmalen auf den Gesichtern oder der Posen auf diesen Ausgangsbilder angewandt werden.

Ferner kann als zusätzlicher Schritt S3 das künstliche neuronale Netz dahingehend trainiert werden, die Umwandlung unter Verwendung von bereitgestellten Farb- und/ oder Kontrastinformationen zu generieren. Dazu werden in der Netzwerkstruktur gespeicherte Informationen genutzt, um fehlende Färb- oder Kontrastinformationen im Ausgangsbild automatisch zu ergänzen. Dadurch könnten beispielsweise Verfahren wie Gammakorrektur und/oder Weißabgleich und/oder Histogrammäqualisation in einer optimierten Weise nachgebildet werden. Auf diese Art lassen sich sehr dunkle Bilder in eine Darstellung umwandeln, welche für eine merkmalsbasierte Erkennung oder eine Betrachtung vorteilhaft sind.

In einem zusätzlichen Schritt S4 wird das künstliche neuronale Netz trainiert eine Gammakorrektur und/oder Weißabgleich und/oder Histogrammäqualisation nachzubilden. Dazu wird das künstliche neuronale Netz anhand eines Datensatzes bestehend aus „dunklen Eingangsbildern (Nachtaufnahmen)“ und den dazugehörigen „taghellen“ oder „ausgeleuchteten Bildern“ trainiert. Je nach Art des Trainings wird das künstliche neuronale Netz dazu konfiguriert Verfahren wie Gammakorrektur und Histogrammäqualisation etc. nachzubilden. Auf diese Art lassen sich sehr dunkle Eingangsbilder 6 (FIG 3) in Ausgangsbilder 7 (FIG 3) umwandeln, welche für eine merkmalsbasierte Erkennung oder eine Betrachtung vorteilhaft sind.

Ferner kann in einem zusätzlichen weiteren Schritt S5 das künstliche neuronale Netz dahingehend trainiert werden, die Umwandlung unter Verwendung von Informationen zur Bildqualität zu generieren. Dazu werden in der Netzwerkstruktur vorhandene, hinsichtlich Bildqualität, gespeicherte Informationen genutzt, um ein besseres Ausgangsbild zu erzielen. Dadurch wird das Ausgangsbild beispielsweise dahingehend optimiert, dass es für Computer Vision und Human Vision optimierte Bilddaten berechnet.

Die Schritte S2-S5 können jeweils einzeln zusätzlich oder in beliebiger Kombination in das Verfahren einfließen.

FIG 2 zeigt ein Fahrzeug 1 mit dem erfindungsgemäßen Bildverarbeitungssystem 2, welches ein mit dem erfindungsgemäßen Verfahren trainiertes künstliches neuronales Netz 3 aufweist. Das Fahrzeug 1 weist einen Fahrzeuginnenraum 4 auf, welcher Innenraumkameras 5 zur Aufnahme der Fahrzeuginsassen aufweist. Die Innenraumkameras 5 können insbesondere Weitwinkelkameras sein. In einem solchen Fall wird das künstliche neuronale Netz 3 weniger mit Einzelbildern für jede Innenraumkamera 5 individuell trainiert, sondern als Gesamtsystem bestehend aus den mehreren Innenraumkameras 5.

Das Bildverarbeitungssystem 2 kann als eine hardwarebasierten Bildvorverarbeitungsstufe in einer ISP (Image Signal Processor) der ISP, integriert sein. Das Bildverarbeitungssystem 2 kann im ISP die entsprechende Umwandlung vornehmen und beispielsweise die aufbereiteten Informationen mit den Originaldaten möglichen Detektions- oder Anzeigefunktionen zur Verfügung stellen. Durch das erfindungsgemäße Bildverarbeitungssystem 2 wird ein System zur Verbesserung der Bildqualität bei unzureichender Beleuchtung angegeben. Ferner wird durch das erfindungsgemäße Bildverarbeitungssystem 2 eine Verbesserung der Bildqualität bei der Anzeige oder Verarbeitung von Nachtaufnahmen, ohne dass eine zusätzliche Beleuchtung benötigt wird, welche den Fahrzeuginnenraum 4 aufhellt, erzielt. Gerade bei der Verwendung von Weitwinkelkameras ist dies von besonderem Vorteil. Mittels des erfindungsgemäßen Bildverarbeitungssystems 2, welches das erfindungsgemäße trainierte künstliche neuronale Netz 3 aufweist, können somit Bilddatenströme für Anwendungen im Fahrzeuginnenraum 4 generiert werden. Anhand der zumindest deutlich aufgehellten Bereiche von Interesse, wie Gesicht des Fahrzeuginsassen, können Merkmale extrahiert werden und einer Weiterverarbeitungseinheit zugeführt werden. Diese kann dann beispielsweise diese Merkmale analysieren und Maßnahmen bei Abweichung von Sollwerten durchführen.

Durch das erfindungsgemäße Bildverarbeitungssystem 2 können die Nachtaufnahmen der zugrundeliegenden Innenraumkameras 5 ohne zusätzliche Beleuchtung trotz Dunkelheit und fehlenden Farbinformationen schnell, kostengünstig und ohne störende zusätzliche Innenraumbeleuchtung in eine Darstellung umgewandelt werden, welche einer Aufnahme bei voller Ausleuchtung oder Tageslicht entspricht.

Das erfindungsgemäße Bildverarbeitungssystem 2 ermöglicht ohne zusätzliche Beleuchtung mittels des trainierten neuronalen Netzes 3 eine gute Ausleuchtung von schwach oder unzureichend ausgeleuchteten Bereichen.

FIG 3 zeigt ein Eingangsbild 6 welches mittels dem erfindungsgemäßen Bildverarbeitungssystem 2 und dem erfindungsgemäß trainierten künstlichen neuronalen Netz 3 umgewandelt wurde. Dabei ist das trainierte künstliche neuronale Netz 3 hier als CNN ausgebildet. Mittels des Bildverarbeitungssystems 2 und dem erfindungsgemäß trainierten künstlichen neuronalen Netz 3 kann aus einem dunklen Eingangsbild 6 ein deutlich verbessertes Ausgangsbild 7 beispielsweise für die Erkennung der Kopfpose oder Körperhaltung erzeugt werden.

FIG 4 zeigt eine weitere Ausführungsform eines erfindungsgemäßen Verfahrens.

Die Schritte S11 bis S15 entsprechen hier den Schritten S1 bis S5 der Figur 1. In Schritt S16 wird das künstliche neuronale Netz wie in dem Schritt S6 in Figur 1 dahingehend trainiert, Nachtaufnahmen oder Eingangsbilder in aufgehellte Ausgangsbilder oder Tagbilder (Nachtaufnahme in Tageslicht) umzuwandeln. Dazu werden mehrere Nachtaufnahmen mit verschiedenen Kontraststufen/Farbinformationen und dazugehörigen gewünschten Ausgangsbildern 7 (FIG 3) während des Trainings verwendet.

Zudem wird das künstliche neuronale Netzwerk in Schritt S16 dahingehend trainiert, vordefinierte Bereiche in erfassten Nachtaufnahmen zu identifizieren und zu bestimmen, die es aufzuhellen gilt. Der vordefinierte Bereich kann dabei auch die gesamte Nachtaufnahme beinhalten. Vordefinierte Bereiche in den erfassten Nachtaufnahmen können sich in der gewünschten Aufhellung unterscheiden. Hierzu können im Bild unterschiedliche Bereiche bestimmt werden, z.B., über statistischen Berechnungen, über semantische Segmentierung und/oder über Informationen über unterschiedliche Bereiche aus Aufnahmen zu vorherigen Zeitpunkten. Die zuvor genannten Arten der Bereichsbestimmung sind lediglich beispielhaft und nicht als abschließend zu betrachten. Im Detail kann es beispielsweise eine Variante ein, dass das Netzwerk neben dem aufgehellten Bild eine semantische Segmentierung ausgibt, welche als Prior in einem folgenden Zeitschrift verwendet wird. Eine weitere Variante kann es beispielsweise sein, dass das Netzwerk eine Segmentierung in hellere und dunklere Bereiche verwendet. Diese Segmentierung kann beispielsweise aus einem vorhergehenden Zeitschrift t-1 , aus einem separaten Netzwerk oder aus einem Multitasknetzwerk erhalten werden, welches zunächst eine Mappe für Bildregionen ausgibt und anschließend eine Aufhellungsverbesserung basierend auf dieser Mappe durchführt. Letzteres ist ein zweischrittiger Ansatz, bei welchem Netzwerkberechnungen aus dem ersten Schritt für den zweiten Schritt wiederverwendet werden können, z.B., die Berechnungen der ersten Netzwerkschichten.

Zudem wird das künstliche neuronale Netzwerk dazu trainiert, individuell für jeden bestimmten Bereich einen Aufhellungsgrad zu bestimmen. Das künstliche neuronale Netzwerk wird ferner dazu trainiert anschließend an die Bestimmung der vordefinierten Bereiche und die individuelle Ermittlung des Aufhellungsgrades für die bestimmten Bereiche den ermittelten Aufhellungsgrad zu verwenden, um die bestimmten Bereiche um den Aufhellungsgrad aufzuhellen. Dabei wird dem künstlichen neuronalen Netz ein Faktor d beigebracht, der der Parametrierung der Ausleuchtung einzelner Bildbereiche entspricht und der den Aufhellungsgrad mitbestimmt. Mit anderen Worten repräsentiert der Faktor d das Verhältnis zwischen dem Belichtungsverhältnis des Eingangsbildes und dem Belichtungsverhältnis des aufgehellten Ausgangsbildes des neuronalen Netzes. Durch den Faktor d werden die bestimmten Bereiche dynamisch an vorherrschende Lichtverhältnisse in einem Fahrzeuginnenraum angepasst. Insbesondere kann dabei das künstliche neuronale Netz dahingehend trainiert werden, dass der Faktor d für einzelne Bildbereiche, z.B., Fahrer oder Insassen im Rückraum, separat angepasst wird, so dass lokal auf unterschiedliche Beleuchtungsverhältnisse im Innenraum eingegangen werden kann. Insofern mehrere Bereiche durch das neuronale Netz bestimmt wurden, die es aufzuhellen gilt, kann für jeden Bereich ein anderer Faktor d mit in die Aufhellung einfließen. So kann beispielsweise für einen ersten bestimmten Bereich ein erster Faktor d und für einen zweiten bestimmten Bereich ein zweiter Faktor d, der sich von dem ersten Faktor d unterscheidet, genutzt werden, um in die Aufhellung der entsprechenden Bereiche einzufließen.

Der Faktor d kann optional wie folgt erlernt werden und/oder folgendes aufweisen: a) Während des Trainings stehen Bilder mit unterschiedlichen Belichtungszeiten zur Verfügung. Hierdurch kann das künstliche neuronale Netz den Aufhellungsgrad stufenweise erlernen. Für das Training wird jeweils ein Bildpaar aus einem kurz belichtetem und einem länger belichtetem Bild gewählt und das Verhältnis der Belichtungszeiten berechnet. Dies entspricht dem Faktor d während des Trainings. Das kürzer belichtete Bild und somit das dunklere Bild wird als Eingang dem Netzwerk zur Verfügung gestellt. Das Bild mit der längeren Belichtungszeit wird als Ground Truth für die Berechnung des Losses verwendet. Bei der Berechnung des Losses wird der Ausgang des Netzwerkes mit der Ground Truth verglichen. Ziel ist es hierbei, dass das Netzwerk lernt, für kürzer belichtete Bilder eine hellere Aufnahme zu rekonstruieren und den Faktor d variabel zu halten, um somit eine Rekonstruktion verschiedener Grade an Aufhellung zu ermöglichen. Der Faktor d repräsentiert somit eine künstliche Belichtungszeit und das Netzwerk lernt ein Bild mit einer anderen Belichtungszeit zu rekonstruieren. Dies ist insbesondere für dynamische Umgebungen relevant, in welchen die real zu verwendende Belichtungszeit auf kurze Zeiten eingeschränkt ist, um eine ausreichende Bildschärfe zu ermöglichen. b) Ist das Netzwerk erst einmal trainiert, kann der Faktor d variabel zur Laufzeiteingestellt werden, also im Betrieb eines Bildverarbeitungssystems, das ein entsprechend trainiertes, neuronales Netz verwendet. Beispielsweise wird zur Laufzeit eine Nachtaufnahme mit einer der Umgebung angemessenen Belichtungszeit aufgenommen, um eine ausreichende Bildschärfte in einer dynamischen Umgebung zu ermöglichen. Dies führt in der Regel zu dunklen Aufnahmen. Das trainierte Netzwerk wird auf diese Aufnahmen angewandt und der Faktor d so eingestellt, dass eine ausreichende Aufhellung im Bild erreicht wird, z.B., ähnlich einer Tagaufnahme. Der Faktor d kann hierbei über verschiedene Möglichkeiten bestimmt werden, wie, z.B., aus einer Bestimmung der Helligkeit der Aufnahme, aus der Aufhellung des vorherigen Bildes zum Zeitschrift t-1 , aus statistischen Berechnungen über die Güte der Helligkeit im Bild und der notwendigen Aufhellung, aus einem Netzwerk, welches die Schätzung des Faktors d lernt, etc. c) Der Faktor d kann lokal angewandt werden. Hierbei wird das Training um die Anpassung des Faktors d an Bildregionen erweitert. Es werden Bildregionen bestimmt, welche eine unterschiedliche Aufhellung benötigen, z.B., schlecht und gut ausgeleuchtete Bildbereiche. Die Trainingsbildpaare können sich für die Regionen hierbei in der Belichtungszeit der Ground Truth und des Netzwerkeingangs unterscheiden, sodass ein Faktor d auf Bereiche im Netzwerk gelernt werden kann und einzelne Bereiche stärker aufgehellt werden können. Somit wird der Loss auf den ausgewählten Bereichen im Bild berechnet und für die verschiedenen Bereiche können Aufnahmen der gleichen Szene mit unterschiedlichen Belichtungszeiten herangezogen werden. Ein Beispiel hierfür ist, dass für einen gut ausgeleuchteten Fahrer eine Ground Truth mit mittlerer Belichtungszeit ausreichend ist, während für z.B., die Insassen auf den Rücksitzen eine Ground Truth mit längerer Belichtungszeit verwendet wird und hierfür somit der Faktor d für den Fahrer dementsprechend niedriger ist als für den Bereich der Insassen auf der Rückbank. Um den Faktor d robust für verschieden starke Aufhellungen in Bildregionen zu lernen, können auch für die Bildregionen des Bildeingangs des neuronalen Netzwerkes Bilder mit unterschiedlichen Belichtungszeiten verwendet werden und diese mit verschiedenen Ground Truth mit anderer Belichtungszeit regionsweise kombiniert werden. Hierbei wird der Faktor d während des Trainings für einzelne Bildregionen aus dem Verhältnis der Ground Truth zu der Bildaufnahme am Netzwerkeingang berechnet. Der Netzwerkeingang wird somit aus verschiedenen Bildern regionsweise zusammengesetzt und ebenso wird der Loss basierend auf den gleichen Bildregionen regionsweise berechnet, indem das Referenzbild für die Verlustberechnung regionsweise aus den zu den Bildregionen im Eingangsbild korrespondierenden Ground Truth Aufnahmen zusammengesetzt wird. d) Der Faktor d ist ein Eingangsparameter des neuronalen Netzwerkes, basierend auf welchem das Netzwerk unterschiedliche Grade der Ausleuchtungsverbesserung lernt und rekonstruieren kann. Der Faktor d kann an eine oder mehrere Schichten des Netzwerkes als Eingangsparameter hinzugefügt werden. Der Faktor d kann auch mit einem zusätzlichen Netzwerk kombiniert werden, welches die Abbildung des Faktors d auf das Netzwerk zur Ausleuchtungsverbesserung berechnet, z.B. eine Skalierung auf die Größe der Eingangs- oder Merkmalsschichten des neuronalen Netzwerkes zur Ausleuchtungsverbesserung, Relevanz des Faktors d auf einzelne Bildregionen in der Eingangs- oder den Merkmalsschichten des neuronalen Netzwerkes zur Ausleuchtungsverbesserung. e) Zum Erlernen des bzw. der Faktoren d kann das künstliche neuronale Netz beispielsweise mit mehreren Eingangsbildern, die unterschiedliche Belichtungszeiten, aber ansonsten identisch sind, und einem dazugehörigen gewünschten Ausgangsbild, trainiert werden. Alternativ oder zusätzlich kann der Faktor d aus einer nachgelagerten Anwendung berechnet werden, welche beispielsweise anhand der Qualität einer möglichen Detektion auf Basis bereitgestellter und aufgehellter Bilder den besten Faktor für eine Bildaufhellung ermittelt. Dies kann sowohl beim Trainieren eines neuronalen Netzes als auch online in der Anwendung zur Laufzeit umgesetzt werden. Dadurch kann das künstliche neuronale Netz den Aufhellungsgrad stufenweise erlernen. Zusätzlich können die Eingangsbilder bereits unterschiedlich ausgeleuchtet sein, um dadurch eine dynamische Ausleuchtung in den Eingangsbildern zu simulieren, und so das künstliche neuronale Netz zu trainieren. Zu dem Training des künstlichen neuronalen Netzes gehört auch die Ausgabe von Ausgangsbildern 7 durch das künstliche neuronale Netz, welche zumindest den einen vordefinierten Bereich des zumindest einen Fahrzeuginsassen in voller Ausleuchtung oder Tageslicht umfassen, so dass durch die in voller Ausleuchtung oder Tageslicht aufgehellten Bereiche eine Extraktion vorgegebener Fahrzeuginsassenmerkmale ermöglicht wird. Diese ausgegeben Ausgangsbilder können im Training beispielsweise dazu genutzt werden, um sie mit gewünschten Ausgangsbildern zu vergleichen. In einer weiteren Anwendung können diese Bilder auch einer nachgelagerten Anwendung zur Verfügung gestellt werden, die beispielsweise anhand einer Detektionsgüte die Qualität der aufgehellten Bilder bewertet. Somit kann beispielsweise ein Training so lange fortgesetzt werden, bis ein ausgegebenes Ausgangsbild bestimmte Anforderungen erfüllt und möglichst genau mit einem gewünschten Ausgangsbild übereinstimmt.

Die Ausgabe des Netzwerkes kann hierbei für eine Verlustberechnung des Lernverfahrens des neuronalen Netzwerkes verwendet werden. Die Ausgabe des neuronalen Netzwerkes kann mit der Ground Truth verglichen und es kann ein Loss (Verlust) berechnet. Basierend auf diesem werden die Gewichte des neuronalen Netzwerkes aktualisiert. Der Loss kann optional global für einen konstanten Faktor d berechnet werden. Alternativ kann der Loss lokal oder regionsweise berechnet werden. Hierdurch kann ein unterschiedlicher Faktor d lokal für einzelne Bildregionen verwendet werden. Bezugszeichenliste:

1 Fahrzeug

2 Bildverarbeitungssystem 3 trainiertes künstliches neuronales Netz

4 Fahrzeuginnenraum

5 Innenraumkamera

6 Eingangsbild

7 Ausgangsbild