Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
IMAGE ANALYSIS INCLUDING TARGETED PREPROCESSING
Document Type and Number:
WIPO Patent Application WO/2019/007632
Kind Code:
A1
Abstract:
Disclosed is a system (1) for recognizing features (21) or objects (22) in an input image (2), comprising at least one preprocessing module (3) which is in the form of an AI module and is configured to generate at least one intermediate image (4, 4a, 4b) from the input image (2) by means of a parameterized internal processing chain (31), and comprising at least one analysis module (5, 5a, 5b) configured to recognize (51, 51a, 51b) the desired feature (21) or object (22) in the intermediate image (4). Also disclosed is a method (100) for teaching a system (1) according to one of claims 1 to 12, involving the following steps: * feeding (110) a plurality of learning input images (9, 2) to the system (1); * comparing (120) the result (10, 51) supplied by the analysis module (5) for each learning input image (9, 2) with a learning value (11) for the result (10, 51); feeding back (130) a discrepancy (12) between the result (10) and the learning value (11) to an input (32) of the preprocessing module (3), and/or adjusting (140) the parameters of the internal processing chain (31) of the preprocessing module (3) in order to reduce (150) the discrepancy (12). Further disclosed is an associated computer program product.

Inventors:
LENOR STEPHAN (DE)
MEHNERT JENS ERIC MARKUS (DE)
BISCHOFF STEFAN (DE)
Application Number:
PCT/EP2018/065289
Publication Date:
January 10, 2019
Filing Date:
June 11, 2018
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
BOSCH GMBH ROBERT (DE)
International Classes:
G06T5/00; G06T7/13; G06V10/30
Foreign References:
DE102006062061A12008-07-03
US5182776A1993-01-26
US5553159A1996-09-03
Other References:
ALEX KRIZHEVSKY ET AL: "ImageNet classification with deep convolutional neural networks", THE 26TH ANNUAL CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS (NIPS'25): 3-8 DECEMBER 2012, 6 December 2012 (2012-12-06), XP055113686, Retrieved from the Internet [retrieved on 20140411]
JEFF DONAHUE ET AL: "DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition", 5 October 2013 (2013-10-05), XP055326544, Retrieved from the Internet [retrieved on 20180914]
MOHAMED A. EL-SAYED ET AL: "Automated Edge Detection Using Convolutional Neural Network", INTERNATIONAL JOURNAL OF ADVANCED COMPUTER SCIENCE AND APPLICATIONS, vol. 4, no. 10, 2013, pages 11 - 17, XP055506215
GURGHIAN ALEXANDRU ET AL: "DeepLanes: End-To-End Lane Position Estimation Using Deep Neural Networks", 2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW), IEEE, 26 June 2016 (2016-06-26), pages 38 - 45, XP033027808, DOI: 10.1109/CVPRW.2016.12
ZHU ZHE ET AL: "Traffic-Sign Detection and Classification in the Wild", 2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), IEEE, 27 June 2016 (2016-06-27), pages 2110 - 2118, XP033021390, DOI: 10.1109/CVPR.2016.232
WU YIHUI ET AL: "Traffic sign detection based on convolutional neural networks", THE 2013 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN), IEEE, 4 August 2013 (2013-08-04), pages 1 - 7, XP032542272, ISSN: 2161-4393, [retrieved on 20140108], DOI: 10.1109/IJCNN.2013.6706811
Download PDF:
Claims:
Ansprüche

1. System (1) zur Erkennung von Merkmalen (21) oder Objekten (22) in einem Eingabebild (2), umfassend mindestens ein als Kl-Modul ausgebildetes Vorverarbeitungsmodul (3), welches dazu ausgebildet ist, aus dem Eingabebild (2) mittels einer parametrisierten internen Verarbeitungskette (31) mindestens ein Zwischenbild (4, 4a, 4b) zu erzeugen, sowie mindestens ein Auswertemodul (5, 5a, 5b), welches zur Erkennung (51, 51a, 51b) des gewünschten Merkmals (21) oder Objekts (22) in dem Zwischenbild (4) ausgebildet ist.

2. System (1) nach Anspruch 1, dadurch gekennzeichnet, dass

mindestens ein Bewertungsmodul (6, 6a, 6b) vorgesehen ist, welches dazu ausgebildet ist, das vom Auswertemodul (5, 5a, 5b) gelieferte Ergebnis (51, 51a,51b) qualitativ zu bewerten (61, 61a, 61b) und in einen Eingang (32, 32a, 32b) des Vorverarbeitungsmoduls (3) zurückzukoppeln.

3. System (1) nach einem der Ansprüche 1 bis 2, dadurch

gekennzeichnet, dass mehrere Auswertemodule (5a, 5b) vorgesehen sind, wobei sich die Zwischenbilder (4a, 4b), die die Auswertemodule (5a, 5b) erhalten, und/oder die Merkmale (21) oder Objekte (22), zu deren Erkennung die Auswertemodule (5a, 5b) jeweils ausgebildet sind, voneinander unterscheiden.

4. System (1) nach Anspruch 2 und 3, dadurch gekennzeichnet, dass das Bewertungsmodul (6) dazu ausgebildet ist, die Bewertungen (61a, 61b) der von mehreren Auswertemodulen (5a, 5b) gelieferten Ergebnisse zu einer Gesamtbewertung (61) zusammenzufassen und diese Gesamtbewertung (61) in einen Eingang (32) des Vorverarbeitungsmoduls (3) zurückzukoppeln.

5. System (1) nach einem der Ansprüche 3 bis 4, dadurch

gekennzeichnet, dass in dem Vorverarbeitungsmodul (3) das Eingabebild (2) bei der Erzeugung von Zwischenbildern (4a, 4b) für mehrere Auswertemodule (5a, 5b) ein und dieselbe interne Verarbeitungskette (31) durchläuft.

6. System (1) nach einem der Ansprüche 3 bis 5, dadurch

gekennzeichnet, dass mindestens ein Auswertemodul (5a) zur Erkennung (51a) mindestens eines Objekts (22) ausgebildet ist, während mindestens ein anderes Auswertemodul (5b) zur Erkennung (51b) mindestens einer Kante (21) ausgebildet ist.

7. System (1) nach einem der Ansprüche 1 bis 6, dadurch

gekennzeichnet, dass die interne Verarbeitungskette (31) mindestens ein künstliches neuronales Netzwerk aus mehreren Schichten (31a-31h) künstlicher Neuronen (33) umfasst, wobei eine Eingabeschicht (31a) das Eingabebild (2) aufnimmt, eine Zwischenbildschicht (31h) das Zwischenbild (4, 4a, 4b) abspeichert sowie zwischen der Eingabeschicht (31a) und der

Zwischenbildschicht (31h) mindestens zwei Verarbeitungsschichten (31b-31g) angeordnet sind und wobei die Parameter der Verarbeitungskette (31) Gewichte von Verbindungen (34) zwischen Schichten (31a-31h) des neuronalen Netzwerks (31) umfassen.

8. System (1) nach Anspruch 7, dadurch gekennzeichnet, dass

mindestens eine der Verarbeitungsschichten (31b-31g) dazu ausgebildet ist, Bilddaten mit einem Faltungskern zu falten, und/oder die Bilddaten durch Downsampling zu verdichten.

9. System (1) nach einem der Ansprüche 7 bis 8, dadurch

gekennzeichnet, dass das neuronale Netzwerk (31) auf der der Eingabeschicht (31a) abgewandeten Seite der Zwischenbildschicht (31h) mindestens eine Auswerteschicht (31i) aufweist, in der mindestens ein Teil der Funktionalität des Auswertemoduls (5, 5a, 5b) implementiert ist.

10. System (1) nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass zusätzlich eine Kamera (7) zur Gewinnung des Eingabebildes (2) vorgesehen ist.

11. System (1) nach Anspruch 10, dadurch gekennzeichnet, dass die

Kamera (7) dazu ausgebildet ist, über die Windschutzscheibe eines Fahrzeugs gekühlt zu werden, wobei die Kamera (7) eine elektrische Leistungsaufnahme von maximal 5 Watt aufweist, und/oder dass das Vorverarbeitungsmodul (3) zusätzlich dazu ausgebildet ist, mindestens eine zu der Kamera (7) geführte Stellgröße (71) für mindestens einen Betriebsparameter (72) der Kamera (7) zu ermitteln.

12. System (1) nach einem der Ansprüche 1 bis 11, dadurch

gekennzeichnet, dass das System (1) mit einem Lenksystem, einem

Bremssystem und/oder einem Antriebssystem eines zumindest

teilautomatisierten Fahrzeugs gekoppelt ist, wobei mindestens eine Erkennung (51, 51a, 51b) eines Merkmals (21) oder Objekts (22) in ein Ansteuersignal umgesetzt ist, welches auf das Lenksystem, auf das Bremssystem, bzw. auf das Antriebssystem, wirkt.

13. Verfahren (100) zum Anlernen eines Systems (1) nach einem der Ansprüche 1 bis 12, gekennzeichnet durch folgende Schritte:

• dem System (1) wird eine Mehrzahl von Lern- Eingabebildern (9, 2)

zugeführt (110),

• das zu jedem Lern- Eingabebild (9, 2) vom Auswertemodul (5) gelieferte Ergebnis (10, 51) wird mit einem Lern-Wert (11) für das Ergebnis (10, 51) verglichen (120);

• eine Abweichung (12) des Ergebnisses (10) von dem Lern-Wert (11) wird in einen Eingang (32) des Vorverarbeitungsmoduls (3) zurückgekoppelt (130), und/oder die Parameter der internen Verarbeitungskette (31) des Vorverarbeitungsmoduls (3) werden angepasst (140) mit dem Ziel, die Abweichung (12) zu vermindern (150).

14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass die

Anpassung (140) der Parameter mit einem Gradientenabstiegsverfahren erfolgt.

15. Computerprogrammprodukt, enthaltend maschinenlesbare

Anweisungen, die, wenn sie auf einem Computer, und/oder auf einem

Steuergerät, ausgeführt werden, den Computer, bzw. das Steuergerät, zu einem System (1) nach einem der Ansprüche 1 bis 11 aufwerten, und/oder dazu veranlassen, ein Verfahren (100) nach einem der Ansprüche 13 bis 14 auszuführen.

Description:
Beschreibung Titel:

Bildauswertung mit zielgerichteter Vorverarbeitung

Die vorliegende Erfindung betrifft ein System für die Bildauswertung, welches insbesondere für die Erkennung von Kanten, Objekten und anderen Merkmalen in Fahrassistenzsystemen und Systemen für das autonome Fahren verwendbar ist.

Stand der Technik

Für die aktive Teilnahme am motorisierten Straßenverkehr ist die Aufnahme visueller Informationen unerlässlich. Dementsprechend sind Kamerasysteme für Fahrassistenzsysteme und Systeme für das autonome Fahren eine wesentliche Informationsquelle.

In der Regel ist es notwendig, das von einer Kamera gelieferte Bild vor der Auswertung vorzuverarbeiten, beispielsweise durch Rektifikation oder

Farbanpassung. Eine solche Vorverarbeitung geht jedoch tendenziell immer mit einer deutlichen Verdichtung der im Bild enthaltenen Information einher. Daher kann eine nicht zur beabsichtigten Auswertung passende Vorverarbeitung zur Folge haben, dass gerade die für diese Auswertung benötigten Informationen verworfen werden. Dies kann das Ergebnis der Auswertung verschlechtern, statt es wie beabsichtigt zu verbessern.

Die US 5,182,776 A offenbart, einen Bildauswerteprozess einschließlich der Bildvorverarbeitung mit einem selbstlernenden künstlichen neuronalen Netzwerk durchzuführen, um die Anzahl der auf einen Aufzug wartenden Passagiere zu messen. Die gemessene Anzahl wird mit Zusatzinformationen plausibilisiert, und Abweichungen werden als Lern-Information in das neuronale Netzwerk zurückgespielt, wo sie auch einen Einfluss auf die Parameter der

Vorverarbeitung haben.

Die US 5,553,159 A offenbart, bei der Aufnahme von Röntgenbildern ein künstliches neuronales Netz einzusetzen, welches auch in der Lage ist, die

Parameter für die physische Aufnahme des Rohbildes und für die anschließende Vorverarbeitung optimal einzustellen.

Offenbarung der Erfindung

Im Rahmen der Erfindung wurde ein System zur Erkennung von Merkmalen oder Objekten in einem Eingabebild entwickelt. Dieses System umfassend mindestens ein als Kl-Modul ausgebildetes Vorverarbeitungsmodul, welches dazu ausgebildet ist, aus dem Eingabebild mittels einer parametrisierten internen Verarbeitungskette mindestens ein Zwischenbild zu erzeugen. Das System umfasst weiterhin mindestens ein Auswertemodul, welches zur Erkennung des gewünschten Merkmals oder Objekts in dem Zwischenbild ausgebildet ist.

Es wurde erkannt, dass diese Aufteilung der Funktionalität es ermöglicht, die Vorverarbeitung unabhängig von der eigentlichen Auswertung zu optimieren. Ist also beispielsweise das Auswertemodul ebenfalls als Kl-Modul ausgebildet und sind beide Kl-Module selbstlernend, so können die Lernprozesse beider Kl- Module voneinander entkoppelt werden. Somit können beispielsweise das Vorverarbeitungsmodul und das Auswertemodul unabhängig voneinander getauscht werden, ohne dass an unerwarteter Stelle plötzlich Lernfortschritt der Kl verlorengeht.

Zugleich können jedoch vorteilhaft die Anforderungen der gewünschten

Auswertung bereits bei der Vorverarbeitung berücksichtigt werden, so dass bei der bei der Vorverarbeitung unvermeidlichen Reduktion und Verdichtung der

Information genau diejenige Information ausgewählt werden kann, die für die beabsichtigte Auswertung auch relevant ist. Insbesondere für den

diesbezüglichen Lernprozess steht also noch die volle Informationsmenge des Eingabebildes zur Verfügung. Bislang wurde gerade im Bereich der

Fahrassistenzsysteme und des autonomen Fahrens das Eingabebild zunächst mit einer starren Vorverarbeitung bearbeitet, die beispielsweise Rektifikation und Farbverarbeitung umfasste. Teilweise erfolgte danach noch eine Segmentierung in Features, und damit eine weitere Reduktion der Informationsmenge, bevor die eigentliche Auswertung begann und eine Kl zum Einsatz kam.

Weiterhin ist der genannte modulare Aufbau insbesondere für

Fahrassistenzsysteme und für das autonome Fahren vorteilhaft. In derartigen komplexen Systemen ist typischerweise aus ein und demselben Eingabebild eine Vielzahl von Eigenschaften auszuwerten. Es können also in einer besonders vorteilhaften Ausgestaltung der Erfindung mehrere Auswertemodule vorgesehen sein, wobei sich die Zwischenbilder, die die Auswertemodule erhalten, und/oder die Merkmale oder Objekte, zu deren Erkennung die Auswertemodule jeweils ausgebildet sind, voneinander unterscheiden.

Ein und dasselbe Eingabebild kann von dem Vorverarbeitungsmodul in

Zwischenbilder mit verschiedenen Inhalten und Zielsetzungen übersetzt werden, etwa Zwischenbilder mit

• Farbinformationen,

• Eigenbewegungsinformationen,

• erhöhter Qualität in Bezug auf einen bestimmten Aspekt, oder

• verschiedenen Ausschnitten des Eingabebilds (Szenen-Segmentierung).

Ein und dasselbe vorverarbeitete Zwischenbild ist somit nicht notwendigerweise für alle beabsichtigten Auswertungen optimal. So werden beispielsweise an Bilder für anzeigende Systeme und menschliche Betrachter („Display Vision") andere Anforderungen gestellt als an Bilder, deren maschinelle Auswertung durch nachfolgende Messprogramme und Funktionen („Machine Vision") beabsichtigt ist. Auch kann beispielsweise ein weichgezeichnetes oder in sonstiger Weise geglättetes Zwischenbild eine Erkennung von Objekten in einem verrauschten Bild verbessern, während eine Erkennung von Kanten im Gegenteil eher von einer Scharfzeichnung des Zwischenbildes profitiert. Der modulare Aufbau ermöglicht es, für jede beabsichtigte Auswertung ein genau hierauf optimiertes Zwischenbild zur Verfügung zu stellen. Dabei können diese verschiedenen Zwischenbilder vorteilhaft parallel erzeugt werden, insbesondere dann, wenn in dem Vorverarbeitungsmodul das

Eingabebild bei der Erzeugung von Zwischenbildern für mehrere

Auswertemodule ein und dieselbe interne Verarbeitungskette durchläuft. Das Vorverarbeitungsmodul führt dann nicht mehrfach hintereinander eine im

Wesentlichen gleiche Arbeit durch. Insbesondere bei bisherigen

Fahrassistenzsystemen und Systemen für das autonome Fahren tritt häufig der Fall auf, dass verschiedene Auswertungsalgorithmen Bildinformation in unterschiedlichen Größen und Farbformaten benötigen. Hierfür mehrere

Zwischenbilder nacheinander anzufertigen ist sehr zeitintensiv.

Das Vorverarbeitungsmodul kann selbstlernend ausgebildet sein. Zu diesem Zweck ist in einer besonders vorteilhaften Ausgestaltung der Erfindung mindestens ein Bewertungsmodul vorgesehen, welches dazu ausgebildet ist, das vom Auswertemodul gelieferte Ergebnis qualitativ zu bewerten und in einen

Eingang des Vorverarbeitungsmoduls zurückzukoppeln. Hierzu kann

beispielsweise das Auswertemodul eine Zielfunktion für die qualitative Bewertung bereitstellen. Es ist andererseits auch nicht zwingend, dass das Vorverarbeitungsmodul selbstlernend ist. Beispielsweise kann das Vorverarbeitungsmodul werksseitig mit einer Vielzahl von Lerndaten trainiert worden sein, so dass die Parameter, die die interne Verarbeitungskette festlegen, bereits die Lernerfahrung aus diesem Training beinhalten. Das Vorverarbeitungsmodul kann dann beispielsweise statisch betrieben werden, d.h. es kann bei der Erzeugung von Zwischenbildern aus Eingabebildern die Lernerfahrung abrufen, ohne dass diese weiter vermehrt wird.

Sind mehrere Auswertemodule vorhanden, so kann beispielsweise jedem Auswertemodul ein eigenes Bewertungsmodul zugeordnet sein, welches auch in das Auswertemodul selbst integriert sein kann. Es kann aber auch beispielsweise ein gemeinsames Bewertungsmodul vorgesehen sein. In einer besonders vorteilhaften Ausgestaltung der Erfindung ist das Bewertungsmodul dazu ausgebildet, die Bewertung der von mehreren Auswertemodulen gelieferten Ergebnisse zu einer Gesamtbewertung zusammenzufassen und diese Gesamtbewertung in einen Eingang des Vorverarbeitungsmoduls

zurückzukoppeln. Es ist dann beispielsweise möglich, mehrere Auswertemodule mit ein und demselben Zwischenbild zu versorgen, das einen optimalen

Kompromiss zwischen den jeweiligen Anforderungen darstellt.

Eine derartige Gesamtbewertung kann jedoch auch den Fall abbilden, dass es zwei unterschiedliche Auswertemodule gibt, die unterschiedliche Zwischenbilder erhalten. Soll das Eingabebild beispielsweise in einem ersten Auswertemodul mit kategorischer Kreuzentropie und in einem zweiten Auswertemodul mit binärer Kreuzentropie ausgewertet werden, so kann das optimale Zwischenbild in Bezug auf das erste Auswertemodul einem Extremum einer ersten Zielfunktion Zi entsprechen, und das optimale Zwischenbild in Bezug auf das zweite

Auswertemodul kann einem Extremum einer zweiten Zielfunktion Z2 entsprechen. Wenn nun beispielsweise in einer besonders vorteilhaften Ausgestaltung der Erfindung das Eingabebild bei der Erzeugung von Zwischenbildern für die beiden Auswertemodule ein und dieselbe interne Verarbeitungskette durchläuft, so wirkt sich die Optimierung dieser internen Verarbeitungskette im Hinblick auf das eine Zwischenbild automatisch auch auf das andere aus. Über eine gemeinsame Zielfunktion Z, in der die beiden Zielfunktionen Zi und Z2 beispielsweise nach der Vorschrift Ζ=λ*Ζι+Ζ2 gewichtet sind, kann ein optimaler Kompromiss zwischen den Optimierungen für beide Auswertemodule gefunden werden.

Vorteilhaft sind die benötigten Funktionalitäten so auf Auswertemodule aufgeteilt, dass ein Zwischenbild für die Bedürfnisse eines jeden Auswertemoduls optimiert werden kann, ohne dass dabei ein Zielkonflikt zwischen verschiedenen in diesem Auswertemodul implementierten Funktionalitäten entsteht. Wie zuvor erläutert, besteht ein solcher Zielkonflikt beispielsweise zwischen Objekterkennung und Kantenerkennung. In einer besonders vorteilhaften Ausgestaltung der Erfindung ist daher mindestens ein Auswertemodul zur Erkennung mindestens eines Objekts ausgebildet, während mindestens ein anderes Auswertemodul zur Erkennung mindestens einer Kante ausgebildet ist.

In einer besonders vorteilhaften Ausgestaltung der Erfindung umfasst die interne Verarbeitungskette des Vorverarbeitungsmoduls mindestens ein künstliches neuronales Netzwerk aus mehreren Schichten künstlicher Neuronen. In diesem Netzwerk nimmt eine Eingabeschicht das Eingabebild auf, und eine

Zwischenbildschicht speichert das Zwischenbild ab. Zwischen der

Eingabeschicht und der Zwischenbildschicht sind mindestens zwei

Verarbeitungsschichten angeordnet. Die Parameter der Verarbeitungskette umfassen Gewichte von Verbindungen zwischen Schichten des neuronalen

Netzwerks.

Es wurde erkannt, dass ein solches neuronales Netzwerk besonders gut parallelisierbar ist. Somit kann es mit geringen spezifischen Kosten pro Einheit Rechenkapazität realisiert werden. Insbesondere ist es vorteilhaft, den

Hardwareaufwand des Systems in dem neuronalen Netzwerk zu konzentrieren. Indem die verbleibenden Komponenten des Systems dann deutlich schwächer dimensioniert werden können, lassen sich die Gesamtkosten des Systems deutlich reduzieren.

Vorteilhaft ist mindestens eine Verarbeitungsschicht dazu ausgebildet, Bilddaten mit einem Faltungskern zu falten, und/oder die Bilddaten durch Downsampling zu verdichten. Dies sind Funktionen, deren Rechenaufwand sich besonders gut in einem neuronalen Netzwerk parallelisieren lässt.

In einer weiteren besonders vorteilhaften Ausgestaltung der Erfindung weist das neuronale Netzwerk auf der der Eingabeschicht abgewandeten Seite der Zwischenbildschicht mindestens eine Auswerteschicht auf, in der mindestens ein Teil der Funktionalität des Auswertemoduls implementiert ist. Auf diese Weise kann beispielsweise der rechenintensivste Teil der Auswertung auf der leistungsfähigen, parallelisierten Hardware des Vorverarbeitungsmoduls ausgeführt werden. Der gesamte Hardwareaufwand des Systems kann dann noch stärker auf das Vorverarbeitungsmodul konzentriert werden. Vorteilhaft ist in dem System zusätzlich eine Kamera zur Gewinnung des

Eingabebildes vorgesehen. In einer besonders vorteilhaften Ausgestaltung der Erfindung ist diese Kamera dazu ausgebildet, über die Windschutzscheibe eines Fahrzeugs gekühlt zu werden, wobei die Kamera eine elektrische

Leistungsaufnahme von maximal 5 Watt aufweist. Dann kann die Kamera insbesondere in die Windschutzscheibe integriert oder unmittelbar hinter dieser angeordnet werden, um das Geschehen vor dem Fahrzeug aus einer

Perspektive zu erfassen, die der eines menschlichen Fahrers des Fahrzeugs maximal ähnlich ist. Die Leistungsbeschränkung auf 5 Watt rührt daher, dass eine wesentlich höhere Leistung nicht unter allen klimatischen Umständen über die Windschutzscheibe abgeführt werden kann und die Kamera überhitzen könnte. Die Kamera enthält in der Regel Halbleiterbauelemente, deren

Lebensdauer mit der Betriebstemperatur exponentiell abnimmt.

In einer weiteren vorteilhaften Ausgestaltung der Erfindung ist das

Vorverarbeitungsmodul zusätzlich dazu ausgebildet, mindestens eine zu der Kamera geführte Stellgröße für mindestens einen Betriebsparameter der Kamera zu ermitteln. Eine Vorverarbeitung kann prinzipiell nur Informationen aus dem Eingabebild herausarbeiten, die sich dort in hinreichender Stärke manifestieren. Die Betriebsparameter der Kamera selbst bieten einen zusätzlichen

Freiheitsgrad, bestimmte Aspekte auf Kosten anderer herauszuarbeiten. So kann beispielsweise über die Belichtungseinstellung festgelegt werden, dass nur Bildbereiche, deren Helligkeit in einem bestimmten Intervall liegt, überhaupt in den Dynamikbereich der Kamera zwischen minimaler und maximaler Intensität fallen. Beispielsweise lassen sich manche Merkmale gerade durch eine längere Belichtungszeit (das sogenannte Blurring) herausarbeiten, was zunächst kontraintuitiv ist, da hierdurch viele andere Informationen in dem Bild stark eingeebnet werden. Die Kamera kann aber beispielsweise auch auf einen anderen Wellenlängenbereich geschaltet werden.

In einer weiteren besonders vorteilhaften Ausgestaltung der Erfindung ist das System mit einem Lenksystem, einem Bremssystem und/oder einem

Antriebssystem eines zumindest teilautomatisierten Fahrzeugs gekoppelt. Dabei ist mindestens eine Erkennung eines Merkmals oder Objekts in ein

Ansteuersignal umgesetzt, welches auf das Lenksystem, auf das Bremssystem, bzw. auf das Antriebssystem, wirkt. Das Ansteuersignal kann beispielsweise einen Lenkwinkel, ein Drehmoment des Antriebssystems oder eine

Bremsverzögerung vorgeben. Auf diese Weise kann das System die zumindest teilautomatisierte Bewältigung der Fahraufgabe qualitativ verbessern, insbesondere im Hinblick auf die Verlässlichkeit und Betriebssicherheit. Nach dem zuvor Beschriebenen bezieht sich die Erfindung auch auf ein

Verfahren zum Anlernen des Systems. Bei diesem Verfahren wird dem System eine Mehrzahl, bzw. Vielzahl, von Lern- Eingabebildern zugeführt. Sodann wird das zu jedem Lern- Eingabebild vom Auswertemodul gelieferte Ergebnis mit einem bekannten Lern-Wert für das Ergebnis, der zu dem Lern- Eingabebild gehörig ist, verglichen.

Eine Abweichung des Ergebnisses von dem Lern-Wert kann anschließend einzeln oder in Kombination in zweierlei Weise weiter genutzt werden. Zum einen kann die Abweichung in einen Eingang des Vorverarbeitungsmoduls

zurückgekoppelt werden, damit die darin enthaltene Kl selbsttätig die Parameter ihrer internen Verarbeitungskette sukzessive so konfigurieren kann, dass Lern- Eingabebilder möglichst gut auf die zugehörigen Ergebnisse übersetzt werden. Zum anderen kann auch unmittelbar, beispielsweise mit einem

Optimierungsalgorithmus, in die Parameter der internen Verarbeitungskette des Vorverarbeitungsmoduls eingegriffen werden. Letzteres bietet neben der Freiheit bei der Wahl des Optimierungsalgorithmus auch die Möglichkeit, für das

Trainieren eine externe Rechenkapazität heranzuziehen, die deutlich größer ist als die im fertigen Vorverarbeitungsmodul physisch vorhandene

Rechenkapazität.

Viele Zielfunktionen liefern skalare Werte, und das Optimum entspricht einem Extremum. Vorteilhaft erfolgt die Anpassung der Parameter mit einem

Gradientenabstiegsverfahren.

Das System kann spezielle Hardware für das Vorverarbeitungsmodul beinhalten, beispielsweise eine Hardware, die speziell als Plattform für künstliche neuronale Netze konzipiert ist. Für die prinzipielle Funktionsweise gemäß der Erfindung kommt es jedoch nicht auf die konkrete Plattform an, auf der das System implementiert ist. Diese Plattform kann auch beispielsweise ein Computer oder ein Steuergerät für den Einbau in ein Fahrzeug sein. Die Funktionalität gemäß der Erfindung kann dann in einer entsprechenden Software verkörpert sein, die insofern ein eigenständig verkaufbares Produkt ist. Daher bezieht sich die Erfindung auch auf ein Computerprogrammprodukt mit maschinenlesbaren Anweisungen, die, wenn sie auf einem Computer, und/oder auf einem Steuergerät, ausgeführt werden, den Computer, bzw. das Steuergerät, zu einem System gemäß der Erfindung aufwerten, und/oder dazu veranlassen, ein

Verfahren gemäß der Erfindung auszuführen

Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.

Ausführungsbeispiele

Es zeigt:

Figur 1 Ausführungsbeispiel eines Systems 1 gemäß der Erfindung;

Figur 2 Beispielhafter Aufbau der parametrisierten internen Verarbeitungskette 31 im Vorverarbeitungsmodul 3;

Figur 3 Ausführungsbeispiel des Verfahrens 100 zum Anlernen des Systems 1.

Das in Figur 1 beispielhaft gezeichnete System 1 ist zur Informationsgewinnung bei der Steuerung eines in Figur 1 nicht weiter detaillierten autonomen

Fahrzeugs vorgesehen. Eine an der Windschutzscheibe des Fahrzeugs montierte Kamera 7 nimmt ein Eingabebild 2 auf. Das Eingabebild 2 enthält hier beispielhaft eine Kante 21, die dem Fahrbahnrand entspricht, und ein

Verkehrszeichen 22. Zur Bewältigung der Fahraufgabe ist es erforderlich, sowohl die Kante 21 als auch das Verkehrszeichen 22 zu erkennen. Dies ist in dem Eingabebild 2 zunächst schwierig, da die Kante 21 und das Verkehrszeichen 22 nur schwach zu erkennen sind und das Eingabebild 2 zusätzlich von Rauschen 23 überlagert ist.

Das System 1 enthält ein erstes Auswertemodul 5a, das zur Erkennung 51a des Verkehrszeichens 22 ausgebildet ist, sowie ein zweites Auswertemodul 5b, das zur Erkennung 51b der Kante 21 ausgebildet ist. Das Vorverarbeitungsmodul 3 liefert für beide Abnehmer 5a und 5b jeweils ein auf deren spezifische

Bedürfnisse zugeschnittenes Zwischenbild 4a bzw. 4b.

Das erste Zwischenbild 4a ist weichgezeichnet worden. Dadurch ist es von dem im Eingabebild 2 enthaltenen Rauschen 23 befreit, und das Verkehrszeichen 22 wird klarer herausgearbeitet. Dies wird damit erkauft, dass die Kante 21 im Vergleich zum Eingabebild 2 noch stärker verwischt wird. Das erste

Auswertemodul 5a lässt sich hiervon nicht stören und liefert eine gute Erkennung 51a des Verkehrszeichens 22.

Das zweite Zwischenbild 4b ist scharfgezeichnet worden. Dadurch ist das Rauschen 23 im Vergleich zum Eingabebild 2 noch etwas verstärkt worden, so dass das Verkehrszeichen 22 noch etwas schlechter erkennbar ist. Dafür ist die Kante 21 klarer herausgearbeitet, so dass das zweite Auswertemodul 5b eine gute Erkennung 51b dieser Kante 21 liefern kann.

Die Erkennungen 51a und 51b werden von Bewertungsmodulen 6a und 6b qualitativ bewertet. Die Bewertungen 61a und 61b werden Eingängen 32a und 32b des Vorverarbeitungsmoduls 3 als Rückkopplung zugeführt. Auf diese Weise kann das Vorverarbeitungsmodul 3 die Parameter seiner internen

Verarbeitungskette 31 so anpassen, dass beide Auswertemodule 5a und 5b jeweils optimale Erkennungen 51a bzw. 51b liefern können.

Optional können die Bewertungsmodule 6a und 6b auch in einem einzigen Bewertungsmodul 6 zusammengefasst sein, das eine aus denen Bewertungen 61a und 61b, beispielsweise durch Gewichtung, zusammengesetzte Bewertung 61 an einen Eingang 32 des Vorverarbeitungsmoduls 3 zurückkoppelt. Dieser Fall ist aus Gründen der Übersichtlichkeit in Figur 1 nicht eingezeichnet.

Das Vorverarbeitungsmodul 3 ermittelt zusätzlich eine Stellgröße 71 für einen Betriebsparameter 72 der Kamera 7. Auf diese Weise können die Bedürfnisse der Auswertemodule 5a und 5b bereits bei der Aufnahme des Eingabebildes 2 berücksichtigt werden. Beispielsweise kann die Belichtung angepasst werden. In einer besonders vorteilhaften Ausgestaltung der Erfindung wird die Erkennung 51a, und/oder die Erkennung 51b, in ein Ansteuersignal umgesetzt, welches wiederum einem Lenksystem, einem Bremssystem, und/oder einem

Antriebssystem, eines zumindest teilautomatisierten Fahrzeugs zugeführt wird zwecks Bewältigung der Fahraufgabe.

In Figur 2 ist ein beispielhafter Aufbau der internen Verarbeitungskette 31 skizziert. Die interne Verarbeitungskette 31 ist ein künstliches neuronales Netz aus hier beispielhaft gezeichneten neun Schichten 31a-31i mit Neuronen 33. Zwischen Neuronen benachbarter Schichten 31a-31i gibt es Verbindungen 34, deren Gewichte die Parameter der internen Verarbeitungskette 31 bilden. Aus Gründen der Übersichtlichkeit ist in Figur 2 nur ein Neuron mit dem

Bezugszeichen 33 und nur eine Verbindung mit dem Bezugszeichen 34 bezeichnet.

Die Schicht 31a ist die Eingabeschicht, die das Eingabebild 2 aufnimmt. Daran schließen sich von oben nach unten Verarbeitungsschichten 31b-31g an. Beim Übergang von der zweiten Verarbeitungsschicht 31c zur dritten

Verarbeitungsschicht 31d spaltet sich die Verarbeitung in zwei Zweige auf, die letztlich auf der Zwischenbildschicht 31h in die beiden Zwischenbilder 4a und 4b münden. Die Zwischenbilder 4a und 4b sind für die Auswertemodule 5a und 5b bestimmt.

Die Verarbeitungskette 31 enthält unterhalb der Zwischenbildschicht 31h, also auf deren der Eingabeschicht 31a abgewandten Seite, eine Auswerteschicht, in der bereits ein Teil der Funktionalität der beiden Auswertemodule 5a und 5b implementiert ist. Auf diese Weise können die rechenintensivsten Schritte der jeweiligen Auswertung noch im Vorverarbeitungsmodul 3 stattfinden, wo massiv parallele Rechenkapazität kostengünstig zur Verfügung steht.

Figur 3 zeigt ein Ausführungsbeispiel des Verfahrens 100 zum Anlernen des Systems 1. In Schritt 110 wird dem Vorverarbeitungsmodul 3 eine Vielzahl von Lern- Eingabebildern 9 zugeführt. Das Vorverarbeitungsmodul 3 erzeugt hieraus jeweils ein Zwischenbild 4, das dem Auswertemodul 5 zugeführt wird. In Schritt 120 wird das vom Auswertemodul 5 gelieferte Ergebnis 10 mit dem Lern-Wert 11 für das Ergebnis 10 verglichen. Die ermittelte Differenz 12 wird in Schritt 130 in einen Eingang 32 des Vorverarbeitungsmoduls 3 zurückgekoppelt, so dass dessen Selbstlernprozess die Parameter der internen Verarbeitungskette 31 dergestalt anpassen kann, dass letztlich gemäß Schritt 150 die Abweichung 12 vermindert wird. Alternativ oder auch in Kombination hierzu können gemäß

Schritt 140 die Parameter der internen Verarbeitungskette 31 unmittelbar angepasst werden. Hierbei kann beispielsweise eine externe Rechenkapazität genutzt werden, die deutlich größer ist als die physisch im ausgelieferten System 1 verbaute Rechenkapazität.