Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR GENERATING TRAINING DATA FOR A MACHINE-LEARNING-BASED PATTERN RECOGNITION METHOD FOR A MOTOR VEHICLE, MOTOR VEHICLE, METHOD FOR OPERATING A COMPUTING UNIT, AND SYSTEM
Document Type and Number:
WIPO Patent Application WO/2018/206481
Kind Code:
A1
Abstract:
The invention relates to a method for generating training data for a machine-learning-based pattern recognition method for a motor vehicle (1), in which method the pattern recognition method and at least one reference system (4) different from the pattern recognition method each provide at least one measurement value during operating of the motor vehicle (1). Furthermore, accuracies are determined as local confidence values of the measurement values in accordance with temporal and local properties, and average detection rates are determined for the pattern recognition method and for the reference system (4) as base confidences of the pattern recognition method and of the reference system (4). Additionally, a local confidence comparison is carried out, in which the base confidences and the local confidence values are compared and, in accordance with the local confidence comparison, at least the measurement values comprising the associated local confidence values as training data are sent to a computing unit (6) designed to train the pattern recognition method. Furthermore, the invention relates to a motor vehicle (1), a method for operating a computing unit (6), and a system.

Inventors:
FRIEDMANN FELIX (DE)
VOROBIOV OLEKSANDR (DE)
Application Number:
PCT/EP2018/061659
Publication Date:
November 15, 2018
Filing Date:
May 07, 2018
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
AUDI AG (DE)
International Classes:
G06K9/00; G06K9/62
Foreign References:
DE102014106506A12015-11-12
DE102013021840A12015-06-25
DE102009048699A12010-12-02
DE102010020298A12011-11-17
Download PDF:
Claims:
PATENTANSPRÜCHE:

Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug (1 ), bei welchem

- das Mustererkennungsverfahren und wenigstens ein von dem Mustererkennungsverfahren unterschiedliches Referenzsystem (4) während eines Betriebs des Kraftfahrzeugs (1 ) jeweils wenigstens einen Messwert bereitstellen;

- in Abhängigkeit von zeitlichen und örtlichen Eigenschaften jeweilige Genauigkeiten als jeweilige lokale Konfidenzwerte der Messwerte ermittelt werden;

- für das Mustererkennungsverfahren und für das Referenzsystem (4) jeweilige durchschnittliche Erkennungsraten als Grundkonfidenzen des Mustererkennungsverfahrens und des Referenzsystems (4) bestimmt werden;

- ein lokaler Konfidenzvergleich durchgeführt wird, bei welchem die jeweiligen Grundkonfidenzen und die jeweiligen lokalen Konfidenzwerten verglichen werden; und

- in Abhängigkeit von dem lokalen Konfidenzvergleich zumindest die jeweiligen Messwerte mit den zugehörigen lokalen Konfidenzwerten als die Trainingsdaten an eine zum Trainieren des Mustererkennungsverfahrens ausgebildete Recheneinrichtung (6) gesendet werden.

Verfahren nach Anspruch 1 , wobei der lokale Konfidenzvergleich für einen örtlich beschränkten Bereich für zeitgleich aufgenommene jeweilige Messwerte durchgeführt wird.

Verfahren nach Anspruch 1 oder 2, wobei erste Trainingsdaten, bei welchen die lokalen Konfidenzwerte des Mustererkennungsverfahrens eine hohe Diskrepanz zu den lokalen Konfidenzwerten des Referenzsystems (4) aufweisen, mit einer hohen Priorität versehen werden, und zweite Trainingsdaten, bei welchen die lokalen Konfidenzwerte des Mustererkennungsverfahrens eine gegenüber der hohen Diskrepanz geringere Diskrepanz zu den lokalen Konfidenzwerten des Referenzsystems (4) aufweisen, mit einer gegenüber der hohen Priorität niedrigeren Priorität versehen werden.

4. Verfahren nach einem der vorhergehenden Ansprüche, wobei mittels der Recheneinrichtung (6) das Mustererkennungsverfahren mit den pri- orisierten Trainingsdaten trainiert und somit über maschinelles Lernen verändert, und anschließend an das Kraftfahrzeug (1 ) gesendet wird.

Verfahren nach einem der vorhergehenden Ansprüche, wobei die Recheneinrichtung (6), welche bezüglich des Kraftfahrzeugs (1 ) als externe Komponente ausgebildet ist, Trainingsdaten von mehreren Kraftfahrzeugen empfängt, diese priorisiert, das Mustererkennungsverfahren anhand der Trainingsdaten der mehreren Kraftfahrzeuge trainiert, das Mustererkennungsverfahren über maschinelles Lernen verändert und an die jeweiligen Kraftfahrzeuge sendet.

Kraftfahrzeug (1 ), welches zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 5 ausgebildet ist.

Verfahren zum Betreiben einer Recheneinrichtung (6) zum Trainieren wenigstens eines auf maschinellem Lernen basierenden Mustererkennungsverfahrens für wenigstens ein Kraftfahrzeug (1 ), bei welchem - die Recheneinrichtung (6) jeweilige, von dem Mustererkennungsverfahren und von wenigstens einem von dem Mustererkennungsverfahren unterschiedlichen Referenzsystem (4) des Kraftfahrzeugs (1 ) während eines Betriebs des Kraftfahrzeugs (1 ) bereitgestellte Messwerte empfängt; und

- die Recheneinrichtung (6) jeweilige lokale Konfidenzwerte der Messwerte empfängt.

System für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug (1 ), mit

- einem Referenzsystem (4) des Kraftfahrzeugs (1 ), wobei für das Referenzsystem (4) eine erste durchschnittliche Erkennungsrate als erste Grundkonfidenz bestimmt ist und wobei mittels des Referenzsystems (4) während eines Betriebs des Kraftfahrzeugs (1 ) wenigstens ein erster Messwert sowie in Abhängigkeit von zeitlichen und örtlichen Eigenschaften eine Genauigkeit als erster lokaler Konfidenzwert des ersten Messwerts ermittelt werden,

- einer von dem Referenzsystem (4) unterschiedlichen und zur Durchführung des Mustererkennungsverfahrens ausgebildeten Erfassungseinrichtung (3) des Kraftfahrzeugs (1 ), wobei für das Mustererkennungsverfahren eine zweite durchschnittliche Erkennungsrate als zweite Grundkonfidenz bestimmt ist und wobei mittels des Musterer- kennungsverfahrens während eines Betriebs des Kraftfahrzeugs (1 ) wenigstens ein zweiter Messwert bereitgestellt wird und in Abhängigkeit von zeitlichen und örtlichen Eigenschaften eine Genauigkeit als zweiter lokaler Konfidenzwert des zweiten Messwerts ermittelt wird, - und mit einer Recheneinheit (2) des Kraftfahrzeugs (1 ), welche dazu eingerichtet ist, einen lokalen Konfidenzvergleich durchzuführen, bei welchem die jeweiligen Grundkonfidenzen und die jeweiligen lokalen Konfidenzwerte verglichen werden, und in Abhängigkeit von dem lokalen Konfidenzvergleich zumindest die jeweiligen Messwerte mit den zugehörigen lokalen Konfidenzwerten als Trainingsdaten an eine zum Trainieren des Mustererkennungsverfahrens ausgebildeten Recheneinrichtung (6) zu senden.

System nach Anspruch 8, wobei die Recheneinrichtung (6) übergeordnet ist und dazu eingerichtet ist, Trainingsdaten von mehreren Kraftfahrzeugen zu empfangen, diese zu priorisieren, das Mustererkennungsverfahren anhand der Trainingsdaten der mehreren Kraftfahrzeuge zu trainieren, das Mustererkennungsverfahren über maschinelles Lernen zu verändern und dieses an die jeweiligen Kraftfahrzeuge zu senden.

System nach einem der Ansprüche 8 oder 9, wobei die Erfassungseinrichtung (3) eine Kamera umfasst, mittels welcher Fahrzeugkamera- Bilder aufzeichenbar und in der Erfassungseinrichtung (3) auswertbar sind.

System nach einem der Ansprüche 8 bis 10, wobei das Referenzsystem (4) eine Lasereinrichtung und/oder eine Radareinrichtung umfasst, mittels welcher ein Abstand von dem Kraftfahrzeug (1 ) zu einem Verkehrsteilnehmer (5) ermittelbar ist.

Description:
Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug, Kraftfahrzeug, Verfahren zum Betreiben einer Recheneinrichtung sowie System

BESCHREIBUNG:

Die Erfindung betrifft ein Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Musterkennungsverfahren für ein Kraftfahrzeug, ein Kraftfahrzeug, ein Verfahren zum Betreiben einer Re- cheneinrichtung sowie ein System gemäß den unabhängigen Patentansprüchen.

Aus der DE 10 2013 021 840 A1 ist ein Detektionsalgorithmus zur Berechnung eines Konfidenzwertes für ein in einem Umfeld eines Kraftfahrzeugs detektiertes Objekt beschrieben. Hierfür werden mittels einer Kamera eines Fahrerassistenzsystems ein Umgebungsbereich des Kraftfahrzeugs in einem Bild aufgezeichnet und mittels einer Bildbearbeitungseinrichtung Objekte in dem Bild detektiert. Darüber hinaus ermittelt die Bildverarbeitungseinrichtung zu jedem detektierten Objekt zumindest eine Eigenschaft und erzeugt unter Verwendung eines vorbestimmten Optimierungsalgorithmus ein Umgebungsmodell zu dem Umgebungsbereich des Kraftfahrzeugs. Anschließend werden mittels der Bildverarbeitungseinrichtung die Eigenschaften der Objekte mit dem Umgebungsmodell verglichen und anhand des Vergleichs fehlerhaft ermittelte Eigenschaften detektiert.

Die DE 10 2009 048 699 A1 offenbart ein neuronales Netz zum Anlernen einer Wahrscheinlichkeitsanalyse zur Ermittlung einer Konfidenz für einen freien Pfad für ein Fahrzeug. Hierfür werden mehrere Bilder, welche mittels einer Kameraeinrichtung erzeugt werden, miteinander verglichen und analy- siert. Dabei werden auf den jeweiligen Bildern Bereiche, welche eine freie Fläche angeben auf der eine potentielle Fahrbahn geschätzt werden kann, von anderen Bereichen des jeweiligen Bilds getrennt, die keine potentielle Fahrbahn angeben. Der freie Pfad kann auf Grundlage der freien Fläche ermittelt werden und das Fahrzeug in Abhängigkeit von dem freien Pfad mittels eines Fahrerassistenzsystems betrieben werden.

Die DE 10 2010 020 298 A1 beschreibt ein Verfahren zur Ermittlung von Verkehrsdaten aus einer Sequenz sich teilweise überlappender, georeferen- zierter digitaler Luftbilder. Die digitalen Luftbilder werden nacheinander mittels auf Fahrzeugerkennung trainierter Klassifikatoren mit Konfidenzwerten versehen, wobei die Konfidenzwerte eine Wahrscheinlichkeit angeben, dass an der jeweiligen Stelle ein Fahrzeug erkannt wurde. Zum Trainieren des jeweiligen Klassifikators werden Merkmale von Trainingsdaten, welche wiederum aus einem Datensatz von Beispielautos ausgeschnitten aus digitalen Luftbildern, die die gleiche Auflösung wie die im Flugbetrieb aufgenommenen georeferenzierten digitalen Luftbilder besitzen, extrahiert. Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zum Generieren von Trainingsdaten für eine auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug, ein Kraftfahrzeug, ein Verfahren zum Betreiben einer Recheneinrichtung sowie ein System zu schaffen, mittels welchen Trainingsdaten für einen auf maschinellem Lernen basierenden Verbesserungsprozess des Mustererkennungsverfahrens besonders vorteilhaft generiert werden können, sodass der Verbesserungsprozess besonders effizient durchgeführt werden kann.

Die Aufgabe wird erfindungsgemäß durch ein Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug, ein Kraftfahrzeug, ein Verfahren zum Betreiben einer Recheneinrichtung sowie ein System mit den Merkmalen der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen Weiterbildungen der Erfindung sind in den jeweils abhängi- gen Ansprüchen sowie in der Beschreibung angegeben.

Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug. Bei dem Verfahren stellen das Muster- erkennungsverfahren und wenigstens ein von dem Mustererkennungsverfahren unterschiedliches Referenzsystem während eines Betriebs des Kraftfahrzeugs jeweils wenigstens einen Messwert bereit. Des Weiteren werden in Abhängigkeit von zeitlichen und örtlichen Eigenschaften jeweilige Genauigkeiten als jeweilige lokale Konfidenzwerte der Messwerte ermittelt. Überdies werden für das Mustererkennungsverfahren und für das Referenzsystem jeweilige durchschnittliche Erkennungsraten als Grundkonfidenz des Mustererkennungsverfahren und des Referenzsystems bestimmt. Überdies wird ein lokaler Konfidenzvergleich durchgeführt, bei welchem die jeweiligen Grund- konfidenzen und die jeweiligen lokalen Konfidenzwerte verglichen werden. Anschließend werden in Abhängigkeit von dem lokalen Konfidenzvergleich zumindest die jeweiligen Messwerte mit den zugehörigen lokalen Konfidenzwerten als die Trainingsdaten an eine zum Trainieren des Mustererkennungsverfahrens ausgebildete Recheneinrichtung gesendet. Mit anderen Worten werden bei dem Verfahren als erstes das Mustererkennungsverfahren sowie das Referenzsystem für das jeweilige Kraftfahrzeug ausgewählt, die jeweilige durchschnittliche Erkennungsrate als Grundkonfidenz bestimmt und das Mustererkennungsverfahren sowie das Referenzsystem in das Kraftfahrzeug implementiert und integriert. Während des Betriebs des Kraft- fahrzeugs, das bedeutet insbesondere während einer Fahrt des Kraftfahrzeugs, werden mittels des Mustererkennungsverfahrens und mittels des Referenzsystems die jeweiligen Messwerte sowie deren Genauigkeit als die lokalen Konfidenzwerte ermittelt, wobei die jeweilige Genauigkeit eine Abweichungswahrscheinlichkeit des jeweiligen Messwerts von einem zugehöri- gen realen Wert umfasst. Bei dem anschließenden lokalen Konfidenzvergleich werden die jeweiligen Grundkonfidenzen und die jeweiligen lokalen Konfidenzwerte des Mustererkennungsverfahrens und des Referenzsystems miteinander verglichen, um eine jeweilige Validität des Mustererkennungsverfahrens und des Referenzsystems zu ermitteln und zu vergleichen. Die jeweilige Validität umfasst die jeweiligen durchschnittlichen Erkennungsraten und die jeweiligen Genauigkeiten des Mustererkennungsverfahrens beziehungsweise des Referenzsystems.

In Abhängigkeit von dem lokalen Konfidenzvergleich, das bedeutet in Ab- hängigkeit von der jeweiligen Validität des Mustererkennungsverfahrens und des Referenzsystems werden die jeweiligen Messwerte mit den jeweils zugehörigen lokalen Konfidenzwerten als die Trainingsdaten an die Recheneinrichtung gesendet. Insbesondere werden die jeweiligen Messdaten mit den zugehörigen lokalen Konfidenzwerten als Trainingsdaten an die Rechenein- richtung gesendet, wenn der lokale Konfidenzvergleich eine höhere Validität des Referenzsystems gegenüber dem Mustererkennungsverfahren in einer jeweiligen Messsituation aufzeigt. Beispielsweise werden die Messdaten mit den zugehörigen lokalen Konfidenzwerten nicht als Trainingsdaten an die Recheneinrichtung gesendet wenn die Validität des Mustererkennungsver- fahrens die Validität des Referenzsystems übertrifft. Hieraus ergibt sich der Vorteil, dass aus den Messwerten lediglich dann Trainingsdaten generiert werden, wenn der lokale Konfidenzvergleich eine Überlegenheit des Referenzsystems über das Mustererkennungsverfahren bezüglich der Validität offenlegt. Somit können vorteilhafterweise spezifisch für solche Situationen Trainingsdaten generiert werden, in welchen das Mustererkennungsverfahren dem Referenzsystem bezüglich der Validität unterlegen ist. In einem auf maschinellem Lernen basierenden Verbesserungsprozess des Mustererkennungsverfahrens können so mittels der im Verfahren generierten Trainings- daten besonders effizient solche Situationen trainiert werden, in welchen das Mustererkennungsverfahren dem Referenzsystem bezüglich der Validität unterliegt. Dies ermöglicht eine besonders effektive Trainierung des Mustererkennungsverfahrens im Verbesserungsprozess, da lediglich Trainingsdaten, welche sich im Zuge des lokalen Konfidenzvergleich als relevant her- ausgestellt haben zum Training verwendet werden.

In vorteilhafter Ausgestaltung der Erfindung ist vorgesehen, dass der lokale Konfidenzvergleich für einen örtlich beschränkten Bereich für zeitgleich aufgenommene jeweilige Messwerte durchgeführt wird. Das bedeutet, dass der lokale Konfidenzvergleich für jeweilige Messwerte des Mustererkennungsverfahrens und des Referenzsystems durchgeführt wird, welche in dem örtlich beschränkten Bereich zeitglich, das bedeutet insbesondere in derselben Verkehrssituation, aufgenommen worden sind. Vorteilhafterweise kann somit der lokale Konfidenzvergleich für den örtlich beschränkten Bereich für in derselben Verkehrssituation aufgenommene Messwerte zwischen dem Mustererkennungsverfahren und dem Referenzsystem durchgeführt werden.

In weiterer vorteilhafter Ausgestaltung der Erfindung ist vorgesehen, dass erste Trainingsdaten, bei welchen die lokalen Konfidenzwerte des Musterer- kennungsverfahrens eine hohe Diskrepanz zu den lokalen Konfidenzwerten des Referenzsystems aufweisen, mit einer hohen Priorität versehen werden und zweite Trainingsdaten, bei welchen die lokalen Konfidenzwerte des Mustererkennungsverfahrens eine gegenüber der hohen Diskrepanz geringere Diskrepanz zu den lokalen Konfidenzwerten des Referenzsystems aufweisen, mit einer gegenüber der hohen Priorität niedrigeren Priorität versehen werden. Mit anderen Worten werden die Trainingsdaten in Abhängigkeit von der bei dem lokalen Konfidenzvergleich ermittelten Diskrepanz zwischen den die jeweilige Grundkonfidenz und den jeweiligen lokalen Konfidenzwert umfassenden Validitäten der jeweiligen Messwerte des Musterer- kennungsverfahrens und des Referenzsystems mit unterschiedlichen Prioritäten versehen. Die jeweiligen Prioritäten haben Einfluss auf eine Zuführung der Trainingsdaten zum auf maschinellem Lernen basierenden Verbesse- rungsprozess des Mustererkennungsverfahrens. Trainingsdaten mit der hohen Priorität werden dem Verbesserungsprozess früher zugeführt als Trainingsdaten mit der gegenüber der hohen Priorität niedrigeren Priorität. Vorteilhafterweise kann somit erreicht werden, dass die ersten Trainingsdaten, bei welchen die Validität des Mustererkennungsverfahrens die hohe Diskrepanz zu der Validität des Referenzsystems aufweisen, dem Verbesse- rungsprozess früher zugeführt werden als die zweiten Trainingsdaten, welche mit der niedrigeren Priorität versehen sind, sodass das Mustererkennungsverfahren im Zuge des Verbesserungsprozesses besonders effektiv trainiert werden kann. In diesem Zusammenhang hat es sich als vorteilhaft gezeigt, wenn mittels der Recheneinrichtung das Mustererkennungsverfahren mit dem priorisierten Trainingsdaten trainiert und somit über maschinelles Lernen verändert und anschließend an das Kraftfahrzeug gesendet wird. Mit anderen Worten werden mittels des Mustererkennungsverfahrens und des Referenzsystems die Trainingsdaten generiert und anschließend das Mustererkennungsverfahren mit den priorisierten Trainingsdaten im Verbesserungsprozess trainiert. Das Training des Mustererkennungsverfahrens erfolgt mittels maschinellem Lernens, beispielsweise unter Verwendung von neuronalen Netzen. Nach dem Trainieren wird das Mustererkennungsverfahren in seiner verbesserten Ver- sion an das Kraftfahrzeug gesendet, wobei es in seiner verbesserten Version zusammen mit dem Referenzsystem zur Generierung von neuen Trainingsdaten herangezogen werden kann. Vorteilhafterweise kann somit das Mustererkennungsverfahren laufend verbessert werden. In einer weiteren vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass die Recheneinrichtung, welche bezüglich des Kraftfahrzeugs als externe Komponente ausgebildet ist, Trainingsdaten von mehreren Kraftfahrzeugen empfängt, diese priorisiert, das Mustererkennungsverfahren anhand der Trainingsdaten der mehreren Kraftfahrzeuge trainiert, das Mustererken- nungsverfahren über maschinelles Lernen verändert und an die jeweiligen Kraftfahrzeuge sendet. Insbesondere ist die Recheneinrichtung dem Kraftfahrzeug, insbesondere den mehreren Kraftfahrzeugen übergeordnet und beabstandet von den Kraftfahrzeugen angeordnet. Hierdurch können vorteilhafterweise aus einer Vielzahl von Messwerten die Trainingsdaten zum Trai- nieren des Mustererkennungsverfahrens generiert werden, wodurch besonders viele unterschiedliche Verkehrssituationen mittels der Messwerte erfassbar und in den Trainingsdaten abbildbar sind. Hierdurch kann das Mustererkennungsverfahren vorteilhafterweise mittels besonders umfangreicher Trainingsdaten trainiert werden. Darüber hinaus wird von der Recheneinrichtung das durch das Trainieren verbesserte Mustererkennungsverfahren an die jeweiligen Kraftfahrzeuge gesendet, sodass mittels des verbesserten Mustererkennungsverfahrens neue Trainingsdaten zur weiteren Verbesserung des Mustererkennungsverfahrens generiert werden können.

Ein zweiter Aspekt der Erfindung betrifft ein Kraftfahrzeug, welches zum Durchführen des beschriebenen Verfahrens ausgebildet ist. Vorteilhafterweise kann somit das Mustererkennungsverfahren mit den mittels des Verfahrens generierten Trainingsdaten trainiert werden.

Zu der Erfindung gehört auch eine Steuervorrichtung für das Kraftfahrzeug. Die Steuervorrichtung weist eine Prozessoreinrichtung auf, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikropro- zessor und/oder zumindest einen MikroController aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.

Ein dritter Aspekt der Erfindung betrifft ein Verfahren zum Betreiben einer Recheneinrichtung zum Trainieren wenigstens eines auf maschinellem Lernen basierenden Mustererkennungsverfahrens für wenigstens ein Kraftfahrzeug. Bei diesem Verfahren empfängt die Recheneinrichtung jeweilige, von dem Mustererkennungsverfahren und von wenigstens einem von dem Mustererkennungsverfahren unterschiedlichen Referenzsystem des Kraftfahrzeugs während eines Betriebs des Kraftfahrzeugs bereitgestellte Messwerte. Darüber hinaus empfängt die Recheneinrichtung jeweilige lokale Konfidenzwerte der Messwerte. Insbesondere empfängt die Recheneinrichtung die Messwerte und die zugehörigen Konfidenzwerte als Trainingsdaten für einen Verbesserungsprozess des Mustererkennungsverfahrens mittels des maschinellen Lernens. Hierfür überträgt die Recheneinrichtung die Trainingsdaten beispielsweise an ein neuronales Netzwerk mittels welchem das Mustererkennungsverfahren mit den Trainingsdaten trainiert wird. Insbesondere umfasst die Recheneinrichtung das neuronale Netzwerk, sodass das Mustererkennungsverfahren von der Recheneinrichtung in dem auf maschinellem Lernen basierenden Verbesserungsprozess trainiert wird. Vorteilhafterweise kann das Mustererkennungsverfahren hierdurch besonders effizient und schnell verbessert werden.

Ein vierter Aspekt der Erfindung betrifft ein System für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug. Das System umfasst ein Referenzsystem des Kraftfahrzeugs, wobei für das Refe- renzsystem eine erste durchschnittliche Erkennungsrate als erste Grundkon- fidenz bestimmt ist und wobei mittels des Referenzsystems während eines Betriebs des Kraftfahrzeug wenigstens ein erster Messwert sowie in Abhängigkeit von zeitlichen und örtlichen Eigenschaften eine erste Genauigkeit als erster lokaler Konfidenzwert des ersten Messwerts ermittelt werden. Des Weiteren umfasst das System eine von dem Referenzsystem unterschiedliche und zur Durchführung des Mustererkennungsverfahrens ausgebildete Erfassungseinrichtung des Kraftfahrzeugs. Für das Mustererkennungsverfahren ist eine zweite durchschnittliche Erkennungsrate als zweite Grundkon- fidenz bestimmt. Darüber hinaus wird mittels des Mustererkennungsverfah- rens während eines Betriebs des Kraftfahrzeugs wenigstens ein zweiter Messwert bereitgestellt und in Abhängigkeit von zeitlichen und örtlichen Eigenschaften eine zweite Genauigkeit als zweiter lokaler Konfidenzwert des zweiten Messwerts ermittelt. Überdies weist das System eine Recheneinheit des Kraftfahrzeugs auf, welche dazu eingerichtet ist, einen lokalen Kon- fidenzvergleich durchzuführen, bei welchem die jeweiligen Grundkonfidenzen und die jeweiligen lokalen Konfidenzwerte verglichen werden, und in Abhängigkeit von dem lokalen Konfidenzvergleich zumindest die jeweiligen Messwerte mit den zugehörigen lokalen Konfidenzwerten als Trainingsdaten an eine zum Trainieren des Mustererkennungsverfahrens ausgebildete Re- cheneinheit zu senden. Mit anderen Worten umfasst das System das Referenzsystem, für welches die erste Grundkonfidenz bestimmt ist und mittels welchem während des Betriebs des Kraftfahrzeugs der wenigstens eine erste Messwert, insbesondere mehrere Messwerte mit zugehörigen ersten lokalen Konfidenzwerten ermittelt werden. Als zweite Grundkonfidenz wird die durchschnittliche Erkennungsrate des Mustererkennungsverfahrens auf Basis von von der Erfassungseinrichtung bereitgestellten Eingangsdaten ermittelt. Mittels der Erfassungseinrichtung werden die Eingangsdaten er- fasst, anhand welcher das Mustererkennungsverfahren darüber hinaus den wenigstens einen zweiten Messwert ermittelt sowie jeweilige zugehörige, in Abhängigkeit von zeitlichen und örtlichen Eigenschaften ermittelte zweite lokale Konfidenzwerte ermittelt. Mittels der Recheneinheit des Kraftfahrzeugs ist der lokale Konfidenzvergleich zwischen der ersten Grundkonfidenz, der zweiten Grundkonfidenz, dem wenigstens einen ersten lokalen Konfidenz- wert und dem wenigstens einen zweiten lokalen Konfidenzwert durchgeführt. In Abhängigkeit von einem Ergebnis des lokalen Konfidenzvergleichs generiert die Recheneinheit die Trainingsdaten aus jeweiligen Messwerten und den zugehörigen lokalen Konfidenzwerten. Vorteilhafterweise können mittels des Systems bei dem Betrieb des Kraftfahrzeugs Trainingsdaten zum Trai- nieren des Mustererkennungsverfahrens generiert und für eine Recheneinrichtung zur Durchführung eines auf maschinellem Lernen basierenden Verbesserungsprozesses des Mustererkennungsverfahrens bereitgestellt werden. In vorteilhafter Ausgestaltung der Erfindung ist vorgesehen, dass die Recheneinrichtung übergeordnet ist und dazu eingerichtet ist, Trainingsdaten von mehreren Kraftfahrzeugen zu empfangen, diese zu priorisieren, das Mustererkennungsverfahren anhand der Trainingsdaten der mehreren Kraftfahrzeuge zu trainieren, das Mustererkennungsverfahren über maschinelles Lernen zu verändern und dieses an die jeweiligen Kraftfahrzeuge zu senden. Insbesondere ist die übergeordnete Recheneinrichtung extern der Kraftfahrzeuge und beabstandet der Kraftfahrzeuge angeordnet. Vorteilhafterweise kann das System somit aus einer Vielzahl von mit mehreren Kraftfahrzeugen erfassten Messdaten und zugehörigen lokalen Konfidenzwerten die Trai- ningsdaten zum Trainieren des Mustererkennungsverfahrens generieren. Dies ermöglicht einen besonders effizienten Verbesserungsprozess des Mustererkennungsverfahrens mittels der Recheneinrichtung.

Es hat sich im Rahmen der Erfindung als vorteilhaft gezeigt, wenn die Erfas- sungseinrichtung eine Kamera umfasst, mittels welcher Fahrzeugkamera- Bilder aufzeichenbar und in der Erfassungseinrichtung auswertbar sind. Insbesondere ermittelt das Mustererkennungsverfahren anhand wenigstens eines mittels der Kamera aufgezeichneten Fahrzeugkamera-Bilds den zweiten Messwert sowie den zugehörigen zweiten lokalen Konfidenzwert des zweiten Messwerts. Beispielsweise handelt es sich bei dem zweiten Messwert um einen Abstand des Kraftfahrzeugs, in welchem die Erfassungseinrichtung angeordnet ist, zu einem von dem Kraftfahrzeug beabstandeten Verkehrsteilnehmer. Insbesondere wird mittels des Mustererkennungsverfahrens der Verkehrsteilnehmer klassifiziert und in Abhängigkeit von dessen Klassifizierung und dessen Größe auf dem Fahrzeugkamera-Bild der Abstand zwischen dem Kraftfahrzeug und dem Verkehrsteilnehmer ermittelt. Hieraus ergibt sich der Vorteil, dass der zweite Messwert beispielsweise unter Zuhilfenahme eines Bildverarbeitungsverfahrens besonders einfach mittels des Mustererkennungsverfahrens ermittelbar ist.

Es hat sich als weiterhin vorteilhaft gezeigt, wenn das Referenzsystem eine Lasereinrichtung und/oder eine Radareinrichtung erfasst, mittels welcher ein Abstand von dem Kraftfahrzeug zu einem Verkehrsteilnehmer ermittelbar ist. Insbesondere wird mittels des Referenzsystems mithilfe einer Lasereinrichtung und/oder mithilfe einer Radareinrichtung der Abstand von dem Kraftfahrzeug zu dem Verkehrsteilnehmer ermittelt. Bei der Lasereinrichtung und der Radareinrichtung handelt es sich vorteilhafterweise um besonders genaue Messsysteme, sodass der wenigstens eine erste Messwert mittels des die Lasereinrichtung und/oder die Radareinrichtung aufweisenden Referenzsystems mit besonders hoher Genauigkeit erfasst werden kann.

Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs, des Verfahrens zum Betreiben einer Recheneinrichtung sowie des Systems die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs, des Verfahrens zum Betreiben einer Recheneinrichtung sowie des Systems hier nicht noch einmal be- schrieben.

Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt: Fig. 1 ein Verfahrensschema zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug; und

Fig. 2 eine schematische Seitenansicht eines Kraftfahrzeugs mit ei- nem Referenzsystem, einer Erfassungseinrichtung und einer

Recheneinheit sowie eine übergeordnete Recheneinrichtung.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispie- len stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.

In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Be- zugszeichen versehen.

Fig. 1 zeigt ein Verfahrensschema für ein Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug 1 . Die Trainingsdaten werden während eines Betriebs des Kraftfahrzeugs 1 generiert und an eine Recheneinrichtung 6 übertragen. In dieser Recheneinrichtung 6 wird das Mustererkennungsverfahren mittels maschinellem Lernen in einem Verbesserungsprozess trainiert. Zur Generierung der Trainingsdaten wird in einem ersten ersten Verfahrensschritt S1 1 das Mustererkennungsverfahren in dem Kraftfahrzeug 1 implementiert. In einem ersten zweiten Verfahrensschritt S21 wird eine durchschnittliche Erkennungsrate des Mustererkennungsverfahrens als zweite Grundkonfidenz des Mustererkennungsverfahrens ermittelt. Anschließend wird bei dem Betrieb des Kraftfahrzeugs 1 in einem ersten dritten Verfahrensschritt S31 mittels des Mustererkennungsverfahrens ein zweiter Messwert sowie ein zugehöriger zweiter lokaler Konfidenzwert bestimmt. Sowohl die zweite Grundkonfidenz als auch der zweite lokale Konfidenzwert werden einem lokalen Konfidenzvergleich, welcher in einem vierten Verfahrensschritt S4 durchgeführt wird, zugeführt.

In einem zweiten ersten Verfahrensschritt S12 wird ein Referenzsystem 4 in das Kraftfahrzeug 1 implementiert. Anschließend wird eine erste Grundkonfidenz des Referenzsystems 4 in einem zweiten zweiten Verfahrensschritt S22 bestimmt und in einem zweiten dritten Verfahrensschritt S32 mittels des Referenzsystems 4 ein erster Messwert sowie ein zugehöriger erster lokaler Konfidenzwert für den ersten Messwert ermittelt. Sowohl die erste Grundkonfidenz als auch der erste lokale Konfidenzwert werden dem lokalen Konfidenzvergleich des vierten Verfahrensschritts S4 zugeführt. Die jeweiligen ersten Verfahrensschritte S1 1 , S21 und S31 können jeweils zeitgleich oder zeitversetzt zu den zweiten Verfahrensschritten S12, S22 und S32 durchgeführt werden. Im vierten Verfahrensschritt S4 werden die erste Grundkonfidenz, die zweite Grundkonfidenz, der erste lokale Konfidenzwert und der zweite lokale Konfidenzwert im Zuge des lokalen Konfidenzvergleichs verglichen. In einem fünften Verfahrensschritt S5 werden Trainingsdaten in Abhängigkeit von dem lokalen Konfidenzvergleich generiert, indem jeweilige Messwerte und jeweili- ge zugehörige lokale Konfidenzwerte herausgefiltert werden, bei welchen der lokale Konfidenzvergleich eine höhere Validität des Referenzsystems 4 gegenüber dem Mustererkennungsverfahren offengelegt hat. Das bedeutet, dass die Trainingsdaten aus den Messwerten und den zugehörigen lokalen Konfidenzwerten generiert werden, bei welchen die jeweilige Genauigkeit und/oder die jeweilige durchschnittliche Erkennungsrate des Referenzsystems 4 über der des Mustererkennungsverfahrens liegt.

Die jeweiligen die Trainingsdaten bildenden Messwerte sowie die jeweiligen lokalen Konfidenzwerte werden in einem sechsten Verfahrensschritt S6 in Abhängigkeit von einer Diskrepanz zwischen den jeweiligen lokalen Konfidenzwerten und den jeweiligen Grundkonfidenzen des Mustererkennungsverfahrens und des Referenzsystems 4 priorisiert. Mittels dieser priorisierten Trainingsdaten wird in einem siebten Verfahrensschritt S7 das Mustererkennungsverfahren unter Zuhilfenahme von maschinellem Lernen trainiert. Das bedeutet, dass im siebten Verfahrensschritt S7 der Verbesserungsprozess des Mustererkennungsverfahrens mittels der priorisierten Trainingsdaten durchgeführt wird. In einem achten Verfahrensschritt S8 wird auf Basis des Verbesserungsprozesses im siebten Verfahrensschritt S7 ein neues, verbessertes Mustererkennungsverfahren erstellt. Dieses neue, verbesserte Mus- tererkennungsverfahren wird wiederum in das Kraftfahrzeug 1 implementiert, um mittels dieses neuen, verbesserten Mustererkennungsverfahrens neue Trainingsdaten für eine weitere Verbesserung des Mustererkennungsverfahrens zu generieren. In Fig. 2 ist in einer schematischen Seitenansicht ein System aus einem Kraftfahrzeug 1 , einer Recheneinheit 2, einer Erfassungseinrichtung 3 und einem Referenzsystem 4 sowie die Recheneinrichtung 6 gezeigt. Vorliegend sind sowohl die Recheneinheit 2 als auch die Erfassungseinrichtung 3 und das Referenzsystem 4 in beziehungsweise an dem Kraftfahrzeug 1 angeordnet.

Für die technische Umsetzung des Verfahrens umfasst das Kraftfahrzeug 1 ein Mustererkennungsverfahrenssystem, welches die Erfassungseinrichtung 3 sowie die Recheneinheit 2 umfasst. Dabei umfasst die Erfassungseinrichtung 3 Erfassungssensorik wie beispielsweise eine Kamera und/oder ein Lidar. Die Recheneinheit 2 kann ein Mustererkennungssteuergerät zur Ausführung des Mustererkennungsverfahrens umfassen, insbesondere einen Neuromorphic Chip, eine feldprogrammierbare Gatteranordnung (FPGA) und/oder einen Grafikprozessor (GPU). Als das Referenzsystem 4 umfasst das Kraftfahrzeug 1 Referenzsensorik und ein Referenzsteuergerät, auf welchem das Referenzverfahren für das Mustererkennungsverfahren läuft. Die Recheneinheit 2 weist ein Modul zum Vergleichen der Grundkonfidenzen und der lokalen Konfidenzwerte auf. Hierbei handelt es sich vorliegend um ein Vergleichssteuergerät, auf welchem die Grundkonfidenzen und die jeweiligen lokalen Konfidenzwerte des Mustererkennungsverfahrenssystems und des Referenzsystems 4 verglichen werden können und auf welchem eine Entscheidung getroffen werden kann, ob die aktuellen Messwerte als Trai- ningsdaten für das Mustererkennungsverfahren an ein Backend, das bedeutet die Recheneinrichtung 6, übertragen werden sollen. Zur Übertragung der selektierten Trainingsdaten weist das Fahrzeug ein in den Abbildungen nicht gezeigtes Mobilfunkmodul auf. Mittels des Mobilfunkmoduls sind die Trainingsdaten an die Recheneinrichtung 6 aussendbar. Die Recheneinrichtung 6 umfasst eine Mobilfunkanbindung zur Entgegennahme der Trainingsdaten, das bedeutet der Messwerte sowie der zugehörigen lokalen Konfidenzwerte, für die der lokale Konfidenzvergleich ergeben hat, dass das Mustererkennungsverfahren verbessert werden sollte. Im Backend wird das Mustererkennungsverfahren neu trainiert, geprüft und anschließend an das Kraftfahr- zeug 1 beziehungsweise mehrere Kraftfahrzeuge 1 gesendet.

Sowohl mittels der Erfassungseinrichtung 3 als auch mittels des Referenzsystems 4 ist ein Verkehrsteilnehmer 5 erfassbar. Die Erfassung des Verkehrsteilnehmers 5 wird in der Recheneinheit 2 des Kraftfahrzeugs 1 ausge- wertet. Darüber hinaus sind in der Recheneinheit 2 die jeweiligen Grundkonfidenzen des Mustererkennungsverfahrens und des Referenzsystems 4 sowie das Mustererkennungsverfahren hinterlegt. Mittels des Mustererkennungsverfahrens kann anhand der Erfassung des Verkehrsteilnehmers 5 durch die Erfassungseinrichtung 3 der zweite Messwert sowie der dazugehö- rige zweite lokale Konfidenzwert ermittelt werden. Das Referenzsystem 4 erfasst den Verkehrsteilnehmer 5, ermittelt den ersten Messwert sowie den dazugehörigen ersten lokalen Konfidenzwert und überträgt diese an die Recheneinheit 2. In der Recheneinheit 2 wird der lokale Konfidenzvergleich durchgeführt und anhand des lokalen Konfidenzvergleiches die Trainingsdaten generiert. Diese Trainingsdaten werden von der Recheneinheit 2 an die übergeordnete Recheneinrichtung 6 übermittelt. Die übergeordnete Recheneinrichtung 6 priorisiert die Trainingsdaten und führt den Verbesserungsprozess des Mustererkennungsverfahrens durch. Anschließend überträgt die Recheneinrichtung 6 das neue, verbesserte Mustererkennungsverfahren an die Recheneinheit 2 des Kraftfahrzeugs 1 .

Folglich wird der erste dritte Verfahrensschritt S31 mittels der Erfassungseinrichtung 3 und der Recheneinheit 2 durchgeführt. Der zweite dritte Verfah- rensschritt S32 wird von dem Referenzsystem 4 durchgeführt. Der lokale Konfidenzvergleich des vierten Verfahrensschritts S4 findet in der Recheneinheit 2 des Kraftfahrzeugs 1 statt. Auch der fünfte Verfahrensschritt S5, bei welchem die Trainingsdaten generiert werden, findet in der Recheneinheit 2 des Kraftfahrzeugs 1 statt. Die Priorisierung der Trainingsdaten des sechsten Verfahrensschritts S6 erfolgt in der Recheneinrichtung 6, in welcher auch der Verbesserungsprozess und die Erstellung des neuen, verbesserten Mustererkennungsverfahrens des siebten Verfahrensschritts S7 und des achten Verfahrensschritts S8 ablaufen. Dem beschriebenen Verfahren liegt die Erkenntnis zugrunde, dass Softwarefunktionen, welche Mustererkennungsaufgaben in dem Kraftfahrzeug 1 erfüllen, derzeitig im Rahmen eines Entwicklungsprozesses entwickelt und auf jeweilige Kraftfahrzeuge 1 , insbesondere Kundenfahrzeuge übertragen werden. Üblicherweise werden die Softwarefunktionen von Menschen von Hand entwickelt und evaluiert. Durch maschinelles Lernen ist es möglich, das Mustererkennungsverfahren in dem Verbesserungsprozess zu trainieren, das bedeutet automatisiert zu entwickeln. Aktuell werden derartige Verbesserungsprozesse in einem Entwicklungsstadium der Softwarefunktion trainiert und das Mustererkennungsverfahren verändert sich im Kraftfahrzeug 1 nicht mehr beziehungsweise kann nur mit erheblichem Aufwand verändert werden. Beispiele für Verfahren von Mustererkennungen sind ein Erkennen von wenigstens einem Verkehrsteilnehmer 5, insbesondere weiteren Fahrzeugen, in Fahrzeugkamera-Bildern, eine Bestimmung einer Entfernung zu dem Verkehrsteilnehmer 5 und/oder einer räumlichen Tiefe auf Basis der Fahr- zeugkamera-Bilder, eine Prädiktion einer Intention des Verkehrsteilnehmers 5 in einem Umfeld des Kraftfahrzeugs 1 sowie eine Prädiktion eines Verhaltens eines Fahrers des Kraftfahrzeugs 1 . Nachteilig an einer ausschließlichen Trainierung des Mustererkennungsverfahrens im Entwicklungsstadium ist, dass das Mustererkennungsverfahren nicht automatisch auf neuartige Situationen, welche nach Abschluss des Entwicklungsprozesses auftreten, reagieren kann. Es ist zwar prinzipiell möglich, Messdaten für ein weiteres Trainieren zu erheben, das Mustererkennungsverfahren neu zu trainieren und durch Softwareupdates an Kundenfahrzeuge zu verteilen, es fällt bei einer Aufzeichnung neuer Messdaten mittels Messfahrzeugen allerdings ein erheblicher Aufwand an.

Für den Verbesserungsprozess des auf maschinellem Lernen basierenden Mustererkennungsverfahrens ist es in der Regel nötig, Eingangsdaten, wie beispielsweise die Fahrzeugkamera-Bilder sowie mittels des Referenzsystems 4 als erste Messdaten erzeugte Referenzdaten, wie beispielsweise eine Entfernung zu dem Verkehrsteilnehmer 5, zu annotieren, insbesondere miteinander zu vergleichen. Mithilfe des im Kraftfahrzeug 1 installierten Referenzsystems 4, welches vorliegend eine Radareinrichtung für eine Ge- schwindigkeitsmessung sowie einen Laserscanner für eine Entfernungsmessung umfasst, ist es möglich im Kraftfahrzeug 1 anfallende und mittels des Mustererkennungsverfahrens ermittelte zweite Messwerte automatisch mit den ersten Messwerten des Referenzsystems 4 zu annotieren, insbesondere zu vergleichen, und so einen Datensatz, insbesondere die Trainingsdaten für ein kontinuierliches Trainieren des Mustererkennungsverfahrens zu erzeugen. Hierdurch können vorteilhafterweise Trainingsziele, insbesondere Label, generiert werden.

Das auf maschinellem Lernen basierende Mustererkennungsverfahren und ein auf dem Referenzsystem 4 basierendes Referenzverfahren werden als zueinander parallele Systeme betrachtet, für die jeweils wenigstens eine Grundkonfidenz und wenigstens ein lokaler Konfidenzwert existieren. Die jeweilige Grundkonfidenz ist durch eine in Versuchen gemessene durchschnittliche Erkennungsrate beziehungsweise Fehlerrate bestimmt. Bei- spielsweise handelt es sich hierbei um einen prozentuellen Anteil an richtig erkannten Fußgängern, das bedeutet einer richtigen Klassifizierung des Verkehrsteilnehmers 5. Die Grundkonfidenz ist abhängig von zugrunde liegenden Einzelelementen, insbesondere Hardware, aufgrund von einer maximalen Auflösung, einem Rauschen und/oder einem Fehler, und abhängig von auf den Einzelelementen umgesetzten Funktionen. Der jeweilige wenigstens eine lokale Konfidenzwert bezieht sich auf eine vom Mustererkennungsverfahren und vom Referenzverfahren ausgegebene Werteverteilung für eine erwartete Genauigkeit der jeweiligen Messwerte pro örtlicher und zeitlicher Einheit. Hierbei handelt es sich insbesondere um eine lokale erwartete Genauigkeit, welche vorliegend über Pixel der Fahrzeugkamera-Bilder und/oder Winkel der Radareinrichtung und/oder Winkel des Laserscanners ermittelt werden. Die jeweilige Grundkonfidenz und die jeweiligen lokalen Konfidenzwerte werden herangezogen, um zu entscheiden wie die jeweiligen Messwerte des Mustererkennungsverfahrens und des Referenzverfahrens weiter zu verwenden sind, beispielsweise kann eine Notbremsung in Abhängigkeit von den Messwerten ausgelöst werden. In dem lokalen Konfidenzvergleich wird für lokale Bereiche bestimmt, wie stark die jeweiligen Messwerte der beiden Verfahren in eine Entscheidung eines Fahrerassistenzsystem einbezogen werden sollen. Für einen bestimmten räumlichen Bereich können beispielsweise jeweilige erste Messwerte einer Mobileye Passantenerkennung herangezogen werden und für andere Bereiche jeweilige zweite Messwerte des Mustererkennungsverfahrens. Wenn der lokale Konfidenzvergleich ergibt, dass das Referenzverfahren dem Mustererkennungsverfahren überlegen ist, werden die aktuell ausgewerteten Messwerte zusammen mit deren lokalen Konfidenzwerten annotiert, das bedeutet insbesondere gespeichert, an die externe Recheneinrichtung 6, auch als das Backend bezeichnet, übertragen und dort zum Training des Mustererkennungsverfahrens im Verbesserungs- prozess genutzt.

Die mit den jeweiligen lokalen Konfidenzwerten annotierten, insbesondere zugeordneten, Messwerte werden im Backend in Abhängigkeit von der Dis- krepanz innerhalb und zwischen den Grundkonfidenzen und den lokalen Konfidenzwerten im Training gewichtet. Messwerte, bei welchen das Mustererkennungsverfahren besonders schlecht im Vergleich zum Referenzverfahren abschneidet, werden im Training priorisiert. Hieraus ergibt sich der Vorteil, dass die Messwerte, bei welchen die besonders hohe Diskrepanz inner- halb und zwischen den Grundkonfidenzen und den lokalen Konfidenzwerten zwischen dem Mustererkennungsverfahren und dem Referenzverfahren auftreten, genutzt werden, um Mustern bei diesen besonders kritischen Messwerten eine höhere Priorität beim Training zu verschaffen. Hierdurch ergibt sich eine deutliche Steigerung einer Qualität des trainierten, verbesserten Mustererkennungsverfahrens.

Mittels des beschriebenen Verfahrens ist es möglich, die Messwerte für ei- nen kontinuierlichen Lernprozess und somit eine kontinuierliche Verbesserung und Adaption der entwickelten Softwarefunktionen, insbesondere des Mustererkennungsverfahrens zu verwenden. Vorteilhafterweise kann somit auf spezielle Messfahrten mit eigens hierfür konzipierten Kraftfahrzeugen verzichtet werden. Durch eine Nutzung von wenigstens einem Kundenfahr- zeug als das Kraftfahrzeug 1 für eine Aufzeichnung von neuen Messdaten ist es möglich, eine besonders hohe Abdeckung zu erzielen. Es können zudem besonders ausgefallene Situationen aufgezeichnet werden, um das Mustererkennungsverfahren für diese als Corner Cases bezeichneten Situationen zu verbessern. Durch den beschriebenen automatischen Entwicklungspro- zess ist zudem eine besonders hohe Reaktionsschnelligkeit möglich, da auf in manuellen Entwicklungsprozessen anfallende Unterbrechungen verzichtet werden kann. Hierdurch können anfallende Probleme in dem wenigstens einen Kundenfahrzeug besonders schnell behoben werden. Weitere Vorteile sind, dass im beschriebenen Verfahren eine Annotation, insbesondere das Generieren, der Trainingsdaten automatisch durch das Referenzverfahren, insbesondere durch den lokalen Konfidenzvergleich des Mustererkennungsverfahrens mit dem Referenzverfahren, erfolgt. Darüber hinaus ist mittels der über die Diskrepanz innerhalb und zwischen den Grundkonfidenzen und den lokalen Konfidenzwerten ermittelten Priorität ein Trainieren des Mustererkennungsverfahrens mit in der Recheneinrichtung 6 neu ankommenden Messwerten entsprechend der jeweiligen Priorität möglich. Dadurch werden besonders kritische Probleme zuerst behoben. Überdies ist es mittels der jeweiligen lokalen Konfidenzwerte möglich, gezielt Schwächen des Mustererkennungsverfahrens bei bestimmten auftretenden Mustern zu reduzieren, indem die Trainingsdaten lokal gewichtet werden. Darüber hinaus werden durch das beschriebene Verfahren die Messwerte selektiv nur dann übertragen, wenn sie einen Mehrwert für das Training darstellen. Hierdurch kann ein Datenvolumen bei einer Übertragung der Trai- ningsdaten von der Recheneinheit 2 an die Recheneinrichtung 6 besonders gering gehalten werden.