Klassifizierung von Kl-Modulen

Die vorliegende Erfindung betrifft ein Verfahren, ein Computerprogramm mit Instruktionen und eine Vorrichtung zum Bereitstellen eines Klassifikators für ein Kl-Modul für eine Verarbeitung von durch eine Sensorik eines Kraftfahrzeugs bereitgestellten Eingangsdaten, sowie einen mit einem solchen Verfahren bereitgestellten Klassifikator. Die Erfindung betrifft weiterhin ein Verfahren, ein Computerprogramm mit Instruktionen und eine Vorrichtung zum Konfigurieren eines Steuerungssystems eines Kraftfahrzeugs mit einer Bibliothek von Kl- Modulen für eine Verarbeitung von durch eine Sensorik des Kraftfahrzeugs bereitgestellten Eingangsdaten, sowie ein Kraftfahrzeug, das ein solches Verfahren oder eine solche Vorrichtung nutzt.

Das (hoch-)automatisierte Fahren ist ohne auf künstlicher Intelligenz (Kl) basierende Verfahren und insbesondere ohne eine Bilddatenverarbeitung, die sich auf tiefe neuronale Netze stützt, zum aktuellen Zeitpunkt nicht realisierbar. Kl-Modelle sind, selbst wenn sie zur Lösung derselben Aufgabe konzipiert wurden, allerdings sehr vielseitig und unterscheiden sich auch in ihrer funktionalen Güte stark. Der Begriff funktionale Güte beschreibt dabei die Güte bzw. Qualität des Kl-Modells in Hinblick auf die vorgesehene Funktion bzw. Aufgabe. Bei derzeitigen Ansätzen werden Kl-Modelle hauptsächlich anhand ihrer Architektur und der im Training genutzten Daten unterschieden. Dabei wird in der Regel versucht, eine nicht ausreichende funktionale Güte durch eine Hinzunahme von Trainingsdaten oder eine Erhöhung der Komplexität der Architektur zu kompensieren.

Einfache Ansätze bei der Nutzung künstlicher Intelligenz in Kraftfahrzeugen beschränken sich auf die Verwendung eines einzelnen Kl-Moduls oder eines Ensembles von Kl-Modulen und dessen Optimierung. Unter einem Kl-Modul ist hier eine Softwarekomponente zu verstehen, durch die ein Kl-Modell umgesetzt wird.

Vor diesem Hintergrund beschreibt DE 102017006599 A1 ein Verfahren zum Betrieb eines zumindest teilautomatisiert fahrenden Kraftfahrzeugs. In dem Verfahren werden zumindest drei künstliche neuronale Netzwerke in disjunkten Trainingsfahrten des Kraftfahrzeugs unabhängig voneinander jeweils mittels eines Ende-zu-Ende-Ansatzes anhand von während der Trainingsfahrten aufgezeichneten Trainings-Aktordaten einer Fahrzeugaktorik und anhand von mit den Trainings-Aktordaten korrelierten Trainings-Sensordaten einer Fahrzeugsensorik trainiert. Im zumindest teilautomatisierten Betrieb des Kraftfahrzeugs werden Ist-Sensordaten als Eingangsdaten der neuronalen Netzwerke erfasst und den Ist- Sensordaten werden anhand eines Vergleichs mit den Trainings-Sensordaten Trainings- Aktordaten als Ausgangsdaten der neuronalen Netzwerke zugeordnet. Die Trainings- Aktordaten aller neuronalen Netzwerke werden einem Fusionsmodul zugeführt, welches die Trainings-Aktordaten aller neuronalen Netzwerke nach einer vorgegebenen Regel fusioniert und anhand eines Ergebnisses der Fusion Ist-Aktordaten ermittelt. Anhand einer Ansteuerung der Fahrzeugaktorik mit den ermittelten Ist- Aktordaten wird eine Quer- und/oder Längssteuerung des Kraftfahrzeugs zumindest teilautomatisiert durchgeführt.

Des Weiteren beschreibt DE 102017 107837 A1 eine anpassbare Sensoranordnung. Die Sensoranordnung umfasst zumindest ein Sensorelement mit einer Steuer- und Auswertungseinheit. Die Sensordaten werden mit einem Klassifikator ausgewertet. Der Klassifikator weist ein neuronales Netz auf. Über eine Schnittstelle ist die Sensoranordnung mit einem übergeordneten Rechnernetzwerk verbindbar. Die Steuer- und Auswertungseinheit ist für eine Erweiterungsfunktion ausgebildet. Dazu überträgt die Sensoranordnung in einer Erweiterungsfunktion ausgewählte Sensordaten, die zusätzlich von dem Klassifikator verarbeitet werden sollen, an das Rechnernetzwerk. Dort wird auf Basis der Sensordaten ein Klassifikator trainiert, und nach Abschluss des Trainings erhält die Sensoranordnung Klassifikatordaten zur Modifikation des Klassifikators zurück, wie Parameter, Programmabschnitte oder sogar den gesamten trainierten Klassifikator. Damit ist die Sensoranordnung auch für die Klassifikation der ausgewählten Sensordaten gerüstet.

Bei einem weiteren Ansatz liegt der Fokus hingegen nicht darauf, eine Funktion zu entwickeln, die in allen Situationen gut und sicher arbeitet. Vielmehr wird eine Menge von guten Funktionen kombiniert, d.h. verschiedene Kl-Module werden auf Fahrzeugseite dynamisch miteinander kombiniert.

Es ist eine Aufgabe der Erfindung, Lösungen bereitzustellen, die eine dynamische Kombination von verfügbaren Kl-Modulen unterstützen.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 oder 12, durch ein Computerprogramm mit Instruktionen gemäß Anspruch 9 oder 15, durch eine Vorrichtung mit den Merkmalen des Anspruchs 10 oder 16 und durch einen Klassifikator gemäß Anspruch 11 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche. Gemäß einem ersten Aspekt der Erfindung umfasst ein Verfahren zum Bereitstellen eines Klassifikators für ein Kl-Modul für eine Verarbeitung von durch eine Sensorik eines Kraftfahrzeugs bereitgestellten Eingangsdaten die Schritte:

- Anwenden des Kl-Moduls auf zwei oder mehr Datenpunkte aus einem Testdatensatz, wobei für die zwei oder mehr Datenpunkte zugehörige Grundwahrheiten und kontextuelle Parameter bekannt sind;

- Ermitteln einer funktionalen Güte für jeden der zwei oder mehr Datenpunkte; und

- Erstellen eines Klassifikators für das Kl-Modul, der für gegebene kontextuelle Parameter eine funktionale Güte ausgibt.

Gemäß einem weiteren Aspekt der Erfindung umfasst ein Computerprogramm Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgenden Schritte zum Bereitstellen eines Klassifikators für ein Kl-Modul für eine Verarbeitung von durch eine Sensorik eines Kraftfahrzeugs bereitgestellten Eingangsdaten veranlassen:

- Anwenden des Kl-Moduls auf zwei oder mehr Datenpunkte aus einem Testdatensatz, wobei für die zwei oder mehr Datenpunkte zugehörige Grundwahrheiten und kontextuelle Parameter bekannt sind;

- Ermitteln einer funktionalen Güte für jeden der zwei oder mehr Datenpunkte; und

- Erstellen eines Klassifikators für das Kl-Modul, der für gegebene kontextuelle Parameter eine funktionale Güte ausgibt.

Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch Workstations, verteilte Systeme und andere prozessorbasierte Datenverarbeitungsvorrichtungen.

Das Computerprogramm kann beispielsweise für einen elektronischen Abruf bereitgestellt werden oder auf einem computerlesbaren Speichermedium gespeichert sein.

Gemäß einem weiteren Aspekt der Erfindung weist eine Vorrichtung zum Bereitstellen eines Klassifikators für ein Kl-Modul für eine Verarbeitung von durch eine Sensorik eines Kraftfahrzeugs bereitgestellten Eingangsdaten auf:

- ein Testmodul zum Veranlassen eines Anwendens des Kl-Moduls auf zwei oder mehr Datenpunkte aus einem Testdatensatz, wobei für die zwei oder mehr Datenpunkte zugehörige Grundwahrheiten und kontextuelle Parameter bekannt sind; und

- ein Auswertemodul zum Ermitteln einer funktionalen Güte für jeden der zwei oder mehr Datenpunkte und zum Erstellen eines Klassifikators für das Kl-Modul, der für gegebene kontextuelle Parameter eine funktionale Güte ausgibt. Bei der Nutzung von Kl-Modulen bzw. den durch diese Kl-Module realisierten Kl-Modellen ist zu beachten, dass eine Abhängigkeit besteht zwischen der funktionalen Güte eines Kl- Modells und den Daten, die es verarbeitet. Diese Abhängigkeit sorgt dafür, dass Kl-Modelle nicht per se gut oder schlecht sind, sondern eine umgebungsabhängige funktionale Güte aufweisen. Durch die erfindungsgemäße Lösung lässt sich in einer Testphase eine aussagekräftige Beschreibung von Kl-Modellen und deren Fähigkeiten erstellen. Dabei kann eine Liste der aussagekräftigsten Eigenschaften als Metrik für die Performanz eines Kl- Moduls ermittelt werden. Die Kl-Modelle können so nicht nur besser verstanden werden, sondern auch vielfältiger eingesetzt werden, etwa als Ensembles von Experten-Modellen.

Im Rahmen der Testphase bewertet ein Klassifizierungssystem basierend auf einer Menge kontextueller Dimensionen, einer Menge Kl-Module und einer Menge an Testdaten die Kl- Module in Hinsicht auf deren zu erwartende funktionale Güte relativ zu einzelnen kontextuellen Parametern. Die kontextuellen Parameter können beispielsweise Eigenschaften im Kontext der Datenpunkte oder Eigenschaften einer Architektur der Kl- Module umfassen. Unter dem Begriff Datenpunkt sind hier die Eingangsdaten für eine gegebene Situation zu verstehen. Für die Testdaten ist die Grundwahrheit (engl ground truth) bekannt, d.h. es liegen die korrekten Ergebnisse für die jeweiligen Eingangsdaten vor. Zudem sind für die Testdaten die kontextuellen Parameter für die Bewertung der Daten hinsichtlich der Kontextdimensionen bekannt. Durch die kontextuelle Zuordnung wird die resultierende Klassifikation nachvollziehbar, testbar und absicherbar. Der resultierende Klassifikator ist dazu eingerichtet, die Kl-Module auf Grundlage von kontextuellen Parametern von Eingangsdaten in Hinblick auf die zu erwartende funktionale Güte zu klassifizieren.

Gemäß einem Aspekt der Erfindung realisiert das Kl-Modul ein Kl-Modell oder eine Familie von Kl-Modellen im Sinne eines Ensembles. In der Regel ist in einem Kl-Modul ein einzelnes Kl-Modell realisiert, z.B. ein neuronales Netz, das im Rahmen der Testphase klassifiziert wird. Die erfindungsgemäße Lösung kann aber auch genutzt werden, um eine auf Empirie gestützte Gewichtungsfunktion für die gemeinsame Inferenz einer Familie von Kl-Modellen im Sinne eines Ensembles zu ermitteln, d.h. eines Kollektivs von Kl-Modellen, die die gleichen Eingangsdaten verarbeiten.

Gemäß einem Aspekt der Erfindung erfolgt zum Ermitteln der funktionalen Güte für einen Datenpunkt ein Vergleich einer Ausgabe des Kl-Moduls für den Datenpunkt mit der zugehörigen Grundwahrheit. Dazu kann beispielsweise eine loU-Metrik (loU: Intersection over Union; Verhältnis zwischen Schnittmenge und Vereinigungsmenge, auch als Jaccard- Koeffizient bezeichnet) verwendet werden. Durch den Vergleich mit der Grundwahrheit kann die funktionale Güte auf einfache Weise bestimmt werden. Dabei hat sich die Verwendung einer loU-Metrik bewährt, insbesondere bei Kl-Modulen für die Objekterkennung.

Gemäß einem Aspekt der Erfindung wird der Klassifikator durch ein neuronales Netz gebildet. Dies hat den Vorteil, dass der Klassifikator in der Testphase trainiert werden kann, ohne dass eine Relevanz der kontextuellen Parameter im Voraus bekannt sein muss. Der Klassifikator kann aber auch durch andere Funktionen realisiert werden.

Vorzugsweise wird ein Klassifikator für ein Kl-Modul mittels eines erfindungsgemäßen Verfahrens bereitgestellt. Durch die Ausführung eines solchen Klassifikators auf gegebene Eingangsdaten kann eine situationsabhängige Bewertung der für die Verarbeitung der Eingangsdaten zur Verfügung stehenden Kl-Module vorgenommen werden.

Gemäß einem weiteren Aspekt der Erfindung umfasst ein Verfahren zum Konfigurieren eines Steuerungssystems eines Kraftfahrzeugs mit einer Bibliothek von Kl-Modulen für eine Verarbeitung von durch eine Sensorik des Kraftfahrzeugs bereitgestellten Eingangsdaten die Schritte:

- Erfassen von durch die Kl-Module zu verarbeitenden Eingangsdaten;

- Bewerten der Kl-Module auf Grundlage von kontextuellen Parametern; und

- Bestimmen eines für die Eingangsdaten zu nutzenden Kl-Moduls oder einer zu nutzenden Kombination von Kl-Modulen und zugehöriger Gewichte.

Gemäß einem weiteren Aspekt der Erfindung umfasst ein Computerprogramm Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgenden Schritte zum Konfigurieren eines Steuerungssystems eines Kraftfahrzeugs mit einer Bibliothek von Kl-Modulen für eine Verarbeitung von durch eine Sensorik des Kraftfahrzeugs bereitgestellten Eingangsdaten veranlassen:

- Erfassen von durch die Kl-Module zu verarbeitenden Eingangsdaten;

- Bewerten der Kl-Module auf Grundlage von kontextuellen Parametern; und

- Bestimmen eines für die Eingangsdaten zu nutzenden Kl-Moduls oder einer zu nutzenden Kombination von Kl-Modulen und zugehöriger Gewichte.

Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch Steuergeräte und andere prozessorbasierte Datenverarbeitungsvorrichtungen. Das Computerprogramm kann beispielsweise für einen elektronischen Abruf bereitgestellt werden oder auf einem computerlesbaren Speichermedium gespeichert sein.

Gemäß einem weiteren Aspekt der Erfindung weist eine Vorrichtung zum Konfigurieren eines Steuerungssystems eines Kraftfahrzeugs mit einer Bibliothek von Kl-Modulen für eine Verarbeitung von durch eine Sensorik des Kraftfahrzeugs bereitgestellten Eingangsdaten auf:

- ein Datenmodul zum Erfassen von durch die Kl-Module zu verarbeitenden Eingangsdaten;

- einen Klassifikator zum Bewerten der Kl-Module auf Grundlage von kontextuellen Parametern; und

- ein Auswertemodul zum Bestimmen eines für die Eingangsdaten zu nutzenden Kl-Moduls oder einer zu nutzenden Kombination von Kl-Modulen und zugehöriger Gewichte.

Durch die erfindungsgemäße Lösung werden in einer Testphase diejenigen Bedingungen bzw. kontextuellen Parameter ermittelt, die den relevantesten Einfluss auf die funktionalen Eigenschaften der verfügbaren Kl-Module haben, beispielsweise tiefen neuronale Netze für die Verwendung im automatischen Fahren. Der Klassifikator nutzt diese zuvor ermittelten Bedingungen nun, um zur Erhöhung der Effektivität des Gesamtsystems eine besonders effektive Kombination mehrerer Kl-Module für die gegebenen Eingangsdaten zu ermitteln.

Besonders vorteilhaft wird ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung in einem Kraftfahrzeug eingesetzt. Die Verwendung der beschriebenen Lösung ist insbesondere sinnvoll, wenn automatisches Fahren der Autonomiestufen bzw. Level 4 oder 5 realisiert werden soll. Die Kl-Module können in diesem Kontext insbesondere dazu eingerichtet sein, eine Umfelderkennung für eine automatische Fahrfunktion eines Kraftfahrzeugs durchzuführen.

Beispielsweise können die verschiedenen Kl-Module an unterschiedliche Lichtverhältnisse, unterschiedliche Geschwindigkeiten, unterschiedliche Fahrzeugumgebungen, unterschiedliche Fahrsituationen, unterschiedliche Umgebungsbedingungen, unterschiedliche Fahrbedingungen oder unterschiedliche Zielsetzungen angepasst sein.

Die Anpassung an unterschiedliche Lichtverhältnisse ist insbesondere vorteilhaft für die Umfelderkennung für eine automatische Fahrfunktion bei sich ändernden Lichtverhältnissen. Beispielsweise können sich die Lichtverhältnisse aufgrund eines Wechsels des Wetters, des Einfahrens in einen Tunnel oder des Ausfahrens aus einem Tunnel oder eine sehr kurze Dämmerung, wie sie z.B. in Äquatornähe auftritt, ändern. Für die verschiedenen Lichtverhältnisse kann jeweils ein Kl-Modul als Expertensystem bereitgestellt werden.

Die Anpassung an unterschiedliche Geschwindigkeiten ist z.B. nützlich für die 3D- Objekterkennung. Hier kann es sinnvoll sein, Kl-Module als Expertensysteme für verschiedene Geschwindigkeiten des Fahrzeugs bereitzustellen, z.B. für den Fall, dass das Fahrzeug in eine Straße mit einer Geschwindigkeitsbegrenzung einfährt, die deutlich von der Geschwindigkeitsbegrenzung der zuvor befahrenen Straße abweicht.

Bei der Anpassung an unterschiedliche Fahrzeugumgebungen kann z.B. unterschieden werden zwischen urbanen und ländlichen Umgebungen, aber auch, ob sich das Fahrzeug in der Innenstadt oder in der Nähe einer Schule oder eines Krankenhauses befindet.

Bei der Anpassung an unterschiedliche Fahrsituationen können z.B. Kl-Module vorgesehen sein für Fahrten auf der Autobahn, in Parkhäusern, im Stau oder für komplexe Kreuzungen mit einer spezifischen Car2X-lnfrastruktur.

In Hinblick auf die Anpassung an unterschiedliche Umgebungsbedingungen können z.B. Kl- Module vorgesehen sein für spezielle Wetterbedingungen, Lichtverhältnisse,

Verkehrsdichten, Straßentypen, Tageszeiten oder Geographien. In diesem Zusammenhang kann auch die Fußgängerdichte betrachtet werden. So können insbesondere Expertensysteme für Straßen mit einer hohen Fußgängerdichte und Expertensysteme für die Erkennung von Fußgängern in unterschiedlichen Entfernungen vorgesehen sein. Bei einer hohen Fußgängerdichte muss das Expertensystem in der Lage sein, die Absicht von Fußgängern in unmittelbarer Nähe des Fahrzeugs zu erfassen. Bei einer geringen Fußgängerdichte kann in der Regel schneller gefahren werden. Hier ist es wiederum wichtig, weiter entfernte Fußgänger frühzeitig zu erkennen. Die Absicht dieser Fußgänger ist hingegen weniger wichtig.

Das Fahrverhalten der automatischen Fahrfunktion kann durch die Verwendung angepasster Kl-Module für unterschiedliche Fahrbedingungen adaptiert werden, z.B. die Geschwindigkeit, den Fahrzeugtyp, das Vorhandensein eines Anhängers, Parameter der Fahrt oder Vorlieben der Fahrzeuginsassen.

Unterschiedliche Zielsetzungen können aus rechtlichen oder umweltbezogenen Randbedingungen resultieren. So können z.B. Kl-Module für lärmreduziertes oder emissionsarmes Fahren bereitgestellt werden. Andere Kl-Module können an spezielle Verhaltensregeln angepasst sein.

Bei allen diesen Beispielen ist es sinnvoll, auf Grundlage von kontextuellen Parametern die zu nutzenden Kl-Module und die zugehörigen Gewichte für die Verarbeitung der Eingangsdaten zu bestimmen.

Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den Figuren ersichtlich.

Fig. 1 zeigt schematisch ein Verfahren zum Bereitstellen eines Klassifikators für ein Kl- Modul für eine Verarbeitung von durch eine Sensorik eines Kraftfahrzeugs bereitgestellten Eingangsdaten;

Fig. 2 zeigt eine erste Ausführungsform einer Vorrichtung zum Bereitstellen eines Klassifikators für ein Kl-Modul für eine Verarbeitung von durch eine Sensorik eines Kraftfahrzeugs bereitgestellten Eingangsdaten;

Fig. 3 zeigt eine zweite Ausführungsform einer Vorrichtung zum Bereitstellen eines Klassifikators für ein Kl-Modul für eine Verarbeitung von durch eine Sensorik eines Kraftfahrzeugs bereitgestellten Eingangsdaten;

Fig. 4 zeigt schematisch ein Verfahren zum Konfigurieren eines Steuerungssystems eines Kraftfahrzeugs mit einer Bibliothek von Kl-Modulen für eine Verarbeitung von durch eine Sensorik des Kraftfahrzeugs bereitgestellten Eingangsdaten;

Fig. 5 zeigt eine erste Ausführungsform einer Vorrichtung zum Konfigurieren eines

Steuerungssystems eines Kraftfahrzeugs mit einer Bibliothek von Kl-Modulen für eine Verarbeitung von durch eine Sensorik des Kraftfahrzeugs bereitgestellten Eingangsdaten;

Fig. 6 zeigt eine zweite Ausführungsform einer Vorrichtung zum Konfigurieren eines

Steuerungssystems eines Kraftfahrzeugs mit einer Bibliothek von Kl-Modulen für eine Verarbeitung von durch eine Sensorik des Kraftfahrzeugs bereitgestellten Eingangsdaten; Fig. 7 stellt schematisch ein Kraftfahrzeug dar, in dem eine erfindungsgemäße Lösung realisiert ist;

Fig. 8 zeigt schematisch ein Systemdiagramm einer erfindungsgemäßen Lösung zum Bereitstellen eines Klassifikators für ein Kl-Modul für eine Verarbeitung von durch eine Sensorik eines Kraftfahrzeugs bereitgestellten Eingangsdaten; und

Fig. 9 zeigt schematisch ein Systemdiagramm einer erfindungsgemäßen Lösung zum Konfigurieren eines Steuerungssystems mit einer Bibliothek von Kl-Modulen.

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung zu verlassen, wie er in den angehängten Ansprüchen definiert ist.

Fig. 1 zeigt schematisch ein Verfahren zum Bereitstellen eines Klassifikators für ein Kl-Modul für eine Verarbeitung von durch eine Sensorik eines Kraftfahrzeugs bereitgestellten Eingangsdaten. In einem ersten Schritt wird ein zu klassifizierendes Kl-Modul ausgewählt 10. Das Kl-Modul realisiert beispielsweise ein Kl-Modell oder eine Familie von Kl-Modellen im Sinne eines Ensembles. Zudem wird ein geeigneter Testdatensatz ausgewählt 11. Das Kl- Modul wird dann auf Datenpunkte des Testdatensatzes angewendet 12. Für die Datenpunkte sind dabei zugehörige Grundwahrheiten und kontextuelle Parameter bekannt. Die kontextuellen Parameter können z.B. Eigenschaften im Kontext der Datenpunkte oder Eigenschaften einer Architektur des Kl-Moduls umfassen. Basierend auf den Ausgaben des Kl-Moduls wird anschließend eine funktionale Güte für jeden der Datenpunkte ermittelt 13. Dazu kann ein Vergleich mit der jeweils zugehörigen Grundwahrheit erfolgen, z.B. unter Verwendung einer loU-Metrik. Schließlich wird ein Klassifikator für das Kl-Modul erstellt 14, der für gegebene kontextuelle Parameter eine funktionale Güte ausgibt. Der Klassifikator kann beispielsweise durch ein neuronales Netz gebildet werden.

Fig. 2 zeigt eine vereinfachte schematische Darstellung einer ersten Ausführungsform einer Vorrichtung 20 zum Bereitstellen eines Klassifikators für ein Kl-Modul für eine Verarbeitung von durch eine Sensorik eines Kraftfahrzeugs bereitgestellten Eingangsdaten. Das Kl-Modul realisiert beispielsweise ein Kl-Modell oder eine Familie von Kl-Modellen im Sinne eines Ensembles. Die Vorrichtung 20 hat einen Eingang 21, über den beispielsweise Daten eines Testdatensatzes empfangen werden können. Ein solcher Testdatensatz kann aber auch in einer Datenbank 22 der Vorrichtung 20 vorgehalten werden. Ein Testmodul 23 veranlasst die Anwendung eines ausgewählten Kl-Moduls auf Datenpunkte eines ausgewählten Testdatensatzes. Für die Datenpunkte sind dabei zugehörige Grundwahrheiten und kontextuelle Parameter bekannt. Die kontextuellen Parameter können z.B. Eigenschaften im Kontext der Datenpunkte oder Eigenschaften einer Architektur des Kl-Moduls umfassen. Basierend auf den Ausgaben des Kl-Moduls ermittelt ein Auswertemodul 24 anschließend eine funktionale Güte für jeden der Datenpunkte. Dazu kann das Auswertemodul 24 einen Vergleich mit der jeweils zugehörigen Grundwahrheit vornehmen, z.B. unter Verwendung einer loU-Metrik. Zudem erstellt das Auswertemodul 24 einen Klassifikator K für das Kl- Modul, der für gegebene kontextuelle Parameter eine funktionale Güte ausgibt. Dazu kann das Auswertemodul 24 beispielsweise über einen Ausgang 27 der Vorrichtung 20 auf den Klassifikator K zugreifen. Das Erstellen des Klassifikators K kann alternativ auch von einem weiteren eigenständigen Modul vorgenommen werden. Der Klassifikator K kann beispielsweise durch ein neuronales Netz gebildet werden.

Das Testmodul 23 und das Auswertemodul 24 können von einer Kontrolleinheit 25 gesteuert werden. Über eine Benutzerschnittstelle 28 können gegebenenfalls Einstellungen des Testmoduls 23, des Auswertemoduls 24 oder der Kontrolleinheit 25 geändert werden. Die in der Vorrichtung 20 anfallenden Daten können bei Bedarf in einem Speicher 26 abgelegt werden, beispielsweise für eine spätere Auswertung oder für eine Nutzung durch die Komponenten der Vorrichtung 20. Das Testmodul 23, das Auswertemodul 24 sowie die Kontrolleinheit 25 können als dedizierte Hardware realisiert sein, beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft, beispielsweise auf einer GPU oder einer CPU. Der Eingang 21 und der Ausgang 27 können als getrennte Schnittstellen oder als eine kombinierte bidirektionale Schnittstelle implementiert sein.

Fig. 3 zeigt eine vereinfachte schematische Darstellung einer zweiten Ausführungsform einer Vorrichtung 30 zum Bereitstellen eines Klassifikators für ein Kl-Modul für eine Verarbeitung von durch eine Sensorik eines Kraftfahrzeugs bereitgestellten Eingangsdaten. Die Vorrichtung 30 weist einen Prozessor 32 und einen Speicher 31 auf. Beispielsweise handelt es sich bei der Vorrichtung 30 um einen Computer oder ein Steuergerät. Im Speicher 31 sind Instruktionen abgelegt, die die Vorrichtung 30 bei Ausführung durch den Prozessor 32 veranlassen, die Schritte gemäß einem der beschriebenen Verfahren auszuführen. Die im Speicher 31 abgelegten Instruktionen verkörpern somit ein durch den Prozessor 32 ausführbares Programm, welches das erfindungsgemäße Verfahren realisiert. Die Vorrichtung 30 hat einen Eingang 33 zum Empfangen von Informationen, beispielsweise Daten eines Testdatensatzes. Vom Prozessor 32 generierte Daten werden über einen Ausgang 34 bereitgestellt. Darüber hinaus können sie im Speicher 31 abgelegt werden. Der Eingang 33 und der Ausgang 34 können zu einer bidirektionalen Schnittstelle zusammengefasst sein.

Der Prozessor 32 kann eine oder mehrere Prozessoreinheiten umfassen, beispielsweise Mikroprozessoren, digitale Signalprozessoren oder Kombinationen daraus.

Die Speicher 26, 31 der beschriebenen Ausführungsformen können sowohl volatile als auch nichtvolatile Speicherbereiche aufweisen und unterschiedlichste Speichergeräte und Speichermedien umfassen, beispielsweise Festplatten, optische Speichermedien oder Halbleiterspeicher.

Fig. 4 zeigt schematisch ein Verfahren zum Konfigurieren eines Steuerungssystems eines Kraftfahrzeugs mit einer Bibliothek von Kl-Modulen für eine Verarbeitung von durch eine Sensorik des Kraftfahrzeugs bereitgestellten Eingangsdaten. In einem ersten Schritt werden durch die Kl-Module zu verarbeitende Eingangsdaten erfasst 40. Die Kl-Module werden daraufhin auf Grundlage von kontextuellen Parametern bewertet 41. Dazu kann ein zuvor wie oben beschrieben erstellter Klassifikator verwendet werden, der z.B. durch ein neuronales Netz gebildet werden kann. Die kontextuellen Parameter können z.B. Eigenschaften im Kontext der Eingangsdaten oder Eigenschaften einer Architektur der Kl- Module umfassen. Auf Basis der Bewertung werden schließlich ein für die Eingangsdaten zu nutzendes Kl-Modul oder eine zu nutzende Kombination von Kl-Modulen und zugehörige Gewichte bestimmt 42.

Fig. 5 zeigt eine vereinfachte schematische Darstellung einer ersten Ausführungsform einer Vorrichtung 50 zum Konfigurieren eines Steuerungssystems eines Kraftfahrzeugs mit einer Bibliothek von Kl-Modulen für eine Verarbeitung von durch eine Sensorik des Kraftfahrzeugs bereitgestellten Eingangsdaten. Die Vorrichtung 50 hat einen Eingang 51, über den durch die Kl-Module zu verarbeitende Eingangsdaten empfangen werden und von einem Datenmodul 52 erfasst werden können. Ein Klassifikator K, der z.B. durch ein neuronales Netz gebildet werden kann, bewertet die verfügbaren Kl-Module dann auf Grundlage von kontextuellen Parametern. Die kontextuellen Parameter können z.B. Eigenschaften im Kontext der Eingangsdaten oder Eigenschaften einer Architektur der Kl-Module umfassen. Ein Auswertemodul 53 bestimmt schließlich auf Basis der Bewertung ein für die Eingangsdaten zu nutzendes Kl-Modul oder eine zu nutzende Kombination von Kl-Modulen und zugehörige Gewichte. Informationen zu den zu nutzenden Kl-Modulen und zu einer zu verwendenden Gewichtung können über einen Ausgang 56 der Vorrichtung 50 an ein Fusionsmodul 80 ausgegeben werden.

Das Datenmodul 52 und das Auswertemodul 53 können von einer Kontrolleinheit 54 gesteuert werden. Über eine Benutzerschnittstelle 57 können gegebenenfalls Einstellungen des Datenmoduls 52, des Auswertemoduls 53 oder der Kontrolleinheit 54 geändert werden. Die in der Vorrichtung 50 anfallenden Daten können bei Bedarf in einem Speicher 55 abgelegt werden, beispielsweise für eine spätere Auswertung oder für eine Nutzung durch die Komponenten der Vorrichtung 50. Das Datenmodul 52, das Auswertemodul 53 sowie die Kontrolleinheit 54 können als dedizierte Hardware realisiert sein, beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft, beispielsweise auf einer GPU oder einer CPU. Der Eingang 51 und der Ausgang 56 können als getrennte Schnittstellen oder als eine kombinierte bidirektionale Schnittstelle implementiert sein.

Fig. 6 zeigt eine vereinfachte schematische Darstellung einer zweiten Ausführungsform einer Vorrichtung 60 zum Konfigurieren eines Steuerungssystems eines Kraftfahrzeugs mit einer Bibliothek von Kl-Modulen für eine Verarbeitung von durch eine Sensorik des Kraftfahrzeugs bereitgestellten Eingangsdaten. Die Vorrichtung 60 weist einen Prozessor 62 und einen Speicher 61 auf. Beispielsweise handelt es sich bei der Vorrichtung 60 um einen Computer oder ein Steuergerät. Im Speicher 61 sind Instruktionen abgelegt, die die Vorrichtung 60 bei Ausführung durch den Prozessor 62 veranlassen, die Schritte gemäß einem der beschriebenen Verfahren auszuführen. Die im Speicher 61 abgelegten Instruktionen verkörpern somit ein durch den Prozessor 62 ausführbares Programm, welches das erfindungsgemäße Verfahren realisiert. Die Vorrichtung 60 hat einen Eingang 63 zum Empfangen von Informationen, beispielsweise von durch die Kl-Module zu verarbeitenden Eingangsdaten. Vom Prozessor 62 generierte Daten werden über einen Ausgang 64 bereitgestellt. Darüber hinaus können sie im Speicher 61 abgelegt werden. Der Eingang 63 und der Ausgang 64 können zu einer bidirektionalen Schnittstelle zusammengefasst sein.

Der Prozessor 62 kann eine oder mehrere Prozessoreinheiten umfassen, beispielsweise Mikroprozessoren, digitale Signalprozessoren oder Kombinationen daraus. Die Speicher 55, 61 der beschriebenen Ausführungsformen können sowohl volatile als auch nichtvolatile Speicherbereiche aufweisen und unterschiedlichste Speichergeräte und Speichermedien umfassen, beispielsweise Festplatten, optische Speichermedien oder Halbleiterspeicher.

Fig. 7 stellt schematisch ein Kraftfahrzeug 70 dar, in dem eine erfindungsgemäße Lösung realisiert ist. Das Kraftfahrzeug 70 weist ein Steuerungssystem 71 für den automatisierten oder hochautomatisierten Fährbetrieb auf, das durch eine Vorrichtung 50 konfiguriert wird. In Fig. 7 ist die Vorrichtung 50 eine eigenständige Komponente, sie kann aber auch im Steuerungssystem 71 integriert sein. Zum Auswählen von Kl-Modulen aus einer Bibliothek von Kl-Modulen nutzt die Vorrichtung 50 eine Reihe von Eingangsdaten. Dies können beispielsweise Umgebungsdaten einer im Kraftfahrzeug 70 verbauten Umfeldsensorik 72 oder Betriebsparameter des Kraftfahrzeugs 70 sein, die von Steuergeräten 73 zur Verfügung gestellt werden. Eine weitere Komponente des Kraftfahrzeugs 70 ist eine Datenübertragungseinheit 74, über die u.a. eine Verbindung zu einem Backend aufgebaut werden kann, z.B. um zusätzliche oder veränderte Kl-Module zu beziehen. Zur Speicherung der Bibliothek von Kl-Modulen oder weiterer Daten ist ein Speicher 75 vorhanden. Der Datenaustausch zwischen den verschiedenen Komponenten des Kraftfahrzeugs 70 erfolgt über ein Netzwerk 76.

Nachfolgend soll eine bevorzugte Ausführungsform der Erfindung am Beispiel von Fig. 8 und Fig. 9 erläutert werden.

Markante Eigenschaften im Kontext der zu verarbeitenden Eingangsdaten beeinflussen in besonderem Maße die funktionale Qualität der verarbeitenden Kl-Module. Solche Eigenschaft können sehr vielfältig sein und sind für Menschen nicht zwingend intuitiv, wie etwa die Verteilung spezieller Farbwerte, Kontraste oder spezifische Häufigkeiten. Zusätzlich spielen auch architektonische Eigenschaften der Kl-Module eine Rolle. So haben z.B. spezifische Features in der Zusammensetzung eines neuronalen Netzes Auswirkungen auf dessen Performanz. Liegt beispielsweise zusätzlich zu einem angelernten neuronalen Netz noch eine regelbasierte Wissensbasis für zulässige Straßenbeschilderungen vor, wird das resultierende Kl-Modell eine bessere Performanz bei der Schildererkennung haben als ein vergleichbares Kl-Modell ohne diese Wissensbasis. Zu den Eigenschaften im Kontext der zu verarbeitenden Eingangsdaten gehören alle diejenigen Einflüsse auf die Daten, die das funktionale Verhalten des Kl-Moduls beeinflussen oder zumindest beeinflussen können. Solche können sowohl semantisch sein, wie z.B. Wetter, Verkehr, Umgebung, etc., als auch wie oben beschrieben nicht intuitiv. Fig. 8 zeigt schematisch ein Systemdiagramm einer erfindungsgemäßen Lösung zum Bereitstellen eines Klassifikators K für ein Kl-Modul NN, für eine Verarbeitung von durch eine Sensorik eines Kraftfahrzeugs bereitgestellten Eingangsdaten. Das Klassifizierungssystem verwendet eine Menge Kl-Module NN,, z.B. trainierte neuronale Netze, als Kandidaten für eine spätere Ausführung in einer spezifischen Umgebung. Die Kl-Module NN, sind für die gleiche Aufgabe vorgesehen, z.B. eine Objekterkennung oder eine semantische Segmentierung, unterscheiden sich aber in Hinsicht auf Architektur, Trainingsdaten und T rainingsparameter.

Während einer Testphase werden nun alle gegebenen Kl-Module NN, für Inferenzen für alle Datenpunkte d _n aus einem Testdatensatz D genutzt. Der Begriff Inferenz bezeichnet dabei den Prozess der Verwendung des trainierten Modells für Schlussfolgerungen. Durch einen Vergleich der Ausgaben der Kl-Module NN, mit der jeweiligen Grundwahrheit G _n , in diesem Beispiel unter Verwendung einer loU-Metrik, wird die funktionale Güte FGi_ _n für jeden Datenpunkt d _n mit den gegebenen kontextuellen Parametern P _n ermittelt. Mit diesen Informationen kann nun z.B. ein neuronales Netzt trainiert werden, das im Rahmen des Trainings die Relevanz der verschiedenen kontextuellen Parameter P _n sowie die Abhängigkeit der funktionalen Güte FG, der verschiedenen Kl-Module NN, von den kontextuellen Parametern P _n erlernt. Auf diese Weise wird ein Klassifikator K erstellt, der für gegebene kontextuelle Parameter P für alle Kl-Module NN, datenpunktunabhängig eine funktionale Güte FG, bzw. der funktionalen Güte FG, entsprechende Gewichte W, ausgibt. Alternativ kann der Klassifikator K eine auf Empirie gestützte Gewichtungsfunktion für die gemeinsame Inferenz einer Familie von Kl-Modulen NN, im Sinne eines Ensembles ausgeben.

Fig. 9 zeigt schematisch ein Systemdiagramm einer erfindungsgemäßen Lösung zum Konfigurieren eines Steuerungssystems 71 mit einer Bibliothek von Kl-Modulen NN,. Mithilfe eines Klassifikators K werden während des Betriebs des Steuerungssystems 71, beispielsweise in einem Fahrzeug, aus den mittels einer Sensorik 81 gewonnenen Eingangsdaten E die kontextuellen Parameter P extrahiert. Auf Basis dieser kontextuellen Parameter P werden eine optimale Kombination aus Kl-Modulen NN, und zugehörige Gewichte W, ermittelt. Dies geschieht vorzugsweise synchron zur Datenverarbeitung in den Kl-Modulen NN,, da erst für die Fusion der Ausgaben der Kl-Module NN, bekannt sein muss, wie die jeweilige Ausgabe zu bewerten ist. Ein Fusionsmodul 80 kombiniert die Ausgaben der gewählten Kl-Modulen NN, gemäß den vom Klassifikator K bereitgestellten Gewichten W. Die vom Klassifikator K ermittelten kontextuellen Parameter P können zudem an eine Auswahleinheit 82 übergeben werden, die auf Basis der Parameter P einzelne Kl-Module NN, gezielt starten oder stoppen kann.

Bezugszeichenliste

Auswählen eines Kl-Moduls Auswählen eines Testdatensatzes

Anwenden des Kl-Moduls auf Datenpunkte des Testdatensatzes

Ermitteln einer funktionalen Güte für die Datenpunkte

Erstellen eines Klassifikators für das Kl-Modul

Vorrichtung

Eingang

Datenbank

Testmodul

Auswertemodul

Kontrolleinheit

Speicher

Ausgang

Benutzerschnittstelle

Vorrichtung

Speicher

Prozessor

Eingang

Ausgang

Erfassen von durch Kl-Module zu verarbeitenden Eingangsdaten

Bewerten der Kl-Module anhand kontextueller Parameter

Bestimmen zu nutzender Kl-Module und Gewichte

Vorrichtung

Eingang

Datenmodul

Auswertemodul

Kontrolleinheit

Speicher

Ausgang

Benutzerschnittstelle

Vorrichtung

Speicher

Prozessor

Eingang

Ausgang 70 Kraftfahrzeug

71 Steuerungssystem

72 Umfeldsensorik

73 Steuergerät

74 Datenübertragungseinheit

75 Speicher IQ Netzwerk 80 Fusionsmodul 81 Sensorik d _n Datenpunkt D Testdatensatz E Eingangsdatum

FGi, FG _Ln Funktionale Güte

Gn Grundwahrheit

K Klassifikator

NNi Kl-Modul P, Pn Kontextueller Parameter

Wi Gewicht