VERFAHREN, VORRICHTUNG UND COMPUTERLESBARES SPEICHERMEDIUM MIT INSTRUKTIONEN ZUM AUFLÖSEN EINER REDUNDANZ VON ZWEI ODER MEHR

REDUNDANTEN MODULEN

Die vorliegende Erfindung betrifft ein Verfahren, eine Vorrichtung und ein computerlesbares Speichermedium mit Instruktionen zum Auflösen einer Redundanz von zwei oder mehr redundanten Modulen.

Heutige Kraftfahrzeuge weisen regelmäßig eine Vielzahl von Assistenzsystemen auf, die den Fahrer beim Führen des Kraftfahrzeugs unterstützen. Zunehmend kommen dabei teilautonome oder autonome Systeme zum Einsatz, die eine teil- oder vollautomatisierte Fahrt des Kraftfahrzeugs ermöglichen.

Neue Generationen von Assistenzsystemen ermöglichen eine immer größere Auswahl automatisiert durchführbarer Fahrmanöver sowie eine zunehmende Komplexität dieser Fahrmanöver. Für derartige Funktionen sind regelmäßig Daten erforderlich, die die für die Durchführung der Funktionen notwendigen Informationen beinhalten. Derartige Daten werden typischerweise durch Fahrzeugsensoren erfasst.

In diesem Zusammenhang beschreibt die DE 10 2008 013 366 A1 ein Verfahren zur Bereitstellung von Information für Fahrerassistenzsysteme. Zunächst werden durch

Umfeldsensoren periodisch Messdaten erfasst. Aus den aktuellen und vergangenen Werten der Messdaten werden sodann Messdatenmerkmale abgeleitet. Anhand der abgeleiteten Messdatenmerkmale wird eine erste Zuordnung durchgeführt, bei der den Messdaten der einzelnen Umfeldsensoren jeweils zumindest eine von mehreren möglichen

Messdatenhypothesen zugeordnet wird. Mindestens eine der möglichen

Messdatenhypothesen betrifft dabei die Relevanz der Messdaten für ein bereits zuvor detektiertes Objekt in der Fahrzeugumgebung. Anschließend wird eine zweite Zuordnung durchgeführt, bei der Messdaten zumindest zweier Umfeldsensoren, die gemäß der ersten Zuordnung Relevanz für ein bestimmtes Objekt in der Fahrzeugumgebung besitzen, diesem Objekt zugeordnet werden. In Abhängigkeit von dieser zweiten Zuordnung wird eine

Objekthypothese angepasst, die mehrere Objekteigenschaften des Objekts umfasst. Diese Objekthypothese kann schließlich dem Fahrerassistenzsystem als Information zur Verfügung gestellt werden. Oftmals besteht jedoch Ungewissheit darüber, ob die momentan verfügbaren Daten ausreichend sicher und zuverlässig sind, beispielsweise aufgrund von Sensordefekten oder Unzulänglichkeiten bei der Übertragung der Daten im Kommunikationsnetzwerk des Fahrzeugs.

Vor diesem Hintergrund beschreibt die WO 2014/033172 A1 ein Verfahren zum Durchführen einer Sicherheitsfunktion eines Fahrzeugs. Mittels mindestens eines

Kommunikationssystems werden Daten, die für das Durchführen der Sicherheitsfunktion erforderlich sind, auf eine Steuereinheit des Fahrzeugs übertragen. Mittels der Steuereinheit werden in Abhängigkeit von den übertragenen Daten Steuersignale erzeugt und auf eine Funktionseinheit des Fahrzeugs übertragen. Mittels der Funktionseinheit wird die

Sicherheitsfunktion in Abhängigkeit von den Steuersignalen durchgeführt. Außerdem werden Diagnosetests in zeitlichen Abständen wiederholt durchgeführt, wobei mit den Diagnosetests überprüft wird, ob in einem oder in mehreren zum Durchführen dieses Verfahrens verwendeten elektrischen, elektronischen und / oder programmierbaren Systemen eine Störung besteht oder ein Fehler aufgetreten ist, die oder die die Durchführung der

Sicherheitsfunktion oder sicherheitsrelevante Daten beeinträchtigen kann. Mittels des Kommunikationssystems werden zudem Metadaten der Daten an die Steuereinheit übertragen, wobei die Metadaten Informationen über zumindest eines der zum Durchführen des Verfahrens verwendeten elektrischen, elektronischen und/oder programmierbaren Systeme beinhalten.

Im Rahmen des automatischen Fahrens ist die Nutzung von Redundanz als

Sicherheitsmaßnahme unerlässlich. Dabei muss zur Laufzeit entschieden werden, welches der redundant verfügbaren Module aktiviert wird.

Bisher bekannte Redundanzsysteme arbeiten meist nach dem Master-Slave-Prinzip, bei dem ein Hauptstrang die eigentliche Funktion übernimmt und nur im Falle eines großen Sicherheitsproblems oder eines Komponentenausfalls auf eine sichere Rückfallebene umgeschaltet wird.

Der klassische Master-Slave-Redundanzansatz eignet sich sehr gut für deterministische Systeme, deren Qualität von konstanter Güte ist und die nur durch einen Systemausfall abgelöst werden. Bei diesem Ansatz operiert ein statisches System als hauptsächlich ausführender Agent. Die Rückfallebene arbeitet zwar die gesamte Zeit (passiv) mit, um im Notfall korrekt eingreifen zu können, bleibt aber ansonsten unberücksichtigt. Allerdings sind datengetriebene (intelligente) Ansätze flexibler. Es bieten sich situations-, lokalitäts- oder kontextspezifische Modelle an, die in bestimmten Situationen ein erlerntes, optimales Verhalten anbieten. Der klassische Redundanzansatz ist für solche Systeme allerdings zu unflexibel in Bezug auf die Tatsache, dass die redundanten Systeme überwiegend abweichende Ausgaben haben. Situationsabhängig führen zudem

unterschiedliche datengetriebene Ansätze zu besseren Ergebnissen, so dass sich kein stets zu bevorzugender Master definieren lässt.

Es ist eine Aufgabe der Erfindung, Lösungen zum Auflösen einer Redundanz von

Entscheidungen von zwei oder mehr redundanten Modulen aufzuzeigen, die für

datengetriebene Module geeignet sind.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 , durch ein computerlesbares Speichermedium mit Instruktionen gemäß Anspruch 1 1 und durch eine Vorrichtung mit den Merkmalen des Anspruchs 12 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.

Gemäß einem ersten Aspekt der Erfindung umfasst ein Verfahren zum Auflösen einer Redundanz von zwei oder mehr redundanten Modulen die Schritte:

- Empfangen von Ergebnissen der zwei oder mehr redundanten Module;

- Ermitteln von Verlässlichkeiten der Ergebnisse;

- Bestimmen eines Gesamtergebnisses aus den Ergebnissen basierend auf den ermittelten Verlässlichkeiten; und

- Ausgeben des Gesamtergebnisses für eine Weiterverarbeitung.

Gemäß einem weiteren Aspekt der Erfindung enthält ein computerlesbares Speichermedium Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgende Schritte zum Auflösen einer Redundanz von zwei oder mehr redundanten Modulen veranlassen:

- Empfangen von Ergebnissen der zwei oder mehr redundanten Module;

- Ermitteln von Verlässlichkeiten der Ergebnisse;

- Bestimmen eines Gesamtergebnisses aus den Ergebnissen basierend auf den ermittelten Verlässlichkeiten; und

- Ausgeben des Gesamtergebnisses für eine Weiterverarbeitung.

Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch

Steuergeräte und andere prozessorbasierte Datenverarbeitungsvorrichtungen. Gemäß einem weiteren Aspekt der Erfindung weist eine Vorrichtung zum Auflösen einer Redundanz von zwei oder mehr redundanten Modulen auf:

- Eine Empfangseinheit zum Empfangen von Ergebnissen der zwei oder mehr redundanten Module;

- Eine Prozessoreinheit zum Bestimmen eines Gesamtergebnisses aus den Ergebnissen unter Berücksichtigung von für die Ergebnisse ermittelten Verlässlichkeiten; und

- Eine Ausgabeeinheit zum Ausgeben des Gesamtergebnisses für eine Weiterverarbeitung.

Sobald man Redundanz in den verschiedenen Verarbeitungsschritten zwischen

Wahrnehmung und Fahrmanöver einführt, bietet es sich an, häufig und auf Modulebene zu entscheiden, welche der redundant verfügbaren Module aktiviert werden. Erfindungsgemäß wird bei redundant verfügbaren Modulen zur Laufzeit auf die plausiblere der redundant vorhandenen Informationen vertraut. Die Rückfallebene arbeitet somit nicht nur passiv mit, sondern sie kann jederzeit auch aktiviert und zur Grundlage der aktuellen Entscheidungen werden. Für jedes datenbasierte Modul, z. B. ein künstliches neuronales Netz oder andere trainierte Modelle, wird dazu zur Laufzeit eine Verlässlichkeit der aktuell ausgegebenen Information bestimmt. Redundant auftretende Module, die die gleiche Funktion erfüllen, werden dann anhand ihrer Ergebnisse und der ermittelten Verlässlichkeit bewertet. Anstelle des Begriffs der Verlässlichkeit wird in der Literatur häufig der Begriff der Unsicherheitswerte verwendet. Diese Begriffe sind äquivalent, es gilt Verlässlichkeit = 1 - Unsicherheitswert. Bisherige Versuche des Vergleichens von verschiedenen datengetriebenen Ansätzen basieren auf modellintrinsischen Konfidenzen. Allerdings gibt es eindrückliche Beispiele von Systemen, die falsche Ergebnisse mit hoher Konfidenz ausgeben. Die Konfidenz alleine kann daher ein schlechter Indikator für das Auflösen von Redundanz sein. Diesem Umstand wird durch die Bestimmung der Verlässlichkeit Rechnung getragen.

Der Umgang mit widersprüchlichen Informationen und die Auflösung von Redundanz in komplexen Systemen ist von zentraler Bedeutung. Die beschriebene Lösung bietet eine generische Möglichkeit, eine solche Redundanzauflösung auch für modulare,

datengetriebene Ansätze zum automatischen Fahren zu verfolgen. Dabei können Vorteile und Stärken einzelner Module gegeneinander ausgespielt werden, was bei einem klassischen Master-Slave-Ansatz deutlich schlechter darstellbar ist. Zudem ist die externe Bewertung der Unsicherheit einer Modulentscheidung flexibel. Dadurch lässt sich eine Optimierung des Fahrverhaltens automatischer Fahrzeuge leichter darstellen als mit starren Ansätzen. Gemäß einem Aspekt der Erfindung wird als Gesamtergebnis dasjenige Ergebnis mit der höchsten Verlässlichkeit ausgegeben. Dieser Ansatz stellt die einfachste Möglichkeit dar, ein Gesamtergebnis zu bestimmen. Der erforderliche Rechenaufwand für die Bestimmung des Gesamtergebnisses ist damit auf ein Minimum beschränkt.

Gemäß einem Aspekt der Erfindung wird die Verlässlichkeit des Ergebnisses eines Moduls auf Grundlage zumindest eines der folgenden Indikatoren ermittelt: eine Robustheit des Moduls gegenüber Veränderungen an den Eingangsgrößen; eine Robustheit des Moduls gegenüber Veränderungen von Modulparametern; eine Lokalität von

Entscheidungsgrundlagen des Moduls; ein vom Modul in einem vorherigen Zeitschritt ermitteltes Ergebnis; ein für das Modul in einem vorherigen Zeitschritt ermittelter Indikator. Alle diese Indikatoren bieten sich für das Messen der Verlässlichkeit an, sie lassen sich zudem mit vertretbarem Rechenaufwand zur Laufzeit ermitteln. Insbesondere Kombinationen der Indikatoren erlauben es, die Verlässlichkeit zuverlässig zu ermitteln.

Gemäß einem Aspekt der Erfindung wird zusätzlich zum Gesamtergebnis eine

Ergebnisverlässlichkeit ausgegeben. Diese ermöglicht eine Bewertung des ausgegebenen Gesamtergebnisses im Rahmen der weiteren Verarbeitung. Beispielsweise kann so erfasst werden, ob die Ergebnisverlässlichkeit ausreichend hoch ist, um das Gesamtergebnis für eine Weiterverarbeitung in Betracht zu ziehen.

Gemäß einem Aspekt der Erfindung werden beim Ermitteln der Verlässlichkeiten der Ergebnisse Gesamtverlässlichkeiten der zwei oder mehr redundanten Module ermittelt. Die Gesamtverlässlichkeit eines Moduls vereint die verschiedenen, auf unterschiedliche Weise für ein Modul ermittelten Verlässlichkeiten, zu einem Gesamtergebnis. Aus den ermittelten Werten der Verlässlichkeit wird dazu eine momentane Gesamtverlässlichkeit berechnet und der aktuellen Berechnung des aktiven Moduls zugeordnet.

Gemäß einem Aspekt der Erfindung wird bei zwei oder mehr Ergebnissen mit der höchsten Verlässlichkeit eine Priorisierung der zwei oder mehr redundanten Module berücksichtigt. Auf diese Weise kann gewährleistet werden, dass bevorzugt als glaubwürdiger geltende Module ihre Ergebnisse mit der entsprechenden Ergebnisverlässlichkeit weitergeben.

Gemäß einem Aspekt der Erfindung ist die Priorisierung der zwei oder mehr redundanten Module kontextspezifisch anpassbar, beispielsweise in Hinblick auf Ort, Zeit, Wetter, Verkehr oder Umgebung. So kann berücksichtigt werden, dass die Module je nach gegebenem Kontext unterschiedlich glaubwürdig sein können. Beispielsweise kann ein Modul, dass auf einer Bildverarbeitung basiert, bei Tageslicht eine sehr hohe Glaubwürdigkeit, bei Dunkelheit hingegen eine eher geringe Glaubwürdigkeit aufweisen.

Gemäß einem Aspekt der Erfindung werden Aktivitätsparameter der zwei oder mehr redundanten Module gemessen. Bei zwei oder mehr Ergebnissen mit der höchsten

Verlässlichkeit werden dabei aktive Module beim Bestimmen des Gesamtergebnisses bevorzugt. Diese Aktivitätsparameter sagen aus, wie aktiv jedes Modul in der

vorhergehenden Zeit war und beziehen Verlässlichkeit, Präzision und die Frage, wie häufig diesen Modulen vertraut wurde, mit ein. Dabei hat vorzugsweise die unmittelbare

Vergangenheit einen starken, die Langzeiterfahrung einen kleinen Einfluss. Auf diese Weise wird eine gewisse Konstanz bei der Bestimmung des Gesamtergebnisses erreicht, d. h. es wird fortwährend zwischen den Ergebnissen der redundanten Module gewechselt.

Gemäß einem Aspekt der Erfindung werden intrinsische Unsicherheiten der zwei oder mehr redundanten Module erfasst. Bei zwei oder mehr Ergebnissen mit der höchsten

Verlässlichkeit werden dabei Module mit geringerer intrinsischer Unsicherheit beim

Bestimmen des Gesamtergebnisses bevorzugt. Auch wenn die intrinsische Unsicherheit, d. h. die Konfidenz, alleine ein schlechter Indikator für das Auflösen von Redundanz sein kann, ist sie im Zusammenspiel mit der Verlässlichkeit durchaus geeignet, um Situationen mit mehreren Ergebnissen mit der höchsten Verlässlichkeit aufzulösen.

Gemäß einem Aspekt der Erfindung wird das Gesamtergebnis durch eine zu den ermittelten Verlässlichkeiten proportionale Interpolierung der Ergebnisse bestimmt. Sind die Ergebnisse interpolierbar, so kann anhand der vorhandenen Ergebnisse ein Gesamtergebnis als Interpolation der Modulergebnisse ermittelt werden. Auf diese Weise tragen alle ermittelten Ergebnisse in einem gewissen Umfang zum Gesamtergebnis bei. Vorzugsweise erhalten die Einzelergebnisse ein zur Ergebnisverlässlichkeit proportionales Gewicht. So ist

sichergestellt, dass Ergebnisse mit hoher Ergebnisverlässlichkeit mit einem größeren Gewicht zum Gesamtergebnis beitragen.

Vorzugsweise werden ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung in einem Fahrzeug, insbesondere einem Kraftfahrzeug, eingesetzt. Daneben spielen Redundanzkonzepte in vielen autonomen Systemen wie der Robotik, Luft- und Raumfahrt, Produktion oder der Sicherheitsüberwachung wie der Reaktorsicherheit eine zentrale Rolle. Die beschriebene Lösung zur Redundanzauflösung bietet sich auch für derartige Systeme an, sofern dort an datengetriebene Ansätze in redundanter Form zum Einsatz kommen. Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den Figuren ersichtlich.

Fig. 1 zeigt schematisch ein Verfahren zum Auflösen einer Redundanz von zwei oder mehr redundanten Modulen;

Fig. 2 zeigt eine erste Ausführungsform einer Vorrichtung zum Auflösen einer

Redundanz von zwei oder mehr redundanten Modulen;

Fig. 3 zeigt eine zweite Ausführungsform einer Vorrichtung zum Auflösen einer

Redundanz von zwei oder mehr redundanten Modulen;

Fig. 4 stellt schematisch ein Kraftfahrzeug dar, in dem eine erfindungsgemäße Lösung realisiert ist;

Fig. 5 zeigt schematisch ein System verschiedener Module, in dem basierend auf

Eingangsgrößen ein Gesamtergebnis ermittelt wird; und

Fig. 6 verdeutlicht das Bestimmen eines Gesamtergebnisses aus den

Einzelergebnissen zweier Module.

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung zu verlassen, wie er in den angehängten Ansprüchen definiert ist.

Fig. 1 zeigt schematisch ein Verfahren zum Auflösen einer Redundanz von zwei oder mehr redundanten Modulen. In einem ersten Schritt werden Ergebnisse der zwei oder mehr redundanten Module empfangen 10. Zusätzlich werden Verlässlichkeiten der Ergebnisse ermittelt 1 1. Basierend auf den ermittelten Verlässlichkeiten wird dann ein Gesamtergebnis aus den Ergebnissen bestimmt 12. Das so bestimmte Gesamtergebnis wird schließlich für eine Weiterverarbeitung ausgegeben 13. Zusätzlich zum Gesamtergebnis kann dabei eine Ergebnisverlässlichkeit ausgegeben werden. Die Verlässlichkeit des Ergebnisses eines Moduls kann beispielsweise auf Grundlage zumindest eines der folgenden Indikatoren ermittelt werden: eine Robustheit des Moduls gegenüber Veränderungen an den Eingangsgrößen; eine Robustheit des Moduls gegenüber Veränderungen von Modulparametern; eine Lokalität von Entscheidungsgrundlagen des Moduls; ein vom Modul in einem vorherigen Zeitschritt ermitteltes Ergebnis; ein für das Modul in einem vorherigen Zeitschritt ermittelter Indikator. Zudem können beim Ermitteln der Verlässlichkeiten der Ergebnisse Gesamtverlässlichkeiten der zwei oder mehr redundanten Module ermittelt werden.

Als Gesamtergebnis kann beispielsweise dasjenige Ergebnis mit der höchsten

Verlässlichkeit ausgegeben werden. Bei zwei oder mehr Ergebnissen mit der höchsten Verlässlichkeit kann dabei eine Priorisierung der zwei oder mehr redundanten Module berücksichtigt werden. Diese kann vorzugsweise kontextspezifisch anpassbar sein.

Alternativ können Aktivitätsparameter der zwei oder mehr redundanten Module gemessen werden. Bei zwei oder mehr Ergebnissen mit der höchsten Verlässlichkeit werden dann aktive Module beim Bestimmen des Gesamtergebnisses bevorzugt. Ebenso können intrinsische Unsicherheiten der zwei oder mehr redundanten Module erfasst werden. Bei zwei oder mehr Ergebnissen mit der höchsten Verlässlichkeit werden dann Module mit geringerer intrinsischer Unsicherheit beim Bestimmen des Gesamtergebnisses bevorzugt. Das Gesamtergebnis kann zudem durch eine zu den ermittelten Verlässlichkeiten proportionale Interpolierung der Ergebnisse bestimmt werden.

Fig. 2 zeigt eine vereinfachte schematische Darstellung einer ersten Ausführungsform einer Vorrichtung 20 zum Auflösen einer Redundanz von zwei oder mehr redundanten Modulen. Die Vorrichtung 20 hat einen Eingang 21 , über den zwei oder mehr redundante Module M-L ...M ₅ mit der Vorrichtung 20 verbunden sind. Eine Empfangseinheit 22 empfängt

Ergebnisse der zwei oder mehr redundanten Module Μ^ , .Μ^ Eine Prozessoreinheit 23 zum bestimmt ein Gesamtergebnis aus den empfangenen Ergebnissen. Dabei berücksichtigt die Prozessoreinheit 23 für die Ergebnisse ermittelte Verlässlichkeiten. Die Verlässlichkeiten können dabei von den Modulen M^ . -Ms selbst, von der Prozessoreinheit 23 oder von zusätzlichen Komponenten ermittelt werden. Die zusätzlichen Komponenten können Bestandteil der Vorrichtung 20 sein, sie können aber auch außerhalb der Vorrichtung 20 angeordnet sein. Die Verlässlichkeit des Ergebnisses eines Moduls Μ-L . . . MS kann beispielsweise auf Grundlage zumindest eines der folgenden Indikatoren ermittelt werden: eine Robustheit des Moduls M^ . -Mg gegenüber Veränderungen an den Eingangsgrößen; eine Robustheit des Moduls M^ . -Mg gegenüber Veränderungen von Modulparametern; eine Lokalität von Entscheidungsgrundlagen des Moduls Μ-^ , . Μ^ ein vom Modul Μ-L . . . MS in einem vorherigen Zeitschritt ermitteltes Ergebnis; ein für das Modul M^ . -Ms in einem vorherigen Zeitschritt ermittelter Indikator. Zudem können beim Ermitteln der

Verlässlichkeiten der Ergebnisse Gesamtverlässlichkeiten der zwei oder mehr redundanten Module M^ . -Ms ermittelt werden. Eine Ausgabeeinheit 24 gibt des Gesamtergebnis für eine Weiterverarbeitung über einen Ausgang 26 der Vorrichtung 20 aus. Zusätzlich zum

Gesamtergebnis kann dabei eine Ergebnisverlässlichkeit über den Ausgang 26 ausgegeben werden. Die Empfangseinheit 22, die Prozessoreinheit 23 und die Ausgabeeinheit 24 können von einer Kontrolleinheit 25 gesteuert werden. Über eine Benutzerschnittstelle 28 können gegebenenfalls Einstellungen der Empfangseinheit 22, der Prozessoreinheit 23, der

Ausgabeeinheit 24 oder der Kontrolleinheit 25 geändert werden. Die in der Vorrichtung 20 anfallenden Daten, beispielsweise die von der Prozessoreinheit 23 oder der Ausgabeeinheit 24 generierten Daten, können in einem Speicher 27 der Vorrichtung 20 abgelegt werden, beispielsweise für eine spätere Auswertung oder für eine Nutzung durch die Komponenten der Vorrichtung 20. Die Empfangseinheit 22, die Prozessoreinheit 23, die Ausgabeeinheit 24 sowie die Kontrolleinheit 25 können als dezidierte Hardware realisiert sein, beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft, beispielsweise auf einer GPU. Der Eingang 21 und der Ausgang 26 können als getrennte Schnittstellen oder als eine kombinierte bidirektionale Schnittstelle implementiert sein.

Als Gesamtergebnis kann von der Prozessoreinheit 23 beispielsweise dasjenige Ergebnis mit der höchsten Verlässlichkeit bestimmt werden. Bei zwei oder mehr Ergebnissen mit der höchsten Verlässlichkeit kann die Prozessoreinheit 23 dabei eine Priorisierung der zwei oder mehr redundanten Module Μ-L . . .MS berücksichtigen. Diese kann vorzugsweise

kontextspezifisch anpassbar sein. Alternativ können Aktivitätsparameter der zwei oder mehr redundanten Module M^ . -Mg gemessen werden. Bei zwei oder mehr Ergebnissen mit der höchsten Verlässlichkeit werden von der Prozessoreinheit 23 dann aktive Module M^ . -Mg beim Bestimmen des Gesamtergebnisses bevorzugt. Ebenso können intrinsische

Unsicherheiten der zwei oder mehr redundanten Module Μ-L . . . MS erfasst werden. Bei zwei oder mehr Ergebnissen mit der höchsten Verlässlichkeit werden von der Prozessoreinheit 23 dann Module M^ . -Mg mit geringerer intrinsischer Unsicherheit beim Bestimmen des

Gesamtergebnisses bevorzugt. Die Prozessoreinheit 23 kann das Gesamtergebnis zudem durch eine zu den ermittelten Verlässlichkeiten proportionale Interpolierung der Ergebnisse bestimmen. Fig. 3 zeigt eine vereinfachte schematische Darstellung einer zweiten Ausführungsform einer Vorrichtung 30 zum Auflösen einer Redundanz von zwei oder mehr redundanten Modulen. Die Vorrichtung 30 weist einen Prozessor 32 und einen Speicher 31 auf. Beispielsweise handelt es sich bei der Vorrichtung 30 um einen Computer oder ein Steuergerät. Im Speicher

31 sind Instruktionen abgelegt, die die Vorrichtung 30 bei Ausführung durch den Prozessor

32 veranlassen, die Schritte gemäß einem der beschriebenen Verfahren auszuführen. Die im Speicher 31 abgelegten Instruktionen verkörpern somit ein durch den Prozessor 32 ausführbares Programm, welches das erfindungsgemäße Verfahren realisiert. Die

Vorrichtung 30 hat einen Eingang 33 zum Empfangen von Informationen, beispielsweise von Daten, die von einer Sensorik des Kraftfahrzeugs erfasst wurden. Vom Prozessor 32 generierte Daten werden über einen Ausgang 34 bereitgestellt. Darüber hinaus können sie im Speicher 31 abgelegt werden. Der Eingang 33 und der Ausgang 34 können zu einer bidirektionalen Schnittstelle zusammengefasst sein.

Der Prozessor 32 kann eine oder mehrere Prozessoreinheiten umfassen, beispielsweise Mikroprozessoren, digitale Signalprozessoren oder Kombinationen daraus.

Die Speicher 27, 31 der beschriebenen Ausführungsformen können sowohl volatile als auch nichtvolatile Speicherbereiche aufweisen und unterschiedlichste Speichergeräte und

Speichermedien umfassen, beispielsweise Festplatten, optische Speichermedien oder Halbleiterspeicher.

Fig. 4 stellt schematisch ein Kraftfahrzeug 40 dar, in dem eine erfindungsgemäße Lösung realisiert ist. Das Kraftfahrzeug 40 weist unter anderem ein Navigationssystem 41 und eine Umgebungssensorik 42 auf, beispielsweise ein Kamerasystem und ein Radarsystem. Die von der Umgebungssensorik 42 erfassten Daten werden über ein Netzwerk 43 an eine Vorrichtung 20 zum Auflösen einer Redundanz von zwei oder mehr redundanten Modulen übermittelt. Die von der Vorrichtung 20 generierten Daten können in einem Speicher 44 des Kraftfahrzeugs 40 abgelegt werden. Zudem können sie einem Fahrerassistenzsystem 45 des Kraftfahrzeugs 40 zur Verfügung gestellt werden, beispielsweise für eine Bahnplanung. Weiterhin können die Daten dem Fahrer mittels einer Nutzerschnittstelle, beispielsweise einem Infotainmentsystem mit einer Anzeigevorrichtung, mitgeteilt werden.

Nachfolgend soll eine bevorzugte Ausführungsform der Erfindung anhand der Figuren 5 und 6 erläutert werden. Betrachtet wird das Zusammenspiel verschiedener neuartiger Softwarekomponenten, die auf bereits bestehenden technologischen Herangehensweisen beruhen. Diese

Softwarekomponenten berechnen zum einen eine Unsicherheit eines konkreten

Softwaremoduls entlang der Verarbeitungskette des automatischen Fahrens, d. h. von der Sensorik bis zur Aktorik. Zum anderen berechnen sie bei redundant auftretenden Modulen eine Ergebnisverlässlichkeit, um diese für die Auflösung der Redundanz zu verwenden. Im Sinne des konzeptionellen Vorgehens ist es sinnvoll, Ergebnisverlässlichkeiten für jedes Ergebnis zu ermitteln. In dem Fall, dass ein Ergebnis nur von einem Modul gegeben wird, kann deshalb die vom Modul ermittelte Verlasslichkeit als Ergebnisverlässlichkeit

übernommen werden, gegebenenfalls mit einem grundsätzlichen Vertrauenswert des Moduls multipliziert. Ein Beispiel für ein System von Softwarekomponenten und Softwaremodulen ist in Fig. 5 schematisch dargestellt. Im Beispiel sind fünf Softwaremodule Μ-L . . . MS vorhanden, die Sensordaten oder Analyseergebnisse von einer Umgebungssensorik 42 empfangen. Für jedes Softwaremodul Μ-L . . . MS ermittelt eine zugehörige Softwarekomponente S _! ...S ₅ eine Verlässlichkeit des jeweiligen Softwaremoduls Μ^ , . Μ^ Dabei können die Softwaremodule M-L . - .MS und die jeweils zugehörigen Softwarekomponenten S _! ...S ₅ eine Einheit bilden, wie es in Fig. 5 angedeutet ist. Aus der jeweiligen Modulverlässlichkeit sowie aus den

entsprechenden Werten vorheriger Arbeitsschritte werden Gesamtwerte a ...a ₅ für die aktuelle Verlässlichkeit der Modulergebnisse E ... E ₅ ermittelt. Die Ergebnisse E ... E ₅ der Softwaremodule Μ-L . . .MS und die ermittelten Verlässlichkeiten ^ ...a^ werden an eine Komponente 20 zum Auflösen einer Redundanz weitergegeben.

Inhaltlich sagt die zu berechnende Verlässlichkeit a ...a ₅ aus, wie verlässlich, d. h. wenig unsicher, die aktuelle Ausgabegröße für die gegebenen aktuellen Eingangsgrößen und die gegebene jüngste Vergangenheit ist. Dazu werden zur Laufzeit verschiedene Messungen oder Untersuchungen vorgenommen. Die Messungen werden durch parallel zum aktiven Modul M^ . -Ms aufgehängte Softwarekomponenten S-^ -Ss zu jedem redundant auftretenden Verarbeitungsmodul Μ-L . . .MS durchgeführt und arbeiten unabhängig voneinander. Sie liefern Zahlen bzw. vektorwertige Ergebnisse a ...a ₅ , die die Verlässlichkeit der aktuellen

Modulausgabe Ε^ _^ . , .Ε _ζ aus verschiedenen Blickrichtungen bewerten. Aufgrund des hohen Berechnungsaufwandes kann es sinnvoll sein, die Verlässlichkeit nicht in jedem Zeitschritt zu berechnen. In diesem Fall bleibt die zuletzt berechnete Verlässlichkeit erhalten. Für die Messungen stehen unterschiedliche Ansätze zur Verfügung.

Beispielsweise kann durch leichtes Variieren bzw. Stören der Eingangsgrößen die Stabilität der Modulentscheidung gegenüber leichter Varianz der Eingangsgrößen gemessen werden. Für diese Messung können die Eingangsgrößen z. B. mit Rauschen überlagert werden. Durch leichtes Variieren des Moduls M^ . -Mg kann die Stabilität der Modulentscheidung gegenüber leichten Modellvarianzen gemessen werden. Beispiele für das Variieren des Moduls M^ . -Ms sind Monte Carlo Dropouts [1 ] zur Laufzeit oder leichtes Verändern der Modellgewichte bei neuronalen Netzen oder Support Vector Machines (Stützvektormaschine; der deutsche Begriff ist allerdings ungebräuchlich). Beim Dropout wird eine spezifizierte Anzahl von Neuronen in jeder Schicht eines neuronalen Netzes abgeschaltet und für den kommenden Berechnungsschritt nicht berücksichtigt.

Mithilfe von Plausibilisierungsmethoden können die ausschlaggebenden Bereiche der Eingangsgrößen ermittelt werden, die die aktuelle Modulentscheidung Ε^ _^ . , .Ε _ζ am stärksten geprägt haben. Beispiele für solche Plausibilisierungsmethoden sind Heatmapping

(„Wärmebild"; Eine "Heatmap" ist eine Visualisierung einer Eingangsgröße, z. B. eines Eingangsbildes, die anzeigt, welche Merkmale der Eingangsgröße ein Machine Learning Model als wichtig für das Erzielen einer Klassifizierung erachtet.) [2], Lime [3] (Local interpretable model-agnostic explanations; Lokale, interpretierbare modell-agnostische Begründungen) oder Deep Taylor Decompositions [4] (Taylor Approximation tiefer neuronaler Netze). Die Konzentration dieses Bereiches, d. h. die Ausdehnung über die Eingangsgrößen oder Lokalität in den aktuellen Eingangsgrößen, kann für bestimmte Module M^ . -Ms Aussagen über die Verlässlichkeit des aktuellen Ergebnisses E ... E ₅ zulassen. Beispielsweise haben Schilderkennungen oder Vorfahrtsbestimmungen hoch-lokale

Entscheidungsgrundlagen im Bild. Prädiktionsalgorithmen sollten Ihre Vorhersage auf bestimmte Objekte im Umfeldmodell sowie wenige Kontextvariablen konzentrieren.

Viele Module Μ-L . . . MS liefern„intrinsische" Konfidenzen, also eine Art

Unsicherheitsbewertung der aktuellen Ausgabe. Diese Konfidenzen können wie

Sensorkonfidenzen behandelt werden, wie sie praktisch jeder Sensor klassisch übermittelt, und liefern auch Indizien für eine Verlässlichkeit des aktuellen Ergebnisses. Hohe

Konfidenzen sollten mit einer hohen Verlässlichkeit korrelieren. Sie können aber auch an einem Trainingsbias liegen, so dass die Konfidenzen mit Vorsicht zu betrachten sind. Im Falle von neuronalen Netzen ist die intrinsische Konfidenz oft eine Softmax-Interpretation des Ergebnisses als Wahrscheinlichkeit.

Alternativ können die Schätzungen der Verlässlichkeit auch offline, d. h. nicht zur Laufzeit im Fahrzeug, erzeugt werden. Dazu können mit einer oder mehrerer der oben beschriebenen Messungen alle möglichen Eingangsgrößen evaluiert und als Vektor über die

Eingangsgrößen abgelegt werden. Diese können dann zur Laufzeit entsprechend der gegeben Eingangsgrößen ausgelesen und weitergegeben werden. Dieser Ansatz ist außerordentlich performant und bietet sich vor allem bei vergleichsweise kleinen Mengen möglicher Eingangsgrößen an.

Angepasst an den jeweiligen Anwendungsfall werden aus den ermittelten Werten der Modulverlässlichkeiten sowie aus den entsprechenden Werten vorheriger Arbeitsschritte nun Gesamtwerte ^...a^ für die aktuelle Verlässlichkeit der Modulergebnisse E ₁ ...E _$ ermittelt. Diese werden gemeinsam mit den jeweiligen Modulergebnissen E-^...Ε^ an die Vorrichtung 20 zur Ermittlung der Ergebnisverlässlichkeit weitergegeben.

Dazu werden die ermittelten Modulergebnisse verglichen und ihre Differenz bestimmt. Hierbei werden übereinstimmende Modulergebnisse E ₁ ...E _$ zusammengefasst. Wann Modulergebnisse E-^...Ε^ als übereinstimmend zu werten sind, kann angepasst an den jeweiligen Anwendungsfall definiert werden. Gegebenenfalls können auch hinreichend ähnliche Ergebnisse E ₁ ...E _$ als übereinstimmend gewertet werden. Dies trifft vor allem auf Module M^ . -Ms zu, die einen„dense output" haben, d. h.„dichte" bzw. kontinuierliche Ausgangsgrößen, wie beispielsweise Bilder. In diesem Fall kann man eine Distanz zwischen den Ausgaben definieren und hinreichend nahe beieinanderliegende Ergebnisse E-^...Ε^ als übereinstimmend werten. Hinreichend nahe liegen die Ergebnisse E ₁ ...E _$ , wenn ihr Abstand kleiner als ein definierter Schwellwert ist, wobei der Schwellwert vom Anwendungsfall abhängen kann. Für verschiedene Segmentierungs- oder Klassifikationsalgorithmen kann die Distanz zwischen den Ausgaben beispielsweise durch den Jaccard-Koeffizienten definiert sein. Um den Jaccard-Koeffizienten zweier Mengen zu berechnen, teilt man die Anzahl der gemeinsamen Elemente, d. h. die Schnittmenge, durch die Größe der

Vereinigungsmenge. Der Jaccard-Koeffizient ist ein Maß für die Ähnlichkeit der Ergebnisse

Zu den sich ergebenden Ergebnissen Ε-^. , .Ε^ wird eine konkrete Ausprägung als

Repräsentant ausgewählt, typischerweise dasjenige Ergebnis E ₁ ...E _$ mit der höchsten Verlässlichkeit a ...a ₅ , und eine Ergebnisverlässlichkeit v(E ₁ )...v(E ₅ ) bestimmt. Diese liegt über dem Maximum der einzelnen Verlässlichkeitswerte a ...a ₅ . Bei redundant auftretenden Modulen Μ-^ , .Μ^ die das gleiche oder ein hinreichend ähnliches Ergebnis Ε^ _^ . , .Εζ

ausgeben, ist die Ergebnisverlässlichkeit dieses Ergebnisses E ...E ₅ ein aggregiertes Maß für die gemeinschaftliche Glaubwürdigkeit des Ergebnisses Ε^ _^ . , .Εζ in Anbetracht aller dieses Ergebnis tragenden Module Μ^ , .Μ^ Sie ist eine gemeinsame Ausgangsgröße dieser Module M^ . -Ms für das aktuelle Ergebnis E ...E ₅ und vom gleichen Datentyp wie die einzelnen Verlässlichkeiten ^...a^. Die konkrete Formel zur Berechnung der Ergebnisverlässlichkeit kann neben den einzelnen Verlässlichkeiten α-^ . , .α^ auch fest definierte Glaubwürdigkeiten der Module Μ-L . . . MS einbeziehen. Sie ist vorzugsweise als feste arithmetische Formel gegeben.

Die ermittelten Ergebnisverlässlichkeiten werden nun zur Auflösung der Redundanz verwendet. Dabei wird typischerweise das Ergebnis E ₁ ... E _$ mit der höchsten

Ergebnisverlässlichkeit als korrekt eingestuft und den nachfolgenden Verarbeitungsmodulen übergeben. Zusätzlich kann bei Bedarf das Erreichen einer Mindestergebnisverlässlichkeit zur Bedingung gemacht werden. Die ermittelte Ergebnisverlässlichkeit kann als

Eingangsgröße für die nachfolgenden Module verwendet werden. Für den Fall, dass die Verlässlichkeit ^ ...a^ nicht in jedem Zeitschritt berechnet wird, wird die Redundanz in kleinerer Frequenz aufgelöst als die Messungen durchgeführt werden. Die Auflösung der Redundanz wird dann bis zur nächsten Berechnung der Verlässlichkeit a ...a ₅ beibehalten.

Sollten verschiedene widersprüchliche Ergebnisse Ε^ _^ . , . Εζ die gleiche größte

Ergebnisverlässlichkeit aufweisen, kann unter den entsprechenden Ergebnissen E ...E ₅ nach einer festen Priorität der Module M .. M ₅ gewählt werden. Dabei überträgt das als glaubwürdigst geltende Modul Μ-L . . . MS sein Ergebnis Ε^ _^ . , . Ε _ζ mit der entsprechenden Ergebnisverlässlichkeit. Allerdings lassen sich auch alternative Ansätze der

Redundanzauflösung umsetzen.

Beispielsweise werden im Rahmen eines Konstanzansatzes werden zu jedem Modul M^ . -Mg Aktivitätsparameter gemessen. Diese Aktivitätsparameter sagen aus, wie aktiv jedes Modul M^ . -Mg in der vorhergehenden Zeit war und beziehen Verlässlichkeit, Präzision und die Frage, wie häufig diesen Modulen Μ-L . . . MS vertraut wurde, mit ein. Dabei hat die unmittelbare Vergangenheit einen starken, die Langzeiterfahrung einen kleinen Einfluss. Aktive Module M^ . -Mg werden bei gleicher maximaler Ergebnisverlässlichkeit bevorzugt.

Bei einem kontextspezifischen Ansatz wird die oben beschriebene Priorisierung redundant auftretender Module M^ . -Mg kontextspezifisch verändert, beispielweise abhängig von Ort, Zeit, Wetter, Verkehr oder Umgebung.

Im Rahmen eines extrinsisch-intrinsischen Ansatzes wird bei gleicher maximaler

extrinsischer Verlässlichkeit dem Modul Μ-L . . .MS vertraut, das eine geringere intrinsische Unsicherheit ausleitet, d. h. eine höhere Konfidenz. Sollte auch diese gleich sein, so werden die Werte der unmittelbaren Vergangenheit genutzt Eine alternative Form der Redundanzauflösung beruht auf einem Verechnungsansatz. Sind die Ergebnisse E ... E ₅ interpolierbar, so wird anhand der vorhandenen Ergebnisse E ...E ₅ ein Gesamtergebnis als Interpolation der Modulergebnisse Ε^ _^ . , . Ε _ζ ermittelt. Dabei erhalten die Einzelergebnisse Ε^ _^ . , .Ε _ζ ein zur Ergebnisverlässlichkeit proportionales Gewicht. Auf diese Weise tragen Ergebnisse E ... E ₅ mit hoher Ergebnisverlässlichkeit mit einem größeren Gewicht zum Gesamtergebnis bei.

Ein Beispiel für das Bestimmen eines Gesamtergebnisses aus den Einzelergebnissen E^ E ₂ zweier Module Μ _{1 ;} M ₂ ist in Fig. 6 dargestellt. Im Rahmen des Aufbaus eines Verständnisses für das Umfeld muss vom Fahrzeug eine sogenannte Freifelderkennung durchgeführt werden, also eine Bewertung desjenigen Raumes, in den gefahrlos gefahren werden kann. Diese Erkennung kann nun durch verschiedene Module M _{1 ;} M ₂ basierend auf den Daten der Umgebungssensorik 42 durchgeführt werden.

Im Beispiel verarbeitet Modul M-L vorverarbeitete Informationen anderer Module, die in Fig. 6 zu einem Vorverarbeitungsmodul VM zusammengefasst sind. Beispielsweise können von einer Objekterkennung Objektdaten OBJ, von einer Tiefenschätzung eine Tiefenkarte TK und von einer semantischen Segmentierung Segmentierungsdaten SEG bereitgestellt werden. Die genannten Module werden hier als virtuelle Sensoren aufgefasst, deren

Ausgangsgrößen von M-L als Eingangsgrößen genutzt werden.

Modul M ₂ basiert hingegen auf einer Sensorfusion von Kamera, Radar und Lidar. Natürlich sind auch weitere Module denkbar, die alle zeitgleich eine Messung des Freiraums vornehmen.

Die Module M und M ₂ stellen ein redundantes Messsystem zur Ermittlung des Freiraumes dar. Sie werden im Allgemeinen kein eindeutiges Ergebnis Ε-^ E ₂ ermitteln, insbesondere bei datengetriebenen Modulen, die durch Machine Learning entstanden sind. Es soll nun ermittelt werden, welchem Modul M _{1 ;} M ₂ am stärksten zu Vertrauen ist, welches Ergebnis E _{1 ;} E ₂ also die höchste Verlässlichkeit a , a ₂ aufweist.

Dazu wird für jedes Modul Μ _{1 ;} M ₂ neben seinem eigentlichen Messergebnis E-L, E ₂ , d. h. dem ermittelten Freiraum, zusätzlich eine Verlässlichkeit a , a ₂ ermittelt. Die Verlässlichkeit a , a ₂ gibt darüber Aussage, wie vertrauenswürdig dieses aktuelle Messergebnis E-L, E ₂ für dieses Modul M _{1 ;} M ₂ ist. Dieser Wert ist neben dem Messergebnis E _{1 ;} E ₂ eine zweite Ausgangsgröße eines jeden Moduls M _{1 ;} M ₂ . Bei abweichenden Messergebnissen E ₂ wird typischerweise das Messergebnis E _{1 ;} E ₂ mit der höheren Verlässlichkeit a , a ₂ genutzt werden. Liefern hingegen beide Module Μ _{1 ;} M ₂ das gleiche oder ein hinreichend ähnliches Ergebnis, so muss dieses Ergebnis als verlässlicher eingestuft werden. Die Module M und M ₂ liefern das gleiche Ergebnis E mit den Verlässlichkeiten a und a ₂ . Dann ist ein Ansatz für die Ergebnisverlässlichkeit von E einfach die Summe a +a ₂ .

Für viele Anwendungen ist es sinnvoll, wenn die Verlässlichkeiten immer Werte zwischen 0 und 1 oder Vektoren solcher Werte sind. In diesem Fall kann die Ergebnisverlässlichkeit des Ergebnisses E berechnet werden als n

v E) = 1 - (1 - a U - a ₂ ) · ... · (1 - a _n ) = 1 - ]^[(1 - a _t ) , (1 )

i = l wenn die Module M ₁ ...M _n das gleiche Ergebnis E mit Verlässlichkeit a ...a _n ermittelt haben. Alternativ kann die Glaubwürdigkeit c(Mj) der Module mittels der Formel v E) = 1 - (1 - cCMi Xl - c(M ₂ )a ₂ ) · ... · (1 - c(M _n )a _n ) berücksichtigt werden.

Im Falle von vektoriellen Verlässlichkeitswerten sind die Formeln als komponentenweise Formeln zu verstehen, also beispielsweise n

v E) _j = l-Y[ l - c(M _i - .a _i -)j) , (3)

i = l wobei v(E)j den ; ^' -ten Eintrag des Vektors der Ergebnisverlässlichkeit des Ergebnisses E bezeichnet und (α ) , ^■ der ; ^' -te Eintrag die aktuelle Verlässlichkeit des Moduls M _; ist. Bezugszeichenliste

10 Empfangen von Ergebnissen

1 1 Ermitteln von Verlässlichkeiten

12 Bestimmen eines Gesamtergebnisses

13 Ausgeben des Gesamtergebnisses

0 Vorrichtung

1 Eingang

2 Empfangseinheit

23 Prozessoreinheit

24 Ausgabeeinheit

25 Kontrolleinheit

26 Ausgang

27 Speicher

28 Benutzerschnittstelle

30 Vorrichtung

31 Speicher

32 Prozessor

33 Eingang

34 Ausgang

40 Kraftfahrzeug

41 Navigationssystem

42 Umgebungssensorik

43 Netzwerk

44 Speicher

45 Fahrerassistenzsystem

a ... «5 Verlässlichkeit

Ei- - - E ₅ Ergebnis

Mi .. ■M ₅ Modul

Si... s ₅ Softwarekomponente

OBJ Objektdaten

SEG Segmentierungsdaten

TK Tiefen karte

VM Vorverarbeitungsmodul Referenzen

[1] Gal et al.:„Dropout as a Bayesian approximation: representing model uncertainty in deep learning", Proceedings of the 33rd International Conference on Machine Learning (ICML'16), Vol. 48 (2016), pp. 1050-1059.

[2] www.heatmapping.org

[3] Ribeiro et al.: ""Why Should I Trust You?": Explaining the Predictions ofAny

Classifier", Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD Ί 6) (2016), pp. 1 135-1 144.

[4] Montavon et al.:„Explaining nonlinear Classification decisions with deep Taylor decomposition", Pattern Recognition, Vol. 65 (2017), pp. 21 1-222.