Die vorliegende Erfindung betrifft einen bildbasiertes Verfahren zum Vereinfachen einer Kontrollübernahme über ein Kraftfahrzeug durch eine fahrzeugexterne Bedienperson. Die Erfindung betrifft weiter eine für dieses Verfahren eingerichtete Assistenzeinrichtung sowie ein damit ausgestattetes Kraftfahrzeug.

Obwohl die Entwicklung autonomer bzw. automatisierter Kraftfahrzeuge beständig weiter fortschreitet, sind Fehler bei heutzutage verfügbaren Systemen noch immer unvermeidbar. Ein Ansatz, mit dieser Problematik umzugehen, besteht darin, dass im Falle eines Fehlers, wenn das jeweilige Kraftfahrzeug also eine bestimmte Situation nicht vollständig autonom oder automatisch bewältigen kann, eine fahrzeugexterne Bedienperson, auch als Teleoperator bezeichnet, die Kontrolle über das jeweilige Kraftfahrzeug, also dessen Steuerung in Fernsteuerung übernimmt. Auch dabei gibt es jedoch unterschiedliche Herausforderungen. Beispielsweise ist ein Erkennen und Verstehen einer jeweiligen Situation und Umgebung des Kraftfahrzeugs für eine fahrzeugexterne Bedienperson eine schwierige Aufgabe, die eine signifikante Zeitdauer erfordern kann, bevor die Bedienperson das jeweilige Kraftfahrzeug sicher durch die jeweilige Situation steuern kann.

Ein solches Verfahren für eine Intervention während eines Betriebs eines Fahrzeugs, das autonome Fahrfähigkeiten hat, ist in der WO 2018 / 232 032 A1 beschrieben. In dem dortigen Verfahren wird bestimmt, dass eine entsprechende Intervention angemessen ist. Basierend darauf wird es einer Person ermöglicht, Informationen für die Intervention bereitzustellen. Schließlich wird die Intervention veranlasst. Dazu kann beispielsweise ein Teleoperationssystem mit dem jeweiligen Fahrzeug interagieren, um verschiedene Arten von Ereignissen zu handhaben, beispielsweise solche Ereignisse die zu Risiken, wie Kollisionen oder Verkehrsstaus führen können.

Als weiterer Ansatz ist in der JP 2018 538 647 A ein Fernsteuerungssystem sowie ein Verfahren zur Korrektur einer Trajektorie eines autonomen unbemannten Fahrzeugs beschrieben. Darin werden anhand einer empfangenen Steuermeldung des Fahrzeugs Daten, die ein mit dem Fahrzeug assoziiertes Ereignis identifizieren, detektiert und das Ereignis identifiziert. Weiter werden ein oder mehrere in Antwort auf diese Daten zu implementierenden Maßnahmen identifiziert, für die dann korrespondierende Ränge berechnet werden. Die Maßnahmen werden dann simuliert, um eine Strategie zu generieren. Mit wenigstens einem Subset der Maßnahmen assoziierte Informationen werden zur Darstellung auf einem Anzeigegerät eines entfernten Operators bereitgestellt. Eine aus dem dargestellten Subset von Maßnahmen ausgewählte Maßnahme wird dann an das Fahrzeug übermittelt.

Aufgabe der vorliegenden Erfindung ist es, eine besonders einfache und schnelle Übernahme der Kontrolle über ein Kraftfahrzeug durch eine fahrzeugexterne Bedienperson zu ermöglichen.

Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Mögliche Ausgestaltungen und Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Patentansprüchen, in der Beschreibung und in den Figuren angegeben

Das erfindungsgemäße Verfahren dient zum Vereinfachen einer Kontrollübernahme über ein Kraftfahrzeug durch eine fahrzeugexterne Bedienperson. Mit anderen Worten soll es der fahrzeugexternen Bedienperson, also einem Teleoperator, erleichtert werden, die Steuerung bzw. Fernsteuerung des Kraftfahrzeugs zu übernehmen. Da zum Zeitpunkt dieser Kontrollübernahme die fahrzeugexterne Bedienperson nicht mit der jeweiligen Situation des Kraftfahrzeugs, also dessen Umgebung und Fahrzustand, vertraut ist, und entsprechende Daten nicht unmittelbar, sondern beispielsweise nur über ein Anzeigegerät aufnehmen kann, kann die Übernahme der Kontrolle über das Kraftfahrzeug eine signifikante Herausforderung darstellen und eine signifikante Zeit beanspruchen. Um dies zu vereinfachen, werden in einem Verfahrensschritt des erfindungsgemäßen Verfahrens in einem bedingt automatisierten Betrieb des Kraftfahrzeugs Bilder bzw. jeweils wenigstens ein Bild oder entsprechende Bilddaten von einer jeweiligen Umgebung des Kraftfahrzeugs erfasst. Dieses wenigstens eine Bild wird dann mittels eines vorgegebenen trainierten Segmentierungsmodells semantisch segmentiert. Das Segmentierungsmodell kann beispielsweise ein, insbesondere tiefes, also mehrschichtiges, künstliches neuronales Netz sein oder umfassen, beispielsweise ein tiefes faltendes neuronales Netz (englisch: deep convolutional neural network, deep CNN). Das Segmentierungsmodell kann beispielsweise Teil einer entsprechenden Datenverarbeitungseinrichtung des jeweiligen Kraftfahrzeugs sein. Mit anderen Worten kann das semantische Segmentieren des wenigstens einen Bildes der jeweiligen Umgebung insbesondere in dem Kraftfahrzeug selbst, also durch eine Einrichtung des Kraftfahrzeugs selbst durchgeführt werden. Dies ermöglicht eine besonders zeitnahe, also latenzarme Durchführung der semantischen Segmentierung.

Ein bedingt automatisierter Betrieb des Kraftfahrzeugs kann im vorliegenden Sinne beispielsweise der Autonomiestufe SAE J3016 Level 3 oder Level 4 entsprechen. In dem bedingt automatisierten Betrieb kann das Kraftfahrzeug sich also zeitweise autonom bewegen, bei einer nicht autonom zuverlässig zu bewältigenden Situation jedoch die Kontrolle über das Kraftfahrzeug, also dessen Steuerung an eine menschliche Bedienperson abgeben. Letzteres wird auch als Disengagement bezeichnet.

In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens werden basierend auf jeweils wenigstens einem der aufgenommenen Bilder, insbesondere pixelweise, also pixelgenau, Fehler des Segmentierungsmodells bei dem semantischen Segmentieren wenigstens eines der Bilder prädiziert. Dazu kann beispielsweise ein vorgegebenes entsprechend trainierten Fehlervorhersagemodell eingesetzt werden. Letztlich kann jedoch eine zumindest nahezu beliebige Fehlervorhersagemethode angewendet werden, die auf einem visuellen Input basiert, also Bilder oder Bilddaten als Eingangsdaten verarbeitet. Es könnte also auch für diese Fehlervorhersage ein entsprechend trainiertes, insbesondere mehrschichtiges, künstliches neuronales Netz eingesetzt werden. Auch die Fehlervorhersage kann wie im Zusammenhang mit der semantischen Segmentierung beschrieben in dem jeweiligen Kraftfahrzeug, also durch eine Einrichtung des Kraftfahrzeugs erfolgen. In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird im Falle einer entsprechenden Fehlervorhersage, die gemäß einem vorgegebenen Kriterium ein automatisches Ausgeben einer Anforderung für die Kontrollübernahme durch die fahrzeugexterne Bedienperson auslöst, automatisch eine bildbasierte Visualisierung erzeugt, in der genau der zu der jeweiligen Fehlervorhersage korrespondierende Bereich visuell hervorgehoben ist. Mit anderen Worten wird die Visualisierung also erzeugt, wenn zumindest eine vorgegebene Bedingung erfüllt ist, beispielsweise bezüglich einer Art und/oder eine Schwere des jeweiligen vorhergesagten Fehlers bzw. wenn zumindest eine vorgegebene Anzahl von Fehlern vorhergesagt wurde oder wenn die Fehlervorhersage einen gewissen vorgegebenen Umfang erreicht oder überschreitet.

Der in der Visualisierung hervorgehobene, also gekennzeichnete Bereich kann dabei ein zusammenhängender Bereich sein oder mehrere, gegebenenfalls disjunkte, Teilbereiche umfassen. Der hervorgehobene, zu der jeweiligen Fehlervorhersage korrespondierende Bereich ist dabei derjenige Bereich, der zu der Fehlervorhersage bzw. zu dem vorhergesagten Fehler oder den vorhergesagten Fehlern geführt hat bzw. ein entsprechender Bild- oder Datenbereich einer aus dem jeweiligen Bild abgeleiteten Darstellung, in dem der Fehler bzw. die Fehler aufgetreten oder verortet sind.

Ist die Fehlervorhersage pixelgenau, so kann dementsprechend auch der dazu korrespondierende Bereich, auch als Fehlerbereich bezeichnet, pixelgenau visuell hervorgehoben sein. Zum Hervorheben des Fehlerbereiches kann dieser beispielsweise in einer Signalfarbe oder einer wenigstens einen vorgegebenen Kontrast bezüglich eines übriger Bildbereiche aufweisenden Farbe oder Schattierung eingefärbt oder dargestellt werden, mit einer, insbesondere eingefärbten, Umrandung versehen werden und/oder dergleichen mehr. Zudem kann der übrige Bereich des jeweiligen Bildes bzw. der jeweiligen Visualisierung beispielsweise abgedunkelt, farblich entsättigt, in seiner Intensität reduziert und/oder anderweitig angepasst werden, um den Fehlerbereich relativ hervorzuheben.

Durch diese visuelle Hervorhebung des Fehlerbereiches ist dieser besonders einfach und schnell erkennbar, wobei gleichzeitig keine anderen Bild- oder Darstellungsbereiche verdeckt werden. Letzteres kann beispielsweise bei herkömmlichen Hinweisen durch ein eingeblendetes Hinweis- oder Warnsymbol oder dergleichen der Fall sein. Demgegenüber ermöglicht es die vorliegende Erfindung gleichzeitig, den Fehlerbereich hervorzuheben und sämtliche Details ebenfalls erkennbar zu lassen bzw. zu halten. Die Visualisierung kann beispielsweise eine bildliche Darstellung sein, die in ihren Dimensionen den aufgenommenen Bildern entsprechen kann.

In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens werden die Anforderung und die Visualisierung an die fahrzeugexterne Bedienperson gesendet. Die Visualisierung kann also beispielsweise gemeinsam mit der Anforderung zur Übernahme der Kontrolle über das Kraftfahrzeug an die oder eine fahrzeugexterne Bedienperson bzw. eine entsprechende Vermittlungs- oder Empfangseinrichtung gesendet bzw. übermittelt werden.

Da die Fehler des Segmentierungsmodells basierend auf oder anhand von räumlichen Merkmalen der Bilder bzw. in den Bildern abgebildeten räumlichen Merkmalen vorhergesagt werden, wird vorliegend die räumliche Natur der Fehlervorhersage verwendet, um der fahrzeugexternen Bedienperson zu visualisieren, aus oder in welchem räumlichen Bereich bzw. Bildbereich die Fehler stammen oder resultieren. Die fahrzeugexterne Bedienperson, im Folgenden auch kurz als Bedienperson bezeichnet, kann somit direkt besonders einfach und schnell funktions- oder sicherheitskritische Bereiche oder Merkmale erkennen und identifizieren, ohne zunächst das gesamte Bild zu erfassen und nach möglichen Problemursachen, die zu der Anforderung für die Kontrollübernahme geführt haben, abzusuchen. Die Bedienperson kann sich somit direkt auf die besonders anspruchsvollen, also für das jeweilige Kraftfahrzeug bzw. dessen bedingt automatisierten Tests oder Teil autonomes Steuersystem problematischen Teile der Umgebung bzw. der Fahreraufgabe fokussieren und dementsprechend besonders schnell korrekte Maßnahmen einleiten, beispielsweise um einen Unfall oder einem Anhalten des Kraftfahrzeugs zu vermeiden.

Es wird vorliegend also vorgeschlagen, ein Ergebnis oder einen Output der Fehlervorhersage selbst zum visuellen Hervorheben kritischer Bereiche der Umgebung für die Bedienperson zu verwenden. Somit wird die Bedienperson also nicht nur durch die Anforderung zur Kontrollübernahme darauf hingewiesen, dass das Kraftfahrzeug mit der jeweiligen Situation im Allgemeinen überfordert ist, sondern was bzw. wo genau die jeweilige Problemursache aus der Perspektive des Kraftfahrzeugs ist. In der vorliegenden Erfindung können dabei insbesondere nur solche Bereiche visuell hervorgehoben werden, die gemäß der Fehlervorhersage tatsächlich zu einem Fehler geführt haben bzw. zu einem Fehler führen werden, anstatt allgemein basierend auf der semantischen Klassifikation generell beispielsweise sämtliche Bereiche einer bestimmten Klasse visuell hervorzuheben. Die vorliegend vorgesehene Visualisierung bzw. die hervorgehobenen Fehlerbereiche sind also direkt mit der Ursache dafür verknüpft, dass das Kraftfahrzeug die jeweilige Anforderung für die Kontrollübernahme ausgesendet hat, und mit dem korrespondierenden räumlichen Bereich oder Merkmal. Dies ermöglicht es der Bedienperson, die sichere Kontrolle über das Kraftfahrzeug in der jeweiligen Situation schneller und einfacher zu übernehmen als dies mit herkömmlichen Methoden typischerweise der Fall ist. Dies kann zu einer verbesserten Sicherheit im Straßenverkehr führen oder beitragen.

Da in der vorliegenden Erfindung die Art der vorhergesagten Fehler nicht eingeschränkt ist, kann zudem jegliche Art von Bereich als Fehlerbereich identifiziert und dementsprechend visuell hervorgehoben werden. Die Hervorhebung ist also hier beispielsweise nicht auf bestimmte einzelne Objekte oder Objektarten, wie beispielsweise andere Verkehrsteilnehmer oder dergleichen, beschränkt. Dies kann beispielsweise durch ein entsprechendes, insbesondere bezogen auf das Segmentierungsmodell introspektives, Training eines im Rahmen der Fehlervorhersage verwendeten Modells erreicht werden. Hierdurch kann die Kontrollübernahme in einer Vielzahl unterschiedlicher Situationen vereinfacht werden.

Mit der vorliegenden Erfindung wird nicht nur bestimmt, ob das jeweils aktuelle Bild von dem Kraftfahrzeug bzw. dessen für den bedingt automatisierten bzw. teilautonomen Betrieb verantwortliches Assistenz- oder Steuersystem korrekt verstanden wurde, sondern es wird vorgeschlagen, die bildbasierte Fehlerdetektion prädiktiv einzusetzen. Dies kann eine sicherheitsrelevante Ergänzung bzw. Anpassung existierender Methoden darstellen, bei denen typischerweise die Umgebung des Kraftfahrzeugs neutral, beispielsweise in Form eines unmittelbaren Videostroms, an den Teleoperator übertragen wird.

In einer möglichen Ausgestaltung der vorliegenden Erfindung werden die Fehler des Segmentierungsmodells pixelweise vorhergesagt. Darauf basierend wird dann für das jeweilige Bild eine Anzahl der vorhergesagten Fehler und/oder ein durchschnittlicher Fehler bestimmt. Als das vorgegebene Kriterium für das Ausgeben der Anfrage zur Kontrollübernahme wird dann überprüft, ob die Anzahl der Fehler und/oder der durchschnittliche Fehler größer als ein vorgegebener Fehlerschwellenwert ist. Der durchschnittliche Fehler kann beispielsweise als durchschnittliche Fehlerwahrscheinlichkeit, Konfidenz oder Schweregrad über alle Pixel des jeweiligen Bildes bzw. der jeweiligen semantischen Segmentierung hinweg bestimmt werden. Durch einen relativ niedrigen Fehlerschwellenwert kann in potenziell kritischen Situationen besonders frühzeitig die Übernahme der Kontrolle durch den Teleoperator veranlasst werden, was zu einer weiter verbesserten Sicherheit führen kann. Ein relativ großer Fehlerschwellenwert kann hingegen dazu führen, dass die Kontrolle über das Kraftfahrzeug zuverlässiger nur in tatsächlich kritischen Situationen an den Teleoperator abgegeben wird. In jedem Fall können durch einen von null verschiedenen Fehlerschwellenwert vernachlässigbare Fehler, die aller Voraussicht nach nicht zu einer tatsächlich sicherheitskritischen Situation oder einem Unfall des Kraftfahrzeugs führen, herausgefiltert werden. Dadurch kann Bandbreite und Aufwand eingespart und eine Belastung des Teleoperators reduziert werden. Somit kann es praktikabel ermöglicht werden, eine Vielzahl entsprechender Kraftfahrzeuge zu betreiben, ohne dass eine zumindest annähernd gleich große Anzahl von Teleoperatoren einsatzbereit sein muss. So kann beispielsweise eine Fehlklassifikation eines einzelnen Pixels, eine Fehlklassifikation eines Teils einer Bebauung neben einer jeweiligen befahrenen Straße oder dergleichen in der Praxis für einen sicheren autonomen Betrieb des Kraftfahrzeugs letztlich irrelevant sein.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung werden die Fehler des Segmentierungsmodells pixelweise vorhergesagt, wobei eine Größe eines zusammenhängenden Bereiches von Fehlerpixeln, also als fehlerhaft klassifiziert vorhergesagter Pixel, bestimmt wird. Als das vorgegebene Kriterium für das Ausgeben der Anfrage zur Kontrollübernahme wird dann überprüft, ob die Größe des zusammenhängenden Bereiches wenigstens einem vorgegebenen Größenschwellenwert entspricht. Sofern es mehrere zusammenhängende Bereiche von Fehlerpixeln gibt, kann dies für jeden einzelnen der Bereiche durchgeführt werden oder zumindest so lange, bis ein Bereich von Fehlerpixeln gefunden wurde, dessen Größe wenigstens dem vorgegebenen Größenschwellenwert entspricht. Mit anderen Worten kann also vorgesehen sein, dass die Anfrage zur Kontrollübernahme durch die fahrzeugexterne Bedienperson nur dann ausgelöst, also ausgegeben bzw. abgesendet wird, wenn es wenigstens einen zusammenhängenden Bereich von Fehlerpixeln gibt, der ausreichend groß ist, um das entsprechende vorgegebene Kriterium zu erfüllen, also etwa größer als der Größenschwellenwert. Der Größenschwellenwert kann dabei als absolute bzw. in Pixeln gemessene Fläche oder als prozentualer Anteil an einer Gesamtgröße oder Gesamtanzahl von Pixeln des jeweiligen Bildes bzw. der jeweiligen semantischen Segmentierung vorgegeben sein. Es wird hier nicht oder nicht nur die Anzahl der vorhergesagten Fehler und/oder deren Wahrscheinlichkeit oder schwere berücksichtigt, sondern auch deren räumliche Verteilung. Dadurch kann berücksichtigt werden, dass ein relativ kleiner Bereich von Fehlerpixeln mit einer unterhalb des vorgegebenen Größenschwellenwerts liegenden Größe gegebenenfalls für den Teleoperator ohnehin nicht erkennbar wäre und/oder voraussichtlich ohnehin nicht sicherheitskritisch oder sicherheitsrelevant ist. Hingegen kann ein korrektes autonomes Verhalten des Kraftfahrzeugs umso unwahrscheinlicher sein, je größer ein vorhergesagter zusammenhängender Bereich von Fehlerpixeln ist. Durch die hier vorgeschlagene Ausgestaltung kann das erfindungsgemäße Verfahren praktikabel, also mit beherrschbarem Aufwand bezüglich der Einsatzbereitschaft einer ausreichenden Anzahl fahrzeugexterner Bedienpersonen angewendet werden. Um die Sicherheit weiter zu verbessern bzw. Auswirkungen kritischer Situationen, also sogenannter Disengagements der entsprechend betriebenen Kraftfahrzeuge zu reduzieren, kann es zudem vorgesehen sein, bei ausgelasteter Kapazität der fahrzeugexternen Bedienperson oder Bedienpersonen eine Anfrage zur Kontrollübernahme, die auf einem Bereich von Fehlerpixeln ab einer vorgegebenen Größe beruht, gegenüber anderen Anfragen, die auf Bereichen von Fehlerpixeln kleinerer Größe basieren, zu priorisieren., Dazu kann die entsprechende Anfrage beispielsweise mit einem Prioritätsflag versehen werden.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird mittels eines vorgegebenen Rekonstruktionsmodells aus der jeweiligen semantischen Segmentierung das dieser jeweils zugrunde liegende erfasste Bild durch Erzeugen eines entsprechenden Rekonstruktionsbildes approximiert bzw. rekonstruiert .Die jeweilige Visualisierung wird dann basierend auf dem jeweiligen Rekonstruktionsbild erzeugt. Das Rekonstruktionsmodell kann hier beispielsweise ein entsprechend trainierten künstliches neuronales Netz sein oder umfassen. Dieses kann gemäß den durch die semantische Segmentierung gegebenen Klassifikationen einzelner Bereiche das Rekonstruktionsbild mit entsprechenden Objekten füllen, also aus entsprechenden Objekten aufbauen. Fehler des Segmentierungsmodells bei der semantischen Segmentierung des jeweils zugrunde liegenden Bildes führen dann zu entsprechenden Diskrepanzen oder Differenzen zwischen dem jeweiligen zugrunde liegenden Bild und dem auf dessen semantischer Segmentierung basierend erzeugten Rekonstruktionsbild. Diese Diskrepanzen können dann in der Visualisierung visuell hervorgehoben werden. Dies ermöglicht ein besonders effektives automatisches Hervorheben der Fehlerbereiche in einer ansonsten zumindest nahezu mit der Realität übereinstimmenden Darstellung. Dadurch wird eine besonders effektive und sichere Steuerung des Kraftfahrzeugs durch den Teleoperator ermöglicht. Zudem beruhen die Fehlervorhersage bzw. die hervorgehobenen Fehlerbereiche hier auf der tatsächlichen Interpretation der jeweiligen Situation durch das Segmentierungsmodell, sodass beispielsweise keine gegebenenfalls unzutreffenden Annahmen über dessen Fähigkeiten oder Situationsverständnis getroffen werden müssen. Dies kann eine besonders robuste, zuverlässige und genaue Visualisierung der Fehlerbereiche ermöglichen und somit zur Sicherheit im Straßenverkehr beitragen.

In einer möglichen Weiterbildung der vorliegenden Erfindung umfasst das Rekonstruktionsmodell erzeugende gegnerische Netzwerke, auch als GANs (englisch: generative adversarial networks) bezeichnet, oder wird durch diese gebildet. Die Verwendung derartiger GANs zum Erzeugen des Rekonstruktionsbildes ermöglicht eine zumindest nahezu fotorealistische Approximation des jeweiligen originalen erfassten Bildes. Dadurch kann beispielsweise ein Erzeugen einer besonders einfach verständlichen und der realen Umgebung möglichst ähnlichen Visualisierung ermöglicht werden. Dies kann wiederum dem Teleoperator ein besonders einfaches und schnelles Verständnis der jeweiligen Situation sowie eine entsprechend besonders einfache und schnelle Übernahme der Kontrolle über das jeweilige Kraftfahrzeug ermöglichen. Zudem kann das so erzeugte Rekonstruktionsbild beispielsweise besonders einfach, gut und robust mit dem jeweiligen zugrunde liegenden erfassten Bild verglichen werden, um besonders robust und zuverlässig entsprechende Diskrepanzen, also Fehler des Segmentierungsmodells zu detektieren.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird zum Vorhersagen der Fehler jeweils das Rekonstruktionsbild mit dem jeweiligen zugrunde liegenden erfassten Bild verglichen. Die Fehler werden dann anhand dabei detektierter Differenzen vorhergesagt, also detektiert bzw. sind durch diese Differenzen gegeben. Dabei können beispielsweise Pixel-, Intensitäts- und/oder Farbwerte verglichen werden. Dabei kann ein Differenzschwellenwert vorgegeben sein, sodass detektierte Differenzen nur dann als Fehler bestimmt werden, wenn die detektierten Differenzen wenigstens dem vorgegebenen Differenzschwellenwert entsprechen. Ebenso kann ein anderes Kriterium vorgegeben sein und überprüft werden, beispielsweise hinsichtlich der Anzahl von Pixeln der Diskrepanzen bzw. entsprechender Diskrepanzbereiche, deren Größe und/oder dergleichen mehr.

Das jeweilige Rekonstruktionsbild kann beispielsweise bildwert- oder pixelwertbasiert von dem jeweiligen zugrunde liegenden Bild subtrahiert werden oder umgekehrt. Es kann dann beispielsweise eine durchschnittliche Differenz der Bild- oder Pixelwerte bestimmt und mit dem vorgegebenen Differenzschwellenwert verglichen werden. Ebenso können aber einzelne ausreichend große Differenzen zu einer Fehlervorhersage bzw. zu einem Auslösen der Ausgabe der Anforderung zur Übernahme der Kontrolle über das Kraftfahrzeug führen. Dafür kann gegebenenfalls ein zweiter Differenzschwellenwert vorgegeben sein. Dadurch kann sichergestellt werden, dass signifikante Abweichungen, also entsprechend signifikante Fehlklassifikationen in jedem Fall zu einer Abgabe der Kontrolle über das Kraftfahrzeug an die Bedienperson führen, auch wenn diese Fehlklassifikationen nur einen relativ geringen Anteil des jeweiligen Bildes ausmachen oder betreffen.

Durch das Vorhersagen oder Detektieren der Fehler anhand des Vergleichs des Rekonstruktionsbildes mit dem jeweils zugrunde liegenden Bild kann die Fehlervorhersage besonders aufwandsarm und dementsprechend schnell durchgeführt werden, wodurch letztlich im Fehlerfall der Bedienperson entsprechend zusätzliche Zeit zur Übernahme der Kontrolle über das Kraftfahrzeug verschafft werden kann. Zudem kann fahrzeugseitig Rechenaufwand eingespart werden, da beispielsweise kein separates, typischerweise hinsichtlich benötigter Hardware- oder Berechnungsressourcen relativ anspruchsvolles künstliches neuronales Netz für die Fehlervorhersage betrieben werden muss.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird die Visualisierung in Form einer Heatmap erzeugt. Darin können beispielsweise detektierte oder vorhergesagte Fehler bzw. die entsprechenden Fehlerbereiche intensiver, farbiger, heller, leuchtender oder andersfarbig dargestellt werden als übrige Bereiche, die als von dem Segmentierungsmodell korrekt klassifiziert prädiziert wurden. Verschiedene Bereiche können dabei beispielsweise gemäß einer jeweiligen Fehlerwahrscheinlichkeit oder Konfidenz, gemäß einer Differenz zwischen den jeweiligen Pixel oder Bereichen des an anderer Stelle genannten Rekonstruktionsbildes und des zugrundeliegenden Bildes und/oder dergleichen mehr angepasst, also beispielsweise eingefärbt oder aufgehellt oder abgedunkelt werden. Dabei kann eine kontinuierliche oder abgestufte Anpassung oder Einfärbung vorgesehen sein. Dies ermöglicht es, die Aufmerksamkeit oder den Fokus der Bedienperson besonders einfach und zuverlässig automatisch gemäß der Relevanz auf bestimmte Bildbereiche zu lenken. Um diesen Effekt zu unterstützen, kann beispielsweise vorgesehen sein, dass sämtliche Bereiche, für die eine unterhalb eines vorgegebenen Wahrscheinlichkeitsschwellenwertes liegende Fehlerwahrscheinlichkeit oder eine unterhalb des vorgegebenen Differenzschwellenwertes liegende Abweichung zwischen dem Rekonstruktionsbild und dem zugrundeliegenden Bild ermittelt wurde, einheitlich dargestellt werden. Für diese Bereiche kann beispielsweise eine monochrome bzw. schwarz-weiß- Darstellung oder eine Darstellung in Graustufen verwendet werden, wohingegen die Fehlerbereiche farbig dargestellt werden können. Dadurch kann die Aufmerksamkeit oder der Fokus der Bedienperson besonders zuverlässig und effektiv auf die Fehlerbereiche gelenkt bzw. konzentriert werden, die für das sichere Führen des Kraftfahrzeugs in der jeweiligen Situation besonders relevant sein können.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird bestimmt, welche Funktionalität oder Funktionalitäten, also welche hochrangige Aufgabe (englisch: high-level task) von den vorhergesagten oder detektieren Fehlern betroffen sind. Dies, also eine entsprechende Angabe, wird dann mit der Anforderung an die fahrzeugexterne Bedienperson gesendet. Mit anderen Worten wird also mit oder in der Anforderung an die fahrzeugexterne Bedienperson angegeben, welche hochrangige Aufgabe bei der autonomen Steuerung des Kraftfahrzeugs zu dem Fehler geführt hat, also nicht korrekt ausgeführt werden konnte. Dies kann der Bedienperson eine verbesserte Einschätzung der jeweiligen Situation ermöglichen, da es ein zusätzliches Indiz dafür darstellen kann, welches Problem, welches Objekt oder welcher Umstand zu dem des Disengagement des Kraftfahrzeugs geführt hat und somit von der Bedienperson berücksichtigt bzw. gehandhabt werden muss. Beispiele für derartige hochrangige Aufgaben oder Funktionalitäten können beispielsweise die Querführung des Kraftfahrzeugs, ein Erkennen eines Fahrbahn- oder Fahrstreifenverlaufs, eine Verkehrszeichenerkennung, eine Objekterkennung und/oder dergleichen mehr sein oder umfassen. Dadurch kann die Bedienperson beispielsweise darüber informiert werden, ob sie ihre Aufmerksamkeit primär auf das Lenken des Kraftfahrzeugs entlang eines ungewöhnlichen Straßenverlaufs, auf ein Ausweichmanöver oder auf das Einstellen einer angemessenen oder zulässigen Längsgeschwindigkeit des Kraftfahrzeugs fokussieren soll. Dies kann das Einleiten entsprechender Maßnahmen durch die Bedienperson weiter vereinfachen und beschleunigen und so zur weiter verbesserten Sicherheit und zu einem optimierten Verkehrsfluss beitragen.

Ein weiterer Aspekt der vorliegenden Erfindung ist eine Assistenzeinrichtung für ein Kraftfahrzeug. Die erfindungsgemäße Assistenzeinrichtung weist eine Eingangsschnittstelle zum Erfassen von Bildern oder entsprechenden Bilddaten, eine computerlesbaren Datenspeichereinrichtung, eine Prozessoreinrichtung und eine Ausgangsschnittstelle zum Ausgeben einer Anforderung einer Kontrollübernahme durch eine fahrzeugexterne Bedienperson und einer unterstützenden Visualisierung auf. Die erfindungsgemäße Assistenzeinrichtung ist dabei zum, insbesondere automatischen, Ausführen mindestens einer Variante des erfindungsgemäßen Verfahrens eingerichtet. Dazu kann in der Datenspeichereinrichtung beispielsweise ein entsprechendes Betriebsoder Computerprogramm hinterlegt sein, das die Verfahrensschritte, Maßnahmen und Abläufe des erfindungsgemäßen Verfahrens repräsentiert, also codiert oder implementiert, und durch die Prozessoreinrichtung ausführbar ist, um das entsprechende Verfahren auszuführen bzw. dessen Ausführung zu veranlassen oder zu bewirken. Beispielsweise können in der Datenspeichereinrichtung also die genannten Modelle hinterlegt sein. Die erfindungsgemäße Assistenzeinrichtung kann insbesondere die entsprechende im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Einrichtung sein oder umfassen oder ein Teil davon sein.

Ein weiterer Aspekt der vorliegenden Erfindung ist ein Kraftfahrzeug, das eine Kamera zum Aufnehmen von Bildern einer jeweiligen Umgebung des Kraftfahrzeugs, eine damit erfundene erfindungsgemäße Assistenzeinrichtung und eine Kommunikationseinrichtung zum kabellosen Senden der Anforderung zur Kontrollübernahme und der Visualisierung sowie zum kabellosen Empfangen von Steuersignalen für eine Steuerung des Kraftfahrzeugs aufweist. Die Kommunikationseinrichtung dabei eine eigenständige Einrichtung des Kraftfahrzeugs oder ganz oder teilweise Teil der Assistenzeinrichtung, also etwa ganz oder teilweise in diese integriert sein. Das erfindungsgemäße Kraftfahrzeug ist also zum Durchführen des erfindungsgemäßen Verfahrens eingerichtet. Dementsprechend kann das erfindungsgemäße Kraftfahrzeug insbesondere das im Zusammenhang mit dem erfindungsgemäßen Verfahren und/oder im Zusammenhang mit der erfindungsgemäßen Assistenzeinrichtung genannte Kraftfahrzeug sein.

Weitere Merkmale der Erfindung können sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.

Die Zeichnung zeigt in:

Fig. 1 eine schematische Übersicht mehrerer Bildverarbeitungsergebnisse zum Veranschaulichen eines Verfahrens zum Vereinfachen einer fahrzeugexternen Übernahme einer Fahrzeugkontrolle; und

Fig. 2 eine schematische Darstellung eines für das Verfahren eingerichteten Kraftfahrzeugs und einer fahrzeugexternen Kontrollstelle.

Es wird derzeit die zunehmende Automatisierung von Fahrzeugen angestrebt, wobei jedoch derzeit noch kein in jeder Situation vollständig sicherer autonomer Betrieb möglich ist. Somit ergibt sich als ein mögliches Szenario, dass ein Fahrzeug zeitweise autonom unterwegs ist, in Einzelsituationen, die von dem Fahrzeug nicht autonom bewältigt werden können, jedoch die Kontrolle über das Fahrzeug durch eine, insbesondere fahrzeugexterne, Bedienperson übernommen wird. Dabei besteht jedoch die Problematik, dass eine derartige Kontrollübernahme eine signifikante Zeit, beispielsweise bis zu 30 Sekunden, in Anspruch nehmen kann. Zudem kann es für den fahrzeugexternen Teleoperator, dem beispielsweise mehrere aus unterschiedlichen Perspektiven aufgenommene Ansichten einer Umgebung des jeweiligen Fahrzeugs bereitgestellt werden, schwierig sein, die jeweilige Umgebung und Fahrsituation zu erfassen und schnellstmöglich angemessen zu reagieren, also das jeweilige Fahrzeug sicher zu steuern.

Um diesen Schwierigkeiten zu begegnen, wird vorliegend ein Verfahren vorgeschlagen, zu dessen Veranschaulichung Fig. 1 schematisch eine Übersicht mehrerer dabei anfallender Bildverarbeitungsergebnisse zeigt. Zu deren Erläuterung wird hier auch auf Fig. 2 verwiesen, in der schematisch ein entsprechend eingerichtetes Kraftfahrzeug 12 dargestellt ist.

In einem bedingt automatisierten Betrieb des Kraftfahrzeugs 12 werden von diesem aus Bilder 10 der Umgebung des Kraftfahrzeugs 12 aufgenommen, von denen hier beispielhaft und schematisch eines dargestellt ist. Dazu kann das Kraftfahrzeug 12 mit wenigstens einer Kamera 40 ausgestattet sein. In dem hier dargestellten Bild 10 ist beispielhaft eine Verkehrsszene entlang einer Straße 14, auf der sich das Kraftfahrzeug 12 bewegt, abgebildet. Darin wird die Straße 14 seitlich von Bebauung 16 begrenzt und durch eine Brücke 18 überspannt. Daneben ist bereichsweise auch der Himmel 20 abgebildet. Weiter ist hier beispielhaft repräsentativ für andere Verkehrsteilnehmer ein Fremdfahrzeug 22 dargestellt. In Fahrtrichtung vor dem Kraftfahrzeug 12 befindet sich ein Hindernis, vorliegend in der Form mehrerer Leitkegel 24, die einen von dem Kraftfahrzeug 12 befahrenen Fahrstreifen der Straße 14 blockieren.

Das Bild 10 wird an eine Assistenzeinrichtung 42 des Kraftfahrzeugs 12 übermittelt und von dieser über eine Eingangsschnittstelle 44 erfasst. Zum Verarbeiten des Bildes 10 umfasst die Assistenzeinrichtung 42 einen Datenspeicher 46 sowie einen Prozessor 48, beispielsweise einen Mikrochip, Mikroprozessor, Mikrocontroller oder dergleichen. Damit wird aus dem Bild 10 eine semantische Segmentierung 26 erzeugt. In dieser semantischen Segmentierung 26 sind verschiedene Bereiche und Objekte entsprechend einem aktuellen Verständnis eines dazu verwendeten Segmentierungsmodells, das beispielsweise in dem Datenspeicher 46 hinterlegt sein kann, klassifiziert. Vorliegend hat das Segmentierungsmodell dabei zumindest einigen Bereichen der in dem Bild 10 erkennbaren Fronthaube des Kraftfahrzeugs 12 sowie dem Fremdfahrzeug 22 aber auch - fälschlicherweise - dem Hinden 24, also den Leitkegeln eine Fahrzeugklassifikation 28 zugewiesen. Sowohl der tatsächlichen Bebauung 16 als auch - ebenfalls fälschlicherweise - Teilen der Brücke 18 wurde eine Gebäudeklassifikation 30 zugewiesen. Sowohl dem Himmel 20 als auch - ebenfalls fälschlicherweise - anderen Teilen der Brücke 18 wurde eine Himmelsklassifikation 32 zugewiesen. Dies bedeutet, dass das Segmentierungsmodell mehrere Fehler bei dem semantischen Segmentieren des Bildes 10 gemacht hat. Mittels eines, beispielsweise ebenfalls in dem Datenspeicher 46 hinterlegten, Rekonstruktionsmodells wird anhand der semantischen Segmentierung 26 ein Rekonstruktionsbildes 34 erzeugt. Dieses Rekonstruktionsbild 34 stellt eine möglichst realistische Approximation oder Rekonstruktion des der jeweiligen semantischen Segmentierung 26 zugrundeliegenden Bildes 10 dar.

Die Assistenzeinrichtung 42 bildet dann eine Differenz zwischen dem ursprünglichen Bild 10 und dem Rekonstruktionsbild 34. Dabei werden also das Bild 10 und das Rekonstruktionsbild 34 miteinander verglichen, wobei eine durchschnittliche Abweichung voneinander berechnet werden kann. Anhand der Differenz oder Abweichung zwischen dem Bild 10 und dem Rekonstruktionsbild 34 können Anomalien detektiert werden, wie in diesem Fall etwa Bereiche des Hindernisses 24 und der Brücke 18.

Werden dabei keinerlei signifikante Anomalien detektiert, lässt dies darauf schließen, dass das Assistenzsystem 42 die jeweilige Situation korrekt interpretiert.

Dementsprechend kann basierend auf dieser Interpretation, also insbesondere basierend auf der semantischen Segmentierung 26 das Kraftfahrzeug 12 bzw. zumindest eine Fahrzeugeinrichtung 50 des Kraftfahrzeugs 12 automatisch oder autonom gesteuert werden.

Sind die detektierten Anomalien hingegen ausreichend groß, erfüllen also beispielsweise ein vorgegebenes Schwellenwertkriterium, so kann durch die Assistenzeinrichtung 42 eine Anforderung für eine Kontrollübernahme durch eine Bedienperson erzeugt werden. Diese Anforderung kann beispielsweise über eine Ausgangsschnittstelle 52 der Assistenzeinrichtung 42 ausgegeben werden, beispielsweise in Form eines hier schematisch angedeuteten kabellos ausgesendeten Anforderungssignals 54. Diese Anforderungssignal 24 kann an einen fahrzeugexternen Teleoperator 56 gesendet werden. Dieser kann daraufhin ein hier ebenfalls schematisch angedeutetes Steuersignalen 58 an das Kraftfahrzeug 12 senden, um dieses kabellosen fernzusteuern.

Um dem Teleoperator 56 ein Erfassen der jeweiligen Situation, in der sich das Kraftfahrzeug 12 befindet, zu erleichtern, wird anhand der, insbesondere pixelgenau, detektierten Anomalien bzw. Segmentierungsfehler zudem eine Visualisierung 36 erzeugt. Darin sind - zumindest wahrscheinlich oder vermutlich - inkorrekte Klassifikationen, also zu den Anomalien korrespondierende Fehlerbereiche 38 visuell hervorgehoben. Diese Visualisierung 36 kann als Teil des Anforderungssignals 54 ebenfalls an den Teleoperator 56 gesendet werden. Durch die Visualisierung 36 mit den hervorgehobenen Fehlerbereichen 38 kann der Teleoperator 56 intuitiv verständlich darauf hingewiesen werden, wo eine Ursache für die jeweilige Anforderung zur Kontrollübernahme liegt. Dadurch kann der Teleoperator 56 besonders schnell und effektiv die für eine sichere Führung des Kraftfahrzeugs 12 relevantesten Bereiche erkennen und entsprechend schnell reagieren, ohne dass er zunächst das gesamte Bild 10 nach möglichen Problemstellen absuchen muss. Insgesamt zeigen die beschriebenen Beispiele damit wie ein Detektieren und Visualisieren von aus Sicht des jeweiligen Fahrzeugs für dessen autonomen Betrieb von Fahrzeugen problematischen Bereichen zu einem verbesserten Situationserfassen und Situationsverständnis einer fahrzeugexternen Bedienperson beitragen können.

Bezugszeichenliste

10 Bild

12 Kraftfahrzeug

14 Straße

16 Bebauung

18 Brücke

20 Himmel

22 Fremdfahrzeug

24 Hindernis

26 Segmentierung

28 Fahrzeugklassifikation

30 Gebäudeklassifikation

32 Himmelsklassifikation

34 Rekonstruktionsbild

36 Visualisierung

38 Fehlerbereich

40 Kamera

42 Assistenzeinrichtung

44 Eingangsschnittstelle

46 Datenspeicher

48 Prozessor

50 Fahrzeugeinrichtung

52 Ausgangsschnittstelle

54 Anforderungssignal

56 Teleoperator

58 Steuersignal