Titel

Verfahren und Vorrichtung zum Komprimieren von Sensordaten

Die Erfindung betrifft ein Verfahren zum Komprimieren bzw. Dekomprimieren von Sensordaten, ein Computerprogramm, ein maschinenlesbares Speichermedium und ein Steuergerät.

Stand der Technik

Aus der DE 10 2017 206 396 Al ist ein Steuerverfahren für ein

Umfelderfassungssystem für ein Fahrzeug bekannt, mit den Schritten:

- optisches Erfassen mindestens einer Szene aus einem Umfeld des Fahrzeugs,

- Bewerten der erfassten Szene und daraus Ableiten einer Betriebs- und insbesondere Fahrsituation des Fahrzeugs,

- in Abhängigkeit von der Betriebssituation gesteuertes Eingreifen in den Betrieb des Fahrzeugs und dadurch Anpassen des Betriebs und insbesondere des Bewegungs- oder des Fahrverhaltens des Fahrzeugs, bei welchem:

- das Bewerten auf der Grundlage eines Bewertungsprozesses durchgeführt wird, der eine erscheinungsformbasierte Objektdetektion und -klassifikation umfasst.

Vorteile der Erfindung

Bei derartigen Systemen kann es aus erforderlich sein, die erfassten Szenen aus dem Umfeld des Fahrzeugs für einen vorgebbaren Zeitraum zu speichern, beispielsweise, um im Falle einer Fehlfunktion zu einem späteren Zeitpunkt die Ursache nachvollziehen zu können. Das Verfahren mit den Merkmalen des Anspruch 1 stellt eine einfache

Möglichkeit zur Verfügung, die erfassten Szenen effizient zu Komprimieren, um sie so speicherplatzsparend speichern zu können.

Weitere Aspekte der Erfindung sind Gegenstand der nebengeordneten

Ansprüche. Vorteilhafte Weiterbildungen sind Gegenstand der abhängigen Ansprüche.

Offenbarung der Erfindung

In einem ersten Aspekt betrifft die Erfindung ein Verfahren zum Komprimieren von Sensordaten, wobei die Sensordaten einem Autoencoder zugeführt werden, und wobei die komprimierten Sensordaten abhängig von Ausgangsdaten, die dann an einem Ausgang eines Kodierer (Englisch: Encoder) des Autoencoders anliegen, sowie abhängig von einer Kompression eines Rekonstruktionsfehlers des Autoencoders, also einer Differenz zwischen Sensordaten und dann an einem Ausgang des Autoencoders anliegenden rekonstruierten Sensordaten, ermittelt werden. Insbesondere können die komprimierten Sensordaten die Ausgangsdaten und die Kompression des Rekonstruktionsfehlers umfassen, z.B. durch sie gegeben sein.

Dem liegt die Erkenntnis zugrunde, dass sich der Rekonstruktionsfehler seinerseits erheblich stärker komprimieren lässt als die ursprünglichen unkomprimierten Sensordaten.

Bei den Sensordaten kann es sich insbesondere um Bilddaten handeln, also insbesondere solche, die mit einem optischen Sensor, einen Radarsensor, einem LiDAR-Sensor oder einem Ultraschallsensor aufgenommen wurden.

Insbesondre ist es möglich, dass die Kompression des Rekonstruktionsfehlers eine verlustfreie Kompression ist.

Damit lässt sich der überraschende Effekt erzielen, eine insgesamt verlustfreie Kompression zu erreichen, obwohl die Kompression mittels des Autoencoders i.d.R. eine verlustbehaftete Kompression ist. Alternativ oder zusätzlich ist es möglich, dass der Rekonstruktionsfehler vor Durchführung der Kompression entrauscht wird.

Hiermit lässt sich eine noch weiter verbesserte Kompression erreichen, wobei nur unwesentliche Informationsverluste in Kauf genommen werden müssen.

Besonders vorteilhaft ist es hierbei, wenn das Entrauschen derart erfolgt, dass ein Betrag eines Gradienten des Rekonstruktionsfehlers, der eine Differenz benachbarter Merkmale des Rekonstruktionsfehlers charakterisiert, in einer Umgebung des nicht entrauschten Rekonstruktionsfehlers minimiert wird.

Ein solches Verfahren bietet in besonders einfacher Art und Weise eine

Möglichkeit, die Kompressionsrate bei minimalem Informationsverlust weiter zu erhöhen.

In einer weiteren alternativen oder zusätzlichen Weiterbildung ist es möglich, wenn der Sensor ortsfest an einem Fahrzeug montiert ist, das abhängig von diesen Sensordaten angesteuert wird.

Durch die ortsfeste Montage am Fahrzeug empfängt der Sensor ähnliche Daten, beispielsweise ähnliche Signale von einer Straße oder von einem Horizont. Wurde der Autoencoder trainiert, derartige Sensordaten zu rekonstruieren, lassen sich damit besonders effiziente Kompressionsraten erzielen.

In einer weiteren vorteilhaften Weiterbildung kann vorgesehen sein, dass Sensordaten komprimiert werden, die von einem Klassifizierer, insbesondere einem neuronalen Netz, nicht mit hinreichender Sicherheit einer Klasse zugeordnet werden können, wobei die komprimierten Sensordaten an einen entfernten Computer übertragen werden, und von diesem oder einem weiteren entfernten Computer eine Klassifikation der komprimierten Sensordaten empfangen wird.

D.h. es wird überprüft, ob die Sensordaten von dem Klassifizierer mit hinreichender Sicherheit einer Klasse zugeordnet werden können (wobei die Klassifikation auch eine semantische Segmentierung sein kann), Ist diese Zuordnung nicht hinreichend sicher, werden die Sensordaten komprimiert und an den entfernten Computer übertragen, der die komprimierten Sensordaten wieder dekomprimieren kann. Dieser oder ein weiterer (z.B. besonders leistungsstarker) Computer oder ein menschlicher Beurteiler kann zu derartige Sensordaten eine zugehörige Klassifikation ermitteln. Hierdurch ist eine weitere Verbesserung der automatisierten Steuerung des Fahrzeugs möglich. Beispielsweise kann der Klassifikator durch ein maschinelles Lernsystem, insbesondere ein künstliches neuronales Netz, gegeben sein. Parameter, die diesen Klassifikator

charakterisieren, können mittels der ermittelten zugehörigen Klassifikation nachtrainiert und angepasst werden. Die so ermittelten Parameter können dem Fahrzeug rückübermittelt werden, um die dort hinterlegten Parameter zu ersetzen. Dies kann beispielsweise bei einem Serviceintervall geschehen, oder durch Funkübertragung.

Ob das Klassifikationsergebnis zuverlässig ermittelt wurde oder nicht, kann beispielsweise so ermittelt werden, dass als Klassifikator ein Bayes’sches künstliches neuronales Netz zum Einsatz kommt. Es ist alternativ auch möglich, bei einem Klassifikator, der das Klassifikationsergebnis mittels einer argmax- Operation aus einer Vielzahl von jeweils einer Klasse zugeordneten

Zwischengrößen ermittelt, abhängig von diesen Zwischengrößen zu schätzen, wie zuverlässig das Klassifikationsergebnis ist.

Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen näher erläutert. In den Zeichnungen zeigen:

Figur 1 schematisch einen Aufbau einer Ausführungsform der Erfindung;

Figur 2 in einem Flussdiagramm einen möglichen Ablauf eines Verfahrens zum Speichern von Sensordaten;

Figur 3 schematisch einen beispielhaften Aufbau eines Autoencoders;

Figur 4 in einem Flussdiagramm einen möglichen Ablauf eines Verfahrens zum Komprimieren von Sensordaten. Beschreibung der Ausführungsbeispiele

Figur 1 zeigt ein beispielhaft ein Fahrzeug 10, in dem die Erfindung zum Einsatz kommen kann. Ein Sensor 30, im Ausführungsbeispiel ein Videosensor, liefert aufgenommene Frames einer erfassten Umgebung 20 des Fahrzeugs 10 an ein Steuergerät 40. Dieses kann eingerichtet sein, die Frames z.B. mittels eines künstlichen neuronalen Netzes semantisch zu segmentieren und das Fahrzeug 10 entsprechend der ermittelten semantischen Segmentierung anzusteuern.

Mit dem in Figur 3 illustrierten Verfahren komprimiert das Fahrzeug 10 die aufgenommenen Frames und speichert sie auf einem Speicher 50. Dieser Speicher kann innerhalb des Fahrzeugs 10 angeordnet sein, er kann aber auch entfernt vom Fahrzeug 10 angeordnet sein. In letzterem Fall kann vorgesehen sein, die komprimierten Daten mittels eines Funksenders 10, beispielsweise eine Mobilfunkeinrichtung, an den Speicher 50 zu übermitteln. Steuergerät 40 umfasst ein maschinenlesbares Speichermedium 46, auf dem Computerprogramme gespeichert sind, die Anweisungen umfassen, um das Steuergerät zu

veranlassen, das in Figur 2 bzw. 4 illustrierte Verfahren auszuführen, wenn das jeweilige Computerprogramm ausgeführt wird.

Figur 2 zeigt in einem Flussdiagramm beispielhaft einen Ablauf des Verfahrens zum Speichern von Sensordaten. Zunächst (1000) werden Sensordaten vom Sensor 30 empfangen, beispielsweise ein Videoframe. Dann (1100) wird optional ermittelt, ob die Sensordaten gespeichert werden sollen. Dies kann

beispielsweise dadurch erfolgen, dass ermittelt wird, ob eine Klassifikation dieser Sensordaten zuverlässig erfolgt ist. Ist die Klassifikation nicht zuverlässig möglich, wird entschieden, dass die Sensordaten komprimiert gespeichert werden sollen (1200), andernfalls endet das Verfahren (1300). Entfällt Schritt 1100, kann auch vorgesehen sein, dass die Sensordaten in jedem Fall gespeichert werden, also Schritt 1200 auf jeden Fall folgt.

In Schritt 1200 werden die Sensordaten mit dem in Figur 3 illustrierten Verfahren komprimiert. Anschließend (1400) werden die komprimierten Sensordaten direkt oder z.B. indirekt über einen Funksender 10 an Speicher 50 übermittelt, wo sie beispielsweise auch zu einer präziseren Klassifikation zur Verfügung gestellt werden können. Damit endet das Verfahren.

Figur 3 zeigt schematisch einen beispielhaften Aufbau eines Autoencoders 100, der bei dem in Figur 4 illustrierten Verfahren zum Einsatz kommen kann. Dieser Umfasst einen Kodierer (Englisch: Encoder) 110 und einen Dekodierer (Englisch: Decoder) 120. Ein hochdimensionales Eingangssignal / wird dem Kodierer 110 zugeführt. Dieser ermittelt hieraus eine an seinem Ausgang anliegende sogenannte latente Zwischengröße Z. Zwischengröße Z hat eine geringere Dimensionalität als Eingangssignal /. Dekodierer 120 ermittelt aus der

Zwischengröße Z eine Ausgangsgröße A, die die gleiche Dimensionalität aufweist wie Eingangsgröße /. Kodierer 110 und Dekodierer 120 können beispielsweise durch künstliche neuronale Netze gegeben sein. In einem

Training werden dem Autoencoder 100 eine Vielzahl von beispielhaften

Eingangsgrößen / zugeführt und Parameter von Kodierer 110 und Dekodierer 120 so angepasst, dass die Ausgangsgröße A möglichst gut der Eingangsgröße / entspricht.

Figur 4 zeigt in einem Flussdiagramm beispielhaft einen Ablauf des Verfahrens zum Komprimieren der Sensordaten /. Zunächst (2000) werden die Sensordaten I dem Autoencoder 100 zugeführt, und Zwischengröße Z sowie Ausgangsgröße A werden ermittelt. Dann (2100) wird der Rekonstruktionsfehler R ermittelt als R=/-Optional kann der Rekonstruktionsfehler R nun (2200) entrauscht werden, beispielsweise durch Auswahl eines optimalen entrauschten

Rekonstruktionsfehlers S, der innerhalb eines Balls vorgebbarer Größe um den Rekonstruktionsfehler R einen minimales Integral eines Betrags seines

Gradienten aufweist. Dieser Rekonstruktionsfehler R oder alternativ der entrauschte Rekonstruktionsfehler S wird nun (2300) einem Standard- Kompressionsverfahren, beispielsweise einem GI F- oder PNG- Kompressionsverfahren zugeführt werden, um so einen komprimierten

Rekonstruktionsfehler K zu ermitteln. Komprimierter Rekonstruktionsfehler K und Zwischengröße Z werden nun (2400) als komprimierte Sensordaten gespeichert. Damit endet das Verfahren. Das Dekomprimieren der komprimierten Sensordaten (K,Z) kann durch

Dekomprimierung des komprimierten Dekompressionsfehlers K, Zuführen von Zwischengröße Z zum Dekodierer 120 und Addieren des dekomprimierten Dekompressionsfehlers K zur Ausgangsgröße A ermittelt werden.

Der Begriff„Computer“ umfasst beliebige Geräte zur Abarbeitung vorgebbarer Rechenvorschriften. Diese Rechenvorschriften können in Form von Software vorliegen, oder in Form von Hardware, oder auch in einer Mischform aus Software und Hardware.

Es versteht sich ferner, dass die Verfahren nicht nur wie beschrieben vollständig in Software implementiert sein können. Sie können auch in Hardware implementiert sein, oder in einer Mischform aus Software und Hardware.