Titel

Verfahren zur Berechnung eines Qualitätsmaßes zur Bewertung eines

Objektdetektionsalgorithmus

Stand der Technik

Die Erfindung betrifft ein Verfahren zur Berechnung eines Qualitätsmaßes zur Bewertung eines computerimplementierten Objektdetektionsalgorithmus, eine zur Ausführung des Verfahrens eingerichtete Vorrichtung, ein Computerprogramm zur Ausführung des Verfahrens, sowie ein maschinenlesbares Speichermedium, auf welchem dieses Computerprogramm gespeichert ist.

Computerimplementierte Objektdetektionsalgorithmen werden häufig als Teil einer Umfelderkennung von teil-, hoch- oder vollautomatisierten Robotern, insbesondere automatisiert betriebener Fahrzeugen, verwendet. Die hierfür verwendeten Algorithmen sind dabei nicht perfekt und können - mehr oder weniger schwerwiegende - Fehldetektionen verursachen. Beispielsweise kann ein Objektdetektionsalgorithmus in einem automatisiert betriebenen Fahrzeug ein Objekt an einer anderen Stelle detektieren, als es sich in Wirklichkeit befindet, und dadurch ein fehlerhaftes Umfeldmodell erzeugen. Zur Freigabe eines solchen Systems ist es daher unerlässlich, dass die Qualität des Objektdetektionsalgorithmus bewertet und als ausreichend gut eingestuft wird.

Zur Bewertung des Objektdetektionsalgorithmus werden im Allgemeinen Durchschnittsmetriken, zum Beispiel die Intersection over Union verwendet. Aus Sicherheitssicht sind Durchschnittsmetriken jedoch kritisch, da sie das sicherste und gefährlichste Verhalten im Durchschnitt bewerten. Für die Freigabe eines sicherheitskritischen Produkts reichen diese Durchschnittsmetriken daher nicht mehr aus.

Offenbarung der Erfindung

Die Erfindung beschreibt eine computerimplementiertes Verfahren zur Berechnung eines Qualitätsmaßes eines computerimplementierten Objektdetektionsalgorithmus, welches insbesondere zur Freigabe des Objektdetektionsalgorithmus für teil-, hoch oder vollautomatisierte Roboter verwendet werden kann, wobei das Verfahren die folgenden Schritte umfasst:

• Zuordnung von ermittelten Objektdetektionen zu Annotationen, wobei die Objektdetektionen und/oder die Annotationen Bounding Boxes entsprechen;

• Bestimmung von Abweichungen, insbesondere Abständen, der Annotationen zu ihren zugeordneten Objektdetektionen;

• Berechnen des Qualitätsmaßes des Objektdetektionsalgorithmus basierend auf den bestimmten Abweichungen, wobei das Qualitätsmaß eine Wahrscheinlichkeit repräsentiert, mit der eine Abweichung einer Objektdetektion von ihrer zugeordneten Annotation einen vordefinierten Schwellenwert über- oder unterschreitet.

In einem optionalen Schritt kann der Objektdetektionsalgorithmus zur Nutzung, insbesondere zur Nutzung in einem zumindest teilautomatisiert betriebenen Roboter, freigegeben werden, wenn er einen vordefinierten Qualitätsmaßschwellenwert über oder unterschreitet.

Unter einem Roboter kann beispielsweise ein Industrieroboter, eine automatisierte Werkmaschine oder ein automatisiert betriebenes Fahrzeug verstanden werden. Insbesondere kann darunter ein teil-, hoch- oder vollautomatisiertes Fahrzeug verstanden werden, welches zumindest zeitweise Fahroperationen ohne menschlichen Eingriffe durchführen kann, insbesondere Anpassungen der Längs und/oder Querbewegungen.

Für das Verfahren werden insbesondere Datensätze mit Annotation verwendet, wobei unter Annotationen insbesondere Bounding Boxes verstanden werden. Unter einer Bounding Box kann insbesondere ein Rechteck verstanden werden, das ein zu detektierendes Objekt umschließt. Zum Beispiel kann im Falle einer videobasierten Personendetektion die Bounding Box einen Bereich eines Bildes markieren, in dem sich eine Person befindet. Alternativ kann die Bounding Box auch quaderförmig sein, wenn Objekte im 3-dimensionalen Raum erfasst werden sollen. Dies kann zum Beispiel von Nutzen sein, wenn im oben genannten Beispiel die Positionskoordinaten der Person in der realen Welt direkt detektiert werden sollen. Pro Datum des Datensatzes können mehrere zu detektierende Objekte und damit mehrere Annotationen vorliegen. Beispielsweise können mehrere Personen auf einem Bild zu sehen sein, die alle detektiert werden sollen.

Es können unterschiedliche Daten herangezogen werden. Insbesondere können von einer oder mehreren Kameras aufgezeichnete Bilddaten verwendet werden. Es können aber auch Daten von anderen Sensoren, beispielsweise Radar-, Lidar- oder Ultraschallsensoren oder Mikrofonen, verwendet werden. Bei der Verwendung von akustischen Signalen können insbesondere visualisierte Geräuschspektren oder dergleichen als Grundlage für die Objekterkennung herangezogen werden.

Die Herkunft der Annotationen kann unterschiedlich sein. Wenn Datensätze beispielsweise aus externen Quellen, wie dem Internet, bezogen werden, sind sie häufig bereits mit Annotationen versehen, die dann entsprechend ausgelesen werden können. Alternativ kann die Annotation manuell erstellt und mit dem Datensatz verknüpft werden. Eine weitere Alternative ist die automatische und/oder semi automatische Erstellung von Annotationen. Bei der semi-automatischen Annotation werden Bilder von einem Annotationsalgorithmus gelabelt, wobei in einem zweiten Schritt lediglich die Korrektheit der Label durch einen Menschen überprüft wird.

Die Aufgabe des Objektdetektionsalgorithmus ist es, Objekte möglichst akkurat zu detektieren. Der Objektdetektionsalgorithmus berechnet hierfür Objektdetektionen, wobei unter Objektdetektionen insbesondere Bounding Boxes verstanden werden. Generell können sowohl Annotationen als auch Objektdetektionen durch Bounding Boxes repräsentiert werden. Der Unterschied liegt darin, dass die Bounding Box der Annotation ein zu detektierendes Objekt bestimmt, während die Bounding Box der Objektdetektion eine vom Objektdetektionsalgorithmus ermittelte Bounding Box repräsentiert.

Um zu bestimmen, wie genau die Objektdetektionen eines gegebenen Objektdetektionsalgorithmus sind, kann er zunächst auf einen ausgewählten Datensatz angewendet werden, um für den Datensatz Objektdetektionen zu berechnen. Anschließend können die so erzeugten Objektdetektionen den Annotationen des Datensatzes zugeordnet werden. Dies kann durchgeführt werden, indem eine Annotation der Objektdetektion zugeordnet wird, die die höchste Überlappung mit dieser Annotation aufweist. Alternativ kann auch der Abstand einer Objektdetektion zu einer Annotation als Zuweisungskriterium genutzt werden, indem eine Annotation der Objektdetektion zugewiesen wird, die den geringsten Abstand zu ihr aufweist.

Nachdem die Zuweisung durchgeführt wurde, ergeben sich drei mögliche Situationen. Eine Objektdetektion wurde keiner Annotation zugewiesen, beispielsweise, weil sie keine Überlappung mit irgendeiner der Annotationen aufweist. Dies wird als False Positive bezeichnet. Die zweite Möglichkeit ist, dass einer Annotation keine Objektdetektion zugeordnet wurde. Dies wird als False Negative bezeichnet. Der dritte Fall ist, dass eine Zuweisung erfolgt ist und es ein Paar von Objektdetektion und Annotation gibt. Dieser Fall wird als Match bezeichnet.

Für alle Paare von Objektdetektionen und Annotationen, die den dritten Fall erfüllen, kann nun ein Qualitätsmaß bestimmt werden, welches die Genauigkeit widerspiegelt, mit der eine Objektdetektion eine Annotation und damit ein zu detektierendes Objekt erkennt.

Unter Qualitätsmaß kann im Folgenden eine Wahrscheinlichkeit verstanden werden, mit der der Abstand einer Objektdetektion zu der ihr zugeordneten Annotation einen vorgegebenen Abstandsschwellenwert unterschreitet. Unter einem Abstand kann hierbei eine Distanz zwischen einem Punkt auf einem Rand einer Objektdetektion und einem Punkt auf einem Rand der zugehörigen Annotation verstanden werden. Insbesondere kann es sich um die kleinste oder größte Distanz zwischen dem Abstand des Rands einer Objektdetektion und der zugehörigen Annotation handeln. Der Vorteil der Erfindung liegt darin, dass eine Wahrscheinlich ermittelt werden kann, mit der der Objektdetektionsalgorithmus ein Sicherheitsrisiko bei Objektdetektionen verursachen kann. Das Sicherheitsrisiko kann hier als Wahrscheinlichkeit verstanden werden, dass die Objektdetektionen ihre entsprechend zugeordneten Annotationen nicht mehr komplett umschließen. Dieser Fall ist besonders kritisch für Roboter, Drohnen und andere autonom agierende Vehikel, die einen Objektdetektionsalgorithmus als Teil ihrer Umfeldmodellierung und Bewegungsplanung verwenden. Im Umkehrschluss kann die Erfindung genutzt werden, um einen Objektdetektionsalgorithmus im Falle einer Objektdetektion als sicher einzustufen, wenn die ermittelte Wahrscheinlich einen vordefinierten Wert unterschreitet.

In einerweiteren Ausführungsform der Erfindung ist die Abweichung eine Distanz zwischen einem Punkt der Objektdetektion zu einem Punkt ihrer zugeordneten Annotation.

Der Vorteil dieser Ausführungsform liegt darin, dass der Objektdetektionsalgorithmus nicht auf Objektdetektionen beschränkt ist, deren Seiten parallel zu den Seiten der Annotationen sind. Beispielsweise kann der Objektdetektionsalgorithmus eine Objektdetektion ausgeben, die im Verhältnis zu der ihr zugeordneten Annotation rotiert ist. In diesem Fall kann die Abweichung als Distanz zwischen einer Ecke der Annotation und einer Seite der Objektdetektion verstanden werden.

In einerweiteren Ausführungsform des Verfahrens stellt die Abweichung eine Verschiebung zwischen einem Punkt der Objektdetektion zu einem Punkt ihrer zugeordneten Annotation dar, wobei die Verschiebung ein vorzeichenbehafteter Skalar ist, dessen Betrag eine Distanz und dessen Vorzeichen eine Richtung repräsentiert, in die der Punkt der Annotation vom Punkt der Objektdetektion verschoben ist.

Der Vorteil dieser Erweiterung ist, dass beispielsweise über die kleinste Verschiebung bestimmt werden kann, in wie weit die Annotation innerhalb der ihr zugeordneten Objektdetektion liegt oder andernfalls wie weit die Annotation aus der Objektdetektion herausragt. Für den Fall, dass die Objektdetektion die Annotation komplett umschließt ist die kleinste Verschiebung größer als Null. Für den Fall, dass Teile der Annotation außerhalb der Objektdetektion liegen, ist die kleinste Verschiebung kleiner als Null. Dies kann dafür eingesetzt werden, um zu bestimmen, wie wahrscheinlich es ist, dass Teile der Annotation oder die gesamte Annotation außerhalb der Objektdetektion liegen.

In einer weiteren Ausführungsform des Verfahrens entspricht die Abweichung der kleinsten Verschiebung aus einer Menge von Verschiebungen.

Der Vorteil dieser Ausführungsform liegt darin, dass eine gegebene Objektdetektion durch ihre - aus Sicherheitssicht - potentiell gefährlichste Abweichung zur Annotation charakterisiert werden kann. Für eine Sicherheitsargumentation können die gefährlichsten Abweichungen aller Objektdetektionen herangezogen werden und statistisch ausgewertet werden.

In einerweiteren Ausführungsform des Verfahrens besteht die Menge von Verschiebungen aus Verschiebungen der Seiten der Annotation zu den korrespondierenden Seiten der zugeordneten Objektdetektion, wobei die Verschiebungen orthogonal zur jeweiligen Seite sind. Unter korrespondierenden Seiten werden die Seiten einer Objektdetektion und Annotation verstanden, die gleiche Begrenzungen symbolisieren. Bei 2-dimensionalen Objektdetektionen und Annotation sind dies die jeweils linken, rechten, oberen und unteren Seiten. Zum Beispiel korrespondiert die linke Seite einer Objektdetektion mit der linken Seite der ihr zugeordneten Annotation. Um die kleinste Verschiebung zwischen korrespondieren Seiten zu bestimmen, wird für jedes Paar von korrespondieren Seiten die zur jeweiligen Annotationsseite parallele Verschiebung ermittelt, mit der die Seite von der korrespondierenden Seite der Objektdetektion verschoben. Die kleinste Verschiebung ist dann die Verschiebung kleinster Länge.

Der Vorteil dieser Erweiterung ist, dass bestimmt werden kann, in wie weit die Annotation maximal aus der Objektdetektion hinausragt. Es kann so für jedes Paar von Annotation und zugeordneter Objektdetektion eine Abschätzung der - aus Sicherheitssicht - gefährlichsten Abweichung bestimmt werden. Umgekehrt kann bestimmt werden, wie viel Spielraum der Objektdetektionsalgorithmus noch hat, bis er einen potentiell sicherheitskritischen Fehler begeht.

In einer weiteren Ausführungsform des Verfahrens wird die Abweichung als Fläche verstanden, die dem Teil der Annotation entspricht, der keine Überlappung mit der Objektdetektion aufweist. Der Vorteil dieser Ausführungsform liegt darin, dass die Fläche unter Umständen besser beschreiben kann, in wie weit mehrere Abweichungen (z.B. Höhe und Breite) von der Annotation sicherheitskritisch sein können. Bei dreidimensionalen Objekten kann die Abweichung entsprechend durch ein Volumen angegeben werden, wobei die Abweichung durch das Volumen repräsentiert wird, das keine Überlappung mit dem Volumen der Objektdetektion aufweist.

In einer weiteren Ausführungsformen der oben aufgeführten Verfahren erfolgt die Berechnung der Wahrscheinlichkeit basierend auf einem Modell, welches basierend auf den bestimmten Abweichungen ermittelt wird.

Bei dem Modell kann es sich beispielsweise um eine Ausprägung einer Wahrscheinlichkeitsverteilung handeln. Die Ermittlung dieses Modells kann ebenfalls auf den bestimmten Abweichungen basieren. Beispielsweise können dessen Parameter basierend auf einem bekannten Verfahren, insbesondere Maximum Likelihood Estimation oder Bayes’scher Parameterschätzung, ermittelt werden. Alternativ können die Parameter basierend auf Expertenwissen so eingestellt werden, dass das Modell ein gewünschtes Verhalten zeigt. Der Vorteil liegt darin, dass über ein so gewähltes Modell geeignete Vorannahmen mit in die Bestimmung der Wahrscheinlichkeit integriert werden können.

Alternativ kann das Modell allein aus den bestimmten Abweichungen Wissen extrahieren und entsprechend eine Wahrscheinlichkeit ausgeben. Hierfür können bekannte Machine Learning Verfahren verwendet werden, insbesondere Neuronale Netze.

Der Vorteil liegt darin, dass über diese Art von Modellen andere und/oder weniger Vorannahmen mit in die Wahrscheinlichkeitsermittlung aufgenommen werden können und Informationen allein auf Grundlage der Daten, also der bestimmten Abweichungen, extrahiert werden. Dies kann sinnvoll sein, wenn beispielsweise keine sinnvollen Vorannahmen bezüglich der Verteilung der Abweichungen bekannt sind.

In einerweiteren Ausführungsform ist das oben beschriebene Modell ein parametrierbares Modell, insbesondere eine parametrierbare Wahrscheinlichkeitsverteilung, dessen Parameter aus den bestimmten Abweichungen ermittelt werden können.

Der Vorteil dieser Ausführungsform liegt darin, dass die Vorannahmen über die Familie der gewählten Wahrscheinlichkeitsverteilung klar formuliert sind und die tatsächliche Verteilung der bestimmten Abweichungen über bekannte Verfahren gut bestimmt werden kann, z. B. mit Hilfe von Maximum Likelihood Estimation. Alternativ können Bayes’sche Verfahren benutzt werden, um zusätzliche Vorannahmen bezüglich der Parameter mit in die Bestimmung aufzunehmen.

In einer weiteren Ausführungsform ist das oben beschriebene parametrierbare Modell eine Ausprägungsform einer allgemeinen Extremwertverteilung, wobei die Parameter die konkrete Verteilung definieren.

Der Vorteil dieser Ausführungsform des Verfahrens liegt darin, dass allgemeine Extremwertverteilungen seltene Ereignisse sehr gut modellieren. Es kann im Allgemeinen davon ausgegangen werden, dass die oben beschriebenen Abweichungen einer Extremwertverteilung folgen. Um dies in einem konkreten Fall zu belegen, können statistische Tests, insbesondere ein Kolmogorow-Smirnoff-Test, verwendet werden.

Des Weiteren wird ein computerimplementiertes Verfahren beansprucht, welches zur Anpassung eines computerimplementierten Objektdetektionsalgorithmus zur Ermittlung von Objektdetektionen benutzt werden kann. Das Verfahren umfasst die folgenden Schritte:

• Ermitteln von Annotationen von mittels des Objektdetektionsalgorithmus zu detektierenden Objekten;

• Ermitteln von Objektdetektionen mittels des Objektdetektionsalgorithmus; • Berechnung eines Qualitätsmaßes des Objektdetektionsalgorithmus nach einem der oben beschriebenen Verfahren zur Berechnung eines Qualitätsmaßes eines Objektdetektionsalgorithmus;

• Anpassung des Detektionsalgorithmus basierend auf dem berechneten Qualitätsmaß derart, dass eine erneute Ausführung des Objektdetektionsalgorithmus in einer Skalierung der mittels des Objektdetektionsalgorithmus ermittelten Objektdetektionen resultiert.

Die Ermittlung der Annotationen und Objektdetektionen, sowie die Berechnung des Qualitätsmaßes können hierbei analog zu den Ausführungen zum oben beschriebenen Verfahren erfolgen. Es können zum Beispiel Datensätze verwendet werden, aus denen die Annotationen extrahiert werden. Anschließend werden in diesem Verfahren die zu detektierenden Objekte mit dem Objektdetektionsalgorithmus durch Objektdetektionen prädiziert. Anschließend werden die Objektdetektionen den Annotationen zugeordnet und eines der oben beschriebenen Verfahren zur Bestimmung eines Qualitätsmaßes angewendet, um die Prädiktionen zu bewerten.

Für den Schritt der Anpassung des Objektdetektionsalgorithmus kann das berechnete Qualitätsmaß derart verwendet werden, dass der zu Grunde liegenden Objektdetektionsalgorithmus sicherer wird. Wie bereits dargelegt, kann eine prädizierte Objektdetektion eines Objektdetektionsalgorithmus als sicherheitskritisch verstanden werden, wenn die ihr zugeordnete Annotation ganz oder teilweise außerhalb der Objektdetektion liegt. Um den Objektdetektionsalgorithmus so zu verändern, dass er sicherer wird, kann die prädizierte Objektdetektion beispielsweise derart skaliert - also in ihrer Form und Größe verändert - werden, dass die zugeordnete Annotation komplett umschlossen wird.

Der Vorteil dieses Verfahrens liegt darin, dass ein Objektdetektionsalgorithmus messbar durch eine Erhöhung des Qualitätsmaßes derart angepasst werden kann, dass der Objektdetektionsalgorithmus eine bessere oder sicherere Detektion von Objekten ermöglicht. Das Verfahren kann daher als Baustein einer Sicherheitsargumentation zur Freigabe eines Produkts, beispielsweise einer automatisierten Fahrfunktion und/oder einer Fahrerassistenzfunktion, verwendet werden, welches auf dem Objektdetektionsalgorithmus basiert.

In einer weiteren Ausführungsform werden die Schritte zur Ermittlung der Objektdetektionen, Berechnung des Qualitätsmaßes und Anpassung des Objektdetektionsalgorithmus mit dem jeweils angepassten

Objektdetektionsalgorithmus wiederholt, bis das Qualitätsmaß einen vordefinierten Qualitätswert unter- oder überschreitet und/oder eine vordefinierte Anzahl von Wiederholungen erreicht wurde.

Der Vorteil dieser Ausführungsform liegt darin, dass Objektdetektionsalgorithmen, die auf iterativen Verfahren beruhen, sehr einfach angepasst werden können, um die Sicherheit der prädizierten Objektdetektionen zu erhöhen.

In einer weiteren Ausführungsform des Verfahrens basiert der Objektdetektionsalgorithmus auf einem parametrierbaren Modell, insbesondere einem Neuronalen Netz.

Der Vorteil dieser Ausführungsform liegt darin, dass die aktuell performantesten Objektdetektionsalgorithmen auf Neuronalen Netzen basieren. Diese Ausführungsform erlaubt es, dass die Sicherheit eine Neuronalen Netzes über eines der oben beschrienen Qualitätsmaße bewertet werden kann.

In einer weiteren Ausführungsform erfolgt die Skalierung basierend auf Eigenschaften der ermittelten Objektdetektionen, insbesondere der Größe, der Größenverhältnisse und/oder der Position im Bild. Zum Beispiel kann festgelegt werden, dass kleinere Objektdetektionen anders skaliert werden müssen als größere, da Abweichungen der Objektdetektionen zu den zugeordneten Annotationen für größere Annotationen sicherheitskritischer sind als für kleine und/oder umgekehrt. Alternativ und/oder zusätzlich kann auch die Position der Objektdetektion zur Bestimmung der Skalierung verwendet werden. Im Falle eines autonomen Fahrzeugs kann Beispielsweise bestimmt werden, dass Objekte am oberen Rand eines Videobildes weiter weg vom Fahrzeug selbst und daher weniger sicherheitskritisch sind. In einer weiteren Ausführungsform des Verfahrens erfolgt die Skalierung unabhängig von den ermittelten Objektdetektionen, insbesondere basierend auf einem vordefinierten Faktor.

Der Vorteil dieser Ausführungsform liegt darin, dass der Faktor ohne Annahmen allein basierend auf dem Qualitätsmaß optimiert werden kann und eine rechensparsame Maßnahme darstellt, durch die ein bestehender Objektdetektionsalgorithmus einfach und schnell messbar sicherer gemacht werden kann.

In einer weiteren Ausführungsform des Verfahrens basiert der Objektdetektionsalgorithmus auf einem parametrierbaren Modell, insbesondere einem Neuronalen Netz, wobei die Anpassung auf einer Veränderung der Parameter des parametrierbaren Modells basiert, umfassend die Schritte:

• Ermitteln von skalierten Annotationen, basierend auf den ermittelten Annotationen;

• Ermitteln von Objektdetektionen mittels des Detektionsalgorithmus;

• Zuordnung der Objektdetektionen zu den skalierten Annotationen, basierend auf den ermittelten Annotationen;

• Ermitteln eines Fehlers zwischen den Objektdetektionen und den ihnen zugeordneten skalierten Annotationen;

• Verkleinerung des Fehlers durch Anpassen der Parameter.

Die Kernidee dieser Ausführungsform des Verfahrens ist es, dass ein Neuronales Netz derart trainiert wird, dass es bereits skalierte Objektdetektionen ausgibt, die kein nachgelagertes Skalieren mehr benötigen, um die zugeordnete Annotation zu umschließen. Hierfür werden zunächst skalierte Annotationen benötigt. Unter skalierten Annotationen werden Annotation verstanden, die aus den ursprünglich extrahierten Annotationen durch Skalierung erzeugt wurden. Diese skalierten Annotationen können dann zum Training des Neuronalen Netzes verwendet werden, wodurch das Neuronale Netz angeleitet wird die Skalierung bereits intrinsisch vorzunehmen. Es ist empirisch belegt, dass Neuronale Netze derzeit die performantesten Objektdetektionsalgorithmen darstellen. Der Vorteil dieser Ausführungsform liegt daher darin, dass zusätzlich zur hohen Performanz ein hohes Maß an Sicherheit bezüglich der Prädiktion von Objektdetektionen erzielt werden kann.

In einer weiteren Ausführungsform des Verfahrens werden die einzelnen Schritte der vorherigen Ausführungsform mit den jeweils angepassten Parametern wiederholt, bis ein vordefinierter Fehlerschwellenwert unterschritten und/oder eine vordefinierte Anzahl von Wiederholungen erreicht wird.

Der Vorteil dieser Ausführungsform liegt darin, dass das Neuronale Netz iterativ angepasst werden kann. Es ist bekannt, dass dieses iterative Vorgehen zum Training von Neuronalen Netzen die besten Prädiktionsleistungen ermöglicht.

Des Weiteren wird ein Computerprogramm beansprucht, welches Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, eines der oben angeführten Verfahren auszuführen.

Des Weiteren wird ein maschinenlesbares Speichermedium beansprucht, auf welchem dieses Computerprogramm gespeichert ist.

Des Weiteren wird eine Vorrichtung beansprucht, die dazu eingerichtet ist, eines der oben beschrieben Verfahren auszuführen.

Zeichnungen

Figur 1 zeigt ein schematisches Verfahrensdiagramm zur Bestimmung eines Qualitätsmaßes des Objektdetektionsalgorithmus.

Figur 2 zeigt exemplarisch die Verhältnisse von Annotation, Objektdetektion und Skalierung einer Objektdetektion zueinander. Figur 3 zeigt exemplarisch die Bestimmung von Verschiebungen von korrespondierenden Seiten einer Annotation und der ihr zugeordneten Objektdetektion.

Figur 4 zeigt schematisch eine allgemeine Extremwertverteilung mit Schwellenwert.

Figur 5 zeigt den schematischen Ablauf zur Verbesserung eines Qualitätsmaßes eines Objektdetektionsalgorithmus.

Ausführungsbeispiele

In einem ersten Ausführungsbeispiel wird mittels eines computerimplementierten Verfahrens ein Qualitätsmaß eines Objektdetektionsalgorithmus bestimmt. Der Objektdetektionsalgorithmus ist hierbei derart ausgebildet, dass er vordefinierte Objekte erkennen kann, indem er diese in mittels einer Kamera aufgezeichneten Bilddaten mit einer Bounding Box markiert. Dies ist beispielsweise schematisch in Fig. 2a dargestellt, in welcher ein Fahrzeug mit einer Annotation 201 und eine mittels des Objektdetektionsalgorithmus bestimmte Bounding Box 202a abgebildet sind.

Um ein Maß für die Güte des Algorithmus bzw. einer Genauigkeit der Objekterkennung bestimmen zu können, wird in diesem Ausführungsbeispiel ein Satz von Bildern verwendet, in denen Objekte annotiert sind und der Objektdetektionsalgorithmus Bounding Boxes für die annotierten Objekte bestimmt hat. Dieser Datensatz wird für das in Fig. 1 schematisch dargestellte Verfahrens zur Bestimmung eines Qualitätsmaßes des Objekterkennungsalgorithmus verwendet.

In Schritt 101 dieses Verfahrens werden die Objektdetektionen, die mittels des Objektdetektionsalgorithmus bestimmt wurden, den von den Bilddaten umfassten Annotationen (201) zugeordnet. Dabei kann im Allgemeinen eine Annotation über eine zugehörige Objektdetektion (202a) hinausragen, dieser Fall wird beispielhaft in Fig. 2a gezeigt. Die andere Möglichkeit ist, dass die Annotation komplett von der Objektdetektion (202b) umschlossen ist, was schematisch in Fig. 2b und Fig. 3 gezeigt wird. Der Spezialfall, dass die Annotation genau der Objektdetektion entspricht, kann für die folgenden Schritte wahlweise einer der beiden in Fig. 2 gezeigten Kategorien zugeordnet werden. Die Zuordnung der Annotation zu einer Objektdetektion erfolgt in diesem Ausführungsbeispiel über die sogenannte Intersection over Union, also das Verhältnis von Überlappung der beiden Bounding Boxes zu der Fläche der Vereinigung beider Bounding Boxes.

(In alternativen Ausführungsbeispielen kann an dieser Stelle auch die Distanz der Mittelpunkte beider Bounding Boxes verwendet werden, um eine Zuordnung durchzuführen.)

In Schritt 102 wird für jedes Paar von Annotation und zugeordneter Objektdetektion die kleinste Abweichung ermittelt. Die kleinste Abweichung wird dabei aus einer Menge von Abweichungen der Objektdetektionen von den zugehörigen Annotationen ermittelt, was schematisch in Fig. 3 dargestellt wird. Die Abweichungen sind in diesem Ausführungsbeispiel eine jeweilige Verschiebung von korrespondierenden Seiten einer Objektdetektion und der ihr zugeordneten Annotation. Dass bedeutet, dass Verschiebungen für die linken (301), oberen (302), rechten (303) und unteren (304) korrespondieren Seiten ermittelt werden. Die Verschiebungen sind hierbei immer parallel zur entsprechenden Seite der Annotation (201). Des Weiteren gibt das Vorzeichen einer Verschiebung die Richtung an, in die die Objektdetektion von der Annotation (201) verschoben ist. Für den Fall, dass die Annotation (201) an einer Seite aus der Objektdetektion herausragt, ist die entsprechende Verschiebung negativ (301). Im anderen Fall ist die Verschiebung positiv ist (302, 303, 304). Aus den vier Verschiebungen (301, 302, 303, 304) wird anschließend die kleinste ermittelt.

In Schritt 103 wird das Qualitätsmaß berechnet. Hierfür wird aus den in Schritt 102 ermittelten Abweichungen ein Modell (401) ermittelt, welches die Verteilung der Abweichungen repräsentiert. In diesem Ausführungsbeispiel wird zu diesem Zweck eine allgemeine Extremwertverteilung verwendet.

Zur Ermittlung der Parameter der allgemeinen Extremwertverteilung wird das Verfahren der Maximum Likelihood Estimation verwendet. Zur Berechnung des Qualitätsmaßes wird die kumulative Verteilungsfunktion der allgemeinen Extremwertverteilung am Wert 0 ausgewertet (402). Dieser Schritt ist in Fig. 4 schematisch dargestellt. In der Figur ist auf der X-Achse die Verschiebung aufgetragen und auf der Y-Achse die Wahrscheinlichkeitsdichte der Extremwertverteilung. Das Ergebnis der Auswertung entspricht der Wahrscheinlichkeit, dass eine Annotation aus der ihr zugeordneten Objektdetektion hinausragt.

In einem zweiten Ausführungsbeispiel werden die gleichen Schritte wie im ersten Ausführungsbeispiel durchgeführt, es wird in Schritt 103 jedoch eine Bayes’sche Parameterschätzung anstatt der Maximum Likelihood Estimation durchgeführt.

In einem dritten Ausführungsbeispiel, welches in Fig. 5 schematisch dargestellt ist, wird ein Objektdetektionsalgorithmus derart verändert, dass er sicherer wird.

In Schritt 501 werden dazu für einen Datensatz von Kamera-basierten Sensordaten Annotationen manuell erzeugt. Alternativ können die Annotationen auch semi- oder vollautomatisch erzeugt werden.

In Schritt 502 werden für die Sensordaten Objektdetektionen mit dem Objektdetektionsalgorithmus ermittelt, die dann in Schritt 503 den Annotationen zugeordnet werden. Die Zuordnung geschieht dabei wie im ersten Ausführungsbeispiel.

In Schritt 504 wird das Qualitätsmaß des Objektdetektionsalgorithmus bestimmt. Dies geschieht wie im ersten Ausführungsbeispiel.

In Schritt 505 wird der Objektdetektionsalgorithmus derart angepasst, dass die Wahrscheinlichkeit kleiner wird, dass eine Annotation aus der ihr zugeordneten Objektdetektion hinausragt. Hierfür werden alle Objektdetektionen mit einem festen Faktor derart skaliert, dass sie die ihr zugeordnete Annotation umschließen.

In einem vierten Ausführungsbeispiel werden die gleichen Schritte durchgeführt, wie im dritten Ausführungsbeispiel, es werden jedoch LIDAR-basierte Sensordaten anstatt Kamera-basierter Sensordaten verwendet. Die restlichen Schritte laufen gleich ab.

In einem fünften Ausführungsbeispiel laufen die gleichen Schritte wie im dritten Ausführungsbeispiel ab, wobei Schritt 505 folgendermaßen abgeändert wird: Es werden die Objektdetektionen mit einem festen Faktor skaliert und das Qualitätsmaß für die skalierten Objektdetektionen berechnet. Fall das Qualitätsmaß nicht einem vordefinierten Schwellenwert genügt, werden die bereits skalierten Objektdetektionen mit einem Faktor so skaliert, dass die Objektdetektion größer wird. Dieses Anpassen der Größe mit Hilfe eines Skalierungsfaktors wird so lange durchgeführt, bis das Qualitätsmaß eine vordefinierte Wahrscheinlichkeit unterschreitet.

In einem sechsten Ausführungsbeispiel basiert der Objektdetektionsalgorithmus auf einem Neuronalen Netz. Es werden die gleichen Schritte, wie im dritten Ausführungsbeispiel durchgeführt, wobei Schritt 505 folgendermaßen abgeändert wird: Das Neuronale Netz wird mit Sensordaten und Annotationen eines zweiten Datensatzes so trainiert, dass es intrinsisch größere Objektdetektionen ausgibt.

Hierfür werden die Annotationen des zweiten Datensatzes so skaliert, dass sie größer werden. Beim anschließenden Training mit den skalierten Annotationen lernt das Neuronale Netz dann größere Objektdetektionen zu prädizieren. Nach dem Training wird das veränderte Neuronale Netz wieder auf den ersten Datensatz angewendet und das Qualitätsmaß erneut bestimmt. Falls das Qualitätsmaß über einem vordefinierten Wahrscheinlichkeitswert liegt, wird das Neuronale Netz auf dem zweiten Datensatz mit noch größer skalierten Annotationen trainiert. Das Anpassen des Neuronalen Netzes und auswerten des Qualitätsmaßes wird so lange wiederholt durchgeführt, bis dass Qualitätsmaß den vordefinierten Wahrscheinlichkeitswert unterschreitet.