Titel

Verfahren zum Validieren eines mus des maschinellen Lernens

Die Erfindung betrifft ein Verfahren zum Validieren eines Algorithmus des maschinellen Lernens und insbesondere ein Verfahren, mit welchem auf einfache Art und Weise und mit geringem Ressourcenverbrauch validiert werden kann, wie ein trainierter Algorithmus des maschinellen Lernens auf Störgrößen reagiert.

Algorithmen des maschinellen Lernens basieren darauf, dass Verfahren der Statistik verwendet werden, um eine Datenverarbeitungsanlage derart zu trainieren, dass diese eine bestimmte Aufgabe ausführen kann, ohne dass diese ursprünglich explizit hierzu programmiert wurde. Das Ziel des maschinellen Lernens besteht dabei darin, Algorithmen zu konstruieren, die aus Daten lernen und Vorhersagen treffen können. Diese Algorithmen erstellen mathematische Modelle, mit denen beispielsweise Daten klassifiziert werden können.

Unter Robustheit wird ferner die Eigenschaft eines Verfahrens oder Systems, auch unter ungünstigen Bedingungen noch zuverlässig zu funktionieren. Bei Algorithmen des maschinellen Lernens beschreibt die Robustheit den Grad der Empfindlichkeit gegenüber Störgrößen wie beispielsweise Rauschen. Bei geringer Robustheit führen bereits kleine Störgrößen zu einer hohen Fehlerquote in der Verarbeitung von Eingangsdaten durch den entsprechenden Algorithmus des maschinellen Lernens, während eine hohe Robustheit entsprechend stabile Ergebnisse auch bei größeren Störungen liefert.

Im Rahmen der Qualitätssicherung während eines Fertigungsprozesses wird zudem der Qualitätszustand eines Prüfobjekts beziehungsweise produzierten technischen Bauteils für gewöhnlich einer Prüfung unterzogen. Hierbei werden eines oder mehrere Qualitätsmerkmale ausgewertet, welche repräsentativ für den Qualitätszustand des technischen Bauteils sind. Solche Qualitätsmerkmale können zum Beispiel Form- oder Oberflächenbeschaffenheiten umfassen, wobei ermittelt werden soll, ob diesbezüglich eine Anomalie vorliegt. Unter Anomalien werden allgemein Abweichungen von einer vorgegebenen Norm oder einer Soll- Beschaffenheit verstanden. Auf einer glatten Oberfläche eines gefertigten Bauteils kann beispielsweise ein Kratzer eine solche Anomalie darstellen. Basierend auf der Ermittlung des Qualitätszustandes kann dann beispielsweise entschieden werden, ob das entsprechende technische Bauteil weiterbverarbeitet werden kann oder verworfen, beispielsweise automatisch verworfen werden soll.

Um derartige Prüfungen zuverlässig und unabhängig von menschlichen Sinnen zu ermöglichen, ist es bekannt, Algorithmen des maschinellen Lernens zu verwenden, insbesondere Algorithmen des maschinellen Lernens welche trainiert sind, aus ein technisches Bauteil zeigenden Bilddaten einen Qualitätszustand des technischen Bauteils zu ermitteln beziehungsweise abzuleiten. Während entsprechenden Fertigungsprozessen können jedoch Einflüsse auftreten, die sich als Störgrößen in den entsprechenden Bilddaten der Prüfobjekte niederschlagen. Solche Einflüsse können beispielsweise Vibrationen, Luftfeuchtigkeit oder auch Staub sein. Vibrationen können sich in den Bilddaten beispielsweise als Bildrauschen niederschlagen. Luftfeuchtigkeit kann beispielsweise durch Bildung kleiner Tröpfchen auf einer Kameralinse zu einer lokalen Lichtbrechung führen, die einen blinden Fleck erzeugen. Staub wiederum kann beispielsweise in Form eines Schleiers oder in Form erkennbarer Störkörper die Bildqualität herabsetzen. Derartige Störgrößen können dabei, falls der entsprechende Algorithmus des maschinellen Lernens nicht ausreichend robust gegenüber derartigen Störgrößen ist, dazu führen, dass technische Bauteile fälschlicherweise verworfen werden, was zu unnötigen Kosten führt, oder aber auch dazu, dass ein Bauteil fälschlicherweise nicht verworfen wird, was zu Sicherheitsrisiken bei der Weiterverarbeitung und/oder Nutzung des technischen Bauteiles führen kann.

Aus der Druckschrift DE 10 2017 218 889 A1 ist ein künstliche-Intelligenz-Modul bekannt, welches dazu ausgebildet ist, eine oder mehrere Eingangsgrößen durch eine interne Verarbeitungskette zu einer oder mehreren Ausgangsgrößen zu verarbeiten, wobei die interne Verarbeitungskette durch einen oder mehrere Parameter festgelegt ist, und wobei das künstliche-Intelligenz-Modul dazu ausgebildet ist, den oder die Parameter aus einem oder mehreren in einem Speicher abgelegten Speicherwerten zu ermitteln, wobei ein Verteilungsmodul vorgesehen ist, welches dazu ausgebildet ist, einer oder mehreren statistischen Verteilungen jeweils einen Einzelwert zu entnehmen und hieraus den oder die Parameter zu ermitteln, wobei mindestens eine statistische Kenngröße einer jeden statistischen Verteilung von mindestens einem Speicherwert abhängt.

Der Erfindung liegt somit die Aufgabe zugrunde, ein Verfahren, mit welchem validiert werden kann, wie ein trainierter Algorithmus des maschinellen Lernens auf Störgrößen reagiert, anzugeben.

Die Aufgabe wird gelöst durch ein Verfahren zum Validieren eines Algorithmus des maschinellen Lernens gemäß den Merkmalen des Patentanspruchs 1 .

Die Aufgabe wird zudem auch gelöst durch ein System zum Validieren eines Algorithmus des maschinellen Lernens gemäß den Merkmalen des Patentanspruchs 6.

Offenbarung der Erfindung

Gemäß einer Ausführungsform der Erfindung wird diese Aufgabe gelöst durch ein Verfahren zum Validieren eines Algorithmus des maschinellen Lernens, wobei der Algorithmus des maschinellen Lernens trainiert ist, Objekte in Bilddaten zu erkennen, und wobei das Verfahren ein Bereitstellen eines Algorithmus des maschinellen Lernens, welcher trainiert ist, Objekte in Bilddaten zu erkennen, ein Erzeugen von gelabelten Validierungsdaten zum Validieren des Algorithmus des maschinellen Lernens, wobei die Validierungsdaten jeweils mit wenigstens einer Störgröße behaftet sind, und ein Validieren des Algorithmus des Algorithmus des maschinellen Lernens basierend auf den erzeugten Validierungsdaten aufweist. Unter Bilddaten werden dabei Daten verstanden, welche mit Hilfe eines speziellen Programmes als Bild beziehungsweise Grafik wiedergegeben werden können.

Unter gelabelten Validierungsbilddaten werden weiter gelabelte beziehungsweise mit Ground-Truth Informationen versehene Bilddaten verstanden, welche zum Testen beziehungsweise Validieren des Algorithmus des maschinellen Lernens verwendet werden, und welche für gewöhnlich nicht auch Teil der Trainingsdaten zum Trainieren des entsprechenden Algorithmus des maschinellen Lernens waren.

Unter mit einer Störgröße behafteten Vergleichsdaten werden dabei entsprechende, durch eine Störgröße beeinflusste Bild- beziehungsweise Validierungsdaten verstanden.

Somit wird ein Verfahren angegeben, welches, auf einfache Art und Weise und ohne das aufwendige und ressourcenintensive Anpassungen vonnöten wären, eine verlässliche Aussage darüber liefert, wie fehleranfällig der betreffende trainierte Algorithmus in einer Umgebung, in der die wenigstens eine Störgröße, insbesondere eine in den entsprechenden Trainingsdaten nicht enthaltene Störgröße die Aufgabe ausführt, auf die er trainiert ist. Dies ermöglicht beispielsweise die Auswahl eines ausreichend robusten trainierten Algorithmus, um damit die gewünschte Prozesssicherheit in der Ermittlung eines Qualitätszustands eines technischen Bauteils während eines Fertigungsprozesses zu gewährleisten, wodurch Sicherheitsrisiken vermieden werden können.

Insgesamt wird somit ein Verfahren, mit welchem validiert werden kann, wie ein trainierter Algorithmus des maschinellen Lernens auf Störgrößen reagiert, angegeben.

Dabei kann der Schritt des Erzeugens von gelabelten Validierungsdaten ein Erzeugen von gelabelten Validierungsdaten unter Verwendung eines Generative Adversarial Networks aufweisen. Unter einem Generative Adversarial Network wird ein Algorithmus des maschinellen Lernens verstanden, welcher auf zwei miteinander verknüpften künstlichen neuronalen Netzen basiert. Das erste künstliche neuronale Netz, der Generator, erzeugt dabei Daten, welche am Anfang nur aus zufällig statistischem Rauschen bestehen. Das zweite neuronale Netz, der Diskriminator, analysiert beziehungsweise klassifiziert die vom ersten künstlichen neuronalen Netz generierten Daten, wobei der Diskriminator, um diese Daten bewerten zu können, mit echten beziehungsweise realen Daten, das heißt Ground-Truth Informationen trainiert wird. Das Trainieren des Generative Adversarial Network erfolgt dabei für gewöhnlich über ein iteratives Verfahren, wobei abwechselnd beziehungsweise in jedem Iterationsschritt der Generator und der Diskriminator trainiert werden. Hierdurch soll erreicht werden, dass das trainierte Generative Adversarial Network anschließend reale Gegebenheiten möglichst gut nachahmen kann.

Somit können die Validierungsdaten auf einfache Art und Weise durch bekannte Algorithmen erzeugt werden, ohne dass aufwendige und ressourcenintensive Anpassungen vonnöten wären.

Dabei, dass der Schritt des Erzeugens von gelabelten Validierungsdaten ein Erzeugen von gelabelten Validierungsdaten unter Verwendung eines Generative Adversarial Networks aufweist, handelt es sich jedoch nur um eine mögliche Ausführungsform. So können die Validierungsdaten auch durch andere bekannte Tools beziehungsweise Funktionen zum Erzeugen von mit Störgrößen behafteten Bilddaten erzeugt werden.

In einer Ausführungsform weist der Schritt des Validierens des Algorithmus des maschinellen Lernens weiter ein, für alle erzeugten Validierungsdaten, jeweiliges Ermitteln eines Robustheitswertes basierend auf Ground-Truth Informationen bezüglich der entsprechenden Validierungsdaten, einer Größe der entsprechenden wenigstens einen Störgröße und wenigstens einem Ausgabewert des Algorithmus des maschinellen Lernens für die entsprechenden Validierungsdaten, ein Ermitteln eines Robustheitswertes für den Algorithmus des maschinellen Lernens aus den Robustheitswerten für alle erzeugten Validierungsdaten, und ein Vergleichen des Robustheitswertes für den Algorithmus des maschinellen Lernens mit einem Schwellwert für den Algorithmus des maschinellen Lernens auf.

Unter Größe der entsprechenden Störgröße wird dabei ein das Ausmaß der entsprechenden Störgröße beziehungsweise der die entsprechenden Validierungsdaten beeinflussenden Störgröße beschreibender Wert beziehungsweise ein Grad der entsprechenden Störgröße verstanden.

Unter Ausgabewerten des Algorithmus des maschinellen Lernens für die entsprechenden Validierungsdaten werden ferner basierend auf den entsprechenden Validierungsdaten erzeugte Ausgabewerte des Algorithmus des maschinellen Lernens verstanden.

Unter Robustheitswert wird hierbei ein die Robustheit der entsprechenden Ergebnisse kennzeichnender beziehungsweise beschreibender Wert verstanden.

Unter Schwellwert für den Algorithmus des maschinellen Lernens wird zudem insbesondere ein Schwellwert, welchen der Robustheitswert für den entsprechenden Algorithmus des maschinellen Lernens nicht unterschreiten sollte, verstanden.

Somit kann die Validierung des Algorithmus des maschinellen Lernens auf einfache Art und Weise und mit geringem Ressourcenbedarf, beispielsweise Bedarf an Speicher- und/oder Prozessorkapazitäten erfolgen.

Weiter können die gelabelten Validierungsdaten aus durch einen Sensor erfassten Sensordaten erzeugt werden, wobei die gelabelten Validierungsdaten unterschiedliche Ausrichtungen des Sensors betreffen.

Ein Sensor, welcher auch als (Mess-) Fühler bezeichnet wird, ist ein technisches Bauteil, das bestimmte physikalische oder chemische Eigenschaften und/oder die stoffliche Beschaffenheit seiner Umgebung qualitativ oder als Messgröße quantitativ erfassen kann. Unter Ausrichten des Sensors wird hierbei das Anpassen einer Orientierung und/oder einer Position des Sensors verstanden.

Somit können auf einfache Art und Weise Gegebenheiten außerhalb der eigentlichen Datenverarbeitungsanlage, auf welcher der Algorithmus des maschinellen Lernens validiert wird, erfasst und beim Validieren des Algorithmus des maschinellen Lernens berücksichtigt werden.

Mit einer weiteren Ausführungsform der Erfindung wird auch ein Verfahren zum Ermitteln einer Qualitätszustandes eines technischen Bauteils durch einen Algorithmus des maschinellen Lernens, welcher trainiert ist, einen Qualitätszustand des technischen Bauteils basierend auf das technische Bauteil zeigenden Billdaten zu ermitteln, angegeben, wobei das Verfahren ein Bereitstellen von das technische Bauteil zeigenden Bilddaten, ein Bereitstellen eines Algorithmus des maschinellen Lernens welcher trainiert ist, einen Qualitätszustand des technischen Bauteils basierend auf das technische Bauteil zeigenden Billdaten zu ermitteln, wobei der Algorithmus des maschinellen Lernens durch ein obenstehend beschriebenes Verfahren zum Validieren eines Algorithmus des maschinellen Lernens validiert wurde, und ein Ermitteln des Qualitätszustandes des technischen Bauteils basierend auf den bereitgestellten Bilddaten und dem bereitgestellten Algorithmus des maschinellen Lernens aufweist.

Unter Qualitätszustand wird dabei eine die Qualität beziehungsweise wenigstens ein Qualitätsmerkmal des technischen Bauteils beschreibende Größe verstanden.

Somit wird ein Verfahren zum Ermitteln einer Qualitätszustandes eines technischen Bauteils durch einen Algorithmus des maschinellen Lernens angegeben, welches auf einem durch ein Verfahren, mit welchem validiert werden kann, wie ein trainierter Algorithmus des maschinellen Lernens auf Störgrößen reagiert, validierten Algorithmus des maschinellen Lernens basiert. Insbesondere wird der Algorithmus des maschinellen Lernens dabei durch ein Verfahren validiert, welches, auf einfache Art und Weise und ohne das aufwendige und ressourcenintensive Anpassungen vonnöten wären, eine verlässliche Aussage darüber liefert, wie fehleranfällig der betreffende trainierte Algorithmus in einer Umgebung, in der die wenigstens eine Störgröße, insbesondere eine in den entsprechenden Trainingsdaten nicht enthaltene Störgröße auftritt, die Aufgabe ausführt, auf die er trainiert ist Dies ermöglicht beispielsweise die Auswahl eines ausreichend robusten trainierten Algorithmus, um damit die gewünschte Prozesssicherheit in der Ermittlung eines Qualitätszustands eines technischen Bauteils während eines Fertigungsprozesses zu gewährleisten, wodurch Sicherheitsrisiken vermieden werden können.

Mit einer weiteren Ausführungsform der Erfindung wird weiter auch ein System zum Validieren eines Algorithmus des maschinellen Lernens angegeben, wobei der Algorithmus des maschinellen Lernens trainiert ist, Objekte in Bilddaten zu erkennen, wobei das System eine Bereitstellungseinheit, welche ausgebildet ist, einen Algorithmus des maschinellen Lernens, welcher trainiert ist, Objekte in Bilddaten zu erkennen, bereitzustellen, eine Erzeugungseinheit, welche ausgebildet ist, gelabelte Validierungsdaten zum Validieren des Algorithmus des maschinellen Lernens zu erzeugen, wobei die Validierungsdaten jeweils mit wenigstens einer Störgröße behaftet sind, und eine Validierungseinheit, welche ausgebildet ist, den Algorithmus des maschinellen Lernens basierend auf den erzeugten Validierungsdaten zu validieren, aufweist.

Somit wird ein System, mit welchem validiert werden kann, wie ein trainierter Algorithmus des maschinellen Lernens auf Störgrößen reagiert, angegeben. Insbesondere wird ein System angegeben, welches, auf einfache Art und Weise und ohne das aufwendige und ressourcenintensive Anpassungen vonnöten wären, eine verlässliche Aussage darüber liefert, wie fehleranfällig der betreffende trainierte Algorithmus in einer Umgebung, in der die wenigstens eine Störgröße, insbesondere eine in den entsprechenden Trainingsdaten nicht enthaltene Störgröße auftritt, die Aufgabe ausführt, auf die er trainiert ist. Dies ermöglicht beispielsweise die Auswahl eines ausreichend robusten trainierten Algorithmus, um damit die gewünschte Prozesssicherheit in der Ermittlung eines Qualitätszustands eines technischen Bauteils während eines Fertigungsprozesses zu gewährleisten, wodurch Sicherheitsrisiken vermieden werden können. Dabei kann die Erzeugungseinheit ausgebildet sein, die gelabelten Validierungsdaten unter Verwendung eines Generative Adversarial Networks zu erzeugen. Somit können die Validierungsdaten auf einfache Art und Weise durch bekannte Algorithmen erzeugt werden, ohne dass aufwendige und ressourcenintensive Anpassungen vonnöten wären.

Dabei, dass die Erzeugungseinheit ausgebildet ist, gelabelte Validierungsdaten unter Verwendung eines Generative Adversarial Networks zu erzeugen, handelt es sich jedoch nur um eine mögliche Ausführungsform. So können die Validierungsdaten auch durch andere bekannte Tools beziehungsweise Funktionen zum Erzeugen von mit Störgrößen behafteten Bilddaten erzeugt werden.

In einer Ausführungsform weist die Validierungseinheit eine erste Ermittlungseinheit, welche ausgebildet ist, für alle erzeugten Validierungsdaten, jeweils einen Robustheitswert basierend auf Ground-Truth Informationen bezüglich der entsprechenden Validierungsdaten, einer Größe der entsprechenden wenigstens einen Störgröße und Ausgabewerten des Algorithmus des maschinellen Lernens für die entsprechenden Validierungsdaten zu ermitteln, eine zweite Ermittlungseinheit, welche ausgebildet ist, einen Robustheitswert für den Algorithmus des maschinellen Lernens aus den Robustheitswerten für alle erzeugten Validierungsdaten zu ermitteln, und eine Vergleichseinheit, welche ausgebildet ist, den Robustheitswert für den Algorithmus des maschinellen Lernens mit einem Schwellwert für den Algorithmus des maschinellen Lernens zu vergleichen, auf. Somit kann die Validierung des Algorithmus des maschinellen Lernens auf einfache Art und Weise und mit geringem Ressourcenbedarf, beispielsweise Bedarf an Speicher- und/oder Prozessorkapazitäten erfolgen.

Weiter kann die Erzeugungseinheit ausgebildet sein, die gelabelten Validierungsdaten aus durch einen Sensor erfassten Sensordaten zu erzeugen, wobei die gelabelten Validierungsdaten unterschiedliche Ausrichtungen des Sensors betreffen. Somit können auf einfache Art und Weise Gegebenheiten außerhalb der eigentlichen Datenverarbeitungsanlage, auf welcher der Algorithmus des maschinellen Lernens validiert wird, erfasst und beim Validieren des Algorithmus des maschinellen Lernens berücksichtigt werden.

Mit einer weiteren Ausführungsform der Erfindung wird zudem auch ein System zum Ermitteln einer Qualitätszustandes eines technischen Bauteils durch einen Algorithmus des maschinellen Lernens, welcher trainiert ist, einen Qualitätszustand des technischen Bauteils basierend auf das technische Bauteil zeigenden Billdaten zu ermitteln, angegeben, wobei das System eine erste Bereitstellungseinheit, welche ausgebildet ist, das technische Bauteil zeigende Bilddaten bereitzustellen, eine zweite Bereitstellungseinheit, welche ausgebildet ist, einen Algorithmus des maschinellen Lernens welcher trainiert ist, einen Qualitätszustand des technischen Bauteils basierend auf das technische Bauteil zeigenden Billdaten zu ermitteln, wobei der Algorithmus des maschinellen Lernens durch ein obenstehend beschriebenes System zum Validieren eines Algorithmus des maschinellen Lernens validiert wurde, und eine Ermittlungseinheit, welche ausgebildet ist, den Qualitätszustand des technischen Bauteils basierend auf den bereitgestellten Bilddaten und dem bereitgestellten Algorithmus des maschinellen Lernens zu ermitteln, aufweist.

Somit wird ein System zum Ermitteln einer Qualitätszustandes eines technischen Bauteils durch einen Algorithmus des maschinellen Lernens angegeben, welches auf einem durch ein System, mit welchem validiert werden kann, wie ein trainierter Algorithmus des maschinellen Lernens auf Störgrößen reagiert, validierten Algorithmus des maschinellen Lernens basiert. Insbesondere wird der Algorithmus des maschinellen Lernens dabei durch ein System validiert, welches, auf einfache Art und Weise und ohne das aufwendige und ressourcenintensive Anpassungen vonnöten wären, eine verlässliche Aussage darüber liefert, wie fehleranfällig der betreffende trainierte Algorithmus in einer Umgebung, in der die wenigstens eine Störgröße, insbesondere eine in den entsprechenden Trainingsdaten nicht enthaltene Störgröße auftritt, die Aufgabe ausführt, auf die er trainiert ist. Dies ermöglicht beispielsweise die Auswahl eines ausreichend robusten trainierten Algorithmus, um damit die gewünschte Prozesssicherheit in der Ermittlung eines Qualitätszustands eines technischen Bauteils während eines Fertigungsprozesses zu gewährleisten, wodurch Sicherheitsrisiken vermieden werden können. Zusammenfassend ist festzustellen, dass mit der vorliegenden Erfindung ein Verfahren zum Validieren eines Algorithmus des maschinellen Lernens und insbesondere ein Verfahren, mit welchem auf einfache Art und Weise und mit geringem Ressourcenverbrauch validiert werden kann, wie ein trainierter Algorithmus des maschinellen Lernens auf Störgrößen reagiert, angegeben wird.

Die beschriebenen Ausgestaltungen und Weiterbildungen lassen sich beliebig miteinander kombinieren.

Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmalen der Erfindung.

Kurze Beschreibung der Zeichnungen

Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung.

Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die dargestellten Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.

Es zeigen:

Fig. 1 ein Flussdiagramm eines Verfahrens zum Validieren eines Algorithmus des maschinellen Lernens gemäß Ausführungsformen der Erfindung; und

Fig. 2 ein schematisches Blockschaltbild eines Systems zum Validieren eines Algorithmus des maschinellen Lernens gemäß Ausführungsformen der Erfindung. In den Figuren der Zeichnungen bezeichnen gleiche Bezugszeichen gleiche oder funktionsgleiche Elemente, Bauteile oder Komponenten, soweit nichts Gegenteiliges angegeben ist.

Fig. 1 zeigt ein Flussdiagramm eines Verfahrens zum Validieren eines Algorithmus des maschinellen Lernens 1 gemäß Ausführungsformen der Erfindung.

Auf Deep Learning basierte Algorithmen des maschinellen Lernens, insbesondere auf Deep Learning basierte Algorithmen des maschinellen Lernens zur Bildverarbeitung sind bekannt dafür, sehr sensitiv gegenüber äußeren Störeinflüssen oder Manipulationen zu sein. Folglich besteht Bedarf an Verfahren, mit welchen validiert werden kann, wie ein trainierter Algorithmus des maschinellen Lernens auf Störgrößen, insbesondere derartige Störeinflüsse oder Manipulationen reagiert.

Fig. 1 zeigt dabei ein Verfahren zum Validieren eines Algorithmus des maschinellen Lernens 1 , wobei der Algorithmus des maschinellen Lernens trainiert ist, Objekte in Bilddaten zu erkennen, und wobei das Verfahren einen Schritt 2 eines Bereitstellens eines Algorithmus des maschinellen Lernens, welcher trainiert ist, Objekte in Bilddaten zu erkennen, einen Schritt 3 eines Erzeugens von gelabelten Validierungsdaten zum Validieren des Algorithmus des maschinellen Lernens, wobei die Validierungsdaten jeweils mit wenigstens einer Störgröße behaftet sind, und einen Schritt 4 eines Validierens des Algorithmus des Algorithmus des maschinellen Lernens basierend auf den erzeugten Validierungsdaten aufweist.

Fig. 1 zeigt somit ein Verfahren, welches, auf einfache Art und Weise und ohne das aufwendige und ressourcenintensive Anpassungen vonnöten wären, eine verlässliche Aussage darüber liefert, wie fehleranfällig der betreffende trainierte Algorithmus in einer Umgebung, in der die wenigstens eine Störgröße, insbesondere eine in den entsprechenden Trainingsdaten nicht enthaltene Störgröße auftritt, die Aufgabe ausführt, auf die er trainiert ist. Dies ermöglicht beispielsweise die Auswahl eines ausreichend robusten trainierten Algorithmus, um damit die gewünschte Prozesssicherheit in der Ermittlung eines Qualitätszustands eines technischen Bauteils während eines Fertigungsprozesses zu gewährleisten, wodurch Sicherheitsrisiken vermieden werden können.

Insgesamt zeigt Fig. 1 somit ein Verfahren 1 , mit welchem validiert werden kann, wie ein trainierter Algorithmus des maschinellen Lernens auf Störgrößen reagiert.

Durch das Verfahren 1 kann dabei insbesondere überprüft werden, ob ein Algorithmus robust gegenüber Störfaktoren ist und bei Vorliegen gewisser Ergebnisse immer noch zutreffende Ausgabewerte angibt. Insbesondere wird ein Quality Gate, beispielsweise ein Quality Gate für Deep Learning trainierte Algorithmen des maschinellen Lernens bereitgestellt.

Bei der wenigstens einen Störgröße kann es sich dabei insbesondere um während eines Fertigungsprozesses eines technischen Bauteils auftretende Störgrößen handeln. Derartige Störgrößen können beispielsweise Vibrationen, Luftfeuchtigkeit oder auch Staub sein. Vibrationen können sich in den entsprechenden Bilddaten beispielsweise als Bildrauschen niederschlagen. Luftfeuchtigkeit kann beispielsweise durch Bildung kleiner Tröpfchen auf einer Kamera zu einer lokalen Lichtbrechung führen, die einen blinden Fleck auf Bilddaten erzeugen. Staub wiederum kann beispielsweise in Form eines Schleiers oder in Form erkennbarer Störkörper die Bildqualität herabsetzen.

Zudem kann es sich dabei bei der wenigstens einen Störgröße um wenigstens eine für die Verwendung beziehungsweise den Anwendungsfall, in dem der Algorithmus des maschinellen Lernens verwendet werden soll, charakteristische Störgröße handeln.

Bei dem Algorithmus des maschinellen Lernens kann es sich ferner beispielsweise um ein künstliches neuronales Netz handeln.

Gemäß den Ausführungsformen der Fig. 1 weist der Schritt 3 des Erzeugens von gelabelten Validierungsdaten ferner ein Erzeugen von gelabelten

Validierungsdaten unter Verwendung eines Generative Adversarial Networks auf. Wie Fig. 1 zudem zeigt, weist der Schritt 4 des Validierens des Algorithmus des maschinellen Lernens weiter einen Schritt 5 eines, für alle erzeugten Validierungsdaten, jeweiligen Ermittelns eines Robustheitswertes basierend auf Ground-Truth Informationen bezüglich der entsprechenden Validierungsdaten, einer Größe der entsprechenden wenigstens einen Störgröße und Ausgabewerten des Algorithmus des maschinellen Lernens für die entsprechenden Validierungsdaten, einen Schritt 6 eines Ermittelns eines Robustheitswertes für den Algorithmus des maschinellen Lernens aus den Robustheitswerten für alle erzeugten Validierungsdaten, und einen Schritt 7 eines Vergleichens des Robustheitswertes für den Algorithmus des maschinellen Lernens mit einem Schwellwert für den Algorithmus des maschinellen Lernens auf.

Der Schwellwert für den Algorithmus des maschinellen Lernens kann dabei auf Anforderungen der Verwendung beziehungsweise des Anwendungsfalls, in dem der Algorithmus des maschinellen Lernens verwendet werden soll, basieren. Beispielsweise kann der Schwellwert umso höher gewählt werden, je sicherheitskritischer der spätere Anwendungsfall ist.

Die Größe der wenigstens einen Störgröße kann zudem während des Erzeugens der entsprechenden Validierungsdaten gemessen beziehungsweise erfasst werden, beispielsweise durch Überwachen entsprechender Parameter während des Erzeugens der Validierungsdaten.

Bei den Ausgabewerten des Algorithmus des maschinellen Lernens für die entsprechenden Validierungsdaten kann es sich ferner um entsprechende Vorhersagewahrscheinlichkeiten handeln.

Der Robustheitswert für den Algorithmus des maschinellen Lernens kann zudem beispielsweise durch Bilden des Mittelwertes aus den Robustheitswerten aller erzeugten Validierungsdaten gebildet werden.

Gemäß den Ausführungsformen der Fig. 1 werden die gelabelten

Validierungsdaten ferner aus durch einen Sensor erfassten Sensordaten erzeugt, wobei die gelabelten Validierungsdaten unterschiedliche Ausrichtungen des Sensors betreffen.

Der entsprechend validierte Algorithmus des maschinellen Lernens kann dabei basierend auf entsprechenden gelabelten Trainingsdaten trainiert sein, einen Qualitätszustand eines technischen Bauteils zu ermitteln, wobei das technische Bauteil beispielsweise während eines Fertigungsprozesses gefertigt worden sein kann, und wobei technische Bauteile, welche vorgegebene Qualitätsstandards nicht erfüllen, automatisch verworfen werden können. Ferner kann ein entsprechender Algorithmus des maschinellen Lernens basierend auf gelabelten Trainingsdaten aber auch trainiert sein, ein steuerbares System beziehungsweise Robotiksystem zu steuern.

Fig. 2 zeigt ein schematisches Blockschaltbild eines Systems zum Validieren eines Algorithmus des maschinellen Lernens 10 gemäß Ausführungsformen der Erfindung.

Insbesondere zeigt Fig. 2 ein System zum Validieren eines Algorithmus des maschinellen Lernens 10, wobei der Algorithmus des maschinellen Lernens trainiert ist, Objekte in Bilddaten zu erkennen.

Wie Fig. 2 zeigt, weist das System 10 dabei eine Bereitstellungseinheit 11 , welche ausgebildet ist, einen Algorithmus des maschinellen Lernens, welcher trainiert ist, Objekte in Bilddaten zu erkennen, bereitzustellen, eine Erzeugungseinheit 12, welche ausgebildet ist, gelabelte Validierungsdaten zum Validieren des Algorithmus des maschinellen Lernens zu erzeugen, wobei die Validierungsdaten jeweils mit wenigstens einer Störgröße behaftet sind, und eine Validierungseinheit 13, welche ausgebildet ist, den Algorithmus des maschinellen Lernens basierend auf den erzeugten Validierungsdaten zu validieren, auf.

Bei der Bereitstellungseinheit kann es sich dabei insbesondere um einen Empfänger, welcher ausgebildet ist, entsprechende Daten zu empfangen, handeln. Die Erzeugungseinheit und die Validierungseinheit können ferner jeweils beispielsweise basierend auf einem in einem Speicher hinterlegten und durch einen Prozessor ausführbaren Code realisiert werden. Gemäß den Ausführungsformen der Fig. 2 ist die Erzeugungseinheit 12 ferner ausgebildet, die gelabelten Validierungsdaten unter Verwendung eines Generative Adversarial Networks zu erzeugen.

Wie Fig. 2 weiter zeigt, weist die Validierungseinheit 13, gemäß den Ausführungsformen der Fig. 2, zudem eine erste Ermittlungseinheit 14, welche ausgebildet ist, für alle erzeugten Validierungsdaten, jeweils einen Robustheitswert basierend auf Ground-Truth Informationen bezüglich der entsprechenden Validierungsdaten, einer Größe der entsprechenden wenigstens einen Störgröße und Ausgabewerten des Algorithmus des maschinellen Lernens für die entsprechenden Validierungsdaten zu ermitteln, eine zweite Ermittlungseinheit 15, welche ausgebildet ist, einen Robustheitswert für den Algorithmus des maschinellen Lernens aus den Robustheitswerten für alle erzeugten Validierungsdaten zu ermitteln, und eine Vergleichseinheit 16, welche ausgebildet ist, den Robustheitswert für den Algorithmus des maschinellen Lernens mit einem Störfaktor für den Algorithmus des maschinellen Lernens zu vergleichen, auf.

Die erste Ermittlungseinheit, die zweite Ermittlungseinheit und die Vergleichseinheit können dabei jeweils beispielsweise basierend auf einem in einem Speicher hinterlegten und durch einen Prozessor ausführbaren Code realisiert werden.

Gemäß den Ausführungsformen der Fig. 3 ist die Erzeugungseinheit 12 zudem ausgebildet, die gelabelten Validierungsdaten aus durch einen Sensor erfassten Sensordaten zu erzeugen, wobei die gelabelten Validierungsdaten unterschiedliche Ausrichtungen des Sensors betreffen.

Bei dem Sensor kann es sich dabei insbesondere um einen optischen Sensor, beispielsweise eine Kamera handeln.

Das System 10 kann dabei zudem ausgebildet sein, ein obenstehend beschriebenes verfahren zum Validieren eines Algorithmus des maschinellen Lernens auszuführen.