Verfahren und Vorrichtung zur interaktiven Annotation von

Bilddaten im Servicebetrieb

Die Erfindung betri f ft ein Verfahren zum Anlernen eines Bilderkennungsalgorithmus für die Fehlererkennung in der Instandhaltung von Maschinen mit mehreren Komponenten, ein Computerprogrammprodukt zur Aus führung des Verfahrens und eine Vorrichtung zur Aus führung des Verfahrens .

Algorithmen der künstlichen Intelligenz , insbesondere Machine Learning Algorithmen, werden in einer Lernphase für bestimmte Aufgaben trainiert , um diese in einer Arbeitsphase aus zuführen . In der Lernphase werden Ausgangsdaten, insbesondere Bilddaten, oft von Personen annotiert . Sollen beispielsweise Menschen oder Obj ekte auf Fotos während der Arbeitsphase von den Algorithmen erkannt werden, werden während der Lernphase Fotos mit den zu erkennen Obj ekten entsprechend annotiert , indem die zu erkennen Obj ekten auf den Fotos manuell markiert werden . Für einen zuverlässigen Algorithmus wird eine Vielzahl solch annotierter Fotos benötigt . Im industriellen Umfeld ist eine Annotation aus mehreren Gründen erschwert . Einerseits sind für die Annotation Experten erforderlich . Andererseits ist die erforderliche Datenmenge für das Training oft zu gering, beispielsweise weil zu erkennende Defekte selten auftreten .

Die Of fenlegungsschri ft DE 10 2018 214 210 Al betri f ft eine Visualisierungseinrichtung und ein Verfahren zum Visualisieren des Inneren oder Äußeren eines Fahrzeugs , insbesondere zur Planung einer Nachrüstung eines Fahrzeugs .

Der Erfindung liegt die Aufgabe zugrunde , ein Verfahren zum vereinfachten Anlernen eines Bilderkennungsalgorithmus für die Instandhaltung von komplexen Maschinen vorzuschlagen . Gelöst wird die Aufgabe durch die Gegenstände der unabhängigen Patentansprüche . Weiterbildungen und Ausgestaltungen der Erfindung finden sich in den Merkmalen der abhängigen Patentansprüche wieder .

Ein erfindungsgemäßes Verfahren zum Anlernen eines Bilderkennungsalgorithmus für die Fehlererkennung in der Instandhaltung von Maschinen mit mehreren Komponenten umfasst folgende Verfahrensschritte : a . Erfassen von Bilddaten der Maschine mit mittels wenigstens einer Kamera und Speichern der Bilddaten in einer Datenbank; b . Erstellen eines digitalen Modells der Maschine anhand der erfassten Bilddaten; c . Erstellen eines Maschinenkoordinatensystems für das digitale Modell der Maschine ; d . Durchführen von Wartungsarbeiten an wenigstens einer fehlerhaften Komponente der Maschine ; e . Erfassen einer Position der gewarteten Komponente und Erzeugen von Positionsdaten zu der gewarteten Komponente im Maschinenkoordinatensystem; f . Markieren der erfassten Bilddaten zur gewarteten Komponente aus dem digitalen Modell der Maschine anhand der zugeordneten Positionsdaten im Maschinenkoordinatensystem .

Bei der Maschine handelt es sich insbesondere um ein Fahrzeug, insbesondere um ein Schienenfahrzeug .

Das Erfassen von Bilddaten der Maschine in Verfahrensschritt a . wird vorteilhaft mit einer Viel zahl an hochauflösenden Kameras ausgeführt . So kann daraufhin ein detailliertes Abbild der Maschine erzeugt werden .

Dabei werden vorteilhaft alle sichtbaren und zumindest teilweise von außen frei zugänglichen Komponenten der Maschine erfasst . Es werden also Bilddaten der gesamten Maschine von außen auf genommen .

Anhand der erfassten Bilddaten kann gemäß einer Weiterbildung der Erfindung in Verfahrensschritt b . ein dreidimensionales digitales Modell ( 3D-Modell ) der Maschine erstellt werden . Dazu werden zunächst die erdfassten Bilddaten aus der Datenbank ausgelesen . Folglich wird in Verfahrensschritt c . ein Maschinenkoordinatensystem für das digitale 3D-Modell der Maschine erstellt .

Das Maschinenkoordinatensystem wird anhand der Bilddaten mittels eines geeigneten Algorithmus erstellt . Als Ursprung könnte beispielsweise ein für einen Bilderkennungsalgorithmus einfach zu identi fi zierender Referenzpunkt der Maschine , beispielsweise ein Puf fer oder ein Rad eines Schienenfahrzeugs , dienen .

Gemäß einer weiteren Weiterbildung handelt es sich bei der Maschine um ein Schienenfahrzeug und das Erfassen von Bilddaten der Maschine mit mittels wenigstens einer Kamera wird bei der Einfahrt des Schienenfahrzeugs in ein Wartungsdepot ausgeführt , beispielsweise mittels eines sogenannten Kameratunnels . Das Schienenfahrzeug fährt bei der Einfahrt in das Depot durch diesen Tunnel und wird von mehreren, insbesondere von allen, Seiten abgelichtet .

Im Depot selbst können dann weniger Kameras angeordnet und auf das in seiner Wartungsposition stehenden Schienenfahrzeug ausgerichtet sein, um beispielsweise gemäß Verfahrensschritt e . die Position der gewarteten Komponente zu erfassen . Eine Einordnung des Schienenfahrzeugs in das Maschinenkoordinatensystem kann beispielsweise wiederum mittels eines für einen Bilderkennungsalgorithmus einfach zu identi fi zierenden Referenzpunkts der Maschine , beispielsweise eines Puf fers oder eines Rades des Schienenfahrzeugs , erfolgen . Alternativ erfolgt Verfahrensschritt a . im Depot bei dem in seiner Wartungsposition stehenden Schienenfahrzeug . Dies kann gleichermaßen für die auf Verfahrensschritt a . folgenden Verfahrensschritte b . und c . sowie d . gelten . Das Depot ist dann entsprechend mit einer Viel zahl an, insbesondere hochauflösenden, Kameras in verschiedenen Positionen und Blickwinkeln auf das Schienenfahrzeug ausgerüstet . Die Überwachung der Wartungsarbeiten gemäß Verfahrensschritt d . und die Erfassung der Position der gewarteten Komponente gemäß Verfahrensschritt e . kann dann durch dieselben Kameras erfolgen .

Die Wartungsarbeiten, insbesondere eine Instandsetzung, Reparatur oder Austausch von Komponenten der Maschine , wird insbesondere von geschultem Servicepersonal durchgeführt .

Gemäß Verfahrensschritt e . wird die Position der gewarteten Komponente erfasst . Dies kann weitergebildet mittels wenigstens einer Kamera, insbesondere mittels wenigstens zwei Kameras , beispielsweise mittels der Kameras im Depot bei in seiner Wartungsposition stehenden Schienenfahrzeug erfolgen .

Weitergebildet wird die Position der gewarteten Komponente Verfahrensschritt e . über ein Mustererkennungsalgorithmus anhand von Bilddaten erfasst , welche mittels wenigstens zwei Kameras stereoskopisch erfasst sind . Die Position der gewarteten Komponente kann dann anhand einer Triangulation der wenigstens zwei Kamerapositionen erkannt werden . Hierfür können beispielsweise Bewegungen des die Komponente wartenden Servicepersonals überwacht und verfolgt werden . Derartige Verfahren sind aus dem Bereich des Motion Capturings ohne Marker bekannt .

Gemäß einer weiteren Weiterbildung geht Verfahrensschritt e . voran :

Markieren der fehlerhaften Komponente mittels eines Markers , insbesondere durch das Servicepersonal . Dies kann auch Verfahrensschritt c . nachfolgen und Verfahrensschritt d . vorangehen oder während Verfahrensschritt d . erfolgen . Hierfür kann ein technisches Gerät , beispielsweise ein Sti ft als passiver Marker oder ein Gerät , welches ein Signal emittiert , beispielsweise ein Laserpointer, als aktiver Marker verwendet werden, mit dem das Servicepersonal physisch auf die fehlerhafte Komponente hindeutet . Derartige Verfahren sind als Position Tracking von Obj ekten mit Markern bekannt geworden . Hierfür kann eine Tracking-Einheit vorgesehen sein .

In einer weiteren Weiterbildung ist vorgesehen, dass Verfahrensschritt d . umfasst :

- Markieren eines Fehlers der fehlerhaften Komponente mittels eines Markers , insbesondere durch das Servicepersonal .

Auch dies kann grundsätzlich dem Verfahrensschritt c . nachfolgen und dem Verfahrensschritt d . vorangehen . Das Servicepersonal kann beispielsweise den Fehler selbst markieren, beispielsweise indem es auf den Fehler oder eine schadhafte Stelle der Komponente , beispielsweise ein Riss im Gehäuse der Komponente oder austretendes Öl , hindeutet .

Weitergebildet werden dann in Verfahrensschritt e . neben der Position der gewarteten Komponente auch die Position des Fehlers erfasst und neben dem Erzeugen von Positionsdaten zu der gewarteten Komponente im Maschinenkoordinatensystem auch Positionsdaten zum Fehler im Maschinenkoordinatensystem erzeugt . Entsprechend können in Verfahrensschritt f . auch die erfassten Bilddaten zum Fehler aus dem digitalen Modell der Maschine anhand der zugeordneten Positionsdaten bezogen auf den Fehler im Maschinenkoordinatensystem markiert werden .

Die erfassten Positionsdaten werden in Verfahrensschritt f . in die Bilddaten mittels des Maschinenkoordinatensystems übertragen und die erfassten Bilddaten aus dem digitalen Modell der Maschine zur gewarteten Komponente und/oder zum Feh- ler anhand der zugeordneten Positionsdaten im Maschinenkoordinatensystem markiert .

Dabei wird weitergebildet zumindest ein Bildausschnitt , welcher ein Abbild der fehlerhaften Komponente und/oder des Fehlers umfasst , markiert . Mittels des Maschinenkoordinatensystems ist bekannt , welcher Punkt oder welcher Bereich im Bild bzw . den Bilddaten, welchen Teil der Maschine , beispielsweise des Schienenfahrzeugs , zeigt .

Weitergebildet folgt dem Verfahrensschritt f . nach :

- Bestimmen der gewarteten Komponente und/oder des Fehlers in den markierten Bilddaten zur gewarteten Komponente und/oder des Fehlers mittels eines Bilderkennungsalgorithmus .

Es findet somit eine Zuordnung der gewarteten Komponente und/oder des Fehlers zu den entsprechenden Bilddaten statt .

Dies kann über einen Vergleich mit Referenzbilddaten zu der Komponente aus einer Referenzdatenbank erfolgen .

Weitergebildet umfasst Verfahrensschritt d . :

Identi fi zieren der fehlerhaften bzw . gewarteten Komponente oder des Fehlers , insbesondere durch das Wartungspersonal , beispielsweise durch Auswahl aus einer Liste von Komponenten der Maschine und/oder Fehlern, und Erzeugen von Informationen zu der identi fi zierten Komponente und/oder des Fehlers .

Die Informationen zu der identi fi zierten Komponente können wiederum in einer bzw . derselben Datenbank gespeichert werden .

Dem Verfahrensschritt f . kann dann nachfolgen :

- Verknüpfen der erfassten Bilddaten zur gewarteten Komponente aus dem digitalen Modell der Maschine mit den zur gewarteten Komponente der Maschine erzeugten Informationen, die hierzu insbesondere aus der Datenbank ausgelesen werden . Mitarbeitende des Servicepersonal erstellen bei oder nach erfolgter Durchführung der Wartungsarbeiten üblicherweise einen Wartungsbericht mit Informationen zur gewarteten Komponente , zur Art des Fehlers und/oder zu den durchgeführten Wartungsarbeiten . Diese Informationen lassen sich auslesen und in einfacher Weise mit den entsprechenden Bilddaten verknüpfen . So werden die Bilddaten zu fehlerhaften Komponenten und/oder Fehlern aufwandsarm annotiert .

In einfacher Weise lassen sich nachfolgend anhand der so annotierten Bilddaten zu der Maschine fehlerhafte Komponenten oder Fehler erkennen, insbesondere mittels eines Bilderkennungsalgorithmus .

Mitarbeitende des Servicepersonals führen einfach ihre normalen Wartungsarbeiten durch . Die Markierung der fehlerhaften Komponente oder des Fehlers erfolgt dabei passiv, durch Nachverfolgung der Wartungsarbeiten an der fehlerhaften Komponente , oder aufwandsarm aktiv durch Hindeuten auf die fehlerhafte Komponente durch die Mitarbeitenden des Servicepersonals . Durch Auswertung des Wartungsberichts , welcher ebenfalls der üblichen Tätigkeit entspricht , kann anschließend die mittels des Bilderkennungsalgorithmus ' in den markierten Bilddaten zur gewarteten Komponente und/oder des Fehlers bestimmte Komponente und/oder des Fehlers mittels detaillierter Informationen zur Komponente und/oder zum Fehler annotiert werden .

Mittels eines nach dem erfindungsgemäßen Verfahren angelernten Bilderkennungsalgorithmus für die Fehlererkennung in der Instandhaltung von Maschinen mit mehreren Komponenten kann die Fehlererkennung in der Instandhaltung von Maschinen mit mehreren Komponenten mit folgenden Verfahrensschritten erfolgen :

Erfassen von Bilddaten der Maschine mit mittels wenigstens einer Kamera ; Erkennen einer fehlerhaften Komponente der Maschine anhand der erfassten Bilddaten der Maschine mittels des Bilderkennungsalgorithmus .

Große Teile des Verfahrens , insbesondere die Verfahrensschritte a . , b . , c . , e . und f . , lassen sich mittels eines Computerprogrammprodukts aus führen . Dieses umfasst Befehle , die bei der Aus führung des Programms durch wenigstens ein geeignetes Endgerät dieses veranlassen, das erfindungsgemäße Verfahren aus zuführen . Das Computerprogrammprodukt kann auf einem Datenträger gespeichert sein .

Eine erfindungsgemäße Vorrichtung ist eingerichtet zur Ausführung des erfindungsgemäßen Verfahrens . Es umfasst hierfür die bereits genannten, zur Aus führung des j eweiligen Verfahrensschritts geeigneten Mittel :

- Wenigstens eine Kamera zum Erfassen von Bilddaten der Maschine ;

- Wenigstens einen Speicher zum Speichern der Bilddaten in einer Datenbank;

- Wenigstens einen Prozessor zum Erstellen eines digitalen Modells der Maschine anhand der erfassten Bilddaten;

- Wenigstens einen Prozessor zum Erstellen eines Maschinenkoordinatensystems für das digitale Modell der Maschine ;

- Wenigstens eine Tracking-Einheit umfassend wenigstens eine Kamera zum Erfassen einer Position der gewarteten Komponente und wenigstens einen Prozessor zum Erzeugen von Positionsdaten zu der gewarteten Komponente im Maschinenkoordinatensystem;

- Wenigstens einen Prozessor zum Markieren der erfassten Bilddaten zur gewarteten Komponente aus dem digitalen Modell der Maschine anhand der zugeordneten Positionsdaten im Maschinenkoordinatensystem . Bei den Prozessoren kann es sich um ein und denselben Prozessor einer Recheneinheit handeln . Auch bei den Kameras kann es sich um dieselben Kameras handeln, oder es werden verschiedene Kameras zur Aus führung der Verfahrensschritte a . und e . eingesetzt .

Die Erfindung lässt zahlreiche Aus führungs formen zu . Sie wird anhand der nachfolgenden Figur näher erläutert .

Die Figur zeigt schematisch einen Ablauf einer Ausgestaltung des Verfahrens . In einem ersten Schritt a . werden Bilddaten einer Maschine mit mittels wenigstens einer Kamera erfasst und die Bilddaten in einer Datenbank gespeichert . Aus diesen gespeicherten Bilddaten wird anschließend in Verfahrensschritt b . ein digitales Modell der Maschine erstellt . Darüber hinaus wird ein Maschinenkoordinatensystem für das digitale Modell der Maschine erstellt (Verfahrensschritt c . ) .

Gemäß Verfahrensschritt d . werden Wartungsarbeiten an wenigstens einer fehlerhaften Komponente der Maschine durchgeführt . Dabei wird gemäß Verfahrensschritt e . die Position der gewarteten Komponente erfasst und Positionsdaten im Maschinenkoordinatensystem zu der gewarteten Komponente werden erzeugt . Beispielsweise erkennt eine externe Tracking-Einheit , umfassend die wenigstens eine Kamera sowie einen geeignet ausgebildeten Prozessor, die Position eines Markers , beispielsweise eines Sti fts , mit welchem ein Wartungsmitarbeiter auf die fehlerhafte Komponente deutet , relativ zum Schienenfahrzeug .

In Verfahrensschritt f . werden die erfassten Bilddaten zur gewarteten Komponente aus dem digitalen Modell der Maschine anhand der zugeordneten Positionsdaten im Maschinenkoordinatensystem markiert .