Die Erfindung betrifft ein Verfahren zum Steuern eines Roboters.

Mensch-Maschine Schnittstellen, wie z.B. Brain-Computer Interfaces (BCI), oder Schnittstellen, die auf der Messung von Muskelaktivität (z.B. EMG) oder anderer bi- ologische Signale basieren, werden heutzutage vielfach entwickelt, um Menschen mit Behinderung die Steuerung technischer Geräte zu ermöglichen. Typischerweise wer- den bei diesen Schnittstellen Signale vom Menschen erfasst und durch einen Algo- rithmus (Dekoder), der typischerweise Methoden des maschinellen Lernens verwen- det, in Steuersignale übersetzt. Um den Dekoder auf die spezifischen Signale des Nutzers zu kalibrieren, wird typischerweise eine Trainingsprozedur vollzogen, in der der Nutzer aufgefordert wird, bestimmte Signale zu erzeugen. Im Beispiel eines BCI wird der Nutzer etwa aufgefordert, sich für eine bestimmte Dauer Bewegungen der rechten Hand vorzustellen und anschließend Bewegungen der linken Hand. Dieses so genannte open-loop Training hat den Nachteil, dass der Nutzer während der Erzeu- gung dieser Signale noch nicht die Kontrolle über das zu steuernde Gerät übernimmt. Oftmals hat dies zur Folge, dass sich die vom Nutzer erzeugten Signale verändern, sobald diese zur eigentlichen Steuerung genutzt werden. Um diesem Effekt entgegen zu wirken, kann die Dekoderkalibrierung um ein so genanntes closed-loop Training erweitert werden. Dabei werden dem Nutzer vordefinierte Ziele, z.B. auf einem Bild- schirm, präsentiert, die dieser ansteuern soll. Durch das bekannte vorgegebene Ziel kann das dekodierte Steuersignal mit dem gewünschten (optimalen) Steuersignal verglichen werden, und somit eine Anpassung des Dekoders vorgenommen werden.

Informationen zum Stand der Technik können den folgenden Veröffentlichungen ent- nommen werden. [1] Jarosiewicz, Beata, et al. "Virtual typing by people with tetraplegia using a self-calibrating intracortical brain-computer interface." Science translational medicine 7.313 (2015): 313ral79-313ral79.

[2] Hochberg, Leigh R., et al. "Reach and grasp by people with tetraplegia us- ing a neurally controlled robotic arm." Nature 485.7398 (2012): 372-375.

[3] Schiel, Felix, et al. „Incremental learning of EMG-based control commands using Gaussian Processes". Conference an Robot Learning (CoRL), 2020.

Im Stand der Technik sind verschiedene Methoden bekannt, um die Kalibrierung von biosignalbasierten Schnittstellen durchzuführen. Neben dem klassischen open-loop Routinen, bei denen der Nutzer aufgefordert wird, ein bestimmtes Signal zu erzeu- gen, sind dabei vor allem die closed-loop Methoden erfolgsversprechend. In der closed-loop Kalibrierung wird typischerweise bei der Verwendung der Schnittstelle neben dem dekodierten Steuersignal zusätzlich ein für die aktuelle Aufgabe optimales Steuersignal berechnet. Um dieses optimale Steuersignal berechnen zu können, ist es notwendig zu wissen, welche Aufgabe der Nutzer ausführen möchte. In der Lite- ratur sind hierzu unterschiedliche Beispiele bekannt. So kann bei Texteingaben mit- tels BCI retrospektiv ermittelt werden, ob der Nutzer den richtigen Buchstaben aus- gewählt hat. Hierfür kann entweder ausgewertet werden, dass der Nutzer Buchsta- ben, die falsch eingetippt wurden, wieder löscht, oder es kann auf Wörterbücher und automatische Textvervollständigung zurückgegriffen werden [1].

Wenn biosignalbasierte Schnittstellen zum Steuern von Robotern eingesetzt werden, erfolgt die closed-loop Kalibrierung typischerweise dadurch, dass der Nutzer vorde- finierte Ziele im Raum anfahren muss oder den Roboter in eine bestimmte Richtung kommandieren muss. Dadurch, dass in dieser künstlichen Aufgabe das Ziel der Be- wegung bekannt ist, kann das optimale Steuerkommando ermittelt werden und zur Aktualisierung des Dekoders verwendet werden [2]. Alternativ können auch nicht überwachte Methoden eingesetzt werden, bei denen nur auf Basis der erzeugten Biosignale und dem durch den Dekoder berechneten Steuersignalen Annahmen über die Korrektheit der Dekodierung getroffen werden. Auf Basis dieser Annahmen kann dann eine Aktualisierung des Dekoders erfolgen [3].

Aufgabe der Erfindung ist es, ein verbessertes Verfahren zum Steuern eines Robo- ters und insbesondere zum Aktualisieren eines Dekoders unter Verwendung von Bio-Signalen bereitzustellen.

Die Lösung der Aufgabe erfolgt erfindungsgemäß durch ein Verfahren nach An- spruch 1.

Das erfindungsgemäße Verfahren zum Steuern eines Roboters umfasst die folgen- den Verfahrensschritte: a Erfassen eines Bio-Signals an einem Körperteil eines Nutzers b Ableiten eines Nutzerkommandos zur Steuerung des Roboters aus den erfassten Bio-Signalen c Ableiten einer durchzuführenden Aufgabe aus dem Nutzerkommando (%usr) unter Verwendung eines Intentionserkennungsmoduls d Berechnen eines optimalen Kommandos das am effizientesten zum Erfüllen der Aufgabe ist e Ermitteln einer Abweichung zwischen dem Nutzerkommando und dem optimalen Kommando f Anpassen des Dekodieralgorithmus, durch den aus dem Bio-Signal das Nutzerkommando dekodiert wird, auf Basis der ermittelten Abweichung g Steuern des Roboters unter Verwendung des angepassten Deko- dieralgorithmus.

Das erfindungsgemäße Verfahren ermöglicht eine verbesserte Steuerung eines Ro- boters unter Verwendung von Bio-Signalen, ohne dass die aktuelle Tätigkeit unter- brochen werden muss. Es ist nicht notwendig, separate Trainingsaufgaben durch- zuführen, um den Dekodieralgorithmus zu verbessern. Vielmehr kann eine Verbes- serung des Dekodieralgorithmus im laufenden Betrieb stattfinden.

Es ist bevorzugt, dass der Robotersteuerung eine Beschreibung der durchzuführen- den Aufgabe vorliegt, die geometrische oder andere Zwangsbedingungen enthält, die zur Erfüllung der Aufgabe erforderlich sind. Eine Beschreibung kann beispiels- weise vorliegen, wenn durch den Roboter eine teilautonome Unterstützung bei der Durchführung der Aufgabe angeboten wird. Solche Zwangsbedingungen können in verschiedenen aus dem Stand der Technik bekannten Formaten vorliegen :

IEEE, "Shared Control Templates for Assistive Robotics", published September 15, 2020 und

IEEE, "Toward Seamless Transitions Between Shared Control and Supervised Au- tonomy in Robotic Assistance", published March 3, 2021.

Soll beispielsweise durch eine Roboterhand ein Glas gegriffen werden, so könnten die geometrischen Zwangsbedingungen die Form eines Trichters aufweisen, der auf das zu greifende Glas hin verläuft bzw. sich bis zu diesem verjüngt. Die geometri- sche Zwangsbedingung würde somit definieren, dass die Roboterhand sich inner- halb dieses Trichters immer näher an das zu greifende Objekt annähern muss. Auf Basis der geometrischen oder anderer Zwangsbedingungen kann dann ein zur Er- füllung der Aufgabe optimales Steuerkommando ermittelt werden. Ergibt das Nut- zerkommando, das aus den erfassten Bio-Signalen abgeleitet wurde, eine Bewe- gung die aus dem Trichter herausführt, oder auf andere Weise von diesem optima- len Kommando abweicht, so kann der Dekodieralgorithmus entsprechend ange- passt werden, indem aus dem gleichen Bio-Signalen ein Nutzerkommando abgeleitet wird, das innerhalb des Trichters verbleibt, d.h. das die geometrischen Zwangsbedingungen der durchzuführenden Aufgabe erfüllt. Die zugrundeliegende Annahme ist, dass der Nutzer eigentlich beabsichtigt, dieses optimale Steuerkom- mando zu erzeugen, da er ja die Aufgabe ausführen möchte. Wenn der Dekoder aber nicht dieses optimale Kommando erzeugt, dann kann eine Anpassung des De- koders notwendig sein, um in der aktuellen Situation das optimale Kommando zu erzeugen.

Er ist bevorzugt, dass durch das Anpassen des Dekodieralgorithmus das Nutzer- kommando so abgeändert wird, dass eine effizientere Ausführung der Aufgabe er- möglicht wird.

Das Anpassen des Dekodieralgorithmus gemäß Verfahrensschritt f kann im laufen- den Betrieb in Echtzeit erfolgen. Der Nutzer wird in diesem Fall die Verbesserung des Dekodieralgorithmus nicht oder kaum bemerken, da der laufende Betrieb des Roboters nicht unterbrochen wird und die Veränderung des Dekodieralgorithmus in kleinen Schritten erfolgt.

Alternativ ist es möglich, den verbesserten Dekodieralgorithmus erst zu einem spä- teren Zeitpunkt einzusetzen, während in Echtzeit das Steuern des Roboters auf Ba- sis des ursprünglichen Dekodieralgorithmus erfolgt. Anders ausgedrückt wird in Echtzeit der verbesserte Dekodieralgorithmus noch nicht sofort eingesetzt, sondern erst in einer späteren Anwendung, z.B. in der nächsten auszuführenden Aufgabe.

Es ist weiterhin bevorzugt, dass das Ableiten des Nutzerkommandos aus den Bio- Signalen unter Verwendung eines Gaussian Process Regression Verfahrens erfolgt.

Weiterhin ist es bevorzugt, dass das Anpassen des Dekodieralgorithmus gemäß Verfahrensschritt f zusätzlich auf Basis von Regressionsparametern erfolgt, die vom Dekodieralgorithmus zur Verfügung gestellt werden.

Es ist weiterhin bevorzugt, dass die Bio-Signale EMG-Signale sind. Alternativ oder zusätzlich können Muskelsignale, die mittels anderer geeigneter Messprinzipien gemessen werden verwendet werden und/oder Signale des peripheren Nerven- sytems oder Signale des zentralen Nervensystems, insbesondere des Gehirns, die nicht-invasiv oder invasiv gemessen werden (EEG, MEG, NIRS, FMRI, ECOG, multi- electrode arrays).

Im Folgenden werden bevorzugte Ausführungsformen der Erfindung anhand von Figuren erläutert.

Figur 1 zeigt ein mögliches Anwendungsszenario für das erfindungsgemäße Verfahren

Figur 2 zeigt den Ablauf einer Ausführungsform des erfindungsgemäßen Ver- fahrens

Gemäß Figur 1 steuert ein Nutzer (14) unter Verwendung von EMG-Signalen einen Roboterarm (10). Die EMG-Signale können an einem Körperteil des Nutzers über geeignete Sensoren erfasst werden. Dies kann beispielsweise am Unterarm des Nutzers erfolgen.

Aus den erfassten EMG-Signalen wird wie in Figur 2 sichtbar, unter Verwendung ei- nes Gaussian Process Regression Verfahrens ein Nutzerkommando abgeleitet.

Wie in Figur 1 sichtbar kann dieses Nutzerkommando suboptimal für die durchzuführende Aufgabe sein, da es beispielsweise die geometrischen Zwangsbe- dingungen, die zur Durchführung der Aufgabe erfüllt werden müssen, nicht erfüllt.

Unter Kenntnis der durchzuführenden Aufgabe kann ein optimales Kommando berechnet werden, welches im aktuellen Weltzustand am effizientesten zum Erfüllen der Aufgabe führen würde. Durch dieses optimale Kommando (x _op t) würde der Greifer (18) auf dem kürzesten Weg zum Glas (12) geführt werden.

Erfindungsgemäß erfolgt ein Update des Dekodieralgorithmus (siehe Figur 2), so- dass der Dekodieralgorithmus auf Basis der Abweichung zwischen dem Nutzerkommando und dem optimalen Kommando angepasst wird. Hier- bei können weitere Regressionsparameter berücksichtigt werden, die vom Deko- dieralgorithmus zur Verfügung gestellt werden. Dies kann z.B. die Konfidenz des Algorithmus hinsichtlich der Dekodierung oder die erfassten EMG-Signale umfas- sen. Auf Basis dieser Daten kann sodann ein Update für das Modell des Dekodieral- gorithmus berechnet und umgesetzt werden. Die Umsetzung kann im laufenden Betrieb oder zu einem späteren Zeitpunkt erfolgen.