einer Gliedmaße

Die Erfindung betrifft ein Verfahren sowie eine Vorrichtung zur Bestimmung einer gewollten Bewegung einer Gliedmaße.

Gliedmaßen des menschlichen Körpers werden durch Muskeln bewegt. Dabei sind die Muskeln der jeweiligen Gliedmaße stets proximal also zum Körperzentrum hin angeordnet, während die durch den Muskel bewegte Gliedmaße stets distal von den bewegenden Muskeln, also weiter entfernt vom Körper angeordnet ist. Durch die Erfassung der Muskelbewegung ist es möglich Rückschlüsse auf die gewollte Bewegung der entsprechenden Gliedmaße zu ziehen. Dies ist auch möglich, falls die gewollte Bewegung zwar muskulär initiiert wird, jedoch keine tatsächliche Bewegung der Gliedmaße erfolgt beispielsweise aufgrund einer amputierten Gliedmaße, einer Inhibition der Gliedmaße oder der Behinderung der Gliedmaße.

So können beispielsweise durch die Erfassung der Bewegung der Muskeln im Unterarm Rückschlüsse auf die gewollte Bewegung der Finger gezogen werden. Dies ist beispielsweise wünschenswert für die Ansteuerung von modernen Prothesen, also einer künstlichen Hand.

Grundsätzlich lassen sich drei Methoden zur Erkennung der Muskelbewegung unterscheiden. So können beispielsweise Kraft-Druck-Sensoren vorgesehen sein. Hier wird versucht, die Bewegung des Muskels anhand der Kraft, die dieser auf einen direkt an der Hautoberfläche angebrachten Sensor ausübt, zu messen. Beispiele hierfür sind sogenannte kraftfühlende Resistoren oder eine Anordnung von sehr vielen kraftmessenden Elementen (sogenannte tactels). Eine weitere Methode besteht in der Oberflächen-Elektromyographie (EMG). Hier werden durch die Messung der elektrischen Signale der Muskulatur Rückschlüsse auf die gewollte Bewegung der Gliedmaßen geschlossen. In einer dritten Methode wird Ultraschall als bildgebendes Verfahren verwendet, welches die Bewegung der Muskeln abbildet und Rückschlüsse auf die gewollte Bewegung der Gliedmaße erlaubt.

Nachteilig an diesen Methoden ist jedoch, dass alle eine direkte Anbringung der Sensoren auf die Haut voraussetzen. Damit verbunden ergeben sich Nachteile, da diese Sensoren exakt positioniert werden müssen und beispielsweise ein Verrutschen der Sensoren zu einer Abweichung des Signals führt. Durch den Kontakt kann es darüber hinaus zu Beschädigungen der Haut an den Kontaktflächen führen. Somit muss einerseits geschultes Personal vorhanden sein zur Anbringung der Sensoren, andererseits besteht eine hohe Fehlerquelle in der korrekten Positionierung bzw. dem Verrutschen der Sensoren und wiederum ist die Dauer der Erfassung durch den unmittelbaren Hautkontakt der Sensoren beschränkt.

Des Weiteren gibt es Ermüdungserscheinungen der Signalqualität über längere Zeiten (z.B. bei EMG Signalen) und Probleme der Ultraschallkopplung an der Hautoberfläche. Außerdem sind die verwendeten Sensoren sehr komplex und dadurch teuer.

Aufgabe der Erfindung ist es, ein Verfahren sowie eine Vorrichtung zur Erfassung einer gewollten Bewegung einer Gliedmaße zu schaffen, welche berührungsfrei arbeitet. Die Aufgabe wird gelöst durch das Verfahren gemäß Anspruch 1 sowie die Vorrichtung gemäß Anspruch 9.

In dem erfindungsgemäßen Verfahren zur Bestimmung einer gewollten Bewegung einer Gliedmaße wird ein Ausschnitt einer Körperoberfläche beobachtet. Bei der gewollten Bewegung ist es nicht erforderlich, dass eine tatsächliche Bewegung der Gliedmaße erfolgt. So kann die tatsächliche Gliedmaße beispielsweise durch Fehlen der Gliedmaße, Inhibition oder Behinderung der Gliedmaße verhindert oder abgeschwächt sein. Bei der Gliedmaße handelt es sich dabei insbesondere um eine Gliedmaße des menschlichen Körpers. Der Ausschnitt der Körperoberfläche ist dabei so gewählt, dass an der Stelle des Ausschnitts zumindest ein Teil der die Gliedmaße bewegenden Muskulatur vorhanden ist.

Bei der Beobachtung der Körperoberfläche findet in dem erfindungsgemäßen Verfahren keine Berührung der Körperoberfläche statt. In dem Ausschnitt werden erfindungsgemäß die erfassbaren Muskelbewegungen optisch erfasst. Nachfolgend werden die so erfassten Muskelbewegungen ausgewertet und hieraus die gewollte Bewegung der betreffenden Gliedmaße ermittelt. Hierbei findet keine direkte Beobachtung der entsprechenden Gliedmaße statt. Vielmehr soll eine Vorhersage aufgrund der beobachteten Muskelbewegung getroffen werden, welche Bewegung die Person vornehmen möchte.

Durch die optische Erfassung der Muskelbewegung ist das Verfahren berührungslos. Eine Verbindung eines Sensors mit dem Ausschnitt der beobachteten Körperoberfläche ist nicht erforderlich. Insbesondere wird zur optischen Erfassung eine Kamera verwendet. Hierbei sind insbesondere keine besonderen Anforderungen an die Kamera zu stellen, so dass eine Kamera mit einer Auflösung von 1280 x 720 Pixeln bereits als ausreichend angesehen werden kann. Das Erfassen der Bilder erfolgt hierbei vorzugsweise mit einer Frequenz von 15 Bildern pro Sekunde (frames per second) oder mehr. Somit ergibt sich ein einfacher Aufbau mit preisgünstigen Komponenten. Auch Probleme wie Ermüdungserscheinungen mit EMG Sensoren und der schwierigen dauerhaften Ankopplung von Ultraschallsensoren an der Hautoberfläche sind im erfindungsgemäßen Verfahren nicht vorhanden. Auch kann eine gesundheitliche Gefährdung ausgeschlossen werden, da keine direkte Anbringung von Sensorik und keine Einbringung von Energie in den Körper stattfindet.

Insbesondere kann durch das Verfahren gleichzeitig eine Vielzahl von Muskelbewegungen erfasst werden. Da ein gesamter Ausschnitts einer Köperoberfläche beobachtet wird, erfolgt keine punktuelle Detektion einer Muskelbewegung wie es bei den üblichen und bekannten Methoden der Fall ist. Die gleichzeitige Erfassung einer Vielzahl von Muskelbewegungen erlaubt einerseits eine präzisere Aussage über die gewollte Bewegung, andererseits können hierdurch komplexe Bewegungen, welche mehr als einen Muskel erfordern, ermittelt werden.

Vorzugsweise wird durch das Verfahren gleichzeitig eine Vielzahlt von gewollten Bewegungen mehrerer Gliedmaßen ermittelt. Insbesondere falls der Unterarm beobachtet wird, kann es sich bei der Vielzahl von gewollten Bewegungen um die gewollten Bewegungen der Finger handeln, welche durch das Verfahren ermittelt werden. Somit ist es nicht erforderlich sich im Beispiel des beobachteten Unterarms lediglich auf die Bewegung eines Fingers zu beschränken. Vielmehr können die Bewegungen aller Finger gleichzeitig beobachtet werden.

Vorzugsweise sind auf dem beobachteten Ausschnitt der Körperoberfläche Markierungen angebracht zur Erfassung der Muskelbewegungen. Die Markierungen Vereinfachen lediglich die Erfassung der Muskelbewegung und die Auswertung. Dabei können die Markierungen auf den Ausschnitt der Köperoberfläche aufgeklebt sein, aufgemalt werden oder insbesondere durch Tätowierungen unmittelbar in die Körperoberfläche eingebracht werden. Vorzugsweise sind auf dem beobachteten Ausschnitt der Körperoberfläche Emitter und/oder Reflektoren angebracht zur Erfassung der Muskelbewegungen. Hierdurch wird die Erfassung der Muskelbewegungen und die Ermittlung der gewollten Bewegung vereinfacht. Insbesondere handelt es sich bei dem Emitter um IR-Emitter, so dass diese von einer konventionellen Kamera erfasst werden können.

Vorzugsweise werden bei der Auswertung der erfassten Muskelbewegung ein Tiefpassfilter, ein Hochpassfilter oder ein Bandpassfilter verwendet. Hierdurch werden beispielsweise DC-Komponenten und/oder hochfrequente Komponenten aus dem Signal entfernt. Insbesondere wird hierzu ein Butterworth Bandpassfilter zweiter Ordnung verwendet.

Insbesondere wird bei der Auswertung eine Bilderfassung durchgeführt, so dass die Bewegung der Körperoberfläche beziehungsweise der darauf angebrachten Markierungen bevorzugt in allen drei Raumrichtungen sowie in den drei Rotationsrichtungen - also 6D - erfasst werden. Möglich ist hierbei jedoch auch nur die Erfassung von beispielsweise zwei Translationsrichtungen- also 2D - oder verschiedene Kombinationen aus Translation und Rotation. Aus der erfassten Bewegung der Muskeln beziehungsweise der auf der Körperoberfläche angebrachten Markierungen lässt sich die gewollte Bewegung der betreffenden Gliedmaßen ermitteln.

Vorzugsweise wird eine Verknüpfung zwischen Muskelbewegung und gewollter Bewegung erzeugt bzw. abgeleitet durch Beobachtung einer Vielzahl von Muskelbewegungen, die durch eine vorgegebene Bewegung erzeugt werden. Hierdurch kann eine Muskelbewegung einer vorgegebenen und damit bekannten gewollten Bewegung zugeordnet werden. Somit wird durch eine Auswertvorrichtung die Verknüpfung zwischen der beobachteten Muskelbewegung und der bekannten gewollten Bewegung erzeugt. Diese Korrelation zwischen der erfassten Muskelbewegung und der bekannten gewollten Bewegung wird in der folgenden Auswertung bei unbekannter gewollter Bewegung zur Bestimmung derselben herangezogen. Somit findet ein Anlernen der Auswertvorrichtung statt, welche einmal durchgeführt werden muss, um im Weiteren unbekannte gewollte Bewegungen der betreffenden Gliedmaßen zu bestimmen.

Vorzugsweise wird die Verknüpfung zwischen Musekelbewegung und gewollter Bewegung durch eine Ridge Regression (A.E. Hoerl and R.W. Kennard, "Ridge regression : Biased estimation for nonorthogonal Problems", Technometrics, Bd. 12, S. 55-67,1970) durchgeführt, welche ein lineares Modell an die erfassten Daten anpasst. Aus dieser Verknüpfung lassen sich insbesondere unbekannte gewollte Bewegungen aus einer beobachteten Muskelbewegung ableiten.

Die vorliegende Erfindung betrifft darüber hinaus eine Vorrichtung zur Ermittlung einer gewollten Bewegung einer Gliedmaße mit einer Kamera, die auf einen Ausschnitt einer Körperoberfläche gerichtet ist. Durch die Kamera wird eine Muskelbewegung in dem Ausschnitt erfasst. Weiter ist erfindungsgemäß mit der Kamera eine Auswertvorrichtung verbunden. Durch die Auswertvorrichtung wird die optisch erfasste Muskelbewegung ausgewertet. Dabei umfasst die Auswertung eine Bestimmung der gewollten Bewegung der Gliedmaße. Mit der Auswertevorrichtung wiederum ist eine Ausgabevorrichtung verbunden zu Ausgabe des Auswertungsergebnisses und insbesondere zur Ausgabe der gewollten Bewegung.

Vorzugsweise ist die Vorrichtung weitergebildet entsprechend dem vorstehend beschriebenen Verfahren.

Vorzugsweise weist das Verfahren Merkmale der Vorrichtung auf.

Die vorliegende Erfindung betrifft weiter die Verwendung der vorstehend beschriebenen Vorrichtung zur Steuerung einer Prothese der entsprechenden Gliedmaße. Hier ist die Ausgabevorrichtung der erfindungsgemäßen Vorrichtung mit der Prothese, bei der es sich beispielsweise um eine Handprothese handelt, verbunden. Durch die Erfassung der gewollten Bewegung kann diese gewollte Bewegung in eine tatsächliche Bewegung der Prothese umgesetzt werden.

Weiter betrifft die Erfindung die Verwendung der vorstehend beschriebenen Vorrichtung zur Steuerung einer Maschine, insbesondere eines Roboter. Somit können die gewollten Bewegungen insbesondere der Hand ermittelt werden und im Rahmen einer Mensch-Maschine Interaktion benutzt werden, um die Maschine und vorzugsweise den Roboter geeignet anzusteuern. Beispielsweise handelt es sich bei dem Roboter um einen Assistenzro boter, der einem Handamputierten beispielsweise ein Glas greift und reicht. Jedoch ist auch bei gesunden Personen, die Verwendung der Vorrichtung möglich im Sinne eines Eingabegerätes zur Steuerung von Maschinen.

Weiter betrifft die Erfindung die Verwendung der vorstehen Vorrichtung zur Steuerung und Darstellung einer Gliedmaße in einer virtuellen Realität. So können beispielsweise in der virtuellen Realität Hände dargestellt werden, welche durch die Erfassung der Muskelbewegungen gesteuert und bewegt werden. Eine tatsächliche Bewegung beispielsweise der Hand ist nicht erforderlich.

Nachfolgend wird die Erfindung anhand einer bevorzugten Ausführungsform in Bezug auf die angefügten Abbildungen beschrieben.

Es zeigen :

Fig. 1 eine erfindungsgemäße Vorrichtung zur Bestimmung einer gewollten Bewegung am Beispiel der gewollten Bewegung einer Hand,

Fig. 2 ein schematischer Ablauf des erfindungsgemäßen Verfahrens und Fig. 3 ein schematischer Ablauf zur Bestimmung einer Verknüpfung zwischen gewollter Bewegung und erfasster Muskelbewegung.

Erfindungsgemäß weist die Vorrichtung zur Ermittlung einer gewollten Bewegung einer Gliedmaße eine Kamera 10 auf. Im in Fig. 1 dargestellten Beispiel handelt es sich bei der Gliedmaße, welche bewegt werden soll, um eine menschliche Hand 12. Durch die Kamera 10 wird dabei ein Ausschnitt der Körperoberfläche beobachtet, an welchem zumindest ein Teil der die Gliedmaße bewegenden Muskulatur vorhanden ist. Im Beispiel der Hand 12 wird hierbei durch die Kamera 10 der Unterarm 14 beobachtet, um Muskelbewegungen optisch zu erfassen. Hierbei findet keine Berührung des Unterarms durch einen Sensor oder dergleichen statt.

Die Kamera 10 ist mit einer Auswertvorrichtung 16 verbunden. Durch die Auswertvorrichtung 16 werden die durch die Kamera 10 erfassten Bilder ausgewertet und hieraus die Muskelbewegung am Unterarm 14 bestimmt. Aus der so bestimmten Muskelbewegung der Muskeln am Unterarm 14 wird durch die Auswertvorrichtung 16 die gewollte Bewegung der Hand 12 und/oder der Finger ermittelt. Dies ist möglich, da eine eindeutige Verbindung zwischen den Muskeln und Hand bzw. den einzelnen Fingern besteht, so das deterministisch durch die Bewegung eines bestimmten Muskels vorhergesagt werden kann, welche Finger oder welcher Teil der Hand bewegt werden sollt. Dies trifft auf alle Muskeln zu, welche stets exakt eine Bewegungsrichtung aufweisen. Selbstverständlich ist eine Interaktion der einzelnen Muskeln zur Erzeugung einer komplexen Bewegung einer Gliedmaße ebenfalls mit umfasst.

Mit der Auswertvorrichtung 16 ist eine Ausgabevorrichtung 18 verbunden, durch die Ausgabevorrichtung 18 wird die gewollte Bewegung, im vorliegenden Beispiel der Hand 12, ausgegeben. Die Ausgabevorrichtung 18 kann ihrerseits wiederum beispielsweise verbunden sein mit einer Prothese, welche sodann die gewollte Bewegung ausführt oder aber in einer anderen Anwendung kann die Auswertvorrichtung 18 mit einer anderen Maschine verbunden sein, welche sodann eine entsprechende Bewegung ausführt.

Auch wenn in Fig. 1 ein Beispiel der Vorrichtung anhand der Hand dargestellt ist, ist dieses selbstverständlich auf jede andere Gliedmaße übertragbar.

Im erfindungsgemäßen Verfahren, schematisch dargestellt in der Fig. 2 wird zunächst eine Muskelbewegung optisch erfasst 20. Die Muskelbewegung wird dabei erfasst an der Köperoberfläche innerhalb eines beobachteten Ausschnitts. Der Ausschnitt ist dabei an einer Stelle angeordnet, an welcher sich zumindest ein Teil der die Gliedmaßen bewegenden Muskulatur vorhanden ist. Die so erfasste Muskelbewegung wird ausgewertet 22, dies umfasst die Ermittlung einer gewollten Bewegung der betreffenden Gliedmaße. In einem weiteren Schritt 24 kann die so ermittelte Bewegung ausgegeben werden beispielsweise an eine Prothese, welche die zu bewegende Gliedmaße ersetzt oder an eine Maschinensteuerung.

Es ist möglich zur Auswertung 22 die Auswertvorrichtung 16 geeignet anzulernen. Hierdurch werden der Person Bewegungen der Gliedmaße zunächst vorgegeben 26. Die Person führt die vorgegebenen Bewegungen aus. Ob es sich dabei um eine tatsächliche Bewegung der Gliedmaße handelt oder, falls beispielsweise diese Gliedmaße fehlt, um lediglich die Aktivierung der entsprechenden Muskeln ist dabei unerheblich. Es werden weiter die Muskelbewegungen erfasst, welche aufgrund der vorgegebenen Bewegung erzeugt werden 28. Die vorgenannten Schritte werden ausreichend oft wiederholt 30. Sobald eine genügend große Anzahl an Wiederholungen vorliegt wird hieraus eine Verknüpfung zwischen vorgegebener Bewegung und erfasster Muskelbewegung ermittelt 32. Hierbei kann es sich beispielsweise um eine Regressionsanalyse der Bewegung handeln. Im Nachfolgenden findet die Auswertung 22 auf Grundlage der so ermittelten Verknüpfung statt. Durch dieses Verfahren kann auf relativ einfache Weise eine personenbezogene Auswertung durch die individuelle Verknüpfung von Bewegung der Gliedmaße und Muskelbewegung erzeugt werden.