Die Erfindung betrifft ein Virtual Reality- oder ein Augmented Reality-System sowie ein Verfahren zum Betreiben eines solchen.

Für die immersive Darstellung von virtuellen Realitäten ist es bekannt, Head- mounted-Displays zu verwenden (z. B. Oculus Rift, NVisor oder HTC Vive). Die Steuerung erfolgt meist über zusätzliche in der Hand gehaltene Eingabegeräte.

Aus dem Stand der Technik sind ferner Systeme für eine rudimentäre Gestenerkennung basierend auf Muskelsignalen bekannt (z.B. Myo-Armband, ein Produkt von Thalmic Labs).

Weiterhin ist aus dem medizinischen Bereich die sogenannte Spiegeltherapie zur Rehabilitation bzw. Linderung von Phantomschmerzen nach einer Amputation von Gliedmaßen bekannt. Hierbei werden die gesunde und die beeinträchtigte Gliedmaße synchron bewegt. Die Bewegung der gesunden Gliedmaße wird mit Hilfe eines Spiegels auf die beeinträchtigte Gliedmaße projiziert. Hierdurch entsteht die Illusion, dass die beeinträchtigte Gliedmaße voll funktionsfähig ist.

Nachteilig an den genannten Verfahren ist, dass eine Steuerung von Virtual- Reality-Systemen mit Hilfe einer Gestenerkennung bisher nur bei der Klassifizierung von diskreten Zuständen (z.B. Hand geöffnet/Hand geschlossen) anhand von Muskelsignalen existiert. Eine Bewegung einzelner Finger kann beispielsweise mit in den Händen gehaltenen Eingabegeräten realisiert werden. Dies reduziert jedoch den Grad der Immersion. Außerdem unterscheidet sich hierdurch die Interaktion in der virtuellen Welt von der Interaktion in der realen Welt.

Der Erfolg der klassischen Spiegeltherapie hängt von der Vorstellungskraft des Patienten ab, die beeinträchtigte Gliedmaße mit zu bewegen. Bei einer bilateralen Amputation ist eine Anwendung vollständig unmöglich.

Weitere Informationen zum Stand der Technik können den folgenden Veröffentlichungen entnommen werden : http://www.livescience.com/43599-virtual-reality-used-to-tre at-phantom- limb-pain-video.html http://www.livescience.com/43665-virtual-reality-treatment-f or-phantom- limb-pain.html

Eine Intentionserkennung unter Verwendung eines optomyographischen Verfahrens ist bekannt aus der nicht veröffentlichten Patentanmeldung DE 10 2015 210 638.1 (Publikation hierzu : DOI : 10.1109/ICORR.2015.7281324).

Aufgabe der Erfindung ist es, ein Virtual Reality- oder ein Augmented Reality- System bereitzustellen, das eine realistischere Darstellung der Bewegungen eines Avatars ermöglicht. Ferner soll ein entsprechendes Verfahren zum Betreiben eines solchen Systems bereitgestellt werden.

Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale der Ansprüche 1 und 7.

Die erfindungsgemäße Vorrichtung ist ein Virtual Reality- oder Augmented Reality-System . Dieses umfasst eine Detektionsvorrichtung zum Erfassen einer Muskelbewegung an einer Gliedmaße. Hierbei kann es sich um eine zumindest teilweise nicht mehr vorhandene und/oder funktionsfähige Gliedmaße einer Person handeln, beispielsweise eine amputierte Gliedmaße. Bei dem Versuch, eine nicht mehr vorhandene oder funktionsfähige Gliedmaße zu bewegen, erfolgt trotzdem ein Aktivieren der Muskeln, die ursprünglich für die Bewegung dieser Gliedmaße zuständig waren und die sich proximal dieser Gliedmaße befinden. Diese Muskelbewegung wird durch die erfindungsgemäße Detektionsvorrichtung erfasst.

Das erfindungsgemäße System umfasst eine Virtual Reality- oder Augmented Reality-Darstellungsvorrichtung zum Darstellen eines Avatars der Person . Hierbei kann es sich beispielsweise um einen Monitor oder um ein Head- mounted-Display handeln. Bei einem Head-mounted Display kann ein höherer Grad der Immersion erreicht werden.

Erfindungsgemäß erfolgt mit dieser Darstellungsvorrichtung ein Animieren der Bewegungen der Gliedmaße des Avatars auf Basis der durch die Detektionsvorrichtung erfassten Muskelbewegungen.

Eine Person kann somit versuchen, eine nicht mehr vorhandene oder funktionsfähige Gliedmaße zu bewegen (was ggf. in der Realität nicht mehr möglich ist). Durch die erfindungsgemäße Detektionsvorrichtung wird die beabsichtigte Bewegung anhand des Erfassens der Muskelbewegungen detektiert. Die Person sieht in der Virtual Reality- oder Augmented Reality- Darstellungsvorrichtung ihren Avatar, bevorzugt mit vervollständigter Gliedmaße. Der Avatar in der Darstellungsvorrichtung bewegt seine Gliedmaße gemäß den beabsichtigten Bewegungen der Person.

Das erfindungsgemäße System kann somit in der Therapie gegen Phantomschmerzen bei Personen mit amputierten Gliedmaßen verwendet werden. Anhand der erfassten Muskelsignale kann eine Vielzahl von Bewegungen der amputierten Gliedmaße in der virtuellen oder augmentierten Realität durchgeführt werden. Die Verwendung eines separaten Eingabegeräts durch die Person ist nicht mehr notwendig. Dies erhöht den Grad der Immersion. Im Unterschied zur klassischen Spiegeltherapie kann das erfindungsgemäße System auch bei einer beidseitigen Amputation verwendet werden.

Das erfindungsgemäße System kann auch als Eingabegerät in anderen virtuellen Umgebungen für eine intuitive freihändige Steuerung verschiedener Aufgaben verwendet werden, beispielsweise in der Unterhaltungsindustrie im Rahmen von Spielen oder in der Industrie als virtuelle Entwicklungsplattform.

Das erfindungsgemäße System umfasst bevorzugt eine Posenerfassungsvorrichtung zum Erfassen der Pose einer Person. Dies erfolgt bevorzugt durch eine Kamera. Derartige Posenerfassungsvorrichtungen sind aus dem Stand der Technik bekannt (beispielsweise Kinect-System von Microsoft). In dieser Ausführungsform erfolgt ein Animieren der Pose des Avatars anhand der durch die Posenerfassungsvorrichtung erfassten Pose der Person. Dies wird ebenfalls auf der Virtual Reality- oder Augmented Reality- Darstellungsvorrichtung dargestellt. Hierdurch kann der Grad der Immersion weiterhin erhöht werden.

Es ist bevorzugt, dass für die Erkennung der beabsichtigten Bewegungen der Gliedmaße basierend auf den Muskelsignalen ein Regressionsalgorithmus verwendet wird. Hierdurch wird die Schätzung kontinuierlicher Zustände (z.B. Hand teilweise geöffnet) ermöglicht, da Rückschlüsse auf die vom Muskel aufgebrachte Kraft gezogen werden können.

Das erfindungsgemäße System ist besonders attraktiv, da es vollständig aus kommerziell erhältlichen Komponenten aufgebaut werden kann. Hierdurch ist es beispielsweise möglich, dass Personen mit amputierten Gliedmaßen ein Training zu Hause durchführen. Es ist bevorzugt, dass als Detektionsvorrichtung eine Elektromyographie- Vorrichtung verwendet wird. Die EMG-Elektroden werden hierbei an der Haut der Person im Bereich der entsprechenden Muskelgruppe proximal der nicht mehr vorhandenen und/oder funktionsfähigen Gliedmaße angebracht.

Alternativ oder zusätzlich kann als Detektionsvorrichtung auch ein optisches System verwendet werden : Die Aktivierung der Muskeln führt zu einer Deformation bzw. Bewegung der darüber liegenden Hautpartien. Diese Bewegung der Haut kann mit einem optischen System erfasst werden . Unter Verwendung eines geeigneten Algorithmus ist es möglich, aus diesen optisch erfassten Bewegungen des Muskels die beabsichtigte Bewegung der Gliedmaße abzuleiten. Ein derartiges Verfahren ist bekannt aus der in der Einleitung genannten Patentanmeldung derselben Anmelderin. Ein geeigneter Regressionsalgorithmus wird beispielsweise beschrieben in A. E. Hoerl und R.W. Kennard, "Ridge regression : Biased estimation for nonorthogonal Problems", Technometrics, Bd. 12, S. 55-67, 1970). Der beschriebene Ridge regression-Algorithmus stellt eine Verknüpfung zwischen der Muskelbewegung und der gewollten Bewegung her. Es wird ein lineares Modell an die erfassten Daten angepasst. Aus dieser Verknüpfung lassen sich insbesondere unbekannte gewollte Bewegungen aus einer beobachteten Muskelbewegung ableiten. Es ist möglich, dass die Auswertvorrichtung, durch die eine Auswertung der erfassten Bewegungen der Muskeln stattfindet, angelernt wird, um im Weiteren unbekannte beabsichtigte Bewegungen der betreffenden Gliedmaße bestimmen zu können. Dies erfolgt durch eine Beobachtung einer Vielzahl von Muskelbewegungen, die durch eine beabsichtigte Bewegung erzeugt werden . Hierdurch kann eine sichtbare Muskelbewegung einer beabsichtigten Bewegung der Gliedmaße zugeordnet werden. Insofern erfolgt durch diese Auswertvorrichtung ein Verknüpfen zwischen der beobachteten Muskelbewegung und der beabsichtigten Bewegung der Gliedmaße. Es ist auch möglich ein nicht-lineares Modell anstelle eines linearen Modells zu verwenden. Die Erfindung betrifft ferner ein Verfahren zum Betreiben eines Virtual Reality- oder Augmented Reality-Systems, insbesondere eines Systems, wie es in der vorliegenden Anmeldung beschrieben wird. Das erfindungsgemäße Verfahren kann sämtliche Merkmale enthalten, die im Zusammenhang mit dem erfindungsgemäßen System beschrieben wurden, sowie umgekehrt.

Erfindungsgemäß wird eine Muskelbewegung an einer Gliedmaße einer Person durch eine Detektionsvorrichtung erfasst. Dies erfolgt durch eine elektromyographische Vorrichtung oder berührungslos durch eine optische Vorrichtung. Auf einer Virtual Reality- oder Augmented Reality- Darstellungsvorrichtung wird ein Avatar der Person dargestellt. Die Bewegungen einer Gliedmaße des Avatars werden anhand der durch die Detektionsvorrichtung erfassten Muskelbewegungen animiert.

Bevorzugt wird durch eine Posenerfassungsvorrichtung die Pose einer Person erfasst. Diese Pose wird dazu verwendet, die Pose des Avatars zu animieren, wodurch der Grad der Immersion weiterhin erhöht werden kann.

Es ist bevorzugt, dass eine Muskelbewegung proximal einer zumindest teilweise nicht mehr vorhandenen und/oder funktionsfähigen Gliedmaße einer Person durch die Detektionsvorrichtung erfolgt. Der Avatar der Person wird in der Virtual Reality- oder Augmented Reality-Darstellungsvorrichtung mit vervollständigter Gliedmaße dargestellt. Hierdurch kann der Grad der Immersion weiterhin erhöht werden.

Im Folgenden wird eine bevorzugte Ausführungsform der Erfindung anhand einer Figur erläutert.

Die Figur zeigt eine Person 16, deren rechte Hand amputiert ist. Proximal der amputierten Hand wird an der Gliedmaße 14 eine Detektionsvorrichtung 12, bei der es sich um eine elektromyographische Vorrichtung handeln kann, angebracht. Durch diese erfolgt ein Erfassen der Muskelbewegungen an der Gliedmaße 14. Hieraus können die beabsichtigten Bewegungen für die nicht mehr vorhandene Hand der Person 16 abgeleitet werden. In der Darstellung des Avatars 22 der Person 16 im Head-mounted-Display 20 wird die Gliedmaße 24 mit vervollständigter Hand dargestellt. Diese Hand wird anhand der durch die Detektionsvorrichtung 12 erfassten beabsichtigten Bewegungen der Person 16 dargestellt.

Zusätzlich kann durch eine Posenerfassungsvorrichtung 18 die Pose der Person 16 in der Realität erfasst werden, so dass der Avatar 22 in der Darstellungsvorrichtung 20 mit einer entsprechenden Pose dargestellt werden kann. Hierdurch kann der Grad der Immersion weiterhin erhöht werden.