Technisches Gebiet

Es wird eine Vorrichtung mit einer Erfassungseinheit für die Position und Lage ei- ner ersten Gliedmaße eines Benutzers und mit einer Anzeigevorrichtung zur Darstellung einer zweiten Gliedmaße beschrieben.

Stand der Technik

Zur Anwendung in der Spiegeltherapie sind Vorrichtungen bekannt (US

20150313793 A1 ), die eine erste Gliedmaße mithilfe einer Erfassungseinheit, in diesem Fall einer Kamera in ihrer Position und Lage erfassen und eine virtuelle zweite Gliedmaße, die durch Spiegelung des erfassten Bildes entsteht, auf einer Anzeigevorrichtung darstellen. Nachteilig ist daran allerdings, dass der mögliche Bewegungsraum stark eingeschränkt ist, weil sich die zweite Gliedmaße des Benutzers stets unterhalb der Anzeigevorrichtung bzw. die virtuelle zweite Gliedma- ße stets innerhalb der Anzeigevorrichtung befinden muss, damit der Effekt der Spiegeltherapie erhalten bleibt. Insbesondere besteht bei dieser technischen Lösung nicht die Möglichkeit, mit beiden Gliedmaßen zu interagieren.

Darstellung der Erfindung

Der Erfindung liegt somit die Aufgabe zugrunde, eine Vorrichtung der eingangs beschriebenen Art so auszugestalten, dass der Bewegungsraum für die beiden Gliedmaßen des Benutzers erweitert wird und gleichzeitig eine Interaktion zwischen den beiden Gliedmaßen aber auch zwischen einer der Gliedmaßen und einem virtuellen dreidimensionalen Objekt ermöglicht wird. Die Erfindung löst die gestellte Aufgabe dadurch, dass die Anzeigevorrichtung stereoskopisch ausgebildet ist und mit der Erfassungseinheit eine gemeinsame Bezugsebene als Bezugssystem aufweist, dass zur Anzeige über die stereoskopische Anzeigevorrichtung ein erster Generator für eine hinsichtlich Position und Lage der ersten Gliedmaße um die Bezugsebene gespiegelte virtuelle zweite Gliedmaße und ein zweiter Generator für ein dreidimensionales Interaktionsobjekt zur Anzeige an einer gegenüber der Bezugsebene vorgegebenen Position und Lage vorgesehen ist und dass die Vorrichtung eine Kollisionserkennungseinheit zur Ausgabe eines Signals bei Detektion einer Kollision zwischen der virtuellen zweiten Gliedmaße und dem virtuellen dreidimensionalen Interaktionsobjekt aufweist. Zufolge dieser Maßnahmen ist der Benutzer in der Bewegung der ersten Gliedmaße weitgehend frei, solange sich diese im Erfassungsbereich der Erfassungseinheit befindet. Besonders vorteilhaft ist in diesem Zusammenhang, dass die Anzeigevorrichtung und die Erfassungseinheit eine gemeinsame Bezugsebene als Bezugssystem aufweisen, die vorzugsweise mit der Sagittalebene des Benutzers beziehungsweise genauer des Kopfes des Benutzers zusammenfällt. Dies kann beispielsweise dadurch erreicht werden, dass die stereoskopische Anzeigevorrichtung vom Benutzer in Form einer Brille getragen wird und damit die Mittelebene der stereoskopischen Anzeigevorrichtung mit der Sagittalebene des Benut- zers und damit mit der gemeinsamen Bezugsebene zusammenfällt und dadurch, dass die Erfassungseinheit auf dieser Anzeigevorrichtung mittig in der Bezugsebene angeordnet ist. Selbstverständlich kann die Erfassungseinheit aber auch von dieser Bezugsebene abweichend angeordnet sein, sofern die relative Position der Erfassungseinheit zur Bezugsebene als Bezugssystem bekannt ist. Gleiches gilt grundsätzlich auch für die stereoskopische Anzeigevorrichtung, sodass auch stationäre stereoskopische Anzeigevorrichtungen denkbar sind, allerdings ergibt sich ein besonderer Vorteil dadurch, dass die stereoskopische Anzeigevorrichtung als Brille selbst mit ihrer Mittelebene im Wesentlichen mit der Sagittalebene des Benutzers zusammenfällt. Die stereoskopische Anzeigevorrichtung kann dabei so ausgestaltet sein, dass die erste Gliedmaße des Benutzers durch die Anzeigevorrichtung hindurch sichtbar bleibt, während die zweite Gliedmaße des Benutzers durch eine virtuelle zweite Gliedmaße überblendet wird, sodass aus Sicht des Benutzers die zweite Gliedmaße in der realen Welt nicht mehr sichtbar ist. Es kann aber auch sowohl die erste als auch die zweite Gliedmaße des Benutzers in einem gemeinsamen virtuellen Raum über die stereoskopische Anzeigevorrichtung dargestellt werden. Um insbesondere die Feinmotorik des Benutzers trainieren zu können, ist darüber hinaus ein zweiter Generator für ein dreidimensionales Inter- aktionsobjekt vorgesehen, das dem Benutzer über die stereoskopische Anzeigevorrichtung an einer gegenüber der Bezugsebene vorgegebenen Position und Lage angezeigt wird. Um dem Benutzer eine Rückmeldung über die Interaktion mit dem dreidimensionalen Interaktionsobjekt geben zu können, ist zudem eine Kolli- sionserkennungseinheit zur Ausgabe eines Signals bei Detektion bei der Kollision zwischen der virtuellen zweiten Gliedmaße und dem virtuellen dreidimensionalen Interaktionsobjekt vorgesehen. Die Kollisionserkennungseinheit kann auch erweitert werden, um auch Kollisionen zwischen der ersten Gliedmaße und der zweiten Gliedmaße beziehungsweise der ersten Gliedmaße und dem virtuellen dreidimensionalen Interaktionsobjekt zu detektieren. Das von der Detektionseinheit ausge- gebene Signal kann dem Benutzer direkt über die stereoskopische Anzeigevorrichtung optisch dargestellt werden, oder aber auch in ein auditives oder taktiles Signal für den Benutzer umgesetzt werden. Der Vollständigkeit sei hierbei darauf hingewiesen, dass unter einer Gliedmaße Gliedmaßensäule und/oder Gliedmaßenspitze verstanden wird, also Ober- bzw. Unterarm, Oberschenkel bzw. Unter- schenke! und/oder Hand oder Fuß.

Bislang wurde davon ausgegangen, dass der Benutzer die zweite Gliedmaße nicht oder nur in äußerst geringem Umfang einsetzen kann. Sofern aber eine messbare Muskelaktivität vorhanden ist, können Sensoren zur Erfassung des Elektromyogramms von Muskelgruppen der zweiten Gliedmaße des Benutzers vorgesehen sein, die über eine Steuereinheit mit dem ersten Generator zur Änderung von Position und Lage der virtuellen zweiten Gliedmaße in Abhängigkeit der erfassten Aktionspotentiale verbunden sind. Die generierte, gespiegelte virtuelle zweite Gliedmaße kann dadurch ausgehend von dem gespiegelten Modell in Abhängigkeit des erfassten Elektromyogramms in ihrer Position und Lage verändert wer- den, sodass für den Benutzer der Eindruck entsteht, dass diese die virtuelle zweite Gliedmaße tatsächlich mit den von ihm angesteuerten Muskelgruppen im virtuellen Raum bewegt. Dies hat gegenüber den bekannten Vorrichtungen den Vorteil, dass die Spiegeltherapie um eine direkte Rückkoppelung für den Benutzer erweitert werden kann, sodass Vorübungen zur Ansteuerung beispielsweise einer Prothese oder dergleichen durchgeführt werden können. Darüber hinaus kann auch die Haltung der Gliedmaße selbst auf Basis der erfassten Aktionspotentiale verän- dert werden, und zwar insbesondere dann, wenn das Modell der virtuellen zweiten Gliedmaße als kinematisches Modell einzelner Gliedmaßenteile ausgebildet ist.

Um für den Benutzer einen möglichst realistischen Eindruck zu erzeugen, kann die Kollisionserkennungseinheit zur Änderung von Position und Lage der virtuellen zweiten Gliedmaße in Abhängigkeit der detektierten Kollisionen mit dem ersten Generator verbunden sein. Dies hat zur Folge, dass nicht nur das virtuelle dreidimensionale Interaktionsobjekt mit den beiden Gliedmaßen bewegt beziehungsweise verschoben werden kann, sondern auch die virtuelle zweite Gliedmaße durch eine gedachte Kraftausübung durch die erste Gliedmaße beziehungsweise das virtuelle Objekt verschoben wird, sofern nicht beispielsweise durch ein ent- sprechendes Aktionspotential wie oben beschrieben ein gedachter Gegendruck erzeugt wird.

Um für den Benutzer ein vollständiges virtuelles Interaktionserlebnis zu schaffen, wird vorgeschlagen, dass die Erfassungseinheit einen Tiefensensor umfasst, mit dem der erste Generator zur Erzeugung eines virtuellen Modells der zweiten Gliedmaße an einer um die Bezugsebene gespiegelten Position und Lage der ersten Gliedmaße als virtuelle zweite Gliedmaße verbunden ist. In diesem Fall sind für den Benutzer weder die erste noch die zweite Gliedmaße sichtbar, sondern lediglich virtuelle Modelle dieser ersten und zweiten Gliedmaße, die über die stereoskopische Anzeigevorrichtung in einem virtuellen Raum dargestellt werden.

Dadurch, dass die erste Gliedmaße durch den Tiefensensor in diesem Fall vollständig in ihrer Raumlage bekannt ist, ergeben sich deutlich mehr Interaktionsmöglichkeiten. So kann beispielsweise in Kombination mit der Erfassung des Elektromyogramms von Muskelgruppen der zweiten Gliedmaße auch eine Interaktion für den Benutzer dargestellt werden, bei der beide Gliedmaßen sich in unter- schiedlichen Tiefenentfernungen befinden, was bei einer bisher bekannten Spiegeltherapie unmöglich ist. Damit eine aufwendige Menüführung vermieden werden kann, kann der erste Generator einen Interaktionselementspeicher aufweisen und mit einer Gestenerkennungseinheit zur Auswahl eines der Interaktionselemente aus dem Interaktionselementspeicher in Abhängigkeit der erkannten Geste verbunden sein. Durch die- se Maßnahmen kann dem Benutzer in Abhängigkeit der Haltung der ersten

Gliedmaße ein dieser Geste, beispielsweise eines Zangengriffes, entsprechendes virtuelles dreidimensionales Interaktionselement angezeigt werden, dass beispielsweise für die Haltung der Gliedmaße für eine Interaktion am besten geeignet ist. Gegenstand der Erfindung ist auch ein Verfahren zum Betrieb der erfindungsgemäßen Vorrichtung, wobei die Position und Lage einer ersten Gliedmaße eines Benutzers bezogen auf eine der Sagittalebene des Benutzers entsprechenden Bezugsebene erfasst und einem ersten Generator zugeführt wird, der eine hinsichtlich Position und Lage der ersten Gliedmaße um die Bezugsebene gespiegel- te virtuelle zweite Gliedmaße zur Anzeige über eine stereoskopische Anzeigevorrichtung erzeugt, wobei ein zweiter Generator ein dreidimensionales Interaktionsobjekt an einer gegenüber der Bezugsebene vorgegebenen Position und Lage erzeugt und wobei eine Kollisionserkennungseinheit bei Detektion einer Kollisionen zwischen der virtuellen zweiten Gliedmaße und dem virtuellen dreidimensionalen Interaktionsobjekt ein Signals ausgibt.

In diesem Zusammenhang ergeben sich besonders vorteilhafte Bedienungseigenschaften, wenn der zweite Generator das dreidimensionale Interaktionselement nur dann erzeugt, wenn die erste und/oder zweite Gliedmaße eine vorgegebene Mindestentfernung zur Bezugsebene unterschreitet. Es ist auch möglich, das drei- dimensionale Interaktionselement erst nach einer Kollision zwischen der ersten und zweiten Gliedmaße zu erzeugen.

Wie bereits oben erwähnt, kann eine Gestenerkennungseinheit vorgesehen sein, die mit der ersten oder zweiten Gliedmaße durchgeführte Geste erkennt und der zweite Generator ein dreidimensionales Interaktionselement aus einem Interakti- onselementspeicher in Abhängigkeit der erkannten Geste zur Anzeige auswählt. Kurze Beschreibung der Erfindung

In der Zeichnung ist der Erfindungsgegenstand beispielsweise dargestellt. Es zeigen

Fig. 1 eine von einem Benutzer bediente erfindungsgemäße Vorrichtung in einer schematischen Draufsicht und

Fig. 2 eine schematische Ansicht der für den Benutzer dargestellten Anzeige in einer zweidimensionalen vereinfachten Darstellung.

Weg zur Ausführung der Erfindung

Eine erfindungsgemäße Vorrichtung umfasst eine Erfassungseinheit 1 für die Po- sition und Lage einer ersten Gliedmaße 2 eines Benutzers 3 und eine stereoskopische Anzeigevorrichtung 4 zur Darstellung einer virtuellen zweiten Gliedmaße 5. Die Erfassungseinheit 1 und die stereoskopische Anzeigevorrichtung 4 weisen eine gemeinsame Bezugsebene 6 als Bezugssystem auf. Die virtuelle zweite Gliedmaße 5 wird durch einen ersten Generator 7 erzeugt, der zu diesem Zweck mit der Erfassungseinheit 1 verbunden ist. Darüber hinaus ist ein zweiter Generator 8 für ein dreidimensionales Interaktionsobjekt 9 vorgesehen. Zur Detektion einer Kollision zwischen der virtuellen zweiten Gliedmaße 5 und dem virtuellen dreidimensionalen Interaktionsobjekt 9 ist eine Kollisionserkennungseinheit 10 vorgesehen, die bei Detektion einer Kollision ein Signal über einen Lautsprecher 1 1 ausgibt. Zu diesem Zweck ist die Kollisionserkennungseinheit 10 sowohl mit dem ersten Generator 7 als auch mit dem zweiten Generator 8 verbunden. Für die stereoskopische Anzeigevorrichtung 4 ist eine Anzeigesteuereinheit 12 vorgesehen, die die Ausgangssignale des ersten Generators 7 und des zweiten Generators 8 verarbeitet und damit die stereoskopische Anzeigevorrichtung 4 ansteuert. Um die virtuelle zweite Gliedmaße 5 in Abhängigkeit der Aktionspotentiale einzelner Muskelgruppen der realen zweiten Gliedmaße 13 in Position und Lage verändern zu können, umfasst die erfindungsgemäße Vorrichtung in einer bevorzugten Ausführungsform Sensoren 14 zur Erfassung des Elektromyogramms von Muskelgruppen der zweiten Gliedmaße 13, wobei die Sensoren 14 über eine Steuer- einheit 15 mit dem ersten Generator 7 zur Änderung von Position und Lage der virtuellen zweiten Gliedmaße 5 in Abhängigkeit der über die Sensoren 14 erfass- ten Aktionspotentiale verbunden sind.

Auch die Kollisionserkennungseinheit 10 kann zur Änderung von Position und La- ge der virtuellen zweiten Gliedmaße 5 in Abhängigkeit detektierter Kollisionen mit dem ersten Generator 7 verbunden sein.

Im dargestellten Ausführungsbeispiel umfasst die Erfassungseinheit 1 auch einen nicht näher dargestellten Tiefensensor, der ebenfalls mit dem ersten Generator 7 verbunden ist. Dieser erzeugt somit nicht nur ein virtuelles Modell der zweiten Gliedmaße 5, sondern auch ein virtuelles Modell der ersten Gliedmaße 16, sodass sich für den Benutzer in der stereoskopischen Ansicht ein vollständiger virtueller Raum mit einer ersten virtuellen Gliedmaße 16, einer zweiten virtuellen Gliedmaße 5 und einem virtuellen dreidimensionalen Interaktionselement 9 ergibt.

Um ein Interaktionselement aus einem nicht näher dargestellten Interaktionselem- entspeicher in Abhängigkeit einer Geste auswählen zu können, ist der erste Generator 7 mit einer Gestenerkennungseinheit 17 verbunden, die entweder über die Erfassungseinheit 1 oder bereits über die erzeugten Modelle der ersten oder zweiten Gliedmaße 5, 16 die von Benutzer mit der jeweiligen Gliedmaße durchgeführte Geste erkennt, worauf der erste Generator in Abhängigkeit der erkannten Geste ein entsprechendes virtuelles Interaktionselement 9 auswählt.