Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
INTERACTION SYSTEM AND METHOD
Document Type and Number:
WIPO Patent Application WO/2018/007075
Kind Code:
A1
Abstract:
The invention relates to an interaction system, which is designed as "wearable" according to the invention, that is, for wearing on the human body, and which comprises at least one gesture detection unit (GS1, GS2) mounted in an arm region of a user (USR), a binocular visualization unit (VIS) for the positionally correct visualization of virtual objects in a visual field of the user, and a control unit (CTR) for actuating the visualization unit. The gesture control is done intuitively with a motion and/or a rotation of the front arms. An input device, which is often unsuitable in an industrial environment, is thus not required. Due to the wearable character of the interaction system according to the invention, the user (USR) can easily alternate between an actual maintenance procedure an industrial plant and an immersive movement in a virtual model of the industrial plant.

Inventors:
JOHNSON REBECCA (DE)
MACWILLIAMS ASA (DE)
Application Number:
PCT/EP2017/063415
Publication Date:
January 11, 2018
Filing Date:
June 02, 2017
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
SIEMENS AG (DE)
International Classes:
G06F3/01
Foreign References:
US20160070439A12016-03-10
EP2863276A22015-04-22
US20150242120A12015-08-27
US20160035246A12016-02-04
Other References:
None
Download PDF:
Claims:
Patentansprüche

1. Interaktionssystem, ausgebildet zum Tragen am menschlichen

Körper, umfassend

- mindestens eine in einem Armbereich eines Bedieners (USR) angebrachte Gestenerfassungseinheit (GS1,GS2) mit einer Mehrzahl von Trägheitssensoren zur Erfassung von durch eine Armstellung, Armbewegung und/oder Armdrehung des Bedieners (USR) erzeugten Gesten;

- eine binokulare Visualisierungseinheit (VIS) zur lage¬ richtigen Visualisierung von Objekten in ein Sichtfeld des Bedieners (USR) ; und;

eine Steuerungseinheit (CTR) zum Ansteuern der Visuali¬ sierungseinheit (VIS) , zum Erkennen der von der

Gestenerfassungseinheit (GS1,GS2) erfassten Gesten und zur Verarbeitung der durch die Gesten des Bedieners (USR) auszulösenden Interaktion des Bedieners (USR) mit den Objekten . 2. Interaktionssystem nach Patentanspruch 1 mit zwei an einem jeweiligen Arm des Bedieners (USR) vorgesehenen Gestenerfas¬ sungseinheiten (GS1,GS2), wobei durch das Interaktionssystem einem der beiden Gestenerfassungseinheiten (GS1,GS2) wahlweise eine Auswahlgeste, eine Bereichswahlgeste, eine Bewegungs- geste, eine Navigationsgeste und/oder eine Zoomgeste und der anderen Gestenerfassungseinheit (GS1,GS2) eine Bestätigungs¬ geste zuordenbar ist.

3. Interaktionssystem nach einem der vorgenannten Patentan- Sprüche, die Gestenerfassungseinheit (GS1,GS2) umfassend myoelektrische, magetische und/oder mechanische Sensoren zur Erfassung der durch Armbewegungen des Bedieners (USR) erzeugten Gesten. 4. Interaktionssystem nach einem der vorgenannten Patentansprüche, die Gestenerfassungseinheit (GS1,GS2) und/oder die Visualisierungseinheit (VIS) umfassend einen oder mehrere Aktoren zur Ausgabe einer für den Bediener (USR) haptisch wahrnehmbare Rückmeldung.

5. Interaktionssystem nach einem der vorgenannten Patentansprüche, wobei die von der Visualisierungseinheit (VIS) vi- sualisierten Objekte eine optisch wahrnehmbare Umgebung mit¬ tels Einblendung oder Überlagerung ergänzen oder ersetzen.

6. Interaktionssystem nach einem der vorgenannten Patentansprüche mit mindestens einem Marker zur Bestimmung von Ortskoordinaten des Interaktionssystems.

7. Interaktionssystem nach einem der vorgenannten Patentansprüche mit einer in der Steuerungseinheit (CTR) vorgesehenen Schnittstelle zur Kommunikation mit mindestens einem weiteren Interaktionssystem und/oder mindestens einem Server.

8. Interaktionssystemverbund mit mindestens einem Interakti¬ onssystem gemäß Patentanspruch 7.

9. Verfahren zur Interaktion eines Bedieners (USR) mit einem Modell eines technischen Systems, umfassend folgende Schrit¬ te :

Erfassen von durch eine Armstellung, Armbewegung und/oder Armdrehung des Bedieners (USR) erzeugten Gesten durch mindestens eine in einem Armbereich des Bedieners (USR) angebrachte Gestenerfassungseinheit (GS1,GS2) mit einer Mehrzahl von Trägheitssensoren;

lagerichtige Visualisierung von Objekten in ein Sichtfeld des Bedieners (USR) durch eine binokulare Visualisie¬ rungseinheit (VIS) ; und;

Ansteuerung der Visualisierungseinheit (VIS) , Erkennung der von der Gestenerfassungseinheit (GS1,GS2) erfassten Gesten und Verarbeitung der durch die Gesten des Bedieners (USR) auszulösenden Interaktion des Bedieners (USR) mit den Objekten durch eine Steuerungseinheit (CTR) .

10. Verfahren gemäß Patentanspruch 9, dadurch gekennzeichnet, dass einem der beiden Gestenerfassungseinheiten (GS1,GS2) wahlweise eine Auswahlgeste, eine Bereichswahlgeste, eine Be¬ wegungsgeste, eine Navigationsgeste und/oder eine Zoomgeste und der anderen Gestenerfassungseinheit (GS1,GS2) eine Bestä¬ tigungsgeste zuordenbar ist.

11. Verfahren gemäß einem der vorgenannten Patentansprüche 9 und 10, dadurch gekennzeichnet, dass die von der Visualisie- rungseinheit (VIS) visualisierten Objekte eine optisch wahr¬ nehmbare Umgebung mittels Einblendung oder Überlagerung ergänzen oder ersetzen.

12. Verwendung eines Verfahrens gemäß einem der Patentansprü- che 9 bis 11 zur medizinischen Behandlung oder zur Maschinenbedienung in einem industriellen Prozess.

Description:
Beschreibung

Interaktionssystem und -verfahren Die Erfindung betrifft ein Interaktionssystem und ein Verfahren zur Interaktion eines Bedieners mit einem Modell eines technischen Systems.

Ein derartiges Interaktionssystem und Verfahren kommt bei- spielsweise im Bereich der Automatisierungstechnik, bei Produktions- oder Werkzeugmaschinen, bei Diagnose- oder Service- unterstutzungssystemen sowie bei einer Bedienung und Wartung komplexer Komponenten, Geräte und Systeme, insbesondere in ¬ dustrielle oder medizinische Anlagen zum Einsatz.

Im Stand der Technik sind Interaktionssysteme bekannt, welche einen Bediener technischer Anlagen mit Hilfe einer angereicherten Situationsdarstellung bei einer Bewältigung von Ein- richtungs- und Wartungsarbeiten unterstützen. Eine angerei- cherte Situationsdarstellung ist in der Fachwelt auch als »Augmented Reality« bekannt. Dabei wird eine vom Bediener wahrnehmbare Situation mit computergenerierten Zusatzinforma ¬ tionen oder virtuellen Objekten mittels Einblendung oder Überlagerung ergänzt oder ersetzt.

Bekannt ist insbesondere eine Verwendung von Datenbrillen. Ein mit einer Datenbrille ausgestatteter Bediener kann beispielsweise ein Objekt eines technischen Systems betrachten, welches zeitgleich durch eine optische Erfassungseinheit der Datenbrille erfasst wird. Im Zuge einer rechnergestützte Aus ¬ wertung des optisch erfassten Objekts stehen Zusatzinformationen oder virtuelle Objekte zu diesem Objekt zur Verfügung, die der Bediener auswählen und abrufen kann. Zusatzinformationen umfassen beispielsweise technische Handbücher oder War- tungsanleitungen, während virtuelle Objekte durch optische

Einblendung oder Überlagerung die wahrnehmbare Situation anreichern . Beispielsweise sind virtuelle Aktionsmarkierungen eines In ¬ dustrieroboters zum Zweck einer Kollisionsanalyse bekannt, welche ein reales industrielles Umfeld im Blickfeld einer Da ¬ tenbrille überlagern, um dem Bediener eine intuitive Überprü- fung zu gewähren, ob der Industrieroboter von seinen Abmessungen oder von seinem Aktionsradius an einer vorgesehenen Stelle in der vorgesehenen Umgebung positioniert werden kann.

Eine Auswahl von virtuellen Objekten sowie ein Abruf von Zu- satzinformationen erfordert die Erfassung von Befehlen seitens des Bedieners . In einem industriellen Umfeld scheiden bekannte Eingabegeräte wie z.B. Tastatur, Touchscreen, Gra ¬ phiktablett, Trackpad oder Maus, welche für eine sitzende Ar ¬ beitsposition eines Bedieners in einem Büroumfeld zugeschnit- ten sind, bereits aufgrund der üblicherweise stehenden Ar ¬ beitsposition aus.

Ein weiterer bekannter Ansatz ist das Bewegen oder Kippen eines drahtlosen Eingabegeräts, beispielsweise einem Flystick oder einem drahtlosen Gamepad, um die gewünschte Interaktion vorzunehmen. Der Bediener muss hierzu das Eingabegerät in der Hand alten, hat also nicht beide Hände frei.

Eine bekannte Vorsehung von Eingabeelementen an Datenbrillen hat zwar den Vorteil, dass der Bediener zumeist beide Hände frei hat, die Auslösung eines Eingabebefehls durch Betätigen eines derartigen Eingabeelements ist jedoch in vielen Situa ¬ tionen aufgrund eines laufenden Kontakts der Hände mit Be ¬ triebsstoffen unerwünscht, etwa für einen Chirurgen oder für einen Maschinentechniker.

Eine bekannte optische Detektion von Gesten beispielsweise unter Verwendung von Microsoft Kinect, Leap Motion oder Microsoft HoloLens, sehen eine oder mehrere optischen Erfas- sungseinrichtungen, welche eine Körperhaltung des Bediener dreidimensional, beispielsweise unter Anwendung von Laufzeit ¬ verfahren (Time of Flight) oder Streifenlichttopometrie

(Structured-light ) erfassen. Die genannten Verfahren haben ebenfalls den Vorteil einer freihändigen Arbeitsweise des Be- dieners, erfordern jedoch einen Einsatz von optischen Erfassungseinrichtungen in der Umgebung des Bedieners und damit eine nicht minder aufwändige Vorbereitung der Arbeitsumge- bung.

Zusammenfassend erfolgen heute bekannte Maßnahmen zur Inter ¬ aktion nicht berührungslos, unsicher oder mit einem arbeits ¬ situativ unpassenden Einsatz von Eingabegeräten oder opti- sehen Mitteln zur Gestenerfassung.

Die vorliegende Erfindung ist demgegenüber vor die Aufgabe gestellt, ein Interaktionssystem mit einer intuitiven und berührungslosen Erfassung von Befehlen mittels Gesten bereitzu- stellen, welches eine Handhabung von Eingabegeräten entbehrlich macht.

Die Aufgabe wird durch ein Interaktionssystem mit den Merkmalen des Patentanspruchs 1 gelöst.

Das erfindungsgemäße Interaktionssystem ist ausgebildet zum Tragen am menschlichen Körper und umfasst mindestens eine in einem Armbereich eines Bedieners angebrachte Gestenerfas ¬ sungseinheit mit einer Mehrzahl von Trägheitssensoren zur Er- fassung von Gesten, d.h. von Bewegung, Drehung und/oder Stellung von Armen des Bedieners. Eine vorzugsweise im Kopfbe ¬ reich des Bedieners tragbare binokulare Visualisierungsein ¬ heit dient einer lagerichtigen Visualisierung von virtuellen Objekten in ein Sichtfeld des Bedieners. Weiterhin ist eine Steuerungseinheit zum Ansteuern der Visualisierungseinheit vorgesehen, die zum Erkennen der von der Gestenerfassungseinheit erfassten Gesten und zur Verarbeitung der durch die Gesten des Bedieners auszulösenden Interaktion des Bedieners mit den Objekten vorgesehen ist. Die Steuerungseinheit ist am Körper des Bedieners angeordnet, vorzugsweise in die Visuali ¬ sierungseinheit oder in einer der Mehrzahl von Gestenerfas ¬ sungseinheiten integriert. Im Gegensatz zu bekannten Interaktionssystemen ist das erfindungsgemäße Interaktionssystem extrem mobil, oder vielmehr tragbar bzw. »wearable«. Die Gestensteuerung erfolgt intuitiv mit einer Bewegung und/oder Drehung der Vorderarme. Ein in einem industriellen Umfeld oftmals unpassendes Eingabegerät ist nicht erforderlich. Der Bediener kann aufgrund des tragbaren Charakters des erfindungsgemäßen Interaktionssystems mühelos zwischen einer eigentlichen Wartung einer Industrieanlage und einer immersiven Bewegung in einem virtuellen Mo- dell der Industrieanlage wechseln, beispielsweise um vor oder während der Wartung der Industrieanlage zugehörige Maschinen ¬ daten oder Explosionszeichnungen einzusehen.

Ein besonderer Vorteil der Erfindung besteht darin, dass als tragbare Gestenerfassungseinheit handelsübliche mit Träg ¬ heitssensoren ausgestatte Smart Watches verwendbar sind.

Die Aufgabe wird weiterhin durch ein Verfahren zur Interaktion eines Bedieners mit einem Modell eines technischen Systems gelöst, wobei ohne Einschränkung auf eine Reihenfolge folgen ¬ de Schritte nacheinander oder gleichzeitig durchgeführt wer ¬ den :

Erfassen von durch eine Armstellung, Armbewegung und/oder Armdrehung des Bedieners erzeugten Gesten durch mindes- tens eine in einem Armbereich des Bedieners angebrachte

Gestenerfassungseinheit mit einer Mehrzahl von Trägheits ¬ sensoren;

lagerichtige Visualisierung von Objekten in ein Sichtfeld des Bedieners durch eine binokulare Visualisierungsein- heit; und;

Ansteuerung der Visualisierungseinheit, Erkennung der von der Gestenerfassungseinheit erfassten Gesten und Verar ¬ beitung der durch die Gesten des Bedieners auszulösenden Interaktion des Bedieners mit den Objekten durch eine Steuerungseinheit.

Weitere Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Patentansprüche. Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, zwei Gestenerfassungseinheiten an einem jeweiligen Arm des Bedieners vorzusehen. Durch das Interaktionssys- tem - also durch die Steuerungseinheit oder durch die jewei ¬ lige Gestenerfassungseinheit oder durch die Steuerungseinheit in Zusammenwirkung mit beiden Gestenerfassungseinheiten - kann einer der beiden Gestenerfassungseinheiten wahlweise eine Auswahlgeste, eine Bereichswahlgeste, eine Bewegungsgeste, eine Navigationsgeste und/oder eine Zoomgeste und der anderen Gestenerfassungseinheit eine Bestätigungsgeste zugordnet wer ¬ den .

Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, für die Gestenerfassungseinheit zudem myoelek- trische und/oder mechanische Sensoren zur Erfassung der durch Armbewegungen des Bedieners erzeugten Gesten vorzusehen.

Myoelektrische Sensoren erfassen eine in Folge biochemischer Prozesse in den Muskelzellen erzeugte elektrische Spannung. Mechanische Sensoren erfassen beispielsweise mechanische

Oberflächenspannungsveränderungen oder Krafteinwirkungen an der Oberfläche des Körpers infolge der Armbewegungen des Be ¬ dieners. Diese Maßnahmen gewährleistet eine Verfeinerung der Zuverlässigkeit der Gestensteuerung und es können z.B. auch Fingerbewegungen erfasst werden.

Gemäß einer vorteilhaften Ausgestaltung der Erfindung wird die Visualisierungseinheit so angesteuert, dass die Darstel ¬ lung virtueller Objekte nicht ausschließlich das Blickfeld des Bedieners bestimmt, so dass die Darstellung virtueller

Objekte also zusätzlich zur realen Umgebung für den Bediener sichtbar wird. Mit einer derart angereicherten Situationsdarstellung oder »Augmented Reality« wird die vom Bediener op ¬ tisch wahrnehmbare reale Umgebung mit den vom Interaktions- System erzeugten virtuellen Objekten mittels Einblendung ergänzt. Eine solche Ausgestaltung bietet sich in Fällen an, in denen eine Einblendung virtueller Objekte beispielsweise eines Hinweispfeils an einem zu wartenden Maschinenbauteils zusätzlich zur Rezeption der realen Umgebung das Verständnis der realen Umgebung unterstützt.

Gemäß einer alternativen Ausgestaltung der Erfindung wird die Visualisierungseinheit so angesteuert, dass die reale Umge ¬ bung mit den vom Interaktionssystem erzeugten virtuellen Objekten durch Überlagerung ersetzt wird. Eine solche Ausge ¬ staltung bietet sich in Fällen an, in denen dem Bediener ein größerer Grad an Immersion mit der virtuellen Situationsdar- Stellung angeboten werden soll, in denen also eine Überblendung mit der realen Umgebung hinderlich für das Verständnis der virtuellen Darstellung wäre.

Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, in mindestens einer Gestenerfassungseinheit und oder in der Visualisierungseinheit einen oder mehrere Aktoren vorzusehen, mittels derer durch die Steuereinheit eine Ausga ¬ be einer für den Bediener haptisch wahrnehmbare Rückmeldung veranlasst werden kann. Als Aktor dient beispielsweise ein Unwuchtmotor zur Erzeugung von Vibrationen. Diese Rückmeldung erfolgt - im Fall einer Lokalisierung der Aktoren in der Visualisierungseinheit - im Kopfbereich beziehungsweise - im Fall einer Lokalisierung der Aktoren in einer Gestenerfassungseinheit - in einem jeweiligen Armbereich. Eine solche Rückmeldung wird bei bestimmten Ereignissen ausgelöst werden, beispielsweise einem Markieren oder virtuellen Ergreifen eins Objekts oder bei Erreichen eines Listenendes eines Menüs.

Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfin- dung weist das Interaktionssystem mindestens einen Marker zur Bestimmung von Ortskoordinaten des Interaktionssystems auf. Ein oder mehrere Marker können beispielsweise an der mindes ¬ tens einen Gestenerfassungseinheit, an der Visualisierungs ¬ einheit und/oder an der Steuereinheit vorgesehen sein. Diese Maßnahme gestattet eine Verwendung des erfindungsgemäßen

Interaktionssystems in klassischen virtuellen Umgebungen, in denen ein - beispielsweise optisches - Trackingsystem verwendet wird. In einer Ausführungsform erfassen Infrarotkameras die Ortskoordinaten des mindestens einen Markers und geben diese an die Steuereinheit oder an eine Interaktionssystemexterne Steuereinheit weiter. Eine derartige Weiterbildung unterstützt zusätzlich die erfindungsgemäße Ortsbestimmung des Bedienersichtfelds und des Bedieners selbst, um eine la ¬ gerichtige Visualisierung von Objekten im Sichtfeld des Bedieners zu gewährleisten.

Eine weitere vorteilhafte Ausgestaltung der Erfindung sieht eine oder mehrere in der Steuerungseinheit vorgesehene

Schnittstellen zur Kommunikation mit mindestens einem weiteren Interaktionssystem und/oder mindestens einem Server vor. Diese Maßnahme bildet die Grundlage eines Interaktionssystem ¬ verbunds mit mindestens einem Interaktionssystem, gegebenen- falls unter Beteiligung weiterer Zentralrechner bzw. Server. Mit einem Interaktionssystemverbund können beispielweise meh ¬ rere kooperierende Ingenieure im Sinne eines »Collaborative Working« ein Design Review an einem Modell einer Industrieanlage durchführen.

Im Folgenden werden weitere Ausführungsbeispiele und Vorteile der Erfindung anhand der Zeichnung näher erläutert. Dabei zeigt die einzige FIG eine schematische Strukturdarstellung eines das erfindungsgemäße Interaktionssystem bedienenden Be- dieners .

Die FIG zeigt einen Bediener USR mit einer am Körper des Bedieners USR getragenen Visualisierungseinheit VIS, einer Steuerungseinheit CTR sowie zwei Gestenerfassungseinheiten GS1,GS2, welche an einem jeweiligen Armbereich des Bedieners USR lösbar angebracht sind, beispielsweise mit einem im Be ¬ reich des Handgelenks angebrachten Armbands.

Eine an der Steuerungseinheit CTR zum Ablauf gebrachte Soft- wäre berechnet eine virtuelle dreidimensionale Umgebung bzw. Szenerie, welche dem Bediener über die mit der Steuerungseinheit CTR verbundene Visualisierungseinheit VIS dargestellt wird. Die Szenerie umfasst oder stellt ein Modell eines tech ¬ nischen Systems dar.

Jede Gestenerfassungseinheit GS1,GS2 umfasst eine Mehrzahl von - nicht dargestellten - Trägheitssensoren, optional auch zusätzliche - nicht dargestellte - optische Sensoren, magne ¬ tometrische Sensoren, gyroskopische Sensoren, mechanische Kontaktsensoren und/oder myoelektrische Sensoren. Während die Trägheitssensoren - in Analogie zu einer oben beschriebenen Erfassung der Kopfbewegung - der Gestenerfassungseinheiten GS1,GS2 eine Bewegung eines jeweiligen Arms des Bedieners USR erfassen, dienen die myoelektrische Senso ¬ ren einer Erfassung einer elektrischen Spannung in Folge bio- chemischer Prozesse in den Muskelzellen. Die zusätzlichen

Messergebnisse der myoelektrischen Sensoren werden gemäß einer Ausgestaltung der Erfindung für eine Verfeinerung mit Hilfe der Trägheitssensoren erhobenen Bewegungsdaten herangezogen. Vorzugsweise tauschen die Gestenerfassungseinheiten GS1,GS2 und die Steuerungseinheit CTR in drahtloser Weise Da ¬ ten aus .

Basierend auf den detektierten Armbewegungen des Bedieners USR wird in der Steuerungseinheit CTR auf eine Geste ge- schlössen. Das Interaktionssystem interpretiert diese Geste als einen Eingabebefehl, auf Grund dessen eine Operation basierend auf dem Eingabebefehl ausgeführt wird.

Vorzugsweise umfassen die im freien Raum erzeugten Gesten, über die die Steuerungsbefehle und/oder Auswahlbefehle ausge ¬ löst werden,

eine mit einer Hand entlang einer ersten Richtung durchgeführte Wischbewegung;

eine mit einer Hand entlang einer der ersten Richtung entgegengesetzten Richtung durchgeführte Wischbewegung; eine Bewegung eines Armes entlang einer gegenüber der ersten Richtung senkrecht verlaufenden zweiten Richtung; ein Bewegen eines Armes entlang einer der zweiten Richtung entgegengesetzten Richtung;

eine Pronation oder Supination eines Armes;

eine Abduktion oder Adduktion eines Arms;

eine Innen- und Außenrotation eines Arms;

eine Ante- und/oder Retroversion eines Arms;

eine Handbewegung, deren Handinnenfläche in die erste Richtung zeigt; und/oder;

eine Handbewegung, deren Handinnenfläche in die der zwei ¬ ten Richtung entgegengesetzte Richtung zeigt;

sowie alle weiteren denkbaren Gesten in Kombination der oben genannten Bewegungen. Die erste oder zweite Richtung kann dorsal, palmar bzw. volar, axial, abaxial, ulnar oder radial verlaufen .

Die Steuerungseinheit CTR analysiert die von der Gestenerfas ¬ sungseinheit GS1,GS2 erfassten Bewegungsmuster und klassifiziert diese in Gesten. Aus den Gesten des Bedieners USR wird dann eine auszulösende Interaktion des Bedieners USR mit den virtuellen Objekten bestimmt. Die Steuerungseinheit CTR steu ¬ ert die Visualisierungseinheit VIS so an, dass die Interakti ¬ on des Bedieners USR mit den Objekten für diesen sichtbar dargestellt wird. Die Visualisierungseinheit VIS umfasst optional eine Mehrzahl von - nicht dargestellten - Trägheitssensoren. Vorzugsweise sind mehrere Trägheitssensoren mit 9 Freiheitsgraden oder auch »Degrees of Freedom«, in der Fachwelt auch als »9DOF« bekannt, vorgesehen. Die Trägheits- oder auch Inertialsen- soren liefern jeweils Werte über eine gyroskopische Drehrate, Beschleunigung sowie Magnetfeld in jeweils allen drei Raum ¬ richtungen. Eine Rotation des Kopfes wird über eine Messung der Drehrate, translatorische Kopfbewegungen des Bedieners USR werden über eine Messung der Beschleunigung erfasst. Die Messung des Magnetfelds dient vorwiegend einem Driftausgleich der gyroskopischen Sensoren und trägt somit für eine lagerichtige Visualisierung virtueller Objekte im Sichtfeld des Benutzers bei. Diese lagerichtige Visualisierung virtueller Objekte im Sichtfeld des Benutzers ist in der Fachwelt auch als »Head Tracking« bekannt.

Vorzugsweise ist auch in den Gestenerfassungseinheit GS1,GS2 mindestens ein - nicht dargestellter - Trägheitssensor der oben genannten Art vorgesehen, welcher vorzugsweise über 9 Freiheitsgrade verfügt.

Das Head Tracking kann in einer vorteilhaften Weiterbildung zusätzlich über eine Auswertung einer - nicht dargestellten - in der Visualisierungseinheit VIS vorgesehenen opti ¬ schen Erfassungseinheit bzw. Kamera verbessert werden, wobei in Folge der Kopfbewegung durch die Erfassungseinheit erfass- te Veränderungen in der Umgebung des Bedieners USR ausgewer- tet werden.

Die von der Steuerungseinheit CTR berechnete Szenerie wird somit einem durch die KopfStellung, -drehung und -bewegung erfassten Perspektivenwechsel des Bedieners USR angepasst.

Der Bediener USR kann sich durch entsprechende Kopfbewegungen innerhalb der Szenerie orientieren und bewegen. Hierzu werden Ortskoordinaten seiner Kopfposition an seine eigene Perspektive bzw. »First Person Perspective« angepasst.

Der Bediener USR kann weiterhin zwei- oder dreidimensionale Objekte bzw. Handhabungsmarkierungen in der Szenerie virtuell erfassen und bewegen. Auf diese Weise wird ein so genanntes »Virtual hands«-Konzept unterstützt. Eine Auswahl oder Hand- habung von Objekten in der Szenerie geht einer jeweiligen Bearbeitungsoperation voraus, welche beispielsweise in einer Veränderung von Parametern besteht. Eine Bearbeitung, Auswahl oder Handhabung von Objekten wird vorzugsweise über einen Wechsel in der Größe, Farbe, Transparenz, Form, Position, Orientierung oder anderen Eigenschaften der virtuellen Objekte visualisiert . Schließlich kann auch die Szenerie selbst infolge bestimmter Bearbeitungsoperationen oder Handhabungsmarkierungen ange- passt werden, beispielsweise in einem Wechsel der Perspektive oder Darstellungsweise bzw. »Rendering« der Szenerie, welche zur Folge hat, dass diese größer, kleiner, verfremdet, neb ¬ lig, heller oder dunkler dargestellt wird.

Die virtuelle Szenerie wird den Bedürfnissen des Bedieners USR in Bezug auf eine Geschwindigkeit der Darstellung ange- passt, beispielsweise bei einer bewegtbildlichen Präsentation einer Reparaturanleitung.

Eine Interaktion des Bedieners USR mit den Objekten erfolgt optional mithilfe textbasierter oder symbolbasierter Menüdar- Stellungen sowie von beliebigen Steuerungselementen, beispielsweise eine Auswahl mehrerer Möglichkeiten aus einem textbasierten Menü.

Schließlich ist auch ein Umschalten zwischen realer, virtuel- 1er und angereicherter Darstellung möglich, insbesondere dann, wenn die binokulare Visualisierungseinheit VIS dazu eingerichtet ist, die reale Umgebung über eine Kamera zu er ¬ fassen und das Kamerabild lagerichtig in das Sichtfeld des Benutzers USR einblendbar ist.

Weiterhin sind verschiedene Interaktionsmodi vorsehbar, bei ¬ spielsweise dahingehend, dass ein linker Arm des Bedieners USR eine Bewegung innerhalb der Szenerie verursacht, während der rechte Arm einer Auswahl und Handhabung von virtuellen Objekten dient. Alternativ wird der rechte Arm für eine Hand ¬ habung der Objekte verwendet und der linke Arm für eine Ände ¬ rung der Eigenschaften eines ausgewählten Objekts. Diese und weitere Interaktionsmodi können wiederum durch eine Eingabe von Gesten ausgewählt oder gewechselt werden.

Gemäß einer Ausgestaltung ist eine optische Rückkopplung virtueller Ereignisse an den Bediener USR vorgesehen. Ein hapti- sches Feedback ist beispielsweise in folgenden Situationen vorteilhaft: Der Bediener USR »berührt« ein virtuelles Objekt oder er wechselt in einen anderen Interaktionsmodus für eine bestimmte Hand - zum Beispiel Kamerabewegung, Bewegung einer virtuellen Hand - durch eine geeignete Geste. Weiterhin kann ein haptisches Feedback auch durch einen Aufruf einer Auswahloption ausgelöst werden.

Die Steuerungseinheit CTR und die Visualisierungseinheit VIS sind in einer Ausgestaltung der Erfindung gemäß der Zeichnung einstückig gestaltet, beispielsweise in Form eines mobilen

Endgeräts mit Display, welches mit einer geeigneten Befesti ¬ gung am Kopf des Bedieners USR befestigt und in einem defi ¬ nierbaren Abstand zum Sichtfeld des Bedieners USR gehalten wird, gegebenenfalls mit Einsatz einer Optik, umfassend Lin- sen, Spiegeln oder Prismen. Alternativ sind - je nach Einsatzumgebung - auch Datenhelme oder Datenbrillen vorteilhaft für eine Implementierung der Erfindung.

Das erfindungsgemäße Interaktionssystem eignet sich insbeson- dere zur Anwendung in einem industriellen Umfeld. Diese grundsätzliche Eignung wird durch weitere vorteilhafte Wei ¬ terbildungen der Erfindung noch deutlicher.

Gemäß einer vorteilhaften Ausgestaltung der Erfindung sind die Steuerungseinheit CTR und zumindest Teile der Visualisie ¬ rungseinheit VIS in einen Schutzhelm eines Arbeiters oder in eine Kopflupenhalterung eines Chirurgen integriert. Auf diese Weise wird eine stetige Verfügbarkeit des Interaktionssystems im Arbeitsumfeld gewährleistet. Der Arbeiter oder Chirurg kann bei Bedarf einen Bildgebungsteil der Visualisierungseinheit VIS - also beispielsweise ein binokulares Display, eine Spiegelanordnung oder eine Linsenanordnung - durch eine

Schwenkbewegung in sein Blickfeld rücken. Nach einer Begutachtung eines virtuellen Modells einer zu wartenden Maschine oder eines zu behandelnden menschlichen Körpers kann er den

Bildgebungsteil zurückschwenken, um die zuvor simulierte, de ¬ monstrierte und/oder erläuterte Bearbeitung realiter durchzu ¬ führen. Die Schwenk- oder auch Translationsbewegung zur Be- nutzung des Bildgebungsteils wird in einer Variante dieser Ausführungsform auch durch eine Gestensteuerung - also durch die Gestenerfassungseinheit GS1,GS2 veranlasst - motorisch ausgeführt, um eine Verunreinigung des Bildgebungsteils in- folge einer Berührung aufgrund einer mit den Händen ausgeführten Schwenkbewegung durch einen Arbeiter oder Chirurgen zu vermeiden.

Gemäß einer weiteren Ausgestaltung der Erfindung ist vorgese- hen, dass die Visualisierungseinheit VIS als portable Kommu ¬ nikationseinheit, beispielsweise als Smart Phone, realisiert ist. Der Bediener kann auf diese Weise zwischen einer herkömmlichen Interaktion mit seinem Smart Phone und Smart Watch wechseln in eine VR-Interaktion, bei der das Smart Phone vor den Augen platziert wird und eine stereoskopische virtuelle Umgebung darstellt.

Das erfindungsgemäß »wearable« - also zum Tragen am menschli ¬ chen Körper ausgestaltete - Interaktionssystem umfasst min- destens eine in einem Armbereich eines Bedieners angebrachte Gestenerfassungseinheit, eine binokulare Visualisierungsein ¬ heit zur lagerichtigen Visualisierung von virtuellen Objekten in ein Sichtfeld des Bedieners sowie eine Steuerungseinheit zum Ansteuern der Visualisierungseinheit. Die Gestensteuerung erfolgt intuitiv mit einer Bewegung und/oder Drehung der Vorderarme. Ein in einem industriellen Umfeld oftmals unpassendes Eingabegerät ist somit nicht erforderlich. Der Bediener kann aufgrund des tragbaren Charakters des erfindungsgemäßen Interaktionssystems mühelos zwischen einer eigentlichen War- tung einer Industrieanlage und einer immersiven Bewegung in einem virtuellen Modell der Industrieanlage wechseln.