HUBSCHRAUBERBESATZUNG

Die vorliegende Erfindung betrifft einen Simulator für ein Training zumindest eines Nutzers, insbesondere eines Teams einer Hubschrauberbesatzung, sowie ein Verfahren zum Betreiben eines solchen Simulators.

Bekannterweise werden zum Training und zur Ausbildung von Nutzern oder Personen in Teams oftmals Simulatoren eingesetzt, bei denen die zu trainieren- den Personen in einer virtuellen Welt agieren. Dies kann beispielsweise für Be ^¬ satzungen von Fluggeräten, Land- und Seefahrzeugen erfolgen. Um die Handha ^¬ bung eines komplexen Systems zu trainieren, wird eine physikalische Nachbil ^¬ dung einer Fahrzeugkabine, beispielsweise eine Fluggerätekabine, in einer virtu ^¬ ellen Realität auf zum Beispiel einer sphärischen Projektion dargestellt.

Die Größe beispielsweise einer Hubschrauber-Kabine und die sich ständig in Be ^¬ wegung befindenden Augenpunkte der Crew-Mitglieder führen zu der Notwen ^¬ digkeit, eine große sphärische Projektionsfläche von 100°(+10°/-90°) x 360° zu konstruieren. Der Durchmesser kann dabei 8 Meter betragen und 12 Sicht- Kanäle scheinen notwendig und realistisch zu sein. Zu bedienende Instrumente werden dann als ein dem originalen System entsprechendes MMI (Mensch- Maschinen-lnferface) nachgebildet, beispielsweise eine Waffe inklusive Kraft ^¬ rückkopplung oder eine Rettungswinde inklusive Seilkräfte. Sollen taktische Operationen trainiert werden, so ist es bekannt, als Display Vir- tual-Reality- Brillen zu verwenden und die Systeme als vereinfachtes MMI nach ^¬ zubilden. Sowohl die Kabine als auch das zu bedienende Gerät, beispielsweise eine Waffe, werden dann virtuell nachgebildet und in der Virtual-Reality-Brille dargestellt.

Während bei der ersten Lösung vorteilhaft ein reales System physikalisch nach ^¬ gebildet wird, lässt sich die virtuelle zweite Lösung zu einem attraktiven Preis realisieren. Werden als Virtual-Reality-Brillen Head-Mounted-Displays mit teil ^¬ transparenten Displays (See-Through-Technologie) genutzt, so können auch die Systeme und die Crew-Mitglieder gesehen werden. Es würde aber auch der Trai ^¬ ningsraum, d.h. die nachgebildete Kabine, zu sehen sein. Zudem kann es zu visu- eilen Artefakten durch falsche Uberlagerungen der maskierten Fenster bzw. Öff ^¬ nungen für die Außensicht und den anwesenden Crew-Mitgliedern kommen.

Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, die Simulation für ein Training zumindest eines Nutzers, insbesondere eines Teams einer Hubschrauberbesatzung, zu verbessern.

Demgemäß wird ein Simulator für ein Training zumindest eines Nutzers, insbe ^¬ sondere eines Teams einer Hubschrauberbesatzung, an zumindest einem Trai ^¬ ningsobjekt in einem Trainingsraum vorgeschlagen. Der Simulator umfasst eine Virtual-Reality-Brille zur Darstellung von virtuellen Bildern des Trainings, zu ^¬ mindest eine an der Virtual-Reality-Brille angeordnete Video-Kamera zur Auf ^¬ nahme von Video-Bildern eines Sichtbereichs der Virtual-Reality-Brille, eine ers ^¬ te Einheit zum Bereitstellen von Gestenerkennungsdaten aus einer Gestener ^¬ kennung von Gesten des Nutzers mittels der aufgenommenen Video-Bilder, eine zweite Einheit zum Bereitstellen von Hand-Tracking-Daten aus einem Hand- Tracking von Handbewegungen zumindest einer Hand des Nutzers mittels der aufgenommen Video-Bilder, und einen Bildgenerator zum Generieren von durch die Virtual-Reality-Brille darzustellenden virtuellen Bildern mittels der aufge ^¬ nommenen Video-Bilder, der bereitgestellten Gestenerkennungsdaten und der bereitgestellten Hand-Tracking-Daten.

Der Simulator kann auch als Simulations-System oder als System-Trainer be ^¬ zeichnet werden. Der Nutzer kann auch als Trainee oder Team-Mitglied bezeich ^¬ net werden. Das Trainingsobjekt ist beispielsweise ein auf die Haptik reduziertes Replikat eines zu trainierenden Gerätes, beispielsweise einer Waffe, einer Ret ^¬ tungswinde oder einer Außenlast eines Hubschraubers. Eine virtuelle Szene, gebildet durch die von dem Bildgenerator bereitgestellten virtuellen Bilder, wird in der Virtual-Reality-Brille insbesondere entsprechend der Position und Blickrichtung des Trainees dargestellt. Beispielsweise mittels eines Head-Trackings und Position-Trackings werden die Position und die Blick- richtung des Trainees ermittelt und in die virtuellen Bilder (im Weiteren auch: die virtuelle Darstellung) des Trainingsraums übertragen. So kann sich der Trainee frei in dem Trainingsraum bewegen und die virtuelle Szene wird ent ^¬ sprechend der sich ändernden Perspektive des Trainees in der Virtual-Reality- Brille dargestellt.

Mit dem Hand-Tracking werden die Bewegungen und die Positionen der Hände des Trainees erfasst und auf die virtuelle Darstellung, insbesondere den virtuel ^¬ len Händen eines den Trainee in dem Trainingsraum abbildenden Avatars, über ^¬ tragen.

Mit der Gestenerkennung werden die Gesten oder Aktivitäten des Trainees er ^¬ kannt und ebenfalls auf die virtuelle Darstellung, insbesondere den virtuellen Händen des Avatars, übertragen. Der Avatar bedient nun in der virtuellen Szene die virtuell dargestellten Trainingsobjekte für die es— wie oben erläutert— ver- einfachte haptische physikalische Replikate oder Mock-Ups gibt.

Kombiniert mit den physikalischen Nachbildungen der Trainingsobjekte oder Repliken kann dem Trainee die notwendige Haptik vermittelt werden, die den Trainee vollends in die virtuelle Trainingsumgebung eintauchen lässt. Der Trai- nee bedient das Trainingsobjekt, nämlich die einfache haptische Replik des Ge ^¬ räts, und sieht zugleich die komplexe Darstellung desselben Geräts in der virtu ^¬ ellen Szene durch die Virtual-Reality-Brille. Die optische Täuschung und die haptische Täuschung sind damit optimal aufeinander abgestimmt. Mit anderen Worten sind in der realen Welt des Trainingsraums nur die Haptik der Mock-Ups oder Replikate der Trainingsobjekte nachzubauen, da die Details in der virtuellen Szene, gebildet durch die virtuellen Bilder des Bildgenerators, durch das virtuelle Mock-Up, dargestellt in der Virtual-Reality-Brille, abgebildet sind. Hierdurch können erhebliche Kosten bei der Nachbildung der Trainingsob ^¬ jekte eingespart werden. Wenn mehrere Team-Mitglieder oder Crew-Mitglieder, beispielsweise Mitglieder einer Hubschrauberbesatzung, die in einer Kabine agieren (Helicopter Rear Cabin Crew— H/C Crew), gemeinsam trainieren, so wird jedem Team-Mitglied eine Virtual-Reality-Brille zugeordnet und ein gemeinsamer Raum ist nicht not ^¬ wendig. Die Team-Mitglieder können räumlich getrennt voneinander trainieren und sehen sich über ihre Virtual-Reality-Brillen dennoch in demselben virtuellen Trainingsraum. Ein jedes Team-Mitglied wird hierfür insbesondere durch einen Avatar in der virtuellen Szene dargestellt, auf den die Bewegungen des dazuge ^¬ hörigen Team-Mitglieds übertragen werden. So können sie trotz einer möglichen physikalischen räumlichen Trennung miteinander interagieren, wenn auch nicht einander berühren. Insbesondere ist der Trainingsraum selbst korrelierend mit der virtuellen Szene gestaltet, zum Beispiel sind Türen vereinfacht aufgebaut, so dass der Trainee diese beispielsweise öffnen kann oder sich an deren Rahmen anlehnen oder festhalten kann, während er sich bei der Bedienung zum Beispiel der Rettungswinde aus dem Helikopter hinaus lehnt.

Wenn, wie oben ausgeführt, die Team-Mitglieder einer Hubschrauberbesatzung mittels des Simulators miteinander trainieren sollen, so sind beispielsweise eine Rettungswinde, ein Außenlastverfahren und eine Waffe im Bereich eines Bordsi ^¬ cherungssoldaten (Doorgunner) nachzubilden. Auszubilden sind dann in dem Simulator wenigstens die sichere Handhabung der Systeme (Waffe und Ret ^¬ tungswinde) und die effektive und sichere Nutzung dieser Systeme im Einsatz. Dabei können die einzelnen Arbeitsbereiche und Trainingsobjekte gemeinsam in dem Simulator untergebracht sein und genutzt werden, es kann jedoch auch physikalisch getrennt voneinander trainiert werden.

Der Simulator eignet sich zur Ausbildung wenigstens eines Nutzers oder einer Person, wobei jedoch vorzugsweise mehrere Nutzer oder Team-Mitglieder gleich- zeitig im Trainingsraum trainieren können. Daher kann der Simulator wenigs ^¬ tens zwei Virtual-Reality-Brillen umfassen, auf weichen von dem Bildgenerator zeitaktuelle Bilder für jeden Nutzer erzeugbar sind. Unter Sichtbereich wird vorliegend insbesondere der Bereich verstanden, den der Nutzer beim Blicken durch die Virtual Reality- Brille sehen kann.

Unter einem Avatar wird insbesondere eine künstliche oder virtuelle Nachbil ^¬ dung des Nutzers, beispielsweise eine Grafikfigur, verstanden, die dem Nutzer in der virtuellen Szene zugeordnet ist.

Gemäß einer Ausführungsform ist die Virtual-Reality-Brille zur Darstellung von reinen virtuellen Bildern mittels eines den Nutzer in dem Trainingsraum abbil ^¬ denden Avatars eingerichtet. Hierdurch umfasst die virtuelle Szene ausschließ- lieh virtuelle Bilder.

Gemäß einer weiteren Ausführungsform ist der Bildgenerator dazu eingerichtet, die darzustellenden virtuellen Bilder mittels der bereitgestellten Hand-Tracking- Daten derart zu generieren, dass sie eine Position und/oder eine Bewegung zu- mindest einer virtuellen Hand des Avatars umfassen.

Damit wird eine Bewegung der Hand des Nutzers auf eine korrespondierende Bewegung der virtuellen Hand des Avatars übertragen. Hierdurch hat die Bewe ^¬ gung der Hand des Nutzers eine unmittelbare Kopplung und Auswirkung auf die Bewegung der virtuellen Hand des Avatars.

Gemäß einer weiteren Ausführungsform ist der Bildgenerator dazu eingerichtet, die darzustellenden virtuellen Bilder mittels der bereitgestellten Gestenerken ^¬ nungsdaten derart zu generieren, dass sie zumindest eine virtuelle Geste des Avatars umfassen. Hierdurch werden die Gesten des Nutzers unmittelbar auf virtuelle Gesten des Avatars übertragen.

Gemäß einer weiteren Ausführungsform umfasst der Simulator eine dritte Ein- heit zum Bereitstellen von Finger-Tracking-Daten aus einem Finger-Tracking von Fingerbewegungen zumindest eines Fingers des Nutzers mittels der aufge ^¬ nommenen Video-Bilder. Dabei ist der Bildgenerator dazu eingerichtet, die dar ^¬ zustellenden virtuellen Bilder mittels der aufgenommenen Video-Bilder, der be ^¬ reitgestellten Gestenerkennungsdaten, der bereitgestellten Hand-Tracking- Daten und der bereitgestellten Finger-Tracking-Daten zu generieren.

Gemäß einer weiteren Ausführungsform ist die Virtual-Reality-Brille als ein Head-Mounted-Display mit integrierter Video- See-Through- Funktion ausgebil ^¬ det.

Gemäß einer weiteren Ausführungsform sind zwei an der Virtual-Reality-Brille angeordnete Video-Kameras zur Stereoskopen Aufnahme von Video-Bildern des Sichtbereichs der Virtual-Reality-Brille vorgesehen. Gemäß einer weiteren Ausführungsform umfasst die Virtual-Reality-Brille zwei Displays zur Stereoskopen Darstellung der virtuellen Bilder.

Hiermit wird vorteilhafterweise dem Nutzer ein Eindruck von räumlicher Tiefe vermittelt.

Gemäß einer weiteren Ausführungsform umfasst der Bildgenerator zwei Bildge ^¬ nerator-Einheiten zum Generieren von zwei Bilddaten- Strömen mittels der von den zwei Video-Kameras aufgenommenen Video-Bilder, der bereitgestellten Ges ^¬ tenerkennungsdaten und der bereitgestellten Hand-Tracking-Daten und eine Video-Verarbeitungseinheit zum Verarbeiten der zwei generierten Bilddaten- Ströme zu den durch die beiden Displays darzustellenden virtuellen Bilder. Die Video-Verarbeitungseinheit ist insbesondere zur zeitgleichen Mischung der Aufnahmen der Video-Kameras mit gerechneten virtuellen Bildern in der jewei ^¬ ligen Blickrichtung des Nutzers eingerichtet. Die Video-Verarbeitungseinheit ermöglicht es somit vorzugsweise, die Aufnahmen der Video-Kameras zeitgleich mit einem errechneten virtuellen Szenario zu mischen und einem jeden Nutzer seine individuelle Sicht auf das Szenario des Trainingsraums zu geben. Dabei ermöglichen die zwei Bildgenerator- Einheiten eine differierende Darstellung für jedes Auge des Nutzers. Beispielsweise erhält bei einem Training eines Teams jedes trainierende Team- Mitglied ein Head-Mounted-Display als Virtual-Reality-Brille, welches jeweils mit zwei Video-Kameras für Stereoskope Aufnahmen und einem Head-Tracker versehen ist, der die Feststellung der Blickrichtung des betreffenden Team- Mitglieds ermöglicht. Die zwei Bildgenerator- Einheiten des Bildgenerators er- zeugen dann für jedes Display eine Stereoskope Darstellung des Szenarios aus dem individuellen Blickwinkel des Team-Mitglieds.

Gemäß einer weiteren Ausführungsform umfasst der Simulator einen Head- Tracking-Sensor zum Bereitstellen von Head-Tracking-Daten zur Ermittlung einer Position des Nutzers und einer Blickrichtung des Nutzers.

Gemäß einer weiteren Ausführungsform ist der Head-Tracking-Sensor an der Virtual-Reality-Brille angeordnet. Gemäß einer weiteren Ausführungsform ist der Head-Tracking-Sensor extern zu der Virtual-Reality-Brille vorgesehen.

Gemäß einer weiteren Ausführungsform ist der Bildgenerator dazu eingerichtet, die darzustellenden virtuellen Bilder mittels der aufgenommenen Video-Bilder, der bereitgestellten Gestenerkennungsdaten, der bereitgestellten Hand-

Tracking-Daten und der bereitgestellten Head-Tracking-Daten zu generieren. Gemäß einer weiteren Ausführungsform ist der Trainingsraum beweglich im Raum ausgeführt. Dadurch, dass der Trainingsraum beweglich im Raum ausge ^¬ führt ist, ist es vorteilhafterweise möglich, dass Manöver, beispielsweise des Hubschraubers, mit einem Bewegungssystem auf den Trainingsraum übertragen zu können. Die Vibrationen können ebenfalls auf den Boden des Trainingsraums und damit auf die trainierende Besatzung übertragen werden. Beispielsweise kann es vorteilhaft sein, den Boden von den Seitenwänden des Trainingsraums zu entkoppeln. Gemäß einer weiteren Ausführungsform ist das Trainingsobjekt als eine auf die Haptik reduzierte Replik (Mock-Up) des zu trainierenden Geräts, beispielsweise einer Waffe, einer Rettungswinde oder einer Außenlast eines Hubschraubers, ausgebildet. Beispielsweise bei einer Rettungswinde kann das Seil dieser Rettungswinde an eine Bewegungsplatte angekoppelt sein, welche innerhalb einer Ebene in zwei Richtungen bewegbar ist, wobei die Bewegungsplatte durch die Rechenvorrich ^¬ tung oder Host ansteuerbar ist. So lässt sich die Pendelbewegung einer Last an dem Seil spürbar simulieren.

Des Weiteren kann die Bewegungsplatte beispielsweise mit einem Sensor ausge ^¬ stattet sein, mit welchem die Kraftübertragung eines Trainees auf das Seil der Rettungswinde erfassbar und an der Rechenvorrichtung oder Host übertragbar ist. Kraftübertragungen des Trainees können so von der Simulation berücksich- tigt werden, wodurch es dem Trainee möglich ist, die Pendelbewegung der Ret ^¬ tungswinde durch eigene Kraft zu beeinflussen.

Beispielsweise kann das Seil der Rettungswinde zwischen zwei Spulen verlaufen, auf welche das Seil aufrollbar und abrollbar ist. Diese Spulen können sich bei- spielsweise außerhalb des Trainingsraums befinden und dienen dazu, das Ab- und Aufspulen des Seils an den Handflächen des Trainees spürbar zu machen. Gemäß einer weiteren Ausführungsform umfasst die Virtual-Reality-Brille, eine Not- Aus- Einrichtung. Bei Betätigung der Not- Aus- Einrichtung werden die auf ^¬ genommenen Videobilder auf die Virtual-Reality-Brille durchgeschaltet. Die Dar ^¬ stellung der virtuellen Bilder wird unterbrochen bzw. beendet. Dies ist insbeson- dere dann vorteilhaft, wenn dem Nutzer oder Trainee während des Trainings übel wird, da dann der Nutzer durch Drücken der Not- Aus- Einrichtung in den physikalischen Trainingsraum zurückkehren kann. Die Not- Aus- Einrichtung ist beispielsweise als ein an der Virtual-Reality-Brille angeordneter Taster oder Knopf ausgebildet.

Gemäß einer weiteren Ausführungsform umfasst der Simulator eine haptische Feedback- Einrichtung für den Nutzer, welche dazu eingerichtet ist, ein hapti- sches Feedback von den Trainingsobjekten oder Mock-Ups zurück an den Nutzer zu geben.

Die jeweilige Einheit, zum Beispiel die erste Einheit oder die zweite Einheit, kann hardwaretechnisch und/oder auch softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die jeweilige Einheit als Vorrichtung oder als Teil einer Vorrichtung, zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit als Computerprogrammprodukt, als eine Funktion, als eine Routine, als Teil eines Programmcodes oder als ausführbares Objekt ausge ^¬ bildet sein. Ferner wird ein Verfahren zum Betreiben eines Simulators für ein Training zu ^¬ mindest eines Nutzers, insbesondere eines Teams einer Hubschrauberbesatzung, an zumindest einem Trainingsobjekt in einem Trainingsraum vorgeschlagen, wobei der Simulator eine Virtual-Reality-Brille zur Darstellung von virtuellen Bildern des Trainings und zumindest eine an der Virtual-Reality-Brille angeord- nete Video-Kamera zur Aufnahme von Video-Bildern eines Sichtbereichs der Vir ^¬ tual-Reality-Brille umfasst, mit den Schritten: Bereitstellen von Gestenerkennungsdaten aus einer Gestenerkennung von Gesten des Nutzers mittels der aufgenommenen Video-Bilder,

Bereitstellen von Hand-Tracking-Daten aus einem Hand-Tracking von Handbewegungen zumindest einer Hand des Nutzers mittels der aufgenommen Video-Bilder, und

Generieren von durch die Virtual-Reality-Brille darzustellenden virtuellen Bildern mittels der aufgenommenen Video-Bilder, der bereitgestellten Gestener ^¬ kennungsdaten und der bereitgestellten Hand-Tracking-Daten. Weiterhin wird ein Computerprogrammprodukt vorgeschlagen, welches auf einer programmgesteuerten Einrichtung die Durchführung des wie oben erläuterten Verfahrens veranlasst.

Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in ei ^¬ nem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer ent ^¬ sprechenden Datei mit dem Computerprogrammprodukt oder dem Computerpro- gramm-Mittel erfolgen.

Die für die vorgeschlagene Vorrichtung beschriebenen Ausführungsformen und Merkmale gelten für das vorgeschlagene Verfahren entsprechend. Für das Beispiel eines Trainings eines Teams einer Hubschrauber-Kabine kann eine Umsetzung des Simulators in Ausführungsformen das Folgende umfassen:

H/C-Kabine:

Für die H/C-Kabine (H/C; Helicopter Rear Cabin Crew) bedarf es vorteilhafter- weise keinem exakten physikalischen Nachbau der zu simulierenden Hub ^¬ schrauber-Variante. Es sind lediglich Teile nachzubauen, die ein mögliches Hin ^¬ dernis im Aktionsraum der Team-Mitglieder oder des Trainees darstellen kön- nen. Ein möglicher Trainingsraum hierzu umfasst beispielsweise einfache Rah ^¬ men für die Türausschnitte der H/C-Kabine, ein einfaches haptisches Mock-Up für das Maschinengewehr (Doorgunner) und ein Modell einer Rettungswinde (Winchman).

Visuelles System:

Das visuelle System besteht insbesondere aus dem Bildgenerator, der Virtual- Reality- Brille und der Analyse-Vorrichtung. Insbesondere ist der Bildgenerator unabhängig von dem zugrundeliegenden Konzept. Als Virtual Reality- Brille kann ein Head-Mounted-Display mit Video- See-Through- Funktion in Kombination mit Hand-Tracking und Gestenerkennung eingesetzt werden.

Die Kameras des Head-Mounted-Displays liefern ein Video mit den Händen des Trägers, sobald diese ins Sichtfeld bewegt werden. Diese Bewegungen der Hände, wie auch deren Gesten, werden mittels der Analyse-Vorrichtung analysiert, in ^¬ terpretiert und an den Bildgenerator für eine korrelierende visuelle Darstellung übergeben. Der Bildgenerator seinerseits animiert einen den Trainee abbilden ^¬ den Avatar und lässt diesen die virtuellen Systeme des Trainingsraums bedie ^¬ nen.

Die Kameras des Head-Mounted-Displays können zudem für das Head-Tracking genutzt werden. Alternativ oder zusätzlich kann ein separates Head-Tracking- System oder ein separater Head-Tracking- Sensor zur Ermittlung der Position und Blickrichtung des Trainees eingesetzt werden.

Motion^

Die Manöver des H/C werden mit einem 6-DoF-Bewegungssystem auf die gesam ^¬ te Kabine übertragen. Diese Übertragung ist optional. Vibrationen^

Vibrationen am H/C werden vorzugsweise auf den Boden der Kabine und somit auf die Besatzung übertragen. Vibrationen können ergänzend auf die nachgebil- deten Teile, die ein mögliches Hindernis im Aktionsraum der Team-Mitglieder oder des Trainees darstellen können, übertragen werden. Auch die Übertragung der Vibrationen ist optional. Arbeitsplätze ^:

Beispielsweise werden die folgenden Arbeitsplätze nachgebildet: Rettungswinde (Winchman), Außenlastverfahren, Bordsicherungssoldat (Doorgunner).

Doorgunner:

Vorzugsweise werden folgende Funktionen und Eigenschaften simuliert: Bedie ^¬ nung (vereinfacht), Ballistik, Kadenz, Rückstoß und Gewicht. Als Trainingsob ^¬ jekt wird hierzu ein vereinfachtes haptisches Mock-Up der Waffe des Maschinen ^¬ gewehrschützen verwendet. Die virtuelle Darstellung der Waffe ist vorzugsweise ein fotorealistisches SD- Modell. Dieses 3D-Modell wird dem Mock-Up überlagert und ergänzt dieses zum Beispiel mit einem realistischen Lauf und dem Visier. Eine Visierung mittels ei ^¬ nes roten Laserpunkts kann ebenfalls innerhalb der simulierten virtuellen Szene umgesetzt werden. Dies geschieht innerhalb des Bildgenerators, indem die Waf- fenausrichtung mit einer gedachten Linie verlängert wird, ein gemeinsamer Schnittpunkt mit dem Gelände ermittelt wird und dort ein Lichtpunkt darge ^¬ stellt wird.

Für die Simulation des Rückstoßes verfügt das Mock-Up vorzugsweise über ein Recoil- System. Das Gewicht und deren Verteilung der Waffe werden insbesonde ^¬ re durch ein optionales Control-Load-System nachgebildet. Mit diesem Control- Load- System können ebenfalls auf den Lauf der Waffe wirkende Windkräfte und sich verlagernde Gewichte innerhalb der Magazine simuliert werden. Rettungs winde :

Folgende Funktionen können vorzugsweise simuliert werden^ Bedienung, Pen ^¬ delbewegung, Ab-/Aufrollen. Die Pendelbewegung der Last wird an dem Seil der Rettungswinde beispielswei ^¬ se mittels einer X-Y- Bewegungsplatte spürbar für den Trainee simuliert. Wäh ^¬ rend sich das obere Ende des Seils an einem festen Punkt befindet, lässt sich das untere Ende des Seils bewegen. Die Pendelbewegung einer simulierten Last wird dabei in eine relative X-Y- Koordinate umgerechnet und auf die mit Stellmotoren versehene X-Y- Platte an das Seilende übertragen.

Sensoren erfassen vorzugsweise die Kraftübertragung des Trainees auf das Seil, welche ihrerseits an den Simulator übertragen wird. Damit wird es dem Trainee möglich, die Pendelbewegung beeinflussen zu können.

Das Ab- und Aufrollen des Seils kann der Trainee vorzugsweise ebenfalls an der Handfläche spüren. Hierfür wird das Seil, wie bei einer echten Winde, von einer Spule abgerollt und an einem unteren Ende auf einer zweiten Spule zeitgleich aufgerollt. Hiermit lässt sich auch die Seilspannung simulieren, welche sich beim Aufsetzen der Last auf den Boden verändert.

Auch wird vorzugsweise durch ein asymmetrisches Auf- und Abspulen des Seils, in Momenten, wenn der Trainee an dem Seil zieht, das Einholen des Seils simu ^¬ liert. Insbesondere wird die Winde über die Rescue-Hoist-Remote-Control-Unit gesteuert.

In der virtuellen Szene wird hierzu vorzugsweise ein korrelierendes 3D-Modell für das Seil verwendet und dargestellt. Das Pendeln dieses Modells wird durch ein eigenes mathematisches Modell auf der Rechenvorrichtung oder Host be ^¬ rechnet. Diese simulierten Bewegungen werden an den Bildgenerator weiterge ^¬ geben und steuern die virtuelle Darstellung, welche dem der haptischen Wahr ^¬ nehmung dienenden physikalischen Seil visuell überlagert ist.

Außenlast: Die Trainingsumgebung für das Außenlastverfahren ist insbesondere Bestandteil der Ausrüstung des Doorgunner beziehungsweise des Winchman.

Ein mit dem Head-Mounted-Display ausgestatteter Maschinengewehrschütze, Bordmechaniker oder Bordwart kann während des Außenlastverfahrens sowohl durch eine simulierte Bodenluke als auch durch die dargestellten Fenster und Türen der H/C-Kabine die Außenlast beobachten. Er steht dabei in Verbindung mit dem Ausbilder, beispielsweise dem Piloten, und kann gegebenenfalls Infor ^¬ mationen oder Kommandos an ihn geben.

Weitere mögliche Implementierungen der Erfindung umfassen auch nicht expli ^¬ zit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausfüh ^¬ rungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.

Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegen ^¬ stand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungs ^¬ beispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzug- ten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert.

Fig. 1 zeigt ein schematisches Blockschaltbild eines ersten Ausführungsbei ^¬ spiels eines Simulators für ein Training zumindest eines Nutzers an zumindest einem Trainingsobjekt in einem Trainingsraum;

Fig. 2 zeigt ein schematisches Blockschaltbild eines zweiten Ausführungsbei ^¬ spiels eines Simulators für ein Training zumindest eines Nutzers an zumindest einem Trainingsobjekt in einem Trainingsraum; und

Fig. 3 zeigt ein schematisches Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Betreiben eines Simulators. In den Figuren sind gleiche oder funktions gleiche Elemente mit denselben Be ^¬ zugszeichen versehen worden, sofern nichts anderes angegeben ist. In Fig. 1 ist ein schematisches Blockschaltbild eines ersten Ausführungsbeispiels eines Simulators 10 für ein Training zumindest eines Nutzers an zumindest ei ^¬ nem Trainingsobjekt 300, 400 in einem Trainingsraum dargestellt.

Der Simulator 10 kann auch als System-Trainer oder Simulationssystem be- zeichnet werden. Der Simulator 10 umfasst eine Virtual-Reality- Anordnung 100 und eine als Host ausgebildete Rechenvorrichtung 200, welche die Virtual- Reality- Anordnung 100 mit den Trainingsobjekten 300, 400 koppelt. Die Trai ^¬ ningsobjekte 300, 400 sind in dem Beispiel der Fig. 1 als eine Waffe 300 und als eine Rettungswinde 400 ausgebildet. Die Waffe 300 und die Rettungswinde 400 sind insbesondere ein Modell des Originals oder eine auf wesentliche haptische Elemente des Originals reduzierte Attrappe (Mock-Up). Die Waffe 300 weist ins ^¬ besondere eine Waffen- Simulationseinheit 301 und die Rettungswinde 400 weist eine Winden- Simulationseinheit 401 auf, welche über die Rechenvorrichtung 200 mit der Virtual-Reality- Anordnung 100 gekoppelt sind.

Die Virtual-Reality- Anordnung 100 umfasst eine Virtual-Reality-Brille 110, eine Analyse-Vorrichtung 120 und einen Bildgenerator 130. Die Virtual-Reality-Brille 110 umfasst eine Video-Kamera 111, insbesondere ausrichtbar auf das linke Au ^¬ ge des Nutzers, und eine Video-Kamera 112, insbesondere ausrichtbar auf das rechte Auge des Nutzers. Aus diesem Grund kann die Video-Kamera 111 auch als L- Video-Kamera (L; linkes Auge) und die Video-Kamera 112 als R- Video- Kamera (R; rechtes Auge) bezeichnet werden. Des Weiteren umfasst die Virtual- Reality-Brille 110 ein Display 113, insbesondere ausrichtbar auf das linke Auge des Nutzers, und ein Display 114, insbesondere ausrichtbar auf das rechte Auge des Nutzers. Aus diesem Grund kann das Display 113 auch als L-Display und das Display 114 auch als R-Display bezeichnet werden. Die Analyse- Vorrichtung 120 umfasst eine erste Einheit 121 und eine zweite Einheit 122. Die erste Einheit 121 und die zweite Einheit 122 sind insbesondere als Teil, insbesondere als Software-Teil und/oder als Hardware-Teil, der Analyse- Vorrichtung 120 ausgebildet. Der Bildgenerator 130 umfasst vorzugsweise eine Bildgenerator- Einheit 131, insbesondere ausrichtbar auf das linke Auge des Nut ^¬ zers, eine Bildgenerator- Einheit 132, insbesondere ausrichtbar auf das rechte Auge des Nutzers, und eine Video- Verarbeitungseinheit 133, welche sowohl mit der Bildgenerator- Einheit 131 als auch mit der Bildgenerator- Einheit 132 gekop ^¬ pelt ist.

Die Virtual-Reality-Brille 110 ist zur Darstellung von virtuellen Bildern Sl des Trainingsraums eingerichtet. Vorzugsweise ist die Virtual-Reality-Brille 110 zur Darstellung von reinen virtuellen Bildern Sl mittels eines den Nutzer in dem Trainingsraum abbildenden Avatars eingerichtet.

Die an der Virtual-Reality-Brille 110 angeordneten Video-Kameras 111, 112 sind zur Aufnahme von Video-Bildern S2 eines Sichtbereichs der Virtual-Reality- Brille 110 eingerichtet. Die erste Einheit 121 der Analyse- Vorrichtung 120 ist dazu eingerichtet, Gesten ^¬ erkennungsdaten S3 aus einer Gestenerkennung von Gesten des Nutzers mittels der aufgenommenen Video-Bilder S2 bereitzustellen.

Die zweite Einheit 122 der Analyse- Vorrichtung 120 ist dazu eingerichtet, Hand- Tracking-Daten S4 aus einem Hand-Tracking von Handbewegungen zumindest einer Hand des Nutzers mittels der aufgenommen Video-Bilder S2 bereitzustel ^¬ len.

Der Bildgenerator 130 ist dazu eingerichtet, die durch die Virtual-Reality-Brille 110 darzustellenden virtuellen Bilder Sl mittels der aufgenommenen Video- Bilder S2, der bereitgestellten Gestenerkennungsdaten S3 und der bereitgestell ^¬ ten Hand-Tracking-Daten S4 zu generieren. Funktionalitäten des Bildgenerators 130 können zusätzlich oder alternativ auch von der Rechenvorrichtung 200 (Host) ausgeführt werden.

Dabei ist der Bildgenerator 130 insbesondere dazu eingerichtet, die darzustellen- den virtuellen Bilder Sl mittels der bereitgestellten Hand-Tracking-Daten S4 derart zu generieren, dass diese eine Position und/oder eine Bewegung zumindest einer virtuellen Hand des Avatars umfassen.

Ferner ist der Bildgenerator 130 insbesondere dazu eingerichtet, die darzustel- lenden virtuellen Bilder Sl mittels der bereitgestellten Gestenerkennungsdaten S3 derart zu generieren, dass diese zumindest eine virtuelle Geste des Avatars umfassen.

Beispielsweise ist die Virtual-Reality-Brille 110 als ein Head-Mounted-Display mit integrierter Video- See-Through- Funktion ausgebildet.

Vorzugsweise sind die beiden an der Virtual-Reality-Brille 110 angeordneten Vi ^¬ deo-Kameras 111, 112 zur Stereoskopen Aufnahme von Video-Bildern S2 des Sichtbereichs der Virtual-Reality-Brille 110 eingerichtet. Insbesondere sind die Video-Kameras 111, 112 in der Virtual-Reality-Brille 110 integriert. Des Weite ^¬ ren sind vorzugsweise auch die beiden Displays 113, 114 der Virtual-Reality- Brille 110 zur Stereoskopen Darstellung der virtuellen Bilder Sl eingerichtet.

Die beiden Bildgenerator- Einheiten 131, 132 sind zum Generieren von zwei Bild- daten-Strömen S6 und S7, mittels der von den zwei Video-Kameras 111, 112 auf ^¬ genommenen Video-Bildern S2, der bereitgestellten Gestenerkennungsdaten S3 und der bereitgestellten Hand-Tracking-Daten S4 eingerichtet. Dabei ist die Vi ^¬ deo-Verarbeitungseinheit 133 des Bildgenerators 130 dazu eingerichtet, die zwei generierten Bilddaten-Ströme S6, S7 zu den durch die beiden Displays 113, 114 darzustellenden virtuellen Bildern Sl zu verarbeiten. Die darzustellenden virtu ^¬ ellen Bilder Sl stellen insbesondere eine virtuelle Szene in dem Trainingsraum dar, in welcher der Nutzer mit dem Trainingsobjekt, beispielsweise der Replik der Waffe 300 oder der Rettungswinde 400, trainiert.

Fig. 2 zeigt ein schematisches Blockschaltbild eines zweiten Ausführungsbei- Spiels eines Simulators 10 für ein Training zumindest eines Nutzers an zumin ^¬ dest einem Trainingsobjekt 300, 400 in einem Trainingsraum.

Das zweite Ausführungsbeispiel der Fig. 2 umfasst alle Merkmale des ersten Ausführungsbeispiels der Fig. 1. Darüber hinaus zeigt die Fig. 2, dass die Analy- se-Vorrichtung 120 eine dritte Einheit 123 und eine vierte Einheit 124 umfassen kann. Die dritte Einheit 123 ist dazu eingerichtet, Finger-Tracking-Daten S5 aus einem Finger-Tracking von Fingerbewegungen zumindest eines Fingers des Nut ^¬ zers mittels der aufgenommenen Video-Bilder S2 bereitzustellen. Dabei kann der Bildgenerator 130 dazu eingerichtet sein, die bereitgestellten Finger-Tracking- Daten S5 auch zur Generierung der darzustellenden virtuellen Bilder Sl zu nut ^¬ zen.

Die vierte Einheit 124 ist eingerichtet, Analyse-Daten S10 zur Positionsermitt ^¬ lung und/oder Lageerfassung im Raum bereitzustellen. Dabei kann der Bildgene- rator 130 und/oder die Rechenvorrichtung 200 dazu eingerichtet sein, die bereit ^¬ gestellten Analyse-Daten S10 zur Generierung der darzustellenden virtuellen Bilder Sl zu nutzen.

Des Weiteren zeigt die Fig. 2, dass die Virtual-Reality- Anordnung 100 einen Head-Tracking-Sensor 115, der in der Virtual-Reality-Brille 110 integriert ist, und einen zu der Virtual-Reality-Brille 110 externen Head-Tracking-Sensor 140 umfasst. Insbesondere können beide oder nur einer der Head-Tracking-Sensoren 115, 140 vorgesehen sein. Der jeweilige Head-Tracking-Sensor 115, 140 ist dazu eingerichtet, Head-Tracking-Daten S8 zur Ermittlung einer Position des Nutzers und einer Blickrichtung des Nutzers bereitzustellen. Ferner zeigt die Fig. 2, dass die Virtual-Reality- Anordnung 100 auch eine Verar ^¬ beitungseinheit 150 für die Head-Tracking-Sensoren 115, 140 umfassen kann. Die Verarbeitungseinheit 150 generiert insbesondere Daten S9 zur Position und/oder Blickrichtung aus den bereitgestellten Head-Tracking-Daten S8. Die Daten S9 zur Position und/oder Blickrichtung können von der Rechenvorrichtung 200 oder dem Bildgenerator 130 zur Erstellung der virtuellen Bilder Sl verwen ^¬ det werden.

In Fig. 3 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Betreiben eines Simulators 10 dargestellt. Der Simulator 10 um- fasst insbesondere eine Virtual-Reality-Brille 110 zur Darstellung von virtuellen Bildern Sl des Trainingsraums und zumindest eine an der Virtual-Reality-Brille 110 angeordnete Video-Kamera 111, 112 zur Aufnahme von Video-Bildern S2 eines Sichtbereichs der Virtual-Reality-Brille 110. Beispiele für den Simulator 10 sind in den Fig. 1 und 2 dargestellt.

Das Verfahren der Fig. 3 umfasst die folgenden Verfahrens schritte 301, 302 und 303: In Schritt 301 werden Gestenerkennungsdaten S3 aus einer Gestenerkennung von Gesten des Nutzers mittels der durch die Video-Kamera 111, 112 aufgenom ^¬ menen Video-Bilder S2 bereitgestellt.

In Schritt 302 werden Hand-Tracking-Daten S4 aus einem Hand-Tracking von Handbewegungen zumindest einer Hand des Nutzers mittels der aufgenommen Video-Bilder S2 bereitgestellt.

In Schritt 303 werden die durch die Virtual-Reality-Brille 110 darzustellenden virtuellen Bilder Sl mittels der aufgenommenen Video-Bilder S2, der bereitge- stellten Gestenerkennungsdaten S3 und der bereitgestellten Hand-Tracking- Daten S4 generiert. Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrie ^¬ ben wurde, ist sie vielfältig modifizierbar.

BEZUGSZEICHENLISTE

10 Simulator

100 Virtual-Reality- Anordnung

110 Virtual-Reality-Brille

111 Video-Kamera

112 Video-Kamera

113 Display

114 Display

115 Head-Tracking-Sensor

120 Analyse-Vorrichtung

121 erste Einheit

122 zweite Einheit

123 dritte Einheit

124 vierte Einheit

130 Bildgenerator

131 Bildgenerator- Einheit

132 Bildgenerator- Einheit

133 Video-Verarbeitungseinheit

140 Head-Tracking-Sensor

150 Verarbeitungseinheit

200 Rechenvorrichtung

300 Waffe

301 Waffen- Simulationseinheit

400 Rettungswinde

401 Winden- Simulationseinheit

Sl virtuelle Bilder

S2 Video-Bilder

S3 Gestenerkennungsdaten

S4 Hand-Tracking-Daten

S5 Finger-Tracking-Daten

S6 Bilddaten- Strom Bilddaten- Strom

Head-Tracking-Daten

Daten zur Position und/oder Blickrichtung Analyse-Daten

Verfahrensschritt

Verfahrensschritt

Verfahrensschritt