Die Erfindung betrifft ein Verfahren zur Darstellung einer Umgebung mittels einer an einer Person angeordneten und für die Person sichtbaren Anzeigeeinheit als Anzeigebild im Rahmen einer Simulation gemäß Patentanspruch 1 sowie eine Simulationsanordnung gemäß Patentanspruch 13.

Aus dem Stand der Technik sind verschiedene Verfahren und Vorrichtungen zur Darstellung einer Umgebung als Anzeigebild für eine Person im Rahmen einer Simulation bekannt. Dabei werden beispielsweise tragbare Darstellungsvorrichtungen mit Bildschirmen, wie beispielsweise Head-Mounted Displays zum Einsatz, die entweder teilweise transparent sind, sodass die Umgebung teilweise durch das Display wahrgenommen oder eingeblendet werden kann, während andere Bereiche mit virtuellen Bildern überblendet werden. Derartige Vorrichtungen sind beispielsweise aus der US 2018204478 A1 , der WO 2012039877 A1 und der US 2012206452 A1 bekannt. Derartige Darstellungsvorrichtungen können mit Eingabegeräten wie Handschuhen mit integrierten Sensoren oder in der Hand gehaltenen Eingabevorrichtungen kombiniert werden, um dem Benutzer die Möglichkeit zu geben, auf die Simulation Einfluss zu nehmen. In der WO 2016079476 A1 ist beispielsweise gezeigt, dass virtuelle Steuerungselemente für den Benutzer eingeblendet werden, die dieser virtuell bedienen kann.

Bei den aus dem Stand der Technik bekannten Verfahren und Vorrichtungen sind jedoch die Interaktionsmöglichkeiten für den Benutzer mit der Simulation eingeschränkt. Weiters können beispielsweise bei teilweise durchsichtigen Darstellungsmedien sichtbare Artefakte in der Simulation im Blickfeld des Benutzers auftreten, da das Abbild der Umgebung mit einer virtuellen Darstellung nur überlappt wird und das Sichtfeld des Benutzers wird dadurch eingeschränkt. Weiters können bei den aus dem Stand der Technik bekannten Verfahren virtuelle Objekte nur an vorgegebenen Positionen im realen Raum bzw. Bild eingeblendet werden.

Aufgabe der Erfindung ist es daher, diesbezüglich Abhilfe zu schaffen und ein Verfahren und eine Vorrichtung zur Darstellung einer Umgebung mittels einer an einer Person angeordneten und für die Person sichtbaren Anzeigeeinheit als Anzeigebild im Rahmen einer Simulation bereitzustellen, die ein möglichst uneingeschränktes Sichtfeld für den Benutzer ohne z.B. aus einer Überblendung resultierende Artefakte, die bei transparenten Anzeigeeinheiten auftreten, gewährleisten und es einem Benutzer ermöglichen, auf besonders realitätsnahe Weise mit der Simulation zu interagieren bzw. die Simulation zu beeinflussen.

Die Erfindung löst diese Aufgabe mit einem Verfahren gemäß Patentanspruch 1. Erfindungsgemäß ist dabei vorgesehen, dass zur Darstellung einer Umgebung mittels einer an einer Person angeordneten und für die Person sichtbaren Anzeigeeinheit, insbesondere mittels einer 3D-Brille, als Anzeigebild im Rahmen einer Simulation,

- die Simulation in einer Interaktionsumgebung, insbesondere einem Cockpit, durchgeführt wird, wobei in der Interaktionsumgebung eine Anzahl von betätigbaren Interaktionselementen angeordnet sind und wobei die Simulation mittels der Interaktionselemente beeinflussbar ist, zumindest eine, zumindest Teile der Interaktionsumgebung abbildende, Interaktionsumgebungs-Aufnahme, insbesondere zwei Interaktionsumgebungs- Aufnahmen, mittels zumindest einer ersten, auf der Person oder relativ zur Person angeordneten, Bildaufnahmeeinheit erstellt wird,

- die Position der Person in der Interaktionsumgebung ermittelt wird und abhängig von der Position der Person ein Umgebungsbild aus einer virtuellen und/oder realen Umgebung bereitgestellt wird,

- wbei eine Bildmaske bereitgestellt wird,

- wobei einzelne Positionen auf der zumindest einen Interaktionsumgebungs- Aufnahme, dem Umgebungsbild, der Bildmaske und dem Anzeigebild einander zugeordnet sind,

- wobei eine Interaktionsumgebungs-Abstandsinformation zwischen der Person und der Interaktionsumgebung ermittelt wird und positionsweise, insbesondere pixelweise, die Interaktionsumgebungs-Abstandsinformation den einzelnen Bildbereichen der zumindest einen Interaktionsumgebungs-Aufnahme zugeordnet wird, und/oder positionsweise, insbesondere pixelweise, zumindest ein Bildparameterwert, insbesondere ein Bildparameterwert ausgewählt aus Bildschärfewert, Helligkeitswert, Kontrastwert, Farbwert, der einzelnen Bildbereiche der zumindest einen Interaktionsumgebungs-Aufnahme ermittelt wird und

- die Bildmaske durch Prüfung,

- ob der im jeweiligen Bildbereich der zumindest einen Interaktionsumgebungs- Aufnahme abgebildete Gegenstandsbereich der Interaktionsumgebung einen vorgegebenen Interaktionsumgebungs-Abstandsschwellenwert überschreitet, und/oder - ob der jeweilige Bildbereich der zumindest einen Interaktionsumgebungs- Aufnahme zumindest einen für die Interaktionsumgebung vorgegebenen Bildparameter-Schwellenwert, insbesondere zumindest einen Bildparameter- Schwellenwert ausgewählt aus Bildschärfeschwellenwert,

Helligkeitsschwellenwert, Kontrastschwellenwert, Farbschwellenwert, überschreitet, derart erstellt wird, dass das in der zumindest einen Interaktionsumgebungs-Aufnahme enthaltene Abbild der einzelnen Interaktionselemente im Anzeigebild dargestellt wird,

- die zumindest eine Interaktionsumgebungs-Aufnahme und das bereitgestellte Umgebungsbild unter Verwendung der Bildmaske pixelweise überlagert werden, und

- das derart überlagerte Bild als Anzeigebild auf der Anzeigeeinheit angezeigt wird.

Durch diese erfindungsgemäßen Merkmale ist es vorteilhafterweise möglich, das Abbild von Teilen der Interaktionsumgebung z.B. innerhalb eines vorgegebenen Abstands um beispielsweise die Person, an der die erste Bildaufnahmeeinheit angeordnet ist, oder z.B. aufgrund deren Oberflächenbeschaffenheit, auszuwählen und mit einem bereitgestellten Umgebungsbild, beispielsweise einem bereitgestellten Abbild einer virtuellen Umgebung, zu einem einzigen Anzeigebild für den Benutzer zusammenzuführen. Dies bedeutet, dass beispielsweise die Hände eines Nutzers und die Interaktionselemente, wie ein Lenkrad oder ein Schalthebel, die in Reichweite der Hände sind, im Anzeigebild dargestellt werden können, sodass die Realitätsnähe der Simulation verbessert wird und der Benutzer ein möglichst wirklichkeitsnahes Raumempfinden in der Simulation erhält. Auf diese Weise kann auch vermieden werden, dass der Nutzer sich während der Simulation unwohl fühlt, was auftreten kann, wenn das räumliche Empfinden der Person während der Simulation gestört ist.

Weiters werden z.B. die Hände des Benutzers oder die Interaktionselemente nicht an vorgegebenen Position im Raum eingeblendet, sondern abhängig von der Position der Person in der Interaktionsumgebung unter Verwendung der Bildmaske mit dem Umgebungsbild zu einem einzigen Anzeigebild zusammengeführt und sind an beliebigen Position im Anzeigebild sichtbar, die sich aus der Position der Person ergeben. Diese Position im Anzeigebild kann sich daher vorteilhafterweise verändern, wenn die Person sich beispielsweise in der Interaktionsumgebung bewegt, z.B. den Kopf dreht und den Oberkörper neigt. Besonders vorteilhaft ist ein erfindungsgemäßes Verfahren, um Personen z.B. im Umgang mit verschiedensten Geräten zu schulen oder das richtige Verhalten in z.B. verschiedensten Verkehrssituation zu trainieren.

Als Interaktionsumgebung wird im Folgenden eine reale Umgebung bezeichnet, in der die Simulation durchgeführt wird, beispielsweise ein Cockpit eines Autos oder ein Schreibtisch mit einer Sitzgelegenheit. Als Interaktionselemente werden Objekte bezeichnet, mittels denen der Benutzer die Simulation beeinflussen kann, beispielsweise ein Lenkrad, Schalthebel, Schaltknöpfe, Kippschalter, ein Controller etc. Derartige Interaktionselemente sind in der Interaktionsumgebung angeordnet, z.B. fix integriert sind. Als Anzeigebild wird das Bild bezeichnet, das von der Anzeigeeinheit, z.B. einer 3D-Brille, für den Benutzer angezeigt wird. Unter einer Simulationsumgebung wird im Folgenden eine reale oder virtuelle Umgebung verstanden, die für den Benutzer simuliert werden soll, beispielsweise ein realer oder virtueller Straßenzug, wenn für den Benutzer das Steuern z.B. eines Autos simuliert werden soll.

Unter einer Bildmaske werden im Folgenden ein 2D-Bild, ein 3D-Modell oder zusammenhängende Bild- oder Raumpositionen verstanden, die eine Form, Fläche oder Linien bzw. Strahlen, oder Kombinationen davon, definieren, die dazu genutzt werden können, aus unterschiedlichen Quellen stammende, virtuelle oder reale Bildaufnahmen wie die Interaktionsumgebungs-Aufnahme und das Umgebungsbild zu einem einzigen Anzeigebild zusammenzuführen.

Unter Bildparameterwerten werden im Folgenden alphanumerische Variablen verstanden, die bestimmte Bildeigenschaften oder Eigenschaften von einzelnen Bildpunkten oder Bildbereichen einer Bildaufnahme definieren. Das betrifft statische (a posteriori) Eigenschaften, die ein vorhandenes Bild definieren (bspw. Helligkeitswert) wie auch a priori Eigenschaften, die durch die Bildaufnahmeeinheit definiert werden und die Bildaufnahme beeinflussen (bspw. Blendenzahl einer Kamera). Bei Bildparameterwerten kann es sich beispielsweise um einen Bildschärfewert, Helligkeitswert, Kontrastwert oder Farbwert handeln.

Unter einem Bildschärfewert wird im Folgenden ein Wert verstanden, der die Detailerkennung von Bildinhalten beschreibt. Dies inkludiert sowohl physikalische Schärfe, also die Kantenschärfe einzelner Bildabschnitte, die eine Aussage über den punktuellen Übergang von Hell zu Dunkel liefert, als auch der subjektive Schärfeeindruck, abhängig von Bildoptimierung, Auflösung, Artefakten und anderen Faktoren.

Unter Helligkeitswert wird im Folgenden der Weiß-Anteil eines Bildbereichs bzw. der gemessene Wert der Beleuchtung oder Luminanz, welche durch Umgebungslicht entsteht, verstanden.

Unter Kontrastwert wird im Folgenden ein Verhältnis zwischen den hellsten und dunkelsten Bildbereichen einer Aufnahme bzw. ein Verhältnis der verschiedenen Helligkeiten von benachbarten Bildbereichen einer Aufnahme zueinander verstanden.

Unter Farbwert wird im Folgenden die Menge an Rot-, Grün, und Blauanteilen eines bestimmten Pixels bzw. Bildbereichs einer Aufnahme verstanden.

Um in verschiedensten Simulationsanwendungen auf besonders einfache Weise verschiedenste Simulationsumgebungen für einen Benutzer in einem Anzeigebild darstellen zu können und es derart zu ermöglichen, für die jeweilige Simulationsumgebung eine besonders wirklichkeitsnahe Simulation bereitzustellen, kann vorgesehen sein, dass

- für die Bereitstellung des Umgebungsbilds

- zumindest eine, zumindest Teile einer Simulationsumgebung, abbildende, Simulationsumgebungs-Aufnahme, insbesondere zwei Simulationsumgebungs- Aufnahmen, mittels zumindest einer zweiten, in der Simulationsumgebung angeordneten Bildaufnahmeeinheit, erstellt wird, wobei die Position der zweiten Bildaufnahmeeinheit in der Simulationsumgebung ermittelt wird und wobei das Umgebungsbild aus der Simulationsumgebung abhängig von der Position der Person und der Position der zweiten Bildaufnahmeeinheit derart bereitgestellt wird, dass die Aufnahmebereiche der ersten Bildaufnahmeeinheit und der zweiten Bildaufnahmeeinheit miteinander gekoppelt sind,

- wobei die Bildmaske derart bereitgestellt wird, dass einzelne Positionen auf der zumindest einen Interaktionsumgebungs-Aufnahme, der zumindest einen Simulationsumgebungs-Aufnahme, der Bildmaske und dem Anzeigebild einander zugeordnet sind, wobei

- eine Simulationsumgebungs-Abstandsinformation zwischen der zumindest einen zweiten Bildaufnahmeeinheit und der Simulationsumgebung ermittelt wird und positionsweise, insbesondere pixelweise, die Simulationsumgebungs- Abstandsinformation den einzelnen Bildbereichen der zumindest einen

Simulationsumgebungs-Aufnahme zugeordnet wird, und/oder positionsweise, insbesondere pixelweise, zumindest ein Bildparameterwert, insbesondere ein Bildparameterwert ausgewählt aus Bildschärfewert, Helligkeitswert, Kontrastwert, Farbwert, der einzelnen Bildbereiche der zumindest einen Simulationsumgebungs-Aufnahme ermittelt wird und

- wobei die Bildmaske durch zusätzliche Prüfung,

- ob der im jeweiligen Bildbereich der zumindest einen Simulationsumgebungs- Aufnahme abgebildete Gegenstandsbereich der Simulationsumgebung einen vorgegebenen Simulationsumgebungs-Abstandsschwellenwert überschreitet und/oder

- ob der jeweilige Bildbereich der zumindest einen Simulationsumgebungs-

Aufnahme zumindest einen für die Simulationsumgebung vorgegebenen Bildparameter-Schwellenwert, insbesondere zumindest einen Bildparameter- Schwellenwert ausgewählt aus Bildschärfeschwellenwert,

Helligkeitsschwellenwert, Kontrastschwellenwert, Farbschwellenwert, überschreitet, erstellt wird und

- wobei für die Erstellung des Anzeigebilds die zumindest eine Interaktionsumgebungs- Aufnahme und das bereitgestellte Umgebungsbild aus der Simulationsumgebung unter Verwendung der Bildmaske pixelweise überlagert werden.

Auf diese Weise kann ein Umgebungsbild aus einer realen Umgebung, d.h. der Simulationsumgebung, bereitgestellt werden, wobei der Aufnahmebereich der ersten und der zweiten Bildaufnahmeeinheit derart miteinander gekoppelt sind, dass die Blickrichtung des Nutzers in der Interaktionsumgebung der Blickrichtung der Bildaufnahmeeinheit in der Simulationsumgebung entspricht. So kann vorteilhafter Weise erzielt werden, dass ein Nutzer der Simulation den Eindruck hat, als ob er sich tatsächlich in der Simulationsumgebung befindet und mittels der Interaktionselemente in der Interaktionsumgebung mit der Simulationsumgebung interagieren kann.

Als Simulationsumgebung wird im Folgenden eine reale Umgebung bezeichnet, die für den Benutzer simuliert werden soll.

Unter „gekoppelten“ Aufnahmebereichen ist in diesem Zusammenhang zu verstehen, dass der Aufnahmebereich der ersten Bildaufnahmeeinheit und der Aufnahmebereich der zweite Bildaufnahmeeinheit derart zueinander in Beziehung stehen, dass die Bewegung oder Translation und Rotation der jeweils einen Bildaufnahmeeinheit zu einer Translation und Rotation der jeweils anderen Bildaufnahmeeinheit führt.

Eine besonders exakte Überblendung der Interaktionsumgebungs-Aufnahme mit dem bereitgestellten Umgebungsbild kann erzielt werden, wenn die Bildmaske erstellt wird, indem die positionsweise, insbesondere pixelweise, erstellte Abstandsinformation und/oder der positionsweise, insbesondere pixelweise, ermittelte Bildparameterwert, insbesondere der Schärfewert und/oder Helligkeits- und/oder Kontrastwert und/oder Farbwert, herangezogen wird, um, insbesondere durch Schwellenwertvergleich, zu ermitteln, ob und/oder in welchem Ausmaß die zumindest eine Interaktionsumgebungs- Aufnahme und/oder das bereitgestellte Umgebungsbild für die Erstellung des Anzeigebilds herangezogen werden.

So können vorteilhafter Weise harte Übergänge und Kanten im Anzeigebild sowie Kameraartefakte und Artefakte, die auf variierende Belichtung zurückzuführen sind, vermieden werden, sowie Gegenstände in der Interaktionsumgebung, die nicht im Anzeigebild erscheinen sollen, besonders zuverlässig entfernt werden.

Eine besonders exakte Abstandsinformation für die Erstellung der Bildmaske kann erhalten werden, wenn die Abstandsinformation auf Grundlage der Interaktionsumgebungs-Aufnahme, und/oder gegebenenfalls auf Grundlage der Simulationsumgebungs-Aufnahme ermittelt wird, und/oder wenn die Abstandsinformation mittels eines auf der Person, insbesondere der Anzeigeeinheit, und/oder gegebenenfalls auf zweiten Bildaufnahmeeinheit, angeordneten Abstandssensors ermittelt wird, wobei insbesondere vorgesehen ist, dass mittels des Abstandssensors ein Abstandsbild der Interaktionsumgebung, und/oder gegebenenfalls der Simulationsumgebung, erstellt wird.

Eine weitere Verbesserung der Bildmaske kann erzielt werden, wenn, im Fall, dass mehrere verschiedenartige, insbesondere auf unterschiedlichen physikalischen Messprinzipien beruhende, Abstandssensoren vorgesehen sind, nach vorgegebenen Kriterien, insbesondere in Abhängigkeit von der Tageszeit, der Sonneneinstrahlung, der Umgebungsbeleuchtung, Oberflächeneigenschaften von Objekten in der Interaktionsumgebung und/oder der Simulationsumgebung, ein Wechsel des Abstandssensors, dessen Abstandsinformation für die Erstellung der Bildmaske herangezogen wird, vorgenommen wird. Ein besonders exakter Abstandswert, der ohne die Verwendung von zusätzlichen Abstandssensoren gewonnen werden kann, kann bereitgestellt werden, wenn die von mehreren Abstandssensoren bereitgestellten Abstandsinformationen als Grundlage für die Erstellung einer Gesamtbildmaske herangezogen werden. Auf diese Weise ist es möglich, direkt anhand des Abbilds der Interaktionsumgebung, d.h. der Interaktionsumgebungs-Aufnahme, Abstandsinformationen zu ermitteln.

Eine weitere Verbesserung der Bildmaske bzw. eine zuverlässigere Entfernung von Objekten, die nicht im Anzeigebild sichtbar sein sollen, kann erzielt werden, wenn die Abstandsinformation anhand der zumindest einen Interaktionsumgebungs-Aufnahme, und gegebenenfalls der Simulationsumgebungs-Aufnahme, durch einen Algorithmus bereitgestellt wird, der auf Techniken des Maschinellen Lernens, insbesondere künstlichen neuronalen Netzwerken und/oder Support Vector Machines, basiert, wobei insbesondere vorgesehen ist, dass ein neuronales Netzwerk anhand von Trainingsdaten trainiert wird, wobei die Trainingsdaten Aufnahmen umfassen, deren Bildpixel mit Abstandsinformationen verknüpft sind.

Eine derartige Ausgestaltung eines erfindungsgemäßen Verfahrens ermöglicht es vorteilhafterweise, Abstandsinformationen in der Interaktionsumgebung bzw. der Simulationsumgebung durch einen Algorithmus bereitzustellen, der auf Techniken des maschinellen Lernens, beispielsweise künstlichen neuronalen Netzwerken und/oder Support Vector Machines, beruht. Wird beispielsweise ein neuronales Netzwerk für die Bereitstellung der Abstandsinformationen benutzt, kann dieses neuronale Netzwerk anhand von Trainingsdaten trainiert werden, wobei diese Trainingsdaten Aufnahmen beispielsweise aus Interaktionsumgebungen oder Simulationsumgebungen S umfassen, deren Bildpixel mit Abstandsinformationen verknüpft sind. Wird dem neuronalen Netzwerk anschließend eine Interaktionsumgebungs-Aufnahme oder eine Simulationsumgebungs- Aufnahme zugeführt, so kann das neuronale Netzwerk den einzelnen Bildbereichen Abstandsinformationen zuordnen.

Eine besonders zeit- und rechenleistungssparende Erstellung eines Anzeigebilds kann erzielt werden, wenn für die Überprüfung, ob ein in einem Bildbereich der zumindest einen Interaktionsumgebungs-Aufnahme abgebildeter Gegenstandsbereich der

Interaktionsumgebung, und gegebenenfalls ein in einem Bildbereich der zumindest einen Simulationsumgebungs-Aufnahme abgebildeter Gegenstandsbereich der

Simulationsumgebung, einen vorgegebenen Abstandsschwellenwert überschreitet, ein Hüllobjekt in Bezug auf die Interaktionsumgebung, und/oder gegebenenfalls die Simulationsumgebung, festgelegt wird.

Eine weitere Verbesserung des Ausschließens von Objekten, die nicht im Anzeigebild angezeigt werden sollen, kann erzielt werden, wenn in der zumindest einen Interaktionsumgebungs-Aufnahme, und/oder gegebenenfalls der zumindest einen Simulationsumgebungs-Aufnahme als Umgebungsbild aus der Simulationsumgebung, Abbilder von Objekten ermittelt werden, deren Oberfläche eine vorgegebene oberflächlich erkennbare Eigenschaft, insbesondere eine vorgegebene Helligkeit oder Farbe oder ein vorgegebenes Muster, aufweist und wenn die Abbilder der derart ermittelten Objekte nicht für die Überlagerung der zumindest einen Interaktionsumgebungs-Aufnahme und des Umgebungsbilds herangezogen werden.

Ein besonders realistisches Anzeigebild kann erhalten werden, wenn eine Überblendungszone in einem vorgegebenen Abstandsbereich um den vorgegebenen Abstandsschwellenwert, insbesondere um das Hüllobjekt, vorgegeben wird und wenn bei der Überlagerung der zumindest einen Interaktionsumgebungs-Aufnahme und des bereitgestellten Umgebungsbilds, insbesondere des Umgebungsbilds der Simulationsumgebung, jeweils die Transparenz derjenigen Bildpunkte der zumindest einen Interaktionsumgebungs-Aufnahme und des Umgebungsbilds, insbesondere nach einer vorgegebenen Funktion, vorgegeben wird, die Gegenstandsbereiche innerhalb dieser Überblendungszone abbilden, wobei insbesondere vorgesehen sein kann, dass diejenigen Bildpunkte der zumindest einen Interaktionsumgebungs-Aufnahme und des bereitgestellten Umgebungsbilds, die Gegenstandsbereiche abbilden, deren Entfernung dem Abstandsschwellenwert entspricht, bei der Überlagerung gleich transparent vorgegeben werden.

Durch eine derartige Wahl der Transparenz der Interaktionsumgebungs-Aufnahme und des Umgebungsbilds kann ein besonders wirklichkeitsnahes Anzeigebild erzielt werden, bei dem keine unerwünschten Nahtstellen bzw. Kanten im Überlagerungsbereich sichtbar sind.

Eine weitere Verbesserung des Anzeigebilds kann erzielt werden, wenn die Bildmaske im Überlagerungsbereich der zumindest einen Interaktionsumgebungs-Aufnahme und des bereitgestellten Umgebungsbilds geglättet wird, sodass die einzelnen Pixelwerte der Bildmaske ein Verhältnis definieren, in dem die betreffenden Pixelwerte der zumindest einen Interaktionsumgebungs-Aufnahme und des bereitgestellten Umgebungsbilds einander überlagern.

Ein besonders wirklichkeitsnahes Anzeigebild kann erzielt werden, wenn die Belichtung und/oder Blendenzahl der ersten Bildaufnahmeeinheit und/oder der zweiten Bildaufnahmeeinheit an Objekte, deren Abstand den vorgegebenen Abstandsschwellenwert überschreitet, angepasst wird.

Aufgabe der Erfindung ist es weiters, eine Simulationsanordnung zur Darstellung einer Umgebung als Anzeigebild im Rahmen einer Simulation bereitzustellen, mit der das erfindungsgemäße Verfahren durchgeführt werden kann, und die einem Nutzer eine besonders wirklichkeitsnahe Interaktion im Rahmen der Simulation ermöglicht.

Diese Aufgabe wird durch die Merkmale des Anspruchs 13 gelöst. Erfindungsgemäß ist dabei vorgesehen, dass die Simulationsanordnung folgende Komponenten umfasst:

- eine an einer Person anordenbare Anzeigeeinheit, insbesondere eine 3D-Brille, die dazu ausgebildet ist, empfange Anzeigebilder für eine Person anzuzeigen, eine Interaktionsumgebung, insbesondere ein Cockpit, wobei in der Interaktionsumgebung eine Anzahl von betätigbaren Interaktionselementen angeordnet sind, wobei die Simulation mittels der Interaktionselemente beeinflussbar ist,

- zumindest eine erste, an einer oder relativ zu einer Person anordenbare, Bildaufnahmeeinheit, die dazu ausgebildet ist, zu einem jeweiligen Aufnahmezeitpunkt zumindest eine Interaktionsumgebungs-Aufnahme, insbesondere zwei Interaktionsumgebungs-Aufnahmen, zumindest von Teilen der Interaktionsumgebung zu erstellen, und

- eine mit der Anzeigeeinheit und der ersten Bildaufnahmeeinheit in Datenkommunikation stehende Steuer- und Verarbeitungseinheit, wobei die Steuer- und Verarbeitungseinheit dazu ausgebildet ist,

- die Position einer Person in der Interaktionsumgebung zu ermitteln und abhängig von dieser Position ein Umgebungsbild aus einer virtuellen und/oder realen Umgebung bereitzustellen, die zumindest erste Bildaufnahmeeinheit zur Erstellung von Interaktionsumgebungs-Aufnahmen anzusteuern,

- eine Abstandsinformation zwischen der Person und der Interaktionsumgebung zu ermitteln oder zu verarbeiten und positionsweise, insbesondere pixelweise, die Abstandsinformation den einzelnen Bildbereichen der zumindest einen Interaktionsumgebungs-Aufnahme zuzuordnen und/oder positionsweise, insbesondere pixelweise, zumindest einen Bildparameterwert, insbesondere einen Bildparameterwert ausgewählt aus Bildschärfewert, Helligkeitswert, Kontrastwert, Farbwert, der einzelnen Bildbereiche der zumindest einen Interaktionsumgebungs-Aufnahme zu ermitteln, und

- eine Bildmaske durch Prüfung, ob der im jeweiligen Bildbereich der zumindest einen Interaktionsumgebungs-Aufnahme abgebildete Gegenstandsbereich der Interaktionsumgebung einen vorgegebenen Interaktionsumgebungs- Abstandsschwellenwert überschreitet, und/oder

- ob der jeweilige Bildbereich der zumindest einen Interaktionsumgebungs- Aufnahme zumindest einen für die Interaktionsumgebung vorgegebenen Bildparameter-Schwellenwert, insbesondere zumindest einen Bildparameter-Schwellenwert ausgewählt aus Bildschärfeschwellenwert, Helligkeitsschwellenwert, Kontrastschwellenwert, Farbschwellenwert, überschreitet, derart zu erstellen, dass das in der zumindest einen Interaktionsumgebungs- Aufnahme enthaltene Abbild der einzelnen Interaktionselemente im Anzeigebild dargestellt wird,

- einzelne Positionen auf der zumindest einen Interaktionsumgebungs-Aufnahme, dem Umgebungsbild, der Bildmaske und dem Anzeigebild einander zuzuordnen,

- die zumindest eine Interaktionsumgebungs-Aufnahme und das bereitgestellte Umgebungsbild unter Verwendung der Bildmaske pixelweise zu überlagern, und

- das derart überlagerte Bild als Anzeigebild an die Anzeigeeinheit zu übermitteln.

Eine besonders wirklichkeitsnahe Simulation einer Interaktion mit einer realen Simulationsumgebung kann erzielt werden, wenn die Simulationsanordnung für die Bereitstellung des Umgebungsbilds zumindest eine zweite, in einer Simulationsumgebung angeordnete, Bildaufnahmeeinheit umfasst, die dazu ausgebildet ist, zumindest eine, zumindest Teile einer Simulationsumgebung abbildende Simulationsumgebungs- Aufnahme, insbesondere zwei Simulationsumgebungs-Aufnahmen, zu erstellen, wobei die Steuer- und Verarbeitungseinheit mit der zweiten Bildaufnahmeeinheit in Datenkommunikation steht und wenn die Steuer- und Verarbeitungseinheit dazu ausgebildet ist,

- die Position der zweiten Bildaufnahmeeinheit in der Simulationsumgebung zu ermitteln, - die zumindest eine zweite Bildaufnahmeeinheit anzusteuern, das Umgebungsbild aus der Simulationsumgebung abhängig von der Position der Person in der Interaktionsumgebung und der Position der zweiten Bildaufnahmeeinheit derart bereitzustellen, dass die Aufnahmebereiche der zumindest einen ersten Bildaufnahmeeinheit und der zumindest einen zweiten Bildaufnahmeeinheit miteinander gekoppelt sind, eine Abstandsinformation zwischen der zumindest einen zweiten Bildaufnahmeeinheit und der Simulationsumgebung zu ermitteln oder zu verarbeiten und positionsweise, insbesondere pixelweise, die Abstandsinformation den einzelnen Bildbereichen der zumindest einen Simulationsumgebungs- Aufnahme zuzuordnen und/oder positionsweise, insbesondere pixelweise, zumindest einen Bildparameterwert, insbesondere zumindest einen Bildparameterwert ausgewählt aus Bildschärfewert, Helligkeitswert, Kontrastwert, Farbwert der zumindest einen Simulationsumgebungs-Aufnahme zu ermitteln, und

- die Bildmaske durch zusätzliche Prüfung, ob der im jeweiligen Bildbereich der zumindest einen Simulationsumgebungs-Aufnahme abgebildete Gegenstandsbereich der Simulationsumgebung einen vorgegebenen Simulationsumgebungs- Abstandsschwellenwert überschreitet und/oder

- ob der jeweilige Bildbereich der zumindest einen Simulationsumgebungs- Aufnahme zumindest einen für die Simulationsumgebung vorgegebenen Bildparameter-Schwellenwert, insbesondere zumindest einen Bildparameter-Schwellenwert ausgewählt aus Bildschärfeschwellenwert, Helligkeitsschwellenwert, Kontrastschwellenwert, Farbschwellenwert, überschreitet, zu erstellen,

- einzelne Positionen auf der zumindest einen Interaktionsumgebungs-Aufnahme, der Simulationsumgebungs-Aufnahme als Umgebungsbild, der Bildmaske und dem Anzeigebild einander zuzuordnen, und

- für die Erstellung des Anzeigebilds die zumindest eine Interaktionsumgebungs- Aufnahme und das bereitgestellte Umgebungsbild aus der Simulationsumgebung unter Verwendung der Bildmaske pixelweise zu überlagern. Ein besonders exakter Abstandswert kann bereitgestellt werden, wenn die Simulationsanordnung zumindest einen auf einer Person, insbesondere der Anzeigeeinheit, und/oder einer Bildaufnahmeeinheit anordenbaren Abstandssensor umfasst, wobei insbesondere vorgesehen ist, dass der zumindest eine Abstandssensor dazu ausgebildet ist, ein Abstandsbild der Interaktionsumgebung und/oder der Simulationsumgebung zu erstellen.

Eine weitere Verbesserung der Genauigkeit der bereitgestellten Abstandsinformation kann erzielt werden, wenn die Simulationsanordnung mehrere verschiedenartige, insbesondere auf unterschiedlichen physikalischen Messprinzipien beruhende, Abstandssensoren umfasst und wenn die Steuer- und Verarbeitungseinheit dazu ausgebildet ist, nach vorgegebenen Kriterien, insbesondere in Abhängigkeit von der Tageszeit, der Sonneneinstrahlung, der Umgebungsbeleuchtung, Oberflächeneigenschaften von Objekten in der Interaktionsumgebung und/oder der Simulationsumgebung, einen Abstandssensor für die Bereitstellung von Abstandsinformation für die Erstellung der Bildmaske auszuwählen.

Eine weitere Verbesserung der Möglichkeit für eine wirklichkeitsnahe Interaktion mit Interaktionselementen und Beeinflussung der Simulation kann gewährleistet werden, wenn die Steuer- und Verarbeitungseinheit dazu ausgebildet ist, ein erfindungsgemäßes Verfahren durchzuführen.

Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und den beiliegenden Zeichnungen.

Besonders vorteilhafte, aber nicht einschränkend zu verstehende Ausführungsbeispiele der Erfindung werden im Folgenden anhand der beiliegenden Zeichnungen schematisch dargestellt und unter Bezugnahme auf die Zeichnungen beispielhaft beschrieben.

Im Folgenden zeigen schematisch:

Fig. 1 eine Darstellung einer Interaktionsumgebung mit Interaktionselementen und einer Person bzw. einem Nutzer im Rahmen eines ersten Ausführungsbeispiels eines erfindungsgemäßen Verfahrens,

Fig. 2 ein Ausführungsbeispiel einer Interaktionsumgebungs-Aufnahme der Interaktionsumgebung aus Fig. 1 ,

Fig. 3 ein Ausführungsbeispiel eines bereitgestellten Umgebungsbilds im Rahmen des ersten Ausführungsbeispiels, Fig. 4 ein Ausführungsbeispiel eines Anzeigebilds im Rahmen des ersten Ausführungsbeispiels,

Fig. 5 eine Darstellung einer Interaktionsumgebung mit Interaktionselementen und einer Person bzw. einem Nutzer im Rahmen eines zweiten Ausführungsbeispiels eines erfindungsgemäßen Verfahrens,

Fig. 6 zeigt ein Ausführungsbeispiel einer Simulationsumgebung mit einem Kran mit einer Kranführerkabine und einer darin angeordneten zweiten Bildaufnahmeeinheit,

Fig. 7 die Anordnung der zweiten Bildaufnahmeeinheit in der Kranführerkabine aus Fig. 6.

Wie bereits zuvor erwähnt, können ein erfindungsgemäßes Verfahren bzw. eine erfindungsgemäße Simulationsanordnung zur Darstellung einer Umgebung mittels einer an einer Person 1 angeordneten und für die Person 1 sichtbaren Anzeigeeinheit 2 besonders vorteilhaft eingesetzt werden, um Personen 1 im Umgang mit verschiedensten Geräten zu schulen oder die Reaktion der Person 1 in verschiedensten Verkehrssituation zu testen und das richtige Verhalten in den jeweiligen Situation zu schulen.

Fig. 1 bis 4 zeigen eine schematische Darstellung eines ersten Ausführungsbeispiels einer erfindungsgemäßen Simulationsanordnung bzw. eines erfindungsgemäßen Verfahrens in einer Interaktionsumgebung U, bei der es sich um ein Cockpit eines Automobils handelt. In der Interaktionsumgebung U sind eine Anzahl von betätigbaren Interaktionselementen 3a, 3b angeordnet. Im ersten Ausführungsbeispiel handelt es sich dabei um ein Lenkrad sowie ein Brems-, Kupplungs- und Gaspedal.

Die Simulationsanordnung umfasst im ersten Ausführungsbeispiel weiters eine Sitzgelegenheit 6 sowie eine Steuer- und Verarbeitungseinheit 4. Im ersten Ausführungsbeispiel sitzt eine Person 1 auf der Sitzgelegenheit 6. Diese Person 1 , d.h. der Nutzer der Simulation, trägt eine an einer Person 1 anordenbare Anzeigeeinheit 2, bei der es sich im ersten Ausführungsbeispiel um eine 3D-Brille zur Anzeige von Anzeigebildern C für den Nutzer handelt, die nicht durchsichtig ist . Die Anzeigeeinheit 2 zeigt im Rahmen der Simulation ein Anzeigebild C für die Person 1 an.

Wie im ersten Ausführungsbeispiel schematisch angedeutet ist, handelt es sich bei der Simulation im ersten Ausführungsbeispiel um eine möglichst realistische Darstellung einer Straßenverkehrsumgebung, in der der Nutzer der Simulation, d.h. die Person 1 , mittels der Interaktionselemente 3a, 3b, die mit der Steuer- und Verarbeitungseinheit 4 verbunden sind, auf die Simulation Einfluss nehmen und beispielsweise virtuell ein Auto durch eine simulierte, virtuelle Straßenverkehrssituation bewegen kann. Eine erfindungsgemäße Simulationsanordnung umfasst zumindest eine erste Bildaufnahmeeinheit 5, die dazu ausgebildet ist, zu einem jeweiligen Aufnahmezeitpunkt eine Interaktionsumgebungs-Aufnahme A zumindest von Teilen der Interaktionsumgebung U zu erstellen.

Die Simulationsanordnung im ersten Ausführungsbeispiel umfasst zwei erste Bildaufnahmeeinheiten 5a, 5b, bei denen es sich um Digitalkameras handelt. Alternativ dazu kann auch z.B. eine Stereokamera vorgesehen sein. Die beiden ersten Bildaufnahmeeinheiten 5a, 5b sind im ersten Ausführungsbeispiel an der Person 1 , d.h. konkret an der Anzeigeeinheit 2, die die Person 1 trägt, angeordnet. Der Aufnahmebereich der ersten Bildaufnahmeeinheiten 5a, 5b ist dabei auf Augenhöhe der Person 1 vom Kopf der Person 1 weg ausgerichtet. Bewegt die Person 1 ihren Kopf, verändert sich jeweils der Aufnahmebereich der ersten Bildaufnahmeeinheiten 5a, 5b und es werden entsprechend dem jeweiligen Aufnahmebereich Interaktionsumgebungs- Aufnahmen A der Interaktionsumgebung U bereitgestellt. Die Anzeigeeinheit 2, die Interaktionselemente 3a, 3b sowie die beiden ersten Bildaufnahmeeinheiten 5a, 5b stehen in Datenkommunikation mit der Steuer- und Verarbeitungseinheit 4. Dies kann beispielsweise über eine Kabel-, Funk- oder WLAN-Verbindung erzielt werden.

Um ein möglichst realistisches Umgebungsbild B, beispielsweise ein virtuelles Umgebungsbild einer Straßenkreuzung, bereitzustellen, das den Blickwinkel aus der Position der Person 1 in der Interaktionsumgebung U entspricht, ermittelt die Steuer- und Verarbeitungseinheit 4 zunächst die Position der Person 1 . Dies kann mit Hilfe zumindest einer der ersten Bildaufnahmeeinheit 5a, 5b geschehen, die, z.B. anhand von bestimmten Referenzpunkten im Raum, eine relative Position berechnen können, was als Inside-Out Tracking bezeichnet wird. Alternativ kann die Position der Person 1 z.B. anhand einer externen Einheit, bspw. einer weiteren Bildaufnahmeeinheit oder einem Sendegerät für bspw. Infrarotlicht, das die absolute Position im Raum errechnen kann.

Anschließend wird eine Bildmaske für die Erstellung des Anzeigebilds C, das von der Anzeigeeinheit 2 angezeigt werden soll, bereitgestellt. Dazu kann beispielsweise zumindest ein Abstandssensor z.B. an der Person 1 oder relativ zu ihr angeordnet sein der den Abstand der Person 1 zur Interaktionsumgebung U, beispielsweise zu einem der Interaktionselemente 3a, 3b im Cockpit, misst und an die Steuer- und Verarbeitungseinheit 4 übermittelt. Im ersten Ausführungsbeispiel ist ein derartiger Abstandssensor in der Anzeigeeinheit 2 integriert. Alternativ dazu kann der Abstandssensor anderweitig z.B. an der Kleidung der Person 1 befestigt sein, oder beispielsweise mittels eines Fixierungsgurts. Alternativ dazu kann sich ein derartiger Abstandssensor auch in der näheren Umgebung der Person befinden bzw. neben oder über der Person 1 in der Interaktionsumgebung U an einer Haltevorrichtung montiert sein.

Sind wie im ersten Ausführungsbeispiel zwei erste Bildaufnahmeeinheiten 5a, 5b vorhanden, kann alternativ dazu die Steuer- und Verarbeitungseinheit 4 auch anhand der von den ersten Bildaufnahmeeinheit 5a, 5b breitgestellten Interaktionsumgebungs- Aufnahmen A diese Interaktionsumgebungs-Abstandsinformationen ermitteln. Dazu kann beispielsweise eine Stereoüberlagerung der von den beiden ersten Bildaufnahmeeinheiten 5a, 5b bereitgestellten RGB-Bilddaten der Interaktionsumgebungs-Aufnahmen A durchgeführt werden.

Die Steuer- und Verarbeitungseinheit 4 stellt nun die Position der Person 1 in der Interaktionsumgebung U fest und ordnet die Interaktionsumgebungs- Abstandsinformationen den einzelnen Bildbereichen der Interaktionsumgebungs- Aufnahme A zu.

Zusätzlich oder alternativ dazu ist es möglich, dass die Steuer- und Verarbeitungseinheit 4 positionsweise, d.h. beispielsweise pixelweise, zumindest einen Bildparameterwert der einzelnen Bildbereiche der zumindest einen Interaktionsumgebungsaufnahme A ermittelt. Derartige Bildparameterwerte sind beispielsweise Bildschärfewert, Helligkeitswert, Kontrastwert oder ein Farbwert.

Diese Zuordnung von Abstandsinformationen und/oder von Bildparameterwerten zu Bildbereichen der Interaktionsumgebungs-Aufnahme A bildet die Grundlage für die Erstellung einer Bildmaske, die für die Erstellung des Anzeigebilds C verwendet wird. Die Bildmaske wird dabei derart erstellt, dass das in der zumindest einen Interaktionsumgebungs-Aufnahme A enthaltene Abbild der einzelnen Interaktionselemente 3a, 3b im Anzeigebild C dargestellt wird.

Einzelne Positionen auf der Interaktionsumgebungs-Aufnahme A, dem Umgebungsbild B, der Bildmaske und dem Anzeigebild C sind einander so zugeordnet, dass die Interaktionsumgebungs-Aufnahme A und das Umgebungsbild B überlagert ein Anzeigebild C ergeben, dass bei Darstellung durch die Anzeigeeinheit 2 im Blickmittelpunkt der Anzeigeeinheit 2 scharf, also nicht verschwommen, ist und keine Doppelbilder in diesem Bereich sichtbar sind. Dazu können die Aufnahmen z.B. der virtuellen und realen Umgebung, d.h. die Interaktionsumgebungs-Aufnahme A und das Umgebungsbild B und der Bildmaske B vorteilhafterweise gleich groß sein, sodass die Zuordnung bzw. Positionierung der einzelnen Bildbereiche bzw. Pixel zueinander besonders einfach ist. Bei beliebiger, auch verschiedener Größe der Interaktionsumgebungs-Aufnahme A, des Umgebungsbilds B und der Bildmaske B, kann die Zuordnung deren einzelner Bildbereiche bzw. Pixel zumindest dahingehend, festgelegt werden, dass der Bildmittelpunkt der Aufnahmen bzw. der Bildmaske die gleiche Position „belegt“ und daraus die weiteren Positionen errechnet werden können. Gegebenenfalls kann die Steuer- und Verarbeitungseinheit 4 auch noch zusätzlich eine entsprechende Entzerrung und/oder weiterführende Bilddatenverarbeitung vornehmen.

Die Bildmaske dient also der Festlegung, welche Bildbereiche der Interaktionsumgebungs-Aufnahme A und welche Bereiche eines bereitgestellten Umgebungsbilds B im Anzeigebild C, das der Person 1 von der Anzeigeeinheit 2 angezeigt wird, dargestellt werden.

Vereinfacht gesprochen, gibt es also nach Anwendung der Bildmaske Bildpunkte bzw. Bildbereiche, in der Interaktionsumgebungs-Aufnahme A bzw. dem virtuellen oder realen Umgebungsbild B, die von dieser Bildmaske eingeschlossen sind bzw. zu der Menge der durch die Bildmaske definierten Bildpunkte bzw. Bildbereiche zählen und daher für die Person 1 sichtbar sind, und Bildpunkte bzw. Bildbereiche, die von der Bildmaske ausgeschlossen werden und daher nicht für die Person 1 sichtbar sind.

Dabei kann die Bildmaske optional auch zumindest teilweise eine vorgegebene Transparenz aufweisen, was dazu führt, dass von der Bildmaske eingeschlossene Bildpunkte bzw. Bildbereiche mit einer vorgegebenen Gewichtung in das Anzeigebild C einfließen.

Dabei kann die Bildmaske, beispielsweise durch Prüfung, ob der im jeweiligen Bildbereich der Interaktionsumgebungs-Aufnahme A abgebildete Gegenstandsbereich der Interaktionsumgebung U einen vorgegebenen Interaktionsumgebungs-Abstandswert überschreitet, erstellt werden. Ein derartiger Interaktionsumgebungs- Abstandsschwellenwert kann beispielsweise vor der Durchführung der Simulation in der Steuer- und Verarbeitungseinheit 4 hinterlegt werden. Wird wie im ersten Ausführungsbeispiel ein derartiger Interaktionsumgebungs- Abstandsschwellenwert für die Erstellung der Bildmaske herangezogen, so wird überprüft, ob die einzelnen Bildbereiche der Interaktionsumgebungs-Aufnahme A weiter als beispielsweise 50 cm von der Person 1 entfernt sind. Die Bildmaske wird in diesem Fall so bereitgestellt, dass diejenigen Bildbereiche der Interaktionsumgebungs-Aufnahme A, die weiter als 50 cm von der Person 1 entfernt sind, nicht im Anzeigebild C dargestellt werden, während diejenigen Bildbereiche , die weniger als 50 cm entfernt sind, dargestellt werden. So sind im Anzeigebild C (siehe Fig. 4) die Abbilder 3a’ des Interaktionselements 3a bzw. des Lenkrads, sowie die Abbilder des Armaturenbretts, der Rückspiegel, der Seitenspiegel, sowie Teile des Autodachs und der A-Säule der Interaktionsumgebung U bzw. des Cockpits, sowie auch die Abbilder der Hände der Person 1 sichtbar.

Zusätzlich oder alternativ dazu kann für die Erstellung der Bildmaske überprüft werden, ob der jeweilige Bildbereich der Interaktionsumgebungs-Aufnahme A zumindest einen für die Interaktionsumgebung U vorgegebenen Bildparameterschwellenwert überschreitet. Ein derartiger Bildparameterschwellenwert kann beispielsweise ein Bildschärfe-, Helligkeits-, Kontrast- oder Farbschwellenwert sein und vor der Durchführung der Simulation in der Steuer- und Verarbeitungseinheit 4 hinterlegt werden.

Wenn beispielsweise ein Bildschärfeschwellenwert bei der Erstellung der Bildmaske verwendet wird, so kann überprüft werden, ob ein jeweiliger Bildbereich scharf dargestellt wird, sodass nur scharf abgebildete Bereiche der Interaktionsumgebung U, die sich beispielsweise nahe an der Person 1 befinden, im Anzeigebild C enthalten sind, während unscharfe Bereiche, die weiter entfernt sind, nicht im Anzeigebild C enthalten sind.

Optional ist es auch möglich, dass beispielsweise ein Farbschwellenwert bei der Erstellung der Bildmaske verwendet wird, sodass beispielsweise Objekte, die eine bestimmte Farbe aufweisen, nicht im Anzeigebild C enthalten sind, oder dass gerade Objekte, die eine bestimmte Farbe aufweisen, im Anzeigebild C dargestellt werden. Optional ist es auch möglich, dass zusätzlich oder alternativ dazu ein Helligkeits- und/oder Kontrastwellenwert bei der Erstellung der Bildmaske verwendet wird, sodass beispielsweise Objekte, die eine bestimmte Helligkeit bzw. einen vorgegebenen Kontrast aufweisen, nicht im Anzeigebild C enthalten sind.

Um nun im ersten Ausführungsbeispiel eine möglichst realistische Verkehrssituation für die Person 1 im Rahmen der Simulation anzuzeigen, wird von der Steuer- und Verarbeitungseinheit 4, abgestimmt auf die Position der Person 1 , ein Umgebungsbild B, wie dies schematisch in Fig. 3 dargestellt ist, vorgegeben. Im ersten Ausführungsbeispiel handelt es sich bei diesem Umgebungsbild B um ein von der Steuer- und

Verarbeitungseinheit 4 bereitgestelltes Abbild einer virtuellen Umgebung. Beim

Umgebungsbild B in Fig. 3 handelt es sich beispielsweise um einen virtuellen

Straßenverlauf in einem Siedlungsgebiet. Alternativ dazu kann auch ein Umgebungsbild B vorgegeben werden, das aus einer realen Umgebung stammt.

Für die Erstellung des Anzeigebilds C wird prinzipiell zumindest eine

Interaktionsumgebungs-Aufnahme A mit dem bereitgestellten Umgebungsbild B unter Verwendung der Bildmaske pixelweise zu einem einzigen Bild überlagert. Stehen wie im ersten Ausführungsbeispiel zwei Interaktionsumgebungs-Aufnahmen A von zwei ersten Bildaufnahmeeinheiten 5a, 5b zur Verfügung, können diese z.B. mit einer gemeinsamen Bildmaske oder zwei separaten Bildmasken und zwei Umgebungsbildern B so übereinander gelegt, dass zwei Anzeigebilder C, nämlich eines für jedes Auge des Nutzers, bereitgestellt werden. D.h. die Zusammenführung der jeweiligen Interaktionsumgebungs-Aufnahme A mit dem jeweiligen Umgebungsbild B zu einem Anzeigebild C unter Anwendung der Bildmaske kann für jede Bildaufnahmeeinheit 5a, 5b separat durchgeführt werden. Alternativ dazu ist es auch möglich, dass eine einzige gemeinsame Interaktionsumgebungs-Aufnahme A aus den Aufnahmen beider ersten Bildaufnahmeeinheiten 5a, 5b erstellt und weiterverarbeitet wird.

Da das Umgebungsbild B in Abhängigkeit von der Position der Person 1 in der Interaktionsumgebung U ermittelt wird und mit einem Ausschnitt aus der Interaktionsumgebungs-Aufnahme A überblendet wird, ergibt sich für die Person 1 ein besonders realistisches Anzeigebild C, wie dies in Fig. 4 dargestellt ist. Sind wie im ersten Ausführungsbeispiel auch die Hände der Person 1 und Interaktionselemente 3a, 3b wie das Lenkrad der Interaktionsumgebung U sichtbar, hilft dies der Person 1 bei der räumlichen Orientierung während der Simulation und gibt der Person 1 die Möglichkeit, gezielt auf die von der Anzeigeeinheit 2 dargestellte Verkehrssituation zu reagieren. Somit wird im ersten Ausführungsbeispiel nicht nur eine realistische Simulation einer Verkehrssituation erzielt, sondern auch ein realistisches räumliches Empfinden gewährleistet, was verhindert, dass sich die Person 1 während der Simulation unwohl fühlt.

Anhand der Fig. 5 bis 7 wird ein zweites Ausführungsbeispiel eines erfindungsgemäßen Verfahrens bzw. einer erfindungsgemäßen Simulationsanordnung beschrieben. Fig. 5 zeigt ein zweites Ausführungsbeispiel einer Interaktionsumgebung U, die beispielsweise zur Simulation der Bedienung eines Krans aus einer Kranführerkabine dient.

Wie im ersten Ausführungsbeispiel sind in der Interaktionsumgebung U Interaktionselemente 3a, 3d angeordnet, bei denen es sich um Schalthebel und Bedienungsknöpfe, wie sie für die Bedienung eines Krans erforderlich sind, handelt. Die Simulationsanordnung umfasst weiters eine Sitzgelegenheit 6, auf der eine Person 1 schematisch dargestellt ist. Die Person 1 trägt eine Anzeigeeinheit 2, bei der es sich im zweiten Ausführungsbeispiel um eine 3D-Brille handelt, die empfangene Anzeigebilder C für die Person 1 darstellt. Auf der Anzeigeeinheit 2 ist auf Höhe der Augen der Person eine einzelne erste Bildaufnahmeeinheit 5 angeordnet. Bei der ersten Bildaufnahmeeinheit 5 handelt es sich im zweiten Ausführungsbeispiel um eine Stereokamera. Weiters umfasst die Simulationsanordnung im zweiten Ausführungsbeispiel eine Steuer- und Verarbeitungseinheit 4. Diese steht wie im ersten Ausführungsbeispiel mit der Anzeigeeinheit 2 der ersten Bildaufnahmeeinheit 5 sowie den Interaktionselementen 3a, ..., 3d in Datenkommunikation.

Im zweiten Ausführungsbeispiel umfasst die Simulationsanordnung für die Bereitstellung des Umgebungsbild C zusätzlich eine zweite, in einer räumlich von der Interaktionsumgebung U getrennten Simulationsumgebung S angeordnete, Bildaufnahmeeinheit 51. Die zweite Bildaufnahmeeinheit 51 ist dazu ausgebildet, zumindest eine Simulationsumgebungs-Aufnahme zu erstellen, in der zumindest Teile der Simulationsumgebung S abgebildet sind. Da es sich im zweiten Ausführungsbeispiel bei der zweiten Bildaufnahmeeinheit 51 um eine Stereokamera handelt, werden zwei Simulationsumgebungsaufnahmen bereitgestellt, die zu einem Umgebungsbild B der Simulationsumgebung S zusammengeführt werden. Die Steuer- und Verarbeitungseinheit 4 steht auch mit der zweiten Bildaufnahmeeinheit 51 in Datenkommunikation.

Wie in Fig. 6 ersichtlich ist, ist die zweite Bildaufnahmeeinheit 51 , die für die Bereitstellung des Umgebungsbilds B Simulationsumgebungs-Aufnahmen liefert, real in einer Kranführerkabine Z eines Krans X an einer Position P, angeordnet. Alternativ dazu ist auch möglich, die zweite Bildaufnahmeeinheit 51 an einer beliebigen anderen Position des Krans, beispielsweise an der Position P ₂ direkt über der anzuhebenden Last, zu platzieren.

Fig. 7 zeigt eine schematische Detailansicht der Anordnung der zweiten Bildaufnahmeeinheit 51 an der Position Pi in der Simulationsumgebung S. Die zweite Bildaufnahmeeinheit 51 ist in Fig. 7 an einer Rotations- und Schwenkvorrichtung in einer Höhe über der Sitzgelegenheit für einen Kranführer angeordnet, die etwa der Höhe des Kopfes einer auf der Sitzgelegenheit sitzenden Person 1 entspricht. Die zweite Bildaufnahmeeinheit 51 ist derart ausgerichtet, dass der Aufnahmebereich der Blickrichtung einer auf der Sitzgelegenheit sitzenden Person 1 aus der Kranführerkabine Z hinaus entspricht. Die von der zweiten Bildaufnahmeeinheit 2 erstellte Simulationsumgebungs-Aufnahme enthält daher Abbilder derjenigen Gegenstände und Umgebungsbereiche, die außerhalb der Kranführerkabine Z für eine Person 1 sichtbar sind.

Beim Ausführungsbeispiel der Simulationsumgebung S in Fig. 6 wären dies beispielsweise ein Blick auf das Hubseil und die Tragmittel oder Lastaufnahmemittel des Krans sowie gegebenenfalls eine daran befestigte Last.

Die Steuer- und Verarbeitungseinheit 4 der Simulationsanordnung steht mit der zweiten Bildaufnahmeeinheit 51 ebenfalls in Datenkommunikation. Dies kann beispielsweise über eine Funk- oder WLAN-Verbindung erzielt werden. Für die Erstellung des Anzeigebilds C ermittelt die Steuer- und Verarbeitungseinheit 4 nicht nur wie im ersten Ausführungsbeispiel die Position der Person 1 in der Interaktionsumgebung U, sondern auch die Position der zweiten Bildaufnahmeeinheit 51 in der Simulationsumgebung S. Die Ermittlung der Position der zweiten Bildaufnahmeeinheit 51 kann dabei, wie im ersten Ausführungsbeispiel für die Position der Person 1 in der Interaktionsumgebung U beschrieben, erfolgen.

Die Steuer- und Verarbeitungseinheit 4 steuert die zweite Bildaufnahmeeinheit 51 zur Bereitstellung eines Umgebungsbilds B an. Abhängig von der Position der Person 1 in der Interaktionsumgebung U und der Position der zweiten Bildaufnahmeeinheit 51 in der Simulationsumgebung S ist zumindest eine Simulationsumgebungs-Aufnahme derart bereitzustellen, dass die Aufnahmebereiche der ersten Bildaufnahmeeinheit 5 und der zweiten Bildaufnahmeeinheit 51 miteinander gekoppelt sind. Gekoppelt bedeutet in diesem Zusammenhang, dass die Ausrichtungen der ersten Bildaufnahmeeinheit 5 und der zweiten Bildaufnahmeeinheit 51 gleich sind, sodass beispielsweise wenn die Person 1 in der Interaktionsumgebung U ihren Kopf dreht, eine entsprechende Drehung auch von der zweiten Bildaufnahmeeinheit 51 in der Simulationsumgebung S ausgeführt wird.

Zusätzlich zur Interaktionsumgebungs-Abstandsinformation zwischen der Person 1 und der Interaktionsumgebung U wird eine Simulationsumgebungs-Abstandsinformation zwischen der zweiten Bildaufnahmeeinheit 51 und der Simulationsumgebung S ermittelt. Dies kann wie im ersten Ausführungsbeispiel über einen Abstandssensor erfolgen, der an der zweiten Bildaufnahmeeinheit 51 angeordnet ist oder rechnerisch von der Steuer- und Verarbeitungseinheit 4 anhand der Simulationsumgebungs-Aufnahme ermittelt werden.

Wie im ersten Ausführungsbeispiel können für die Erstellung der Bildmaske diese Simulationsumgebungs-Abstandsinformationen den einzelnen Bildbereichen der Simulationsumgebungs-Aufnahme zugeordnet werden. Zusätzlich oder alternativ dazu ist es wie auch im ersten Ausführungsbeispiel möglich, dass die Steuer- und Verarbeitungseinheit 4 positionsweise beispielsweise pixelweise einen Bildparameterwert der einzelnen Bildbereiche der zumindest einen Simulationsumgebungs-Aufnahme für die Erstellung der Bildmaske ermittelt.

Die Bildmaske wird dabei, wie im ersten Ausführungsbeispiel beschrieben, derart bereitgestellt, dass einzelne Positionen auf der zumindest einen Interaktionsumgebungs- Aufnahme U, die die erste Bildaufnahmeeinheit 5 liefert, auf der zumindest einen Simulationsumgebungs-Aufnahme, die die zweite Bildaufnahmeeinheit 51 liefert, auf der Bildmaske und auf dem Anzeigebild C einander zugeordnet sind.

Für die Bereitstellung der Bildmaske wird zusätzlich zu den Schritten im ersten Ausführungsbeispiel beispielsweise geprüft, ob der im jeweiligen Bildbereich der Simulationsumgebungs-Aufnahme abgebildete Gegenstandsbereich der Simulationsumgebung S einen vorgegebenen Simulationsumgebungs-Abstandswert überschreitet und zusätzlich oder alternativ dazu, ob der jeweilige Bildbereich der Simulationsumgebungs-Aufnahme einen für die Simulationsumgebung S vorgegebenen Bildparameter-Schwellenwert überschreitet.

Für die Erstellung des Anzeigebilds C, das von der Anzeigeeinheit 2 für die Person 1 angezeigt wird, werden im zweiten Ausführungsbeispiel die zumindest eine Interaktionsumgebungs-Aufnahme A und das bereitgestellte Umgebungsbild B, das aus der Simulationsumgebung S stammt, unter Verwendung der Bildmaske pixelweise überlagert.

Im zweiten Ausführungsbeispiel wird, beispielsweise wie im ersten Ausführungsbeispiel, ein Interaktionsumgebungs-Abstandsschwellenwert vorgegeben und für die Erstellung der Bildmaske derjenige Bereich der Interaktionsumgebung U mit den Interaktionselementen 3a, ... 3d sowie den Händen der Person 1 im Anzeigebild C angezeigt, weil die Bildbereiche, die diese Elemente enthalten, einen für die Interaktionsumgebung U vorgegebenen Abstandsschwellenwert unterschreiten.

Im zweiten Ausführungsbeispiel werden diejenigen Bildbereiche aus dem Umgebungsbild B aus der Simulationsumgebung S für die Ergänzung zu einem Anzeigebild C herangezogen, in denen diejenigen Bereiche der Simulationsumgebung S abgebildet sind, die einen für die Simulationsumgebung S vorgegebenen Abstandsschwellenwert überschreiten. Dieser für die Simulationsumgebung S vorgegebene Abstandsschwellenwert kann dabei an den für die Interaktionsumgebung U vorgegebenen Abstandsschwellenwert angepasst sein, sodass im Anzeigebild C diejenigen Bereiche aus der Simulationsumgebung S eingeblendet werden, die beispielsweise weiter als 50 cm von der Person 1 entfernt sind. So sind im zweiten Ausführungsbeispiel im Anzeigebild C die Interaktionselemente 3a, ..., 3d, d.h. die Steuerhebel und -knöpfe aus der Interaktionsumgebung U, enthalten, während die Person 1 den Eindruck erhält, aus der Kranführerkabine Z hinaus zu blicken und den Kran X aus der Kranführerkabine Z aus zu steuern.

Bei allen Ausführungsformen einer erfindungsgemäßen Simulationsanordnung bzw. eines erfindungsgemäßen Verfahrens können mehrere verschiedenartige, beispielsweise auf unterschiedlichen physikalischen Messprinzipien beruhende oder mit unterschiedlichen Sensitivitäten versehene Abstandssensoren, wie Time-of-Flight-Sensoren, Sensoren für Laserabstandsmessung, Ultraschallsensoren, beispielsweise an oder relativ zur Person 1 und/oder der zweiten Bildaufnahme 51 angeordnet sein. Dabei kann beispielsweise jeder einzelne der Sensoren ein Abstandsbild der Interaktionsumgebung U bzw. der Simulationsumgebung S erstellen.

In diesem Fall kann die Steuer- und Verarbeitungseinheit 4 nach vorgegebenen Kriterien beispielsweise abhängig von der Tageszeit, der Sonneneinstrahlung der Umgebungsbeleuchtung, der Oberflächenbeschaffenheit, Struktur und Reflektivität der aufgenommenen Gegenstände etc., denjenigen Abstandssensor für die Bereitstellung der Abstandsinformation für die Erstellung der Bildmaske auswählen, der in der aktuellen Situation die zuverlässigsten Abstandsinformationen liefert.

In diesem Fall ist es auch möglich, dass die von mehreren Sensoren bereitgestellten Abstandsinformationen als Grundlage für die Erstellung einer Gesamtbildmaske herangezogen werden. Für die Erstellung einer derartigen Gesamtbildmaske werden die Abstandsinformationen z.B. durch arithmetische Funktionen oder/und Computer- bzw elektronikgestützte Methoden wie Kalman-Filter, Neuronale Netzwerke, Support Vector Machines oder Berechnung eines gewichteten Mittels verarbeitet und den einzelnen Bildbereichen der Interaktions- und/oder Simulationsumgebungs-Aufnahmen, insbesondere pixelweise, zugewiesen.

Wie zuvor bereits erwähnt, können die Bildparameterwerte, die erfindungsgemäß für die Erstellung der Bildmaske herangezogen werden können, beispielsweise Bildschärfe, Helligkeit, der Kontrast oder ein Farbwert sein. Für die Erstellung der Bildmaske und um rechnerisch besonders einfach und zeitsparend zu ermitteln, ob bzw. in welchem Ausmaß die zumindest eine Interaktionsumgebungs-Aufnahme A und/oder das bereitgestellte Umgebungsbild B für die Erstellung des Anzeigebilds C herangezogen werden, kann ein Schwellenwertvergleich durchgeführt werden. Dies trifft auch zu, wenn Abstandsinformationen und ein Abstandsschwellenwert für die Erstellung der Bildmaske verwendet werden.

Das Ermitteln eines Bildparameterwerts und die Vorgabe eines Bildparameter- Schwellenwerts sind besonders vorteilhaft, wenn Objekte in der Interaktionsumgebungs- Aufnahme A bzw. der Simulationsumgebungs-Aufnahme ermittelt werden sollen, deren Oberfläche eine vorgegebene oberflächlich erkennbare Eigenschaft wie beispielsweise Helligkeit oder Farbe aufweisen. Die im Anzeigebild C anzuzeigenden Bildbereiche können in diesem Fall vorteilhaft festgelegt werden, indem diejenigen Objekte entweder dargestellt oder ausgeschlossen werden, die diesen vorgegebenen Bildparameterkriterien entsprechen.

Für die Untersuchung, ob ein Bildbereich der zumindest einen Interaktionsumgebungs- Aufnahme A bzw. der Simulationsumgebungs-Aufnahme einen jeweils vorgegebenen Abstandsschwellenwert überschreitet, kann auch ein Hüllobjekt in Bezug auf die Interaktionsumgebung U und/oder die Simulationsumgebung S festgelegt werden. Ein derartiges Hüllobjekt kann beispielsweise mit Hilfe von bool’schen Mengenoperationen festgelegt werden. Hierbei wird z.B. eine Funktion definiert, die auf jede Position bzw. auf jeden Bildwert einer Aufnahme oder Umgebung derartig angewandt wird, dass für jeden Wert bzw. jede Position ein Ergebnis vorliegt, welches eine Aussage über die Anzeige und Darstellung und Darstellungsform erlaubt.

Ein für die Person 1 besonders realistisches Anzeigebild C, das weitestgehend frei von unerwünschten Bildkanten und Übergängen ist, kann bereitgestellt werden, wenn die Steuer- und Verarbeitungseinheit 4 das Anzeigebild C beispielsweise unter Verwendung von Alpha Biending erstellt. Dabei handelt es sich um einen Vorgang der Rasterung, welche zwei Farben oder Bilder derart überlagert, dass Teile der Bilder derart übereinander gelegt und gemischt werden, sodass der Eindruck entsteht, dass Teile des einen Bildes transparent wären und das jeweils andere Bild durchscheinen lassen. Ein Beispiel dafür ist der Porter-Duff Algorithmus.

Dabei wird die Transparenz der Bildpixel innerhalb einer Überblendungszone, die in einem vorgegebenen Abstandsbereich um den Interaktionsumgebungs- Abstandsschwellenwert bzw. den Simulationsumgebungs-Abstandsschwellenwert beispielsweise nach einer vorgegebenen linearen oder exponentiellen Funktion vorgegeben. Direkt an der Nahtstelle, an der die Interaktionsumgebungs-Aufnahme A bzw. das Umgebungsbild B aus der Simulationsumgebung S zu einem Anzeigebild C zusammengeführt werden, kann die Transparenz beider Aufnahmen beispielsweise gleich eingestellt werden.

In Bildbereichen des Anzeigebilds C, die räumlich näher an der Person 1 liegende Umgebungsbereiche abbilden, kann die Transparenz z.B. der Interaktionsumgebungs- Aufnahme A geringer gewählt sein, als die Transparenz des Umgebungsbilds B aus der Simulationsumgebung S. In denjenigen Bildbereichen, die räumlich weiter von der Person 1 entfernte Umgebungsbereiche abbilden, kann die Transparenz des Umgebungsbilds B aus der Simulationsumgebung S geringer gewählt sein, als die der Interaktionsumgebungs-Aufnahme A.

Zusätzlich kann die Steuer- und Verarbeitungseinheit 4 auch noch eine Glättung der Bildmaske im Überlagerungsbereich der Interaktionsumgebungs-Aufnahme A und des Umgebungsbilds B vornehmen, sodass die Qualität des Anzeigebilds C weiter erhöht wird.