Augmented-Reality-System

Die Erfindung betrifft ein Augmented-Reality-System (AR-System) mit einem Headset und einem Steuerungselement sowie ein Verfahren zum Betrieb eines derartigen Augmented- Reality-Systems. Die Erfindung betrifft zudem ein Steuerungselement eines Augmented- Reality-Systems.

Ein derartiges Augmented-Reality-System mit einem Headset und einem Steuerungselement offenbart die US 2017/0357333 A1 (incorporated by reference in its entirity). Das in der US 2017/0357333 A1 offenbarte Steuerungselement ist stiftförmig und weist ein längliches Mittelteil auf, an dessen Enden optische Marker vorgesehen sind. Darüber hinaus weist das Steuerungselement eine Status-LED und einen Schalter auf.

Die US 2015/0084855 A1 offenbart ein Headset (head mounted display (HMD)) mit dem Gesten eines Benutzer erkannt werden können. Die US 2006/0227151 A1 offenbart ein System mittels dessen ein virtuelles Objekt mit einem realen Video überlagert werden kann, oder ein realer Raum, in dem ein Arbeiter tätig ist. Ein weiteres AR-System offenbart die US 2007/0184422 A1.

Die DE 102015215613 A1 offenbart ein Verfahren zum Erzeugen eines Augmented-Reality- Bildes, wobei ein reales Bild eines realen Objektes mittels einer Kamera aufgenommen wird, wobei aus dem realen Bild des realen Objektes ein Kantenbild des realen Objektes erzeugt wird, wobei die Position eines virtuellen Bildbestandteils zu dem mittels der Kamera aufgenommenen realen Bild mittels des Kantenbildes bestimmt wird, und wobei der virtuelle Bildbestandteil mit zumindest einem Teil des realen Bildes zu einem Augmented-Reality-Bild kombiniert (und vorteilhafterweise auf einem Display dargestellt) wird.

Es ist Aufgabe der Erfindung, ein eingangs genanntes AR-System zu verbessern bzw.

dessen Funktionalität zu erweitern.

Vorgenannte Aufgabe wird durch ein Steuerungselement, insbesondere ein stiftartiges/ längliches Steuerungselement, insbesondere ein Steuerungselement in Form eines Stiftes gelöst, wobei das Steuerungselement einen ersten Marker und einen zweiten Marker zur Bestimmung der Ausrichtung des Steuerungselementes sowie eine Lichtquelle zum emittieren eines Lichtstrahls umfasst. Das Steuerungselement kann zur Verfolgung bzw. Bestimmung seiner Orientierung auch einen Kreisel, insbesondere entsprechend der Lehre der US 2017/037333 A1 , umfassen. Darüber hinaus ist insbesondere vorgesehen, dass das Steuerungselement eine CPU sowie für die Stromversorgung einen Akku umfasst.

Es kann vorgesehen sein, dass der erste Marker von dem zweiten Marker zu unterscheiden ist. Es kann insbesondere vorgesehen sein, dass der lichtquellenseitige Marker als Ring ausgestaltet ist oder einen Ring umfasst. Der Lichtstrahl kann sichtbares Licht umfassen, der Lichtstrahl kann jedoch auch UV-Licht oder Infrarotlicht umfassen. Die Lichtquelle ist in vorteilhafter Ausgestaltung eine Diode bzw. eine Laserdiode. Der Lichtstrahl kann

individualisiert sein, etwa durch Pulse und/oder eine Codierung. Auf diese Weise kann, wenn die Codierung oder Pulse dem Headset mitgeteilt werden bzw. dem Headset bekannt sind, dieser in besonders geeigneter Weise ein mittels des Lichtstrahls markiertes Objekt identifizieren. In einer weiteren Ausgestaltung der Erfindung weist das Steuerungselement einen Entfernungsmesser auf bzw. ist die die Lichtquelle Teil eines Entfernungsmessers.

In weiterhin vorteilhafter Ausgestaltung der Erfindung weist das Steuerungselement eine Kontur, eine Struktur oder eine Textur oder Ähnliches auf, die eine haptische bzw. manuelle Erkennung der Ausrichtung des Steuerungselementes erlaubt bzw. ermöglicht. In weiterhin vorteilhafter Ausgestaltung der Erfindung weist das Steuerungselement eine Schnittstelle zu einem Headset auf. Die Schnittstelle ist in vorteilhafter Ausgestaltung eine drahtlose Schnitt stelle bzw. eine Schnittstelle für eine drahtlose Kommunikation. In weiterhin vorteilhafter Ausgestaltung der Erfindung weist das Steuerungselement einen oder mehrere

Bedienelemente auf. Diese dienen insbesondere dem Anstellen der Lichtquelle und/oder dem Auslösen des Erkennens ein mittels des Lichtstrahls markierten Bereichs.

Vorgenannte Aufgabe wird zudem durch ein Augmented-Reality-System mit einem Headset gelöst, das ein transparentes Display (Durchsichtdisplay) umfasst, mittels dessen ein virtueller Bildbestandteil darstellbar ist, wobei das Headset eine Kameraanordnung zur Aufnahme eines Bildes der Umgebung des Headsets sowie ein Trackingsystem zur

Bestimmung der Position (und Ausrichtung) des virtuellen Bildbestandteils auf dem transparenten Display in Abhängigkeit des Bildes der realen Umgebung aufweist, und wobei das Augmented-Reality-System ein vorgenanntes Steuerungselement aufweist. Ein Headset im Sinne dieser Offenbarung ist insbesondere auch ein head mounted display (HMD) bzw. eine Datenbrille oder eine AR-Brille. Ein geeignetes Headset im Sinne dieser Offenbarung ist beispielsweise die Hololens ^® von Microsoft ^® . Eine Kameraanordnung im Sinne dieser Offenbarung ist insbesondere eine Stereokameraanordnung mit zumindest zwei Kameras. Ein Trackingsystem im Sinne dieser Offenbarung ist insbesondere ein markerloses

Trackingsystem. Es kann vorgesehen sein, dass das Augmented-Reality-System zumindest zwei Steuerungselemente und/oder zumindest zwei Headsets umfasst. Diese können

beispielsweise eine zusammenwirkende Gruppe (mit zwei Benutzern) bilden.

In weiterhin vorteilhafter Ausgestaltung der Erfindung sind das Headset und das Steuerungs element datentechnisch mittels eines, insbesondere drahtlosen, Kommunikationssystems verbunden.

In weiterhin vorteilhafter Ausgestaltung der Erfindung weist das Headset oder das

Augmented-Reality-System ein lokales Positionsbestimmungsmodul zur Erkennung bzw. zur Bestimmung der Position eines mittels des Lichtstrahls markierten Punktes oder Bereiches der Umgebung des Headsets auf.

Vorgenannte Aufgabe wird zudem durch ein Verfahren zum Betrieb eines vorgenannten Augmented-Reality-Systems gelöst, wobei ein Punkt oder ein Bereich der Umgebung des Augmented-Reality-Systems im Sichtfeld des transparenten Displays mittels des Lichtstrahls markiert wird.

In (weiterhin) vorteilhafter Ausgestaltung der Erfindung wird dem markierten Punkt oder Bereich eine lokale Position und/oder eine globale Position zugeordnet. In weiterhin vorteilhafter Ausgestaltung der Erfindung wird der lokalen Position oder der globalen Position eine Funktion zugeordnet. In weiterhin vorteilhafter Ausgestaltung der Erfindung wird der markierte Bereich vermessen und/oder separiert.

Weitere Vorteile und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen. Dabei zeigen:

Fig. 1 ein Ausführungsbeispiel Fig. 1 zeigt ein Augmented-Reality-System mit einem

Headset und einem datentechnisch mit dem Headset gekoppelten stiftförmigen Steuerungselement,

Fig. 2 ein weiteres Ausführungsbeispiel eines Steuerungselementes für ein Augmented- Reality-System gemäß Fig. 1 ,

Fig. 3 ein weiteres Ausführungsbeispiel eines Steuerungselementes für ein Augmented- Reality-System gemäß Fig. 1 ,

Fig. 4 ein weiteres Ausführungsbeispiel eines Steuerungselementes für ein Augmented- Reality-System gemäß Fig. 1 ,

Fig. 5 das Augmented-Reality-System gemäß Fig. 1 in einer beispielhaften

Prinzipdarstellung, Fig. 6 eine Abwandlung des Augmented-Reality-Systems gemäß Fig. 5 in einer beispielhaften Prinzipdarstellung,

Fig. 7 ein beispielhaftes Anwendungsszenario für das Augmented-Reality-System,

Fig. 8 ein weiteres beispielhaftes Anwendungsszenario für ein vorgenanntes Augmented- Reality-System,

Fig. 9 ein weiteres beispielhaftes Anwendungsszenario für ein vorgenanntes vorgenanntes Augmented-Reality-System und

Fig. 10 ein weiteres beispielhaftes Anwendungsszenario für ein vorgenanntes Augmented- Reality-System.

Fig. 1 zeigt ein Augmented-Reality-System 1 mit einem (von einem Benutzer getragenen) Headset 10, und einem datentechnisch mit dem Headset 10 gekoppelten stiftförmigen Steuerungselement 20. Das Headset 10 umfasst eine Kameraanordnung KAM (vgl. Fig. 5 und Fig. 6) mit zumindest zwei Kameras KAMI und KAM2 sowie ein transparentes Display 11 (Durchsichtdisplay). Die dem Display 11 zugeordnete bzw. in Bezug auf dieses ausgerichtete Kameraanordnung KAM dient der Aufnahme eines realen Bildes RB, der von einem Benutzer des Headsets 10 gesehenen Umgebung beziehungsweise eines

entsprechenden Objektes. Das von der Kameraanordnung KAM ausgegebene reale Bild RB ist Eingangssignal in ein markerloses Trackingsystem 12, das die Ausrichtung (Posi tion/Positionssignal) POS des realen Bildes RB bestimmt. Die Ausrichtung

(Position/Positionssignal) POS des realen Bildes RB ist Ausgangssignal des

Trackingsystems 12 und Eingangssignal in einen Szenengenerator 15.

Das Augmented-Reality-System umfasst zudem eine Datenbasis 14 mit virtuellen

Bildbestandteilen oder eine sonstige Quelle virtueller Bildbestandteile. Aus dieser Datenbasis 14 bzw. der sonstigen Quelle entnimmt der Szenengenerator 15 virtuelle Bildbestandteil VIRT, der an einer bestimmten Stelle positioniert wird, so dass er an dieser Stelle mittels des transparenten Displays anzeigbar ist. Die Überlagerung zwischen Realität und virtuellem Bildbestandteil erfolgt dabei im Auge des Benutzers.

Das Steuerungselement 20 umfasst einen Marker M1 und einen Marker M2 sowie eine Lichtquelle 21 zum Aussenden eines Lichtstrahls 211. Das Steuerungselement 20 umfasst weiterhin zwei Bedienelemente B1 und B2 zur Bedienung der Lichtquelle 21 bzw. zur Auslösung der Erkennung eines Punktes oder eines Bereichs, der mittels des Lichtstrahls 211 markiert ist.

Fig. 2, Fig. 3 und Fig. 4 zeigen alternative Ausgestaltungen des stiftförmigen Steuerungs elementes 20, die sich in Bezug auf die Marker von diesem unterscheiden. So umfasst das in Fig. 2 dargestellte stiftförmige Steuerungselement 201 zwei ringförmige Marker M1 und M2. In den beiden Ausführungsbeispielen gemäß Fig. 3 und Fig. 4 weisen die

entsprechenden stiftförmigen Steuerungselemente 202 und 203 unterscheidbare Marker auf, wobei der mit Bezugszeichen M21 bezeichnete Marker des stiftförmigen

Steuerungselementes 202 als Ring und der mit Bezugszeichen M22 bezeichnete Marker des stiftförmigen Steuerungselementes 202 als Doppelring ausgestaltet ist. Bei dem in Fig. 4 dargestellten stiftförmigen Steuerungselement 203 ist mit der mit Bezugszeichen M31 bezeichnete Marker als Kappe ausgestaltet und der mit Bezugszeichen M32 bezeichnete Marker als Ring.

Fig. 5 zeigt das Augmented-Reality-System 1 in einer Prinzipdarstellung. Dabei zeigt Fig. 5 den prinzipiellen Aufbau eines Ausführungsbeispiels des Steuerungselementes 20 sowie des Headsets 10. Das Steuerungselement 20 umfasst eine Lichtquellensteuerung 25 zur Steuerung der Lichtquelle 21 in Abhängigkeit einer Bedienung der Bedienelemente B1 und/oder B2. Dabei dient das Bedienelement B1 in beispielhafter Ausgestaltung dem Ein- und Ausschalten der Lichtquelle 21 und das Bedienelement B2 dem Auswählen einer Position, die mittels der Lichtquelle 21 bzw. dessen Lichtstrahl 211 angestrahlt wird.

Zwischen dem Steuerungselement 20 und dem Headset 10 kann eine Schnittstelle vorgesehen sein, über die Informationen über die Ansteuerung der Lichtquelle 21 mittels der Lichtquellensteuerung 25 einer Lichtstrahlerkennung 16 zugeführt wird. Dabei kann z.B. vorgesehen sein, dass eine bestimmte Codierung und/oder ein Pulsmuster von der

Lichtquellensteuerung 25 an die Lichtstrahlerkennung 16 übermittelt wird, damit diese den zur Markierung eines Objektes oder einer Position oder ähnlichem in der Umgebung erkennen kann, so dass ein lokales Positionserkennungsmodul 181 die mittels des

Lichtstrahls 211 markierte Position LPOS ermitteln kann.

Optional kann auch ein globales Positionserkennungsmodul 182 vorgesehen sein, das mit einem GPS oder einem ähnlichen Ortungssystem 19 zusammenwirkt, so dass die lokale Position LPOS in eine globale oder absolute Position GPOS, also eine Position in

Erdkoordinaten, umgewandelt werden kann.

Es kann auch ein Separationsmodul 183 vorgesehen sein, mittels dessen Ausschnitte aus dem realen Bild RB separiert werden, und zwar derart, dass ein Ausschnitt durch einen den Ausschnitt definierendes lokales Positionssignal LPOS markiert wird. Die Bedienung des lokalen Positionsidentifikationsmoduls 181 , des globalen Positionsidentifikationsmoduls 182 und des Separationsmoduls 183 erfolgt beispielsweise durch das Gestenerkennungsmodul 17, wobei die Gesten mittels einer Hand eines Benutzers oder mittels des Steuerungselementes 20 ausgeführt werden können. Das Gestenerkennungsmodul 17 wirkt mit dem Szenengenerator 15 bzw. dem Display 11 derart zusammen, dass mittels des Displays 11 z.B. Auswahloptionen, Menü, Listen, Menüstrukturen oder ähnliches dargestellt werden können, wobei mittels des Gestenerkennungsmoduls 17 bestimmte Einträge, die mittels des Displays 11 dargestellt werden, ausgewählt werden und/oder angewählt werden.

Fig. 6 zeigt eine Abwandlung des Augmented-Reality-Systems 1 mit einem Steuerungs element 20‘ und einem Headset 10‘, wobei die Lichtquelle 21 durch einen lichtbasierten Entfernungsmesser 26 ersetzt ist. Dieser wird über die abgewandte Lichtquellensteuerung 25‘ angesteuert und ausgewertet. Die ermittelte Entfernung zwischen dem

Steuerungselement 20‘ und einem markierten Objekt wird dem Headset 10‘ bzw. einem lokalen Positionsidentifikationsmodul 181‘ zugeführt, das in Abhängigkeit der anhand der Marker M21 , M22, M31 , M32 erkannten Ausrichtung des Steuerungselementes 20‘ und der Entfernung eine markierte lokale Position LPOS ermittelt.

Das Steuerungselement 20 bzw. 20‘ kann genutzt werden, um Texte oder Zeichnungen oder Markierungen mit einem reellen Ort zu verknüpfen. Führt beispielsweise ein Sportler Übungen in einem Parcour durch, so notiert er sich mit dem Steuerungselement 20 bzw. 20‘ im reellen Raum welche Übungen wie durchgeführt werden. Führt er sein Training in der darauffolgenden Woche erneut durch, so kann der Sportler seine Übungsanweisungen auf dem Display 11 angezeigt sehen. Diese Information kann beispielsweise wahlweise

— nur dem Nutzer,

— seinen ausgewählten Kontakten,

— einem bestimmten Adressaten und/oder

— einem Netzwerk

zugänglich sein bzw. gemacht werden.

Die Auswahl, wem die Daten zugänglich gemacht werden, kann beispielsweise über das Gestenerkennungsmodul 17 in Verbindung mit dem Display 11 (und der mittels diesem dargestellten Auswahlmenüs) erfolgen.

Mittels des Steuerungselementes 20 bzw. 20‘ können auch Objekte im reellen Raum (Möbel oder ähnliches) selektiert und das Headset 20 bzw. 20‘ angewiesen werden, die Geometrie zu digitalisieren, um beispielsweise einen anderen Ort mit ihm zu verzieren. Gefällt z.B. in einem Möbelhaus ein Objekt, so kann dieses eingescannt und zu Hause platziert werden. Andersherum kann auch mittels des Steuerungselementes 20 bzw. 20‘ die Bemaßung eines Raumes durchgeführt werden, um diesen zu digitalisieren. Eine weitere beispielshafte Anwendung des Augmented-Reality-Systems 1 kann darin bestehen, dass eine Einkaufsliste erstellt wird und diese Information über die Schnittstelle wie etwa google maps geteilt wird: So legt ein Benutzer z.B. den Supermarkt XY fest, so dass ein anderer Benutzer eine Einkaufsliste sieht, wenn er den Supermarkt betritt. Dieser kann auf der Liste jedes Mal etwas streichen, wenn es in den Einkaufswagen gelegt wird.

Fig. 7 zeigt ein weiteres beispielhaftes Szenario zur Verwendung des Steuerungselementes 20 bzw. 20‘ bzw. des Augmented-Reality-Systems 1. Dabei kann - wie in Fig. 7 abgebildet - mittels des Steuerungselementes 20 (ebenso 201 , 202, 203) bzw. 20‘ das Schreiben oder Zeichnen auf eine im reellen Raum vorhandene Fläche und/oder auf mehreren Flächen ermöglichst werden. Das Headset 10 bzw. 10‘ speichert diese räumliche Beziehung.

In einem weiteren beispielhaften Szenario gemäß Fig. 8 wird mittels des Steuerungs elementes 20 (ebenso 201 , 202, 203) bzw. 20‘ das Selektieren eines Objekts, wie etwa eines abgebildeten Tisches, und/oder mehrere Objekte ermöglicht. Das Speichern von Ansichten oder eine mittels der Headset 10 vorgenommenen optischen Vermessung wird dadurch unterstützt. So kann z.B. vorgesehen sein, dass das Headset 10 (mittels des Displays 10) verschiedene Eckpunkte zum Markern anfordert (nächstgelegener Punkt, entferntester Punkt, etc.).

Zudem ermöglicht das Steuerungselement 20 (ebenso 201 , 202, 203) bzw. 20‘ - wie in Fig. 9 abgebildet - durch das Einrahmen eines beliebigen Objektes die Digitalisierung einer durch das Einrahmen erfolgten Auswahl.

Darüber hinaus ermöglicht das Steuerungselement 20 (ebenso 201 , 202, 203) bzw. 20‘- wie beispielsweise in Fig. 10 dargestellt - durch Touchfunktion ähnlich einem Touch-Pad das Auswählen eines Objektes, eines Dokuments oder einer Datei und einer anschließenden Projektion im realen Raum durch das Display 11 im Headset 10 bzw. 10‘. So wird in Fig. 10 beispielsweise ein Flugzeug 51 bzw. die Darstellung eines Flugzeugs 51 auf einem Tablet 50 ausgewählt und mittels des Displays 11 des Headsets 10 in den realen Raum projiziert.