Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR DETERMINING AUGMENTATION INFORMATION FOR AN IMAGE
Document Type and Number:
WIPO Patent Application WO/2019/206539
Kind Code:
A1
Abstract:
The invention relates to a method for determining augmentation information for an image, comprising detection of location information of a mobile device, loading of at least two reference information items, each comprising at least one reference image, onto the mobile device depending on the detected location information, detection of image information comprising at least one actual image by the mobile device, comparison of the actual image with the reference images, detection of a match between the actual image and one of the reference images, and, in the event that a match is detected, loading of augmentation information items associated at least with the loaded reference information items.

Inventors:
BUCKO, Michal (Boppstr. 2, Berlin, 10967, DE)
VAHDAT-PAJOUH, Darius (Bellermannstr. 14, Berlin, 13357, DE)
Application Number:
EP2019/057369
Publication Date:
October 31, 2019
Filing Date:
March 25, 2019
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
INNOGY INNOVATION GMBH (Lysegang 11, Essen, 45139, DE)
International Classes:
G06T11/00; G01C21/20; G06K9/00
Foreign References:
US20140333667A12014-11-13
US20130297205A12013-11-07
US20130326018A12013-12-05
Other References:
None
Attorney, Agent or Firm:
COHAUSZ & FLORACK PATENT- UND RECHTSANWÄLTE PARTNERSCHAFTSGESELLSCHAFT MBB (WALTER, PhilipeBleichstraße 14, Düsseldorf, 40211, DE)
Download PDF:
Claims:
P a t e n t a n s p r ü c h e

1. Verfahren zur Bestimmung von Augmentierungsinformationen für ein Bild

umfassend:

Erfassen von Ortsinformationen eines mobilen Gerätes,

- Laden von zumindest zwei Referenzinformationen jeweils umfassend zumindest ein Referenzbild auf das mobile Gerät abhängig von den erfassten

Ortsinformationen,

Erfassen von Bildinformationen umfassend zumindest ein aktuelles Bild durch das mobile Gerät,

- Vergleichen des aktuellen Bilds mit den Referenzbildern,

Detektieren einer Übereinstimmung zwischen dem aktuellen Bild und einem der Referenzbilder und

bei einer detektierten Übereinstimmung Laden von

Augmentierungsinformationen die zumindest den geladenen

Referenzinformationen zugeordnet sind.

2. Verfahren nach einem der vorangehenden Ansprüche,

dadurch gekennzeichnet,

dass die Augmentierungsinformationen graphische Objekte enthalten, die in dem aktuellen Bild angezeigt werden.

3. Verfahren nach Anspruch 1 oder 2,

dadurch gekennzeichnet,

dass in den Referenzinformationen Positionsdaten zu den jeweiligen

Referenzbildern gespeichert sind, insbesondere dass absolute

Positionspositionsdaten der Referenzbilder und/oder relative

Positionspositionsdaten der Referenzbilder zueinander gespeichert sind und/oder dass in den Referenzinformationen Aufnahmewinkel zu den jeweiligen Referenzbildes gespeichert sind.

4. Verfahren nach einem der vorangehenden Ansprüche,

dadurch gekennzeichnet,

dass ein Kartensatz eine Mehrzahl an Referenzinformationen und

Augmentierungsinformationen aufweist und insbesondere dass ein Kartensatz in einem Server bereitgestellt wird.

5. Verfahren nach einem der vorangehenden Ansprüche,

dadurch gekennzeichnet,

dass ein Kartensatz umfassend zumindest das übereinstimmende Referenzbild nach einer detektierten Übereinstimmung geladen wird.

6. Verfahren nach einem der vorangehenden Ansprüche,

dadurch gekennzeichnet,

dass bei einer detektierten Übereinstimmung die Position des mobilen Gerätes aus den Positionsdaten des übereinstimmenden Referenzbildes bestimmt wird.

7. Verfahren nach einem der vorangehenden Ansprüche,

dadurch gekennzeichnet,

dass bei einer detektierten Übereinstimmung das aktuelle Bild an einen Server gesendet wird.

8. Verfahren nach einem der vorangehenden Ansprüche,

dadurch gekennzeichnet,

dass das aktuelle Bild mit dem übereinstimmenden Referenzbild derart verglichen wird, dass eine relative Verschiebung in Position und/oder

Aufnahmewinkel zwischen dem übereinstimmenden Referenzbild und dem aktuellen Bild bestimmt wird.

9. Verfahren nach einem der vorangehenden Ansprüche,

dadurch gekennzeichnet,

dass die relative Verschiebung von einem Server empfangen wird.

10. Verfahren nach einem der vorangehenden Ansprüche,

dadurch gekennzeichnet,

dass abhängig von der relativen Verschiebung die zuvor aus den Positionsdaten bestimmte Position des mobilen Gerätes angepasst wird.

11. Verfahren nach einem der vorangehenden Ansprüche,

dadurch gekennzeichnet,

dass die Augmentierungsinformationen abhängig von der relativen Verschiebung und/oder der angepassten Position des mobilen Gerätes in dem aktuellen Bild angezeigt werden.

12. Verfahren nach einem der vorangehenden Ansprüche,

dadurch gekennzeichnet,

dass die Position des mobilen Gerätes abhängig von Bewegungsinformationen des mobilen Gerätes angepasst wird.

13. Verfahren nach einem der vorangehenden Ansprüche,

dadurch gekennzeichnet,

dass das aktuelle Bild zusammen mit einem Zeitstempel erfasst wird und dass die relative Verschiebung abhängig von dem Zeitstempel und

Bewegungsinformationen des mobilen Gerätes angepasst wird.

14. Verfahren nach einem der vorangehenden Ansprüche,

dadurch gekennzeichnet,

dass das aktuelle Bild aus einem Bewegtbild ermittelt wird.

15. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet,

dass abhängig von der Position des mobilen Gerätes aus dem geladenen Kartensatz Augmentierungsinformationen in einem aktuellen Bild angezeigt werden.

Description:
Verfahren zur Bestimmung von Augmentierungsinformationen für ein Bild

Der Gegenstand betrifft ein Verfahren zur Bestimmung von

Augmentierungsinformationen für ein Bild. Darüber hinaus betrifft der Gegenstand eine Vorrichtung mit einem Prozessor eingerichtet zur Durchführung des Verfahrens, ein Computerprogramm eingerichtet zur Ausführung des Verfahrens auf einem Prozessor, als auch ein Computerprogrammprodukt mit einem darauf gespeicherten Computerprogramm.

Augmented Reality (AR) ermöglicht es, Bilder von realen Objekten mit

Zusatzinformationen, welche in solche Bilder eingeblendet werden, anzureichern. Während einer AR Sitzung kann ein Nutzer beispielsweise mit seinem mobilen Gerät, beispielsweise einem Smartphone, ein virtuelles Objekt

(Augmentierungsinformationen) in einem von seinem mobilen Gerät erfassten und auf einem Display dargestellten Bild anzeigen. Das Bild kann dabei ein reales Objekt darstellen und die Augmentierungsinformation kann in dem Bild relativ zu diesem realen Objekt dargestellt werden.

Während der AR Sitzung zur Erstellung von AR Daten kann zunächst ein Referenzbild erstellt werden. Dazu können ein Winkel der Aufnahme des realen Objekts, eine Entfernung zum realen Objekt und/oder eine absolute Position des mobilen Gerätes in der Fläche und/oder im Raum bestimmt werden. Dies können Referenzinformationen sein. Bewegt sich der Benutzer mit seinem mobilen Gerät während der gleichen AR Sitzung wieder in die Nähe des realen Objektes und richtet er seine Kamera auf das reale Objekt, so kann ausgehend von den zuvor erstellten Referenzinformationen das augmentierte Bild angezeigt werden, wobei hierbei abhängig von der absoluten Position des mobilen Gerätes, dem Aufnahmewinkel und/oder der Entfernung von dem realen Objekt die Augmentierungsinformation in dem Bild unterschiedlich dargestellt werden kann. Nachdem das mobile Gerät abgeschaltet wurde, sind aber die Referenzinformationen verloren und die Augmentierungsdaten nicht mehr dem realen Objekt zugeordnet.

Für den Masseneinsatz ist es notwendig, jedem mobilen Gerät einen gleichen Satz an Augmentierungsinformationen zukommen zu lassen. Darüber hinaus ist es für den Masseneinsatz notwendig, die exakte Position des Nutzers bzw. des mobilen Gerätes im Raum zu erfassen um somit die Augmentierungsinformationen in einem von einem mobilen Gerät erfassten Bild möglichst exakt darzustellen und insbesondere die Relation zwischen den Augmentierungsinformationen und dem Bild des realen Objektes korrekt darzustellen.

Dem Gegenstand lag somit die Aufgabe zugrunde, Augmentierungsinformationen in einer besonders einfachen Weise zur Verfügung zu stellen und die Bestimmung von Augmentierungsinformationen in einem mobilen Gerät zu beschleunigen.

Diese Aufgabe wird durch ein Verfahren nach Anspruch 1 gelöst.

Ein mobiles Gerät, welches beispielsweise ein Smartphone, ein Tablet-Computer, ein Laptop-Computer, Smartglasses oder dergleichen sein kann, soll mit Hilfe des gegenständlichen Verfahrens in die Lage versetzt werden,

Augmentierungsinformationen in einem erfassten Bild möglichst exakt darzustellen. Hierzu ist es zunächst notwendig, den Ort des mobilen Gerätes zu kennen. Daher wird vorgeschlagen, dass beispielsweise mit Hilfe eines Positionierungssystems, beispielsweise GPS, GLONASS, GALILEO, dGPS oder dergleichen, Ortsinformationen des mobilen Gerätes erfasst werden. Das mobile Gerät verfügt über einen

entsprechenden Sensor, um seinen Ort, insbesondere seine Koordinaten zu bestimmen.

Anschließend wird vorgeschlagen, dass abhängig von den erfassten

Ortsinformationen zumindest zwei Referenzinformationen geladen werden. Zur Durchführung von AR ist es notwendig, dass die Augmentierungsinformationen (Augmentierungsdaten) im Vorfeld der eigentlichen Augmentierung

zusammengestellt werden. Das bedeutet, dass in einer„Design"-Sitzung

Augmentierungsdaten mit realen Daten verknüpft werden. Dabei werden

Referenzbilder zusammen mit den Positionsinformationen der Referenzbilder als auch Augmentierungsinformationen der Referenzbilder erfasst und abgespeichert.

Ein Referenzbild zusammen mit Positionsinformationen kann als Referenzinformation gespeichert werden.

Abhängig von den durch das mobile Gerät erfassten Ortsinformationen, beispielsweise den Koordinaten des mobilen Gerätes, kann zunächst geprüft werden, ob

Augmentierungsinformationen für diesen Ort vorliegen. Ist dies der Fall, kann beispielsweise eine Anzahl an Referenzinformationen, welche zuvor erstellt wurden, für den entsprechenden Ort geladen werden. In den geladenen Referenzinformationen kann zumindest ein Referenzbild enthalten sein. Somit ist in dem mobilen Gerät abhängig von seinem aktuellen Ort ein Satz von Referenzbildern vorgeladen. Die geladenen Referenzbilder wurden zuvor in einer Augmentierungssitzung erstellt.

Mit den geladenen Referenzinformationen ist es möglich, sehr schnell und mit geringem Rechenaufwand Augmentierungsdaten für aktuelle Bilder zu bestimmen.

Zur Augmentierung ist es notwendig, Bildinformationen umfassend zumindest ein aktuelles Bild durch das mobile Gerät zu erfassen.

Anschließend ist es möglich, das aktuelle Bild mit den zuvor geladenen

Referenzbildern zu vergleichen. Da die Referenzinformationen abhängig von den Ortsinformationen des mobilen Gerätes geladen wurden, liegt in dem mobilen Gerät nur eine begrenzte Anzahl an Referenzinformationen vor. Es ist nicht notwendig, alle möglichen Referenzinformationen in dem mobilen Gerät vorzuhalten, sondern nur diejenigen, die dem aktuellen Ort des mobilen Gerätes abhängig von den Ortsinformationen zuordenbar sind. Durch diesen begrenzten Satz an Referenzbildern ist der Vergleich des aktuellen Bilds mit den Referenzbildern gegenüber bekannten Verfahren erheblich beschleunigt.

Anders als bei einer lokalen Augmentierungssitzung wird gegenständlich

vorgeschlagen, dass die Referenzinformationen geladen werden und nicht erst in dem mobilen Gerät erstellt werden. Dazu können die Referenzinformationen in einem von dem mobilen Gerät entfernten Server hinterlegt sein. Nachdem die Ortsinformationen bekannt sind, kann das mobile Gerät die Referenzinformationen laden.

Es wird vorgeschlagen, dass auf dem mobilen Gerät eine Applikation abläuft, welche die Ortsinformationen erfasst und abhängig von den erfassten Ortsinformationen bei einem entfernten Server nach vorliegenden Referenzinformationen fragt. Liegen solche vor, können diese von dem mobilen Gerät durch die Applikation auf das mobile Gerät heruntergeladen werden, Anschließend dienen die geladenen

Referenzinformationen dazu, aktuelle Bilder des mobilen Gerätes zu augmentieren. Dazu ist es nunmehr zunächst notwendig, das aktuelle Bild mit den geladenen

Referenzbildern zu vergleichen.

Sobald eine Übereinstimmung zwischen dem aktuellen Bild und dem Referenzbild detektiert wurde, kann eine Augmentierung des Bildes beginnen. Der Vergleich des aktuellen Bildes mit den Referenzbildern kann ein Vergleich an Farbinformationen beispielsweise mittels eines Histogramms und/oder der Vergleich von

Kanteninformationen, beispielsweise durch Kantendetektion enthalten. Der Vergleich der Bilder kann Ähnlichkeitsabbildungen enthalten, und beispielsweise vergrößern, verkleinern, kippen oder neigen des aktuellen Bildes beinhalten um anschließend einen Kantenvergleich mit dem Referenzbild durchzuführen.

Ist ein Referenzbild zu einem aktuellen Bild ähnlich, können diejenigen

Augmentierungsinformationen geladen werden, die den Referenzinformationen zugeordnet sind. Während einer„Design"-Session werden Referenzbilder und diesen Referenzbildern zugeordnete Augmentierungsinformationen erstellt. Ist ein Referenzbild mit einem aktuellen Bild übereinstimmend, kann die dem Referenzbild zugeordnete

Augmentierungsinformation auf das mobile Gerät geladen werden und gegebenenfalls durch das mobile Gerät in dem aktuellen Bild angezeigt werden.

Eine Augmentierung von Bildinformationen erfolgt bevorzugt mittels grafischer Objekte. Daher wird vorgeschlagen, dass die Augmentierungsinformationen grafische Objekte enthalten, die in dem aktuellen Bild angezeigt werden. Dabei kann die Anzeige der Objekte semi-transparent oder opak in dem aktuellen Bild erfolgen.

Während der Erfassung der Referenzinformationen werden nicht nur Referenzbilder erfasst werden, sondern auch Positionsinformationen (Positionsdaten). Die

Positionsdaten können in der gleichen Weise wie die Ortsinformationen erfasst werden. Auch ist es möglich, die Positionsdaten mit einer höheren Auflösung zu erfassen, in dem beispielsweise höher auflösende Positionierungsverfahren genutzt werden, während die Referenzinformationen erfasst werden. Es wird vorgeschlagen, dass in den Referenzinformationen Positionsdaten zu den jeweiligen Referenzbildern gespeichert sind. Die Positionsdaten können insbesondere absolute Positionsdaten des Referenzbildes, insbesondere Koordinaten sein. Die Positionsdaten entsprechen insbesondere den Ortsinformationen des Gerätes, mit dem die Referenzbilder erfasst wurden.

Werden mehrere Referenzbilder nacheinander erfasst, so können auch relative Positionsdaten der Referenzbilder zueinander gespeichert werden, also

beispielsweise die relativen Abstände einzelner Referenzbilder zueinander.

Anhand der Positionsdaten ist es möglich festzustellen, ob Referenzinformationen zu Ortsinformationen des mobilen Gerätes passen oder nicht. Bei der Erstellung der Referenzinformationen können alle Positionsdaten aller Referenzbilder einer Sitzung gemeinsam erfasst werden und somit ein räumlicher Bereich festgelegt werden, in dem die Referenzbilder erfasst wurden. Sind die Ortsinformationen derart, dass diese anzeigen, dass das mobile Gerät innerhalb des von den Positionsdaten aufgespannten räumlichen Bereichs liegen, so kann daraus geschlossen werden, dass das mobile Gerät für die Referenzinformationen, die in der entsprechenden Sitzung erfasst, wurden geeignet ist bzw. diese Referenzinformationen laden kann. Beim Laden der Referenzinformationen kann ein Übermitteln der so bestimmten Referenzbilder erfolgen.

Auch ist es möglich, eine Orientierung des Geräts, z.B. Winkelinformationen insbesondere Kamerawinkel, eine optische Achse oder auch Aufnahmewinkel, der Kamera zu erfassen, mit denen das Referenzbild erfasst wurde. Somit kann in den Referenzinformationen auch ein Aufnahmewinkel gespeichert sein. An einer Position können Bilder mit unterschiedlichen Blickrichtungen erfasst werden, so dass die Position alleine nicht zwingend einen Aufschluss darüber ermöglicht, wie ein

Referenzbild aussieht. Vielmehr sind die Winkelinformationen auch relevant, um das Referenzbild zu bestimmen.

Während einer„Design"-Sitzung werden mehrere Referenzinformationen

hintereinander erfasst. Diese in einer solchen Sitzung erfassten

Referenzinformationen können als Kartensatz gespeichert werden. Ein Kartensatz kann eine Mehrzahl an Referenzinformationen enthalten. Zusätzlich zu den

Referenzinformationen können jeweils Augmentierungsinformationen in dem Kartensatz gespeichert sein. Somit ist der Kartensatz ein Satz aus

Referenzinformationen und jeweiligen Augmentierungsinformationen. Mit Hilfe des Kartensatzes können somit verschiedenste Referenzbilder mit ihren entsprechenden Positionsinformationen und den dafür erstellten Augmentierungsinformationen gespeichert sein. Der Kartensatz kann in einem Server bereitgestellt werden und durch das mobile Gerät über ein Weitverkehrsnetz, ein Funknetz oder dergleichen geladen werden. Wie zuvor erläutert, wird zur Beschleunigung der Bearbeitung in dem mobilen Gerät zunächst nur die Referenzinformation geladen. Nach einer detektierten

Übereinstimmung kann der Kartensatz geladen werden, indem zumindest das übereinstimmende Referenzbild enthalten ist. Aus dem geladenen Kartensatz kann dann die Augmentierungsinformation ermittelt werden, die zu dem aktuellen Bild gehört.

Zur Optimierung der Positionsbestimmung des mobilen Gerätes kann, nachdem eine Übereinstimmung zwischen einem Referenzbild und einem aktuellen Bild festgestellt wurde, die Position des mobilen Gerätes, die zuvor aus den Ortsinformationen gebildet wurde durch die Positionsdaten des übereinstimmenden Referenzbildes ergänzt oder ersetzt werden. Wie oben bereits erläutert, können die Positionsdaten mit einer höheren Auflösung gespeichert sein als die Ortsinformationen, die durch das mobile Gerät erfasst werden. Somit wird durch das übereinstimmende Bild mit dem Referenzbild die Positionsgenauigkeit der Bestimmung der Position des mobilen Gerätes optimiert.

Mit einer hohen Wahrscheinlichkeit wurde das aktuelle Bild aus einem anderen Winkel aufgenommen als das Referenzbild. Werden nun die

Augmentierungsinformationen genauso in das aktuelle Bild eingeblendet, wie sie in dem Referenzbild angelegt wurden, kann es dazu kommen, dass die relative Position der Augmentierungsinformationen zu den realen Objekten in dem angezeigten aktuellen Bild nicht stimmt. Daher ist es notwendig, die Winkelinformationen des aktuellen Bildes relativ zu den Winkelinformationen des Referenzbilds zu kennen. Aus diesem Grunde kann eine Verschiebung der Winkelinformationen des aktuellen Bildes gegenüber den Winkelinformationen des Referenzwinkels bestimmt werden. Diese Berechnung kann aufwendig sein, so dass diese nicht nur in dem mobilen Gerät durchgeführt werden kann, sondern gemäß einem Ausführungsbeispiel auch vorgeschlagen wird, dass das aktuelle Bild an einen Server gesendet wird. In dem Server wird das aktuelle Bild mit dem dazu übereinstimmenden Referenzbild derart verglichen, dass eine Winkelverschiebung berechnet wird. Hierbei können Abbildungsfunktionen und Verschiebungsfunktionen an dem aktuellen Bild und/oder dem Referenzbild derart vorgenommen werden, dass ein Unterschied zwischen den Winkelinformationen des Referenzbildes und dem aktuellen Bild bestimmt werden kann. Dabei kann nicht nur eine Verschiebung des Aufnahmewinkels, sondern auch eine Verschiebung der Position zwischen dem übereinstimmenden Referenzbild und dem aktuellen Bild bestimmt werden.

Wurde die relative Verschiebung zwischen dem aktuellen Bild und dem Referenzbild in einem Server berechnet, so wird vorgeschlagen, dass die relative Verschiebung von einem Server empfangen wird.

Mit Hilfe der relativen Verschiebung ist es möglich, die aus den Positionsdaten bestimmte Position des mobilen Gerätes weiter anzupassen. Da das Referenzbild an einer bestimmten Position erfasst wurde und offensichtlich eine Verschiebung zwischen dem Referenzbild und dem aktuellen Bild vorliegt, können die

Positionsdaten des Referenzbildes nicht exakt die Position des mobilen Gerätes sein. Daher wird eine weitere Anpassung der Position des mobilen Gerätes anhand der relativen Verschiebung durchgeführt.

Neben der Optimierung der Positionsbestimmung ist es jedoch auch möglich, die Anzeige der Augmentierungsinformationen in dem aktuellen Bild zu optimieren. Dazu kann abhängig von der relativen Verschiebung die Anzeigeposition und/oder Größe der Augmentierungsinformationen in dem aktuellen Bild verändert werden. Durch diese Anpassung der Anzeige der Augmentierungsinformationen in dem aktuellen Bild abhängig von der relativen Verschiebung kann eine relative Positionierung der Augmentierungsinformationen zu dem realen Objekt in dem aktuellen Bild angepasst werden, so dass eine Übereinstimmung mit der Anordnung der

Augmentierungsinformationen in dem Referenzbild vorliegt.

Zwischen dem Zeitpunkt, zu dem das aktuelle Bild erfasst wurde und dem Zeitpunkt zu dem die Verschiebungsinformationen empfangen werden, kann Zeit vergehen. Während dieser Zeit kann sich das mobile Gerät bewegen. Die Bewegung kann einerseits in einem Verdrehen oder Verschwenken des mobilen Gerätes liegen, so dass die Winkelinformationen sich verändern und/oder andererseits tatsächlich in einer Verschiebung der Koordinaten des mobilen Gerätes im Raum. Diese Bewegungen können durch entsprechende Beschleunigungssensoren und/oder Neigungssensoren in dem mobilen Gerät erfasst und aufgezeichnet werden. Werden die

Verschiebungsinformationen empfangen, können diese kombiniert mit den

zwischenzeitlich erfassten Bewegungsinformationen dazu genutzt werden, die Position des mobilen Gerätes anzupassen und/oder die Positionierung der

Augmentierungsinformationen in dem aktuellen Bild anzupassen. Die Position des mobilen Gerätes wird gemäß einem Ausführungsbeispiel abhängig von

Bewegungsinformationen des mobilen Gerätes angepasst.

Um festzustellen, welche Bewegung das mobile Gerät zwischen dem Zeitpunkt des Erfassens des aktuellen Bildes und des Anpassens der Augmentierungsinformation oder der Position des mobilen Gerätes vergangen ist, wird vorgeschlagen, dass das aktuelle Bild zusammen mit einem Zeitstempel erfasst wird. Ausgehend von diesem Zeitstempel kann die Bewegungsinformation aufgezeichnet werden. Wird die relative Verschiebung empfangen, kann der Zeitpunkt des Empfangs mit dem Zeitstempel verglichen werden und die seit dem Zeitstempel aufgezeichnete

Bewegungsinformation genutzt werden, die relative Verschiebung anzupassen. Somit ist die relative Verschiebung gekennzeichnet einerseits durch die Position und die Winkelinformationen des mobilen Gerätes zum Zeitpunkt des Erfassens des aktuellen Bildes und andererseits von den Bewegungsinformationen seit diesem Zeitpunkt und dem Zeitpunkt des Anpassens der relativen Verschiebung.

Es wird auch vorgeschlagen, dass das aktuelle Bild aus einem Bewegtbild ermittelt wird. Aus einem sogenannten Videofeed können aktuelle Bilder ermittelt werden.

Liegt ein Kartensatz vor, so ist es möglich, ausgehend von der bestimmten Position des mobilen Gerätes weitere Augmentierungsinformationen in dem aktuellen Bild anzuzeigen. Diese Anzeige erfolgt auf Basis der optimierten Position des mobilen Gerätes im Vergleich zu den Positionsinformationen der Referenzinformationen. Wird detektiert, dass das mobile Gerät an einer Position ist, zu dem Referenzinformationen vorliegen, können die entsprechenden Augmentierungsinformationen geladen und angezeigt werden.

Nachfolgend wird der Gegenstand anhand einer Ausführungsbeispiele zeigenden Zeichnung näher erläutert. In der Zeichnung zeigen:

Fig. 1 einen schematischen Aufbau eines Systems zur Durchführung des

gegenständlichen Verfahrens;

Fig. 2 das Erstellen eines Kartensatzes mit Referenzinformationen und

Augmentierungsinformationen;

Fig. 3a-e Referenzinformationen und Augmentierungsinformationen;

Fig. 4a ein aktuelles Bild;

Fig. 4b ein augmentiertes aktuelles Bild;

Fig. 5a ein aktuelles Bild;

Fig. 5b ein augmentiertes aktuelles Bild.

Fig. 1 zeigt ein mobiles Gerät 2, einen Server 4, in dem Server 4 gespeicherte

Kartensätze 6a, 6b sowie ein Kommunikationsnetz 8. Das mobile Gerät 2 weist eine Kamera 10 sowie einen Bildschirm 12 auf. Die Kamera 10 hat einen

Aufnah mewinkel 10a. Der Aufnahmewinkel 10a kann eine optische Achse sein, die sich aus der Lage des mobilen Geräts 2 im Raum ergibt. In dem mobilen Gerät 2 kann ein Sensor, beispielsweise ein Gyrosensor angeordnet sein, mit dem die Lage des mobilen Geräts 2 im Raum erkannt werden kann, sodass hieraus der Aufnahmewinkel 10a bestimmt werden kann.

Aktuelle Bilder werden von der Kamera 10 erfasst und auf dem Bildschirm 12 dargestellt. Die aktuellen Bilder der Kamera 10 können Einzelbilder oder

Bewegtbilder sein.

In dem Server 4 sind verschiedene Kartensätze 6a, b gespeichert. Jeder Kartensatz 6a, b ist gebildet aus Referenzinformationen 14 und Augmentierungsinformationen 16. Für einen Kartensatz 6a, b ist es möglich, dass nur eine Referenzinformation 14 und eine Augmentierungsinformation 16 vorhanden ist oder auch eine Mehrzahl an Referenzinformationen 14 und Augmentierungsinformationen 16.

Die Kommunikation zwischen dem mobilen Gerät 2 und dem Server 4 erfolgt über das Kommunikationsnetz 8. Das Kommunikationsnetz 8 kann dabei Funkverbindungen und/oder drahtgebundene Verbindungen zur Verfügung stellen. Insbesondere ist das Kommunikationsnetz 8 zumindest teilweise durch das Internet gebildet. Auch können Mobilfunkstrecken in dem Kommunikationsnetz 8 vorhanden sein.

Zur Erstellung eines Kartensatzes 6a, b wird ein mobiles Gerät 2 in einer„Design" Session durch einen Raum bewegt, wie es in der Fig. 2 dargestellt ist. Das mobile Gerät 2 wird dabei an verschiedene Positionen 18a-e bewegt und an den Positionen 18a, e werden zumindest Referenzbilder und Positionsdaten als Referenzinformationen erfasst. Zum Erfassen eines Kartensatzes 6a, b ist ein mobiles Gerät geeignet, welches von dem mobilen Gerät 2 verschieden ist, mit dem anschließend die

Augmentierungsinformationen angezeigt werden sollen.

Der Ersteller des Kartensatzes 6a, b bewegt sich beispielsweise zunächst zur Position 18a und erfasst ein Referenzbild durch eine Kamera. Zusammen mit dem Referenzbild wird die Position 18a des mobilen Gerätes 2 erfasst. Diese Positionserfassung kann mit Hilfe eines sehr genauen Positionsbestimmungsverfahrens, beispielweise eines Innenraumpositionsbestimmungsverfahrens der eines differenziellen GPS-Verfahrens erfolgen, so dass die Positionsdaten hochauflösend mit einer Genauigkeit von bis zu 20cm oder weniger die Positionen des mobilen Gerätes 2 zum Zeitpunkt der

Erfassung des Referenzbildes bestimmen.

Neben den Positionsdaten und dem Referenzbild ist es zusätzlich möglich, einen Aufnahmewinkel 10a zu erfassen. Beim Erfassen des Aufnahmewinkels kann beispielsweise ein Azimutwinkel und ein Polarwinkel erfasst werden. Insbesondere der Azimutwinkel kann verwendet werden, um die Winkelpositionen verschiedener Referenzbilder zueinander zu bestimmen, wie nachfolgend beschrieben wird. Davon unberührt bleibt jedoch, dass der Aufnahmewinkel, insbesondere sowohl

Azimutwinkel als auch Polarwinkel für die nachfolgend noch beschriebene

Optimierung der Augmentierungsinformationen, insbesondere für die Bestimmung der relativen Verschiebung, verwendet werden können.

Zu dem Referenzbild an der Position 18a können Augmentierungsinformationen in dem mobilen Gerät 2, mit welchem das Referenzbild erstellt wurde oder in dem Server 4 oder in einem beliebigen anderen Rechner hinzugefügt werden. Die

Augmentierungsinformationen können dabei insbesondere Bildinformationen sein, wobei diese halbtransparent oder opak in dem Referenzbild angezeigt werden können. In dem Server 4 werden die Referenzinformationen, also insbesondere das Referenzbild, die Positionsdaten sowie die Winkelinformationen gespeichert. In dem Server 4 werden die Augmentierungsinformationen. also insbesondere

Bildinformationen und die absolute Positionierung der Bildinformationen in dem Referenzbild gespeichert.

Nachdem an der Position 18a die ersten Referenzinformationen erfasst wurden, kann der Ersteller eines Kartensatzes 6a, b sich zur Position 18b bewegen. An der Position 18b lassen sich erneut Referenzinformationen erfassen. Zusätzlich lassen sich beispielsweise relative Positionsdaten zwischen den Positionen 18a, 18b erfassen. Dies kann beispielsweise durch Auswertung durch Bewegungsinformationen von Bewegungssensoren in dem mobilen Gerät 2 erfolgen. Sukzessive werden die

Positionen 18a-e erreicht und Referenzinformationen erfasst.

Die erfassten Winkelinformationen an den Positionen 18a-e können auch zueinander relativ sein, so dass an der Position 18a ein Azimutwinkel als Nullwinkel angenommen wird und die relativen Winkelveränderungen hierzu an den Positionen 18b-e erfasst oder bestimmt werden.

Nachdem die Referenzbilder erfasst wurden, können diese mit Augmentierungsdaten angereichert werden.

Abschließend werden die Referenzinformationen und die jeweils zugeordneten Augmentierungsinformationen in einem Kartensatz 6a gespeichert. Somit können verschiedenste Kartensätze 6a, 6b erstellt werden, die in dem Server 4 abgelegt werden. Diese Informationen können anschließend genutzt werden, um aktuelle Bilder von Nutzern mit Augmentierungsinformationen anzureichern.

In den Fig. 3-5 sind in den Bildern reale Objekte mit durchgezogenen Linien gezeichnet und Objekte von Augmentierungsdaten als gestrichelte Linien gezeichnet.

Die Fig. 3a-e zeigen den Kartensatz 6a. An der Position 18a ist beispielsweise ein Referenzbild gemäß der Fig. 3a erfasst worden. Zusätzlich zu dem Referenzbild gemäß der Fig. 3a ist eine Bildinformation in dem Referenzbild als

Augmentierungsinformation ergänzt. An der Position 18b wurde das Referenzbild gemäß der Fig. 3b erfasst. Augmentierungsinformationen sind in diesem Referenzbild ergänzt. An der Position 18c wurde das Referenzbild gemäß der Fig. 3c erfasst.

Augmentierungsinformationen sind in diesem Referenzbild ergänzt. An der Position 18d wurde das Referenzbild gemäß der Fig. 3d erfasst. Augmentierungsinformationen sind in diesem Bild ergänzt. An der Position 18e wurde das Referenzbild gemäß der Fig. 3e erfasst. Augmentierungsinformationen sind in diesem Referenzbild ergänzt. Zur Augmentierung von auf dem Display 12 angezeigten aktuellen Bildern des mobilen Gerätes 2 wird zunächst beispielsweise eine Applikation auf dem mobilen Gerät 2 gestartet.

Diese Applikation wird zunächst die Ortsinformationen des mobilen Gerätes, beispielsweise mittels eines GPS-Empfängers ermitteln. Die Auflösung dieser

Ortsinformationen kann geringer sein als die Auflösung der Positionsinformationen und beispielsweise eine Genauigkeit von in etwa 5m, 2m, lm oder 0,5m haben.

Nachdem die Ortsinformationen in dem mobilen Gerät 2 erfasst wurden, erfolgt eine Kommunikation zwischen dem mobilen Gerät 2 und dem Server 4, bei dem die Ortsinformationen ausgetauscht werden.

In dem Server 4 werden die Ortsinformationen genutzt, um diese mit den

Positionsinformationen der verschiedenen Kartensätze 6a, b zu vergleichen. Wird festgestellt, dass eine Ortsinformation in einem Bereich liegt, der durch die

Positionsinformationen bestimmt ist, können die Referenzinformationen 14 des entsprechenden Kartensatzes 6a, b auf das mobile Gerät 2 übertragen werden.

Ein Kartensatz 6a, b verfügt nur über eine begrenzte Anzahl an

Referenzinformationen 14, so dass auch nur eine begrenzte Anzahl an

Referenzbildern übertragen werden muss.

Durch die Kamera 10 des mobilen Gerätes 2 wird ein aktuelles Bild erfasst. Dieses aktuelle Bild kann beispielsweise ein Bild aus einem Livestream, also ein Bewegtbild sein. Das aktuelle Bild der Kamera 10 wird mit den geladenen Referenzbildern der Referenzinformationen 14 des übertragenen Kartensatzes 6a, b verglichen.

Beispielsweise ist der Benutzer an der Position 18c und nimmt das aktuelle Bild wie in der Fig. 4a gezeigt ist auf. Durch den Vergleich des aktuellen Bilds gemäß der Fig. 4a mit dem Referenzbild gemäß der Fig. 3c und einer Ähnlichkeitsabbildung kann festgestellt werden, dass mit einer hohen Wahrscheinlichkeit in dem aktuellen Bild 4a das gleiche reale Objekt abgebildet ist, wie in dem Referenzbild 3c. Nur ist der Aufnahmewinkel offensichtlich ein anderer.

In dem Moment, in dem eine Übereinstimmung zwischen dem Referenzbild 3c und dem aktuellen Bild 4a festgestellt wurde, werden zumindest die

Augmentierungsinformationen 16 passend zu dem entsprechenden Referenzbild geladen und wie in der Fig. 4a gezeigt in dem aktuellen Bild mit angezeigt. In der Fig. 4a ist jedoch zu erkennen, dass die Anzeige der Augmentierungsinformationen relativ zu dem realen Objekt anders ist, als dies in der Fig. 3c der Fall ist.

Um die Anzeige der Augmentierungsinformationen 16 in Relation zum realen Objekt in dem aktuellen Bild 3c anzupassen, kann beispielsweise der Aufnahmewinkel 10a an den Server 4 übermittelt werden. Hieraus kann der Server 4 eine relative

Verschiebung zwischen dem Aufnahmewinkel des Referenzbildes 3c und dem

Aufnahmewinkel des aktuellen Bildes 4a berechnen. Anhand dieser relativen

Verschiebung kann in dem Server 4 eine Verschiebungsinformation berechnet werden, mit der ein Anpassen der Augmentierungsinformationen 16 erfolgen kann, so dass wie in Fig. 4b dargestellt die Augmentierungsinformationen 16 in dem auf dem Display 12 angezeigten Bild relativ zu dem realen Objekt korrekt dargestellt werden. Die Berechnung und/oder die Anpassung der Augmentierungsinformationen 16 an die relative Verschiebung hinsichtlich des Aufnahmewinkels kann in dem mobilen Gerät 2 erfolgen.

Bewegt sich der Benutzer nun, so können diese Bewegungsinformationen erfasst werden. Die Augmentierungsinformationen 16 werden entsprechend dieser

Bewegung angepasst.

In den Referenzinformationen sind Positionsdaten gespeichert, die höher aufgelöst sind als die Ortsinformationen. Wurde eine Übereinstimmung zwischen einem

Referenzbild und einen aktuellen Bild gefunden, werden die Positionsdaten verwendet um die Position des mobilen Gerätes 2 genauer bestimmen zu können. Die Ortsinformationen werden durch die Positionsdaten verbessert.

Bewegt sich der Benutzer nun weiter im Raum, so kann diese Bewegung anhand von Bewegungssensoren sensiert werden. Diese Bewegungsinformationen können genutzt werden, um die Ortsinformationen des mobilen Gerätes 2 weiter anzupassen.

Wird während der Aufnahme beispielsweise ein aktuelles Bild gemäß der Fig. 5a aufgenommen, so ist es möglich, festzustellen dass das Referenzbild 3a hierzu passt. Sobald diese Übereinstimmung festgestellt wurde, können die

Augmentierungsinformationen 16 geladen und in dem Bild wie es in Fig. 5a gezeigt ist angezeigt werden. Diese Anzeige der Augmentierungsinformation 16 ist jedoch nicht entsprechend der Anzeige in der Fig. 3a, insbesondere sind die

Augmentierungsinformationen 16 relativ zu dem realen Objekt falsch positioniert. Um diese Positionierung zu optimieren, kann eine relative Verschiebung in den

Positionsinformationen zwischen dem aktuellen Bild und dem Referenzbild berechnet werden. In der Fig. 5a ist zu erkennen, dass die realen Objekte von einer anderen Position aufgenommen wurden, als die realen Objekte in der Fig. 3a. Anhand eines Bildvergleichs kann eine relative Verschiebung zwischen den Objekten berechnet werden. Diese relative Verschiebung kann dazu genutzt werden, die

Augmentierungsinformation 16 in dem angezeigten Bild zu verschieben. Durch die Verschiebung der Augmentierungsinformationen 16 wird ein angezeigtes Bild gemäß der Fig. 5b ermöglicht, in dem die Augmentierungsinformationen 16 relativ zu den realen Objekten korrekt dargestellt werden.

Die Berechnung der relativen Verschiebung kann in dem mobilen Gerät 2 oder dem Server 4 erfolgen. Erfolgt die Berechnung einer relativen Verschiebung in dem

Server 4, so ist es beispielsweise möglich, zusammen mit dem aktuellen Bild einen Zeitstempel zu erfassen. Ausgehend von diesem Zeitstempel können die

Bewegungsinformationen des mobilen Gerätes 2 erfasst werden. Ist die relative Verschiebung berechnet, kann diese relative Verschiebung durch die seit dem Zeitpunkt des Zeitstempels erfasste Bewegung des mobilen Gerätes 2 angepasst werden und eine angepasste relative Verschiebung bestimmt werden. Ausgehend von dieser relativen Verschiebung können die Augmentierungsinformationen 16 in dem aktuellen Bild angezeigt werden.

Mit Hilfe des gezeigten Verfahrens ist es möglich, die Position des mobilen Gerätes genauer zu bestimmen. Ferner ist es möglich, die Anzeige von

Augmentierungsinformationen in einem aktuellen Bild zu optimieren.

Bezugszeichenliste

2 mobiles Gerät

4 Server

6a, b Kartensatz

8 Kommunikationsnetz

10 Kamera

10a optische Achse

12 Display

14 Referenzinformationen

16 Augmentierungsinformationen

18a-e Position