Die Projektion von synthetischer Information beziehungsweise Zusatzinformation führt zu einer Erweiterung der realen Welt.

Dieses Vorgehen wird im Allgemeinen als"Augmented Reality" bezeichnet. Durch solche Verfahren können dem Benutzer hilf- reiche Informationen mitgeteilt werden, die zur Erledigung einer bestimmten Aufgabe notwendig sind.

So kann beispielsweise bei einer Wartungsaufgabe der Monteur dadurch unterstützt werden, dass in das Kamerabild einer War- tungsanlage der nächste Anweisungsschritt an die entsprechen- de Position des Gerätes im Kamerabild künstlich eingeblendet wird. Ermöglicht wird dies durch die Projektion der syntheti- schen Information unter der genauen Kenntnis der Kameraposi- tion in das dreidimensionale Modell der Wartungsanlage.

Solche Verfahren finden auch im medizinischen Bereich Anwen- dung zur unterstützenden Betrachtung von Röntgen-und Ultra- schallbildern, beispielsweise während einer Operation.

In allen bekannten Anwendungen zum Thema"Augmented Reality" wird das Ergebnisbild, das in der Regel ein modifiziertes Ka- merabild ist, auf einem Display dargestellt. Der Benutzer muss daher ständig selber die angezeigte Position innerhalb des modifizierten Bildes in der realen Umwelt oder Umgebung wiedererkennen. Wird in einer sehr komplexen Anlage bei- spielsweise am Pfeil an eine bestimmte Stelle im Kamerabild der Anlage eingezeichnet, so kann es unter Umständen sehr schwierig sein, die entsprechende, korrespondierende Position in der realen Anlage aufzufinden.

Der Erfindung liegt die Aufgabe zugrunde, diese Nachteile zu vermeiden.

Diese Aufgabe wird erfindungsgemäß für ein Verfahren durch die im Patentanspruch 1 und für ein mobiles Endgerät durch die im Patentanspruch 3 angegebenen Merkmale gelöst.

Gemäß der Erfindung wird die synthetische Information direkt in die reale Umgebung projiziert, so dass sie an der entspre- chenden Bildposition dargestellt wird. Hierdurch werden die genannten Nachteile bei der Verwendung eines Displays vermie- den.

Der Grundgedanke der Erfindung ist die Projektion von synthe- tischer Information beziehungsweise Zusatzinformation in die reale Umgebung durch Verwendung einer Kamera im Verbund mit einer Projektionseinheit. Durch die Realisierung einer Rück- kopplung zwischen dem Kamerabild und der Projektionseinheit erfolgt eine Korrektur der Projektionsposition.

Bei einer Weiterbildung der Erfindung erfolgt eine Realisie- rung einer Rückkopplung zwischen Kamerabild und Projektions- einheit zur Kompensation von Abbildungsfehlern.

Im Folgenden wird die Erfindung anhand eines in der Zeichnung dargestellten Ausführungsbeispieles näher beschrieben.

Zur Projektion von synthetischen Informationen in die reale Umgebung wird beispielsweise das in der Figur 1 dargestellt Mobiltelefon MT verwendet. Das Mobiltelefon MT weist hierzu ein Kameramodul K auf der Rückseite zur Aufzeichnung von Bil- dern aus der Umgebung auf, einen Prozessor zur Verarbeitung der Bildinformation, sowie eine Projektionseinheit P, die beispielsweise drehbar auf der Oberseite des Handys angeord- net ist. Auf der Frontseite des Mobiltelefons befindet sich eine Anzeigeeinrichtung AE.

Das Kamerabild wird mit Methoden der digitalen Bildverarbei- tung ausgewertet. Hierunter sollen im Allgemeinen auch Ver- fahren der Mustererkennung verstanden werden, so dass bei- spielsweise abgebildete Gegenstände erkannt und identifiziert werden können, wodurch eine Zuordnung zu einem Modell möglich ist. So wird beispielweise durch Zugrundelegung der Informa- tionen des dreidimensionalen Modells einer Anlage die Positi- on berechnet, unter der beispielsweise ein Pfeil (in der Fi- gur nicht näher bezeichnet) mit Hilfe der Projektionseinheit P in die reale Umgebung projiziert wird.

Das Projektionsergebnis wird anschließend im Kamerabild aus- gewertet und durch eine Rückkopplung die Position des Pfeiles gegebenenfalls korrigiert. Wie schon ausgeführt, kann bei ei- ner Weiterbildung der Erfindung auch die Abbildung selbst, beispielsweise hinsichtlich ihrer Größe, korrigiert werden.

Das erfindungsgemäße Verfahren benützt eine Projektionsein- heit und eine Kamera beziehungsweise ein Kameramodul. Durch Auswertung des Kamerabildes und unter Zugrundelegung eines 3D-Objekt-Modells wird die Koordinate berechnet, an der die synthetische Information durch den Projektor P in die reale Umgebung projiziert wird. Der Benutzer sieht damit direkt an dem Objekt die zusätzliche synthetische Information. Die In- formation bestimmt dann die weitere Tätigkeit des Benutzers.

In dem Beispiel der Wartungsaufgabe kann somit ein Pfeil di- rekt auf das Teil projiziert werden, das beispielsweise aus- gewechselt werden soll. Der Benutzer muss hierbei nicht auf ein Display beziehungsweise die Anzeigeeinrichtung AE schau- en, und er muss das bezeichnete Teil auch nicht in der realen Umgebung erkennen. Der Umgang mit der Augmented Reality wird dadurch wesentlich einfachere und auch sicherer.

Darüber hinaus wird das Kamerabild ständig dazu verwendet, das Projektionsergebnis mit Methoden der digitalen Bildverar-

beitung zu überwachen. Die Projektionsposition und bei einer Weiterbildung auch Abbildungsfehler durch die dreidimensiona- le Beschaffenheit des Objektes können erfasst und korrigiert werden. Abbildungsfehler entstehen beispielsweise bei der Ab- bildung eines Pfeiles auf einer geneigten Ebene. Durch die Korrektur wird eine mögliche Verzerrung beseitigt.