Verfahren zum Transformieren einer Zeichnung zwischen zwei Zeichenflächen Stand der Technik

Der Ansatz geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche. Gegenstand des vorliegenden Ansatzes ist auch ein Computerprogramm.

Sogenannte Shared Whiteboards sind heute Teil vieler Web-Applikationen, die typischerweise erfordern, dass man mit einem Diskussionspartner über jeweils eine„geteilte" Display-Oberfläche am Arbeitsplatzrechner/Laptop/Notebook kommuniziert. Inhalte werden dabei per Maus oder Stift auf eine definierte gemeinsame Zeichnungsfläche gezeichnet. Es gibt weiterhin Augmented-Reality- Brillen, kurz: AR-Brillen, die eine„See-Through-Augmentierung", also eine Überlagerung von Grafikelementen in die Sicht des Benutzers erlauben.

Offenbarung der Erfindung

Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Transformieren einer Zeichnung zwischen zwei Zeichenflächen, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen

Anspruch angegebenen Vorrichtung möglich.

Die mit dem vorgestellten Ansatz erreichbaren Vorteile bestehen darin, dass ein hier vorgestelltes Verfahren zum Transformieren einer Zeichnung zwischen zwei Zeichenflächen Benutzern beim Teilen von Zeichnungen eine natürliche

Bewegungsfreiheit ermöglicht. So können die Benutzer insbesondere in kreativen Phasen praktischerweise mit einem beliebigen echten Stift und einem beliebigen Untergrund, beispielsweise einem Flipchart oder Block, arbeiten. Das Verfahren ermöglicht hierbei vorteilhafterweise ein exaktes Transformieren der auf einer Zeichenfläche getätigten Zeichnung auf eine weitere Zeichenfläche.

Es wird ein Verfahren zum Transformieren einer Zeichnung zwischen zwei Zeichenflächen vorgestellt. Das Verfahren umfasst zumindest die folgenden Schritte:

Einlesen zumindest eines ersten Markersignals, das zumindest drei erste Markerpositionen von ersten Markern auf einer auf einem ersten Kamerabild abgebildeten ersten Zeichenfläche repräsentiert, diese ersten Marker können von einem Benutzer gezeichnete erste Markierpunkte zum Definieren eines

Zeichenbereichs auf der ersten Zeichenfläche sein;

Bestimmen einer ersten Transformationsvorschrift zum Transformieren der ersten Zeichenfläche in ein Referenzkoordinatensystem unter Verwendung der ersten Markerpositionen, hierbei kann die erste Transformationsvorschrift beispielsweise unter Verwendung einer affinen Abbildung bestimmt werden;

Empfangen zumindest eines ersten Zeichensignals, das erste Zeichenpositionen von ersten Zeichenpunkten auf der auf dem ersten oder einem weiteren ersten Kamerabild abgebildeten ersten Zeichenfläche repräsentiert, bei den ersten Zeichenpunkten kann es sich um eine durch den Benutzer getätigte erste Zeichnung innerhalb der zumindest drei ersten Markerpositionen handeln, die für einen weiteren Benutzer bereitgestellt werden soll;

Transformieren der ersten Zeichenpositionen in das Referenzkoordinatensystem unter Verwendung der ersten Transformationsvorschrift, um erste

Referenzzeichenpositionen bereitzustellen, diese ersten

Referenzzeichenpositionen können im Folgenden für eine transformierte

Darstellung der ersten Zeichnung für den weiteren Benutzer dienen; Einlesen zumindest eines zweiten Markersignals, das zumindest drei zweite Markerpositionen von zweiten Markern auf einer auf einem zweiten Kamerabild abgebildeten zweiten Zeichenfläche repräsentiert, diese zweiten Marker können von dem weiteren Benutzer gezeichnete zweite Markierpunkte zum Definieren des zweiten Zeichenbereichs auf der zweiten Zeichenfläche sein;

Bestimmen einer zweiten Transformationsvorschrift zum Transformieren der zweiten Zeichenfläche in das Referenzkoordinatensystem unter Verwendung der zweiten Markerpositionen, hierbei kann die zweite Transformationsvorschrift beispielsweise unter Verwendung einer affinen Abbildung bestimmt werden; und

Transformieren der ersten Referenzzeichenpositionen in die zweite

Zeichenfläche unter Verwendung der zweiten Transformationsvorschrift, um transformierte erste Zeichenpositionen bereitzustellen, diese transformierten ersten Zeichenpositionen können zur Anzeige der ersten Zeichnung für den weiteren Benutzer dienen.

Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.

Der hier vorgestellte Ansatz ermöglicht vorteilhafterweise ein nutzerfreundliches, transportables Whiteboard-System, das es Benutzern erlaubt, mit herkömmlichen Stiften und Flipcharts bzw. Stiften und Blöcken zu arbeiten. Zur Durchführung des Verfahrens können die Benutzer beispielsweise jeweils eine AR-Brille mit einer Kamera und/oder einem Projektor nutzen. Alternativ oder zusätzlich können die Kamera und/oder der Projektor auch als eigenständige Einheiten außerhalb der AR-Brille angeordnet sein. Eine Vorrichtung, die ausgebildet ist, um das Verfahren anzusteuern und/oder durchzuführen kann beispielsweise in der AR- Brille angeordnet sein. Das Referenzkoordinatensystem mit zumindest den ersten Referenzzeichenpositionen kann hierbei in einer Cloud oder für die Cloud bereitgestellt werden.

Um umgekehrt auch dem Benutzer eine Anzeige einer auf der zweiten

Zeichenfläche durch den weiteren Benutzer getätigten zweiten Zeichnung zu ermöglichen, kann das Verfahren einen Schritt des Empfangens zumindest eines zweiten Zeichensignals umfassen, das zweite Zeichenpositionen von zweiten Zeichenpunkten auf der auf dem zweiten oder einem weiteren zweiten

Kamerabild abgebildeten zweiten Zeichenfläche repräsentiert. Das Verfahren kann zudem einen Schritt des Transformierens der zweiten Zeichenpositionen in das Referenzkoordinatensystem unter Verwendung der zweiten

Transformationsvorschrift umfassen, um zweite Referenzzeichenpositionen bereitzustellen. Weiterhin kann das Verfahren letztendlich auch einen Schritt des Transformierens der zweiten Referenzzeichenpositionen in die erste

Zeichenfläche unter Verwendung der ersten Transformationsvorschrift umfassen, um transformierte zweite Zeichenpositionen bereitzustellen.

Zum Drucken, Speichern und/oder zum Dokumentieren der

Referenzzeichenpositionen in einem Bild kann das Verfahren einen Schritt des Kombinierens aufweisen, in dem die ersten Referenzzeichenpositionen und die zweiten Referenzzeichenpositionen zu einem Kombinierbild kombiniert werden. Im Schritt des Kombinierens können die ersten Referenzzeichenpositionen und die zweiten Referenzzeichenpositionen beispielsweise zu dem Kombinierbild überlagert werden. Das Kombinierbild kann beispielsweise auch weiteren Benutzern angezeigt werden.

Um auch nach Bewegungen der Benutzer und damit verbundenen

Blickwinkeländerungen der Benutzer, stets aktuelle Transformationsschriften bereitzustellen, kann das Verfahren gemäß einer vorteilhaften Ausführungsform einen Schritt des Einlesens zumindest eines aktualisierten ersten Markersignals aufweisen, das zumindest drei aktualisierte erste Markerpositionen von den ersten Markern auf der auf einem aktualisierten ersten Kamerabild abgebildeten ersten Zeichenfläche repräsentiert. Von Vorteil ist es auch weiterhin, wenn das Verfahren einen Schritt des Bestimmens einer aktualisierten ersten

Transformationsvorschrift zum Transformieren der ersten Zeichenfläche in das Referenzkoordinatensystem, z. B. über eine affine Abbildung, unter Verwendung der aktualisierten ersten Markerpositionen umfasst.

Das Verfahren kann einen Schritt des Erfassens des ersten Kamerabilds unter Verwendung einer Kamera der ersten AR-Brille umfassen. So kann zumindest das erste Kamerabild durch die beispielsweise von dem Benutzer getragene erste AR-Brille erfasst werden.

Das Verfahren kann einen Schritt des Projizierens umfassen, in dem

transformierte erste Zeichenpunkte an den transformierten ersten

Zeichenpositionen in die zweite Zeichenfläche unter Verwendung eines weiteren Projektors einer zweiten AR-Brille projiziert werden. So können dem weiteren Benutzer die ersten transformierten Zeichenpunkte an den ersten transformierten Zeichenpositionen vorteilhafterweise durch den weiteren Projektor auf der zweiten Zeichenfläche angezeigt werden.

Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in

entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante des Ansatzes in Form einer Vorrichtung kann die dem Ansatz zugrunde liegende Aufgabe schnell und effizient gelöst werden.

Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine

Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EPROM oder eine

magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann. Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.

Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen

Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend

beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.

Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt: Fig. 1 eine Konzeptdarstellung transformierter Zeichnungen auf zwei

Zeichenflächen gemäß einem Ausführungsbeispiel; und

Fig. 2 ein Ablaufdiagramm eines Verfahrens zum Transformieren einer Zeichnung zwischen zwei Zeichenflächen gemäß einem Ausführungsbeispiel.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele des vorliegenden Ansatzes werden für die in den verschiedenen Figuren

dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche

Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird. Fig. 1 zeigt eine Konzeptdarstellung transformierter Zeichnungen auf zwei Zeichenflächen 100, 105 gemäß einem Ausführungsbeispiel. Ein Benutzer 110 trägt gemäß diesem Ausführungsbeispiel eine erste AR-Brille

115 und hat mit einem ersten Stift 120 auf die erste Zeichenfläche 100 gezeichnet. Auf der ersten Zeichenfläche 100 sind gemäß diesem

Ausführungsbeispiel durch den Benutzer 100 vier erste Marker 125 an vier ersten Markerpositionen gezeichnet worden. Weiterhin sind durch den Benutzer 100 erste Zeichenpunkte 130 an ersten Zeichenpositionen auf die erste

Zeichenfläche 100 gezeichnet worden. Die erste AR-Brille 115 weist gemäß diesem Ausführungsbeispiel eine Kamera auf, die dazu ausgebildet ist, um zumindest die vier ersten Markerpositionen der ersten Marker 125 auf einem ersten Kamerabild einzulesen. Unter Verwendung der ersten Markerpositionen ist gemäß diesem Ausführungsbeispiel eine erste Transformationsvorschrift 135 zum Transformieren der ersten Zeichenfläche 100 in ein

Referenzkoordinatensystem 140 bestimmt worden. Unter Verwendung der ersten Transformationsvorschrift 135 sind die ebenfalls in dem oder einem weiteren Kamerabild empfangenen ersten Zeichenpositionen 130 in das

Referenzkoordinatensystem 140 transformiert worden, um erste

Referenzzeichenpositionen 145 bereitzustellen. Die ersten

Referenzzeichenpositionen 145 sind gemäß diesem Ausführungsbeispiel in dem Referenzkoordinatensystem 140 in einer Cloud 150 bereitgestellt. Ein weiterer Benutzer 155 trägt gemäß diesem Ausführungsbeispiel eine zweite

AR-Brille 160 und hat mit einem zweiten Stift 165 auf die zweite Zeichenfläche 105 gezeichnet. Auf der zweiten Zeichenfläche 105 sind gemäß diesem

Ausführungsbeispiel durch den zweiten Benutzer 155 vier zweite Marker 170 an vier zweiten Markerpositionen gezeichnet worden. Weiterhin sind durch den zweiten Benutzer 155 zweite Zeichenpunkte 175 an zweiten Zeichenpositionen auf die zweite Zeichenfläche 105 gezeichnet worden. Die zweite AR-Brille 160 weist gemäß diesem Ausführungsbeispiel eine weitere Kamera auf, die dazu ausgebildet ist, um zumindest die vier zweiten Markerpositionen der zweiten Marker 170 auf einem zweiten Kamerabild einzulesen. Unter Verwendung der zweiten Markerpositionen ist gemäß diesem Ausführungsbeispiel eine zweite Transformationsvorschrift 180 zum Transformieren der zweiten Zeichenfläche 105 in das Referenzkoordinatensystem 140 bestimmt worden. Unter

Verwendung der zweiten Transformationsvorschrift 135 sind die ebenfalls in dem zweiten oder einem weiteren zweiten Kamerabild empfangenen zweiten

Zeichenpositionen 175 in das Referenzkoordinatensystem 140 transformiert worden, um zweite Referenzzeichenpositionen 185 bereitzustellen. Die zweiten Referenzzeichenpositionen 185 sind gemäß diesem Ausführungsbeispiel ebenfalls in dem Referenzkoordinatensystem 140 in der Cloud 150 bereitgestellt.

Die ersten Referenzzeichenpositionen 145 sind in die zweite Zeichenfläche 105 unter Verwendung der zweiten Transformationsvorschrift 180 transformiert worden, um transformierte erste Zeichenpositionen 190 bereitzustellen. Gemäß diesem Ausführungsbeispiel weist die zweite AR-Brille 160 einen weiteren Projektor auf, der die transformierten ersten Zeichenpositionen 190 in die zweite Zeichenfläche 105 projiziert.

Die zweiten Referenzzeichenpositionen 185 sind in die erste Zeichenfläche 105 unter Verwendung der ersten Transformationsvorschrift 135 transformiert worden, um transformierte zweite Zeichenpositionen 195 bereitzustellen. Gemäß diesem Ausführungsbeispiel weist die erste AR-Brille 115 einen Projektor auf, der die transformierten zweiten Zeichenpositionen 195 in die erste Zeichenfläche 100 projiziert.

Im Folgenden werden anhand von Figur 1 bereits beschriebene Details des Ansatzes noch einmal genauer ausgeführt:

Der hier beschriebene Ansatz kann als ein nutzerfreundliches Shared

Whiteboard-System basierend auf Augmented Reality-Brillen mit einer robusten Referenzierung bezeichnet werden. Genutzt wird gemäß diesem

Ausführungsbeispiel auf jeder Kommunikationsseite jeweils eine AR-Brille 115, 160 mit jeweils einer nach vorne ausgerichteten Kamera, die jeweils z. B. per Bluetooth oder WLan mit einer Recheneinheit, hier jeweils einem Smartphone 196 197, verbunden sind. Die Recheneinheiten sind über einen gemeinsamen Server, hier die Cloud 150, verbunden, der eine Kommunikation mit möglichst geringer Latenz, gemäß diesem Ausführungsbeispiel mit einer Latenz von weniger als 200ms, ermöglicht. Vor einem Beginn einer Sitzung zeichnen die beiden Kommunikationsparteien, hier der Benutzer 110 und der weitere Benutzer 155, auf der gewünschten Zeichnungsfläche 100, 105 jeweils mindestens drei Marker, vorteilhafterweise wie gemäß diesem Ausführungsbeispiel jeweils vier Marker 125, 170, die einen jeweiligen Zeichnungsbereich auf der ersten

Zeichenfläche 100 und der zweiten Zeichenfläche 105 kennzeichnen.

Wie bereits beschreiben, verwendet der Ansatz gemäß diesem

Ausführungsbeispiel jeweils eine AR-Brille 115, 160 mit Kameras bei einem Sender und einem Empfänger. Die AR-Brillen 115, 160 sind jeweils mit der einfachen Rechnereinheit, hier den Smartphones 196, 197, gemäß alternativen Ausführungsbeispielen mit PCs und/oder Tablets, verbunden. Die jeweiligen Smartphones 196, 197 kommunizieren gemäß diesem Ausführungsbeispiel vorteilhafterweise über eine Cloud 150 bzw. einen Cloud-Service, miteinander.

Eine robuste wie simple Kalibrierung erlaubt es dabei, auf beliebigen Flächen, hier der ersten Zeichenfläche 100 und der zweiten Zeichenfläche 105, und mit ganz normalen Stiften 120, 165 zu arbeiten. Die Flächen können dabei auch unterschiedlich sein - gemäß einem alternativen Ausführungsbeispiel kann auch ein Flipchart auf der einen Seite verwendet werden und auf der anderen Seite ein normaler Zeichenblock. Ein gemeinsames Bild ersteht jeweils durch eine

Überlagerung der eigenen Zeichnung mit einer übertragenen und per AR-Brille 115, 160 überlagerten Zeichnung des„Remote"- Kollegen. Anders als bei bekannten geteilten Display-Oberflächen erlaubt der hier beschriebene Ansatz eine große Bewegungsfreiheit für Benutzer 110, 155, die vorteilhafterweise in kreativen Phasen arbeitenden Menschen ein Arbeiten mit echten Stiften 120, 165 und Flipcharts ermöglicht. Die AR-Brillen 115, 160 zur Umsetzung des Ansatzes sind einfach transportabel und günstiger, als bekannte aufwendige Projektionstafeln mit einer Shared-White-Board Funktion.

Fig. 2 zeigt ein Ablaufdiagramm eines Verfahrens 200 zum Transformieren einer Zeichnung zwischen zwei Zeichenflächen gemäß einem Ausführungsbeispiel. Dabei kann es sich um ein Verfahren 200 handeln, das von einer Vorrichtung ausführbar ist. Das Verfahren 200 umfasst zumindest einen Schritt 205 des Einlesens zumindest eines ersten Markersignals, einen Schritt 210 des Bestimmens einer ersten Transformationsvorschrift 135, einen Schritt 215 des Empfangens zumindest eines ersten Zeichensignals, einen Schritt 220 des Transformierens der ersten Zeichenpositionen, einen Schritt 225 des Einlesens zumindest eines zweiten Markersignals, einen Schritt 230 des Bestimmens einer zweiten

Transformationsvorschrift 180 und einen Schritt 235 des Transformierens der ersten Referenzzeichenpositionen.

Im Schritt 205 des Einlesens zumindest eines ersten Markersignals wird zumindest ein erstes Markersignal eingelesen, das zumindest drei erste

Markerpositionen von ersten Markern auf einer auf einem ersten Kamerabild A abgebildeten ersten Zeichenfläche repräsentiert. Hierzu wird das Kamerabild erfasst und rechnerisch werden die Markerpositionen aus dem Kamerabild bestimmt, um hieraus die ersten Markersignale zu erzeugen.

Im Schritt 210 des Bestimmens einer ersten Transformationsvorschrift 135 wird eine erste Transformationsvorschrift 135 zum Transformieren der ersten

Zeichenfläche in ein Referenzkoordinatensystem unter Verwendung der ersten

Markerpositionen bestimmt.

Im Schritt 215 des Empfangens zumindest eines ersten Zeichensignals wird zumindest ein erstes Zeichensignal empfangen, das erste Zeichenpositionen von ersten Zeichenpunkten auf der auf dem ersten oder einem weiteren ersten

Kamerabild A abgebildeten ersten Zeichenfläche repräsentiert.

Im Schritt 220 des Transformierens der ersten Zeichenpositionen werden die ersten Zeichenpositionen in das Referenzkoordinatensystem unter Verwendung der ersten Transformationsvorschrift 135 transformiert, um erste

Referenzzeichenpositionen bereitzustellen.

Im Schritt 225 des Einlesens zumindest eines zweiten Markersignals wird zumindest ein zweites Markersignal eingelesen, das zumindest drei zweite Markerpositionen von zweiten Markern auf einer auf einem zweiten Kamerabild B abgebildeten zweiten Zeichenfläche repräsentiert;

Im Schritt 230 des Bestimmens einer zweiten Transformationsvorschrift 180 wird eine zweite Transformationsvorschrift 180 zum Transformieren der zweiten Zeichenfläche in das Referenzkoordinatensystem unter Verwendung der zweiten Markerpositionen bestimmt.

Im Schritt 235 des Transformierens der ersten Referenzzeichenpositionen werden die ersten Referenzzeichenpositionen in die zweite Zeichenfläche unter Verwendung der zweiten Transformationsvorschrift 180 transformiert, um transformierte erste Zeichenpositionen bereitzustellen.

Optional weist das Verfahren 200 weiterhin einen Schritt 240 des Erfassens des ersten Kamerabilds A, einen Schritt 245 des Projizierens, einen Schritt 250 des Empfangens zumindest eines zweiten Zeichensignals, einen Schritt 255 des Transformierens der zweiten Zeichenpositionen, einen Schritt 260 des

Transformierens der zweiten Referenzzeichenpositionen, einen Schritt 265 des Kombinierens, einen Schritt 270 des Speicherns, einen Schritt 275 des Erfassens des zweiten Kamerabilds B und einen Schritt 280 des weiteren Projizierens auf.

Im Schritt 240 des Erfassens des ersten Kamerabilds A wird das erste

Kamerabild A unter Verwendung einer Kamera, insbesondere einer Kamera der ersten AR-Brille, erfasst.

Im Schritt 245 des Projizierens werden transformierte erste Zeichenpunkte an den transformierten ersten Zeichenpositionen in die zweite Zeichenfläche unter Verwendung eines weiteren Projektors einer zweiten AR-Brille projiziert.

Im Schritt 250 des Empfangens zumindest eines zweiten Zeichensignals wird zumindest ein zweites Zeichensignal empfangen, das zweite Zeichenpositionen von zweiten Zeichenpunkten auf der auf dem zweiten oder einem weiteren zweiten Kamerabild B abgebildeten zweiten Zeichenfläche repräsentiert. Im Schritt 255 des Transformierens der zweiten Zeichenpositionen werden die zweiten Zeichenpositionen in das Referenzkoordinatensystem unter Verwendun; der zweiten Transformationsvorschrift 180 transformiert, um zweite

Referenzzeichenpositionen bereitzustellen.

Im Schritt 260 des Transformierens der zweiten Referenzzeichenpositionen werden die zweiten Referenzzeichenpositionen in die erste Zeichenfläche unter Verwendung der ersten Transformationsvorschrift 135 transformiert, um transformierte zweite Zeichenpositionen bereitzustellen.

Im Schritt 265 des Kombinierens werden die ersten Referenzzeichenpositionen und die zweiten Referenzzeichenpositionen zu einem Kombinierbild C kombiniert. Gemäß diesem Ausführungsbeispiel werden im Schritt 265 des Kombinierens die ersten Referenzzeichenpositionen und die zweiten

Referenzzeichenpositionen zu dem Kombinierbild C überlagert.

Im Schritt 270 des Speicherns wird das Kombinierbild C gespeichert. Gemäß einem alternativen Ausführungsbeispiel wird das Kombinierbild C im Schritt 270 des Speicherns zusätzlich oder alternativ gedruckt und/oder dokumentiert.

Im Schritt 275 des Erfassens des zweiten Kamerabilds B wird das zweite Kamerabild B unter Verwendung einer weiteren Kamera einer zweiten AR-Brille erfasst. Im Schritt 280 des weiteren Projizierens werden transformierte zweite

Zeichenpunkte an den transformierten zweiten Zeichenpositionen in die erste Zeichenfläche unter Verwendung eines Projektors der ersten AR-Brille projiziert.

Gemäß einem alternativen Ausführungsbeispiel weist das Verfahren 200 weiterhin zumindest einen Schritt des Einlesens zumindest eines aktualisierten ersten Markersignals, einen Schritt des Bestimmens einer aktualisierten ersten Transformationsvorschrift, einen Schritt des Einlesens zumindest eines aktualisierten zweiten Markersignals und einen Schritt des Bestimmens einer aktualisierten zweiten Transformationsvorschrift auf. Im Schritt des Einlesens zumindest eines aktualisierten ersten Markersignals wird zumindest ein aktualisiertes erstes Markersignal eingelesen, das zumindest drei aktualisierte erste Markerpositionen von den ersten Markern auf der auf einem aktualisierten ersten Kamerabild abgebildeten ersten Zeichenfläche repräsentiert.

Im Schritt des Bestimmens einer aktualisierten ersten Transformationsvorschrift wird eine aktualisierte erste Transformationsvorschrift zum Transformieren der ersten Zeichenfläche in das Referenzkoordinatensystem unter Verwendung der aktualisierten ersten Markerpositionen bestimmt.

Im Schritt des Einlesens zumindest eines aktualisierten zweiten Markersignals wird zumindest ein aktualisiertes zweites Markersignal eingelesen, das zumindest drei aktualisierte zweite Markerpositionen von den zweiten Markern auf der auf einem aktualisierten zweiten Kamerabild abgebildeten zweiten

Zeichenfläche repräsentiert.

Im Schritt des Bestimmens einer aktualisierten zweiten Transformationsvorschrift wird eine aktualisierte zweite Transformationsvorschrift zum Transformieren der zweiten Zeichenfläche in das Referenzkoordinatensystem unter Verwendung der aktualisierten zweiten Markerpositionen bestimmt.

Im Folgenden werden bereits beschriebene Details des Verfahrens 200 noch einmal genauer ausgeführt:

In den Schritten 205, 225 werden in den jeweiligen Kamerabildern A, B die Marker detektiert und deren Markerpositionen im Bild bestimmt. Die drei ersten Markerpositionen der drei ersten Marker im ersten Kamerabild A sind gemäß diesem Ausführungsbeispiel an den Positionen Al=(xll,yll); Bl=(xl2,yl2); Cl=(xl3,yl3) angeordnet. Dabei kann die Position AI dem in dem Kamerabild A links oben gezeigten Marker, die Position Bl dem Marker links unten und die Position Cl dem Marker rechts unten zugeordnet sein. Die drei zweiten

Markerpositionen der drei zweiten Marker im zweiten Kamerabild B sind gemäß diesem Ausführungsbeispiel an den Positionen A2=(x21,y21); B2=(x22,y22); C2=(x23,y23) angeordnet. Dabei kann die Position A2 dem in dem Kamerabild B links oben gezeigten Marker, die Position B2 dem Marker links unten und die Position C2 dem Marker rechts unten zugeordnet sein.

In den Schritten 210, 230 wird aus diesen Positionen z. B. über eine affine Abbildung die jeweilige Transformationsvorschrift 135, 180 in das

Referenzkoordinatensystem berechnet, bei der die Marker aus den Bildern zusammenfallen, also eine Orientierung und Größen vereinheitlicht werden. Die erste Transformationsvorschrift 135 ist gemäß diesem Ausführungsbeispiel:

^" öl 1 1 «1 12 ^~

aff =

f ^f a\2\ «122

Die zweite Transformationsvorschrift 180 ist gemäß diesem Ausführungsbeispiel:

Mit diesen Transformationsvorschriften A, B, die sich typischerweise durch Bewegungen der Benutzer von Bild zu Bild immer verändern, wird in den

Schritten 220, 255 jeweils ein Inhalt der Kamerabilder A, B in das

Referenzkoordinatensystem transformiert.

Die beiden Kamerabilder A, B werden dann im Schritt 265 in ein gemeinsames Bild, das Kombinierbild C, überlagert. Im Schritt 270 erfolgt gemäß dem alternativen Ausführungsbeispiel weiterhin eine Ausgabe für eine Dokumentation und/oder das Kombinierbild C, das auch als Gesamtbild bezeichnet werden kann, wird auf eine Projektoreinrichtung übertragen.

In den Schritten 235, 260 werden die Bilddaten aus den Kameras im

Referenzkoordinatensystem dann so aufbereitet, dass sie mit dem weiteren Projektor der zweiten AR-Brille in das Sichtfeld des weiteren Benutzers der zweiten AR-Brille projiziert werden können- und umgekehrt. Damit das gelingt, sind eine relative Position und Orientierung sowie optische

Abbildungseigenschaften des Projektors und der festmonierten Kameras jeweils vorab einmal durch Schritte 285, 290 des Kalibrierens kalibriert worden, gemäß diesem Ausführungsbeispiel durch Bandendekalibrierungen in der Produktion der ersten AR-Brille und der zweiten AR-Brille. Dazu wurde gemäß diesem

Ausführungsbeispiel jeweils ein Muster in die AR-Brillen projiziert, welches mit einem weiteren Muster auf einer Fläche zur Deckung gebracht wurde, was gleichzeitig mit den jeweiligen Kameras beobachtet wurde. Dann sind mit Algorithmen die Parameter bestimmt worden. Vorteilhafterweise ist die

Ausführung der Bildverarbeitung möglichst dicht an der jeweiligen Kamera erfolgt. Für einen Austausch über die Cloud müssen dann nur sehr schmalbandig die Daten zu den jeweiligen Transformationen ausgetauscht werden. Die hier vorgestellten Verfahrensschritte können wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden. Umfasst ein Ausführungsbeispiel eine„und/oder"-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das

Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.