Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
TRACKING-LESS PROJECTION-BASED "AUGMENTED REALITY [AR]" METHOD AND SYSTEM FOR ASSISTING INSTALLATION FOR INDUSTRIAL GOODS, PARTICULARLY FOR LOCATING GROOVE BLOCKS FOR COMPONENT INSTALLATION IN WAGON CONSTRUCTION
Document Type and Number:
WIPO Patent Application WO/2018/036741
Kind Code:
A1
Abstract:
In order to specify a tracking-less projection-based "augmented reality [AR]" method and system for assisting installation for industrial goods that optimises the production process for the industrial goods with respect to time involvement, cost item and susceptibility to error, a preferably mobile AR projection unit (PJE) for locating installation positions (MTP) in relation to the industrial good (ZWA) to be produced and with respect to an installation position (MTP) to be located for the industrial good (ZWA) to be produced are positioned and oriented using position data ascertained and stored on the basis of stored design, workplan and 3D model information, supplied to the AR projection unit (PJE), of the industrial good (ZWA), the AR projection unit (PJE) is set up on the basis of stored calibration data generated by calibration, a projection image in the form and shape of an installation template is computed using "spatial augmented reality"-based methods on the basis of the stored position data, the projection properties of the projection unit (PJE), the stored calibration data and the stored 3D model information, and the computed projection image is overlaid on the installation position (MTP) of the industrial good (ZWA) to be produced by means of appropriate actuation of the AR projection unit (PJE).

Inventors:
SAUER MARKUS (DE)
Application Number:
PCT/EP2017/068818
Publication Date:
March 01, 2018
Filing Date:
July 26, 2017
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
SIEMENS AG (DE)
International Classes:
G06F3/01; G01S5/00; G06F17/50; G06Q50/04; G06Q50/08; G06T19/00
Foreign References:
DE102011015987A12012-10-04
Other References:
LAPLASER: "Laser projection systems for aircraft industry", YOUTUBE, 22 June 2011 (2011-06-22), pages 10 pp., XP054977837, Retrieved from the Internet [retrieved on 20170101]
"Einsatz der Augmented-Reality-Technologie zur Unterstützung des Fahrers von Flurförderzeugen", BERICHTSZEITRAUM, 2012, pages 1 - 17
Download PDF:
Claims:
Patentansprüche

1. Trackingloses proj ektionsbasiertes "Augmented Reality

[AR] "-Verfahren zur Montageunterstützung von Produktionsgü- tern, insbesondere zum Lokalisieren von Nutensteinen für die Bauteilmontage im Waggonbau, gekennzeichnet durch

- Positionieren und Ausrichten einer AR-Proj ektionseinheit (PJE) zum Lokalisieren von Montagepositionen (MTP) , die vorzugsweise mobil ausführt ist, in Bezug zu dem zu fertigenden Produktionsgut (ZWA) und auf eine zu lokalisierende Montage¬ position (MTP) des zu fertigenden Produktionsgutes (ZWA) mit Hilfe von auf der Basis von gespeicherten, der AR-Projekti- onseinheit (PJE) zugeführten Konstruktions- , Arbeitsplan- und 3D-Modellinformationen des Produktionsgutes (ZWA) ermittelten und gespeicherten Positionsdaten;

- Einrichten der AR-Proj ektionseinheit (PJE) aufgrund von durch Kalibrierung generierten, gespeicherten Kalibrierungsdaten;

- Berechnen eines Projektionsbildes in Form und Gestalt einer Montageschablone mit "Spatial Augmented Reality"-basierten

Methoden auf der Basis der gespeicherten Positionsdaten, der Projektionseigenschaften der Projektionseinheit (PJE), der gespeicherten Kalibrierungsdaten und der gespeicherten SD- ModellInformationen ;

- Überlagern des berechneten Projektionsbildes auf die Monta¬ geposition (MTP) des zu fertigenden Produktionsgutes (ZWA) durch entsprechende Ansteuerung der AR-Proj ektionseinheit (PJE) . 2. AR-Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die AR-Proj ektionseinheit (PJE) für die Positionierung durch eine in/an dem Produktionsgut (ZWA) reversibel befestigbare Halterung (HLT) aufgenommen und gehalten wird. 3. AR-Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass für die Ermittlung der Positionsdaten eine Identifikations- kennung (ID) der Halterung (HLT) herangezogen wird.

4. AR-Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass

die Berechnung des Projektionsbildes auf einem Steuergerät (STG) , wie z.B. einem Notebook, Laptop, Smartphone, Tablet oder einer Smartwatch etc., durchgeführt wird, das hierzu ein Bildberechnungsmodul benutzt und vorzugsweise in mobiler Aus¬ führung eingesetzt wird.

5. AR-Verfahren nach einem der Ansprüche 1 bis 4, dadurch ge- kennzeichnet, dass

die Positions-, die Kalibrierungs- und/oder Projektionsbild¬ daten in einer Datenbank (DB) für Konfigurationsdaten gespeichert werden. 6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass

die Konstruktions- , Arbeitsplan- und 3D-Modellinformationen des Produktionsgutes (ZWA) in einem "Engineering Backend"- System (EBS) für das zu fertigende Produktionsgut (ZWA) abge- legt werden.

7. Trackingloses proj ektionsbasiertes "Augmented Reality

[AR] "-System (ARS) zur Montageunterstützung von Produktionsgütern (ZWA) , insbesondere zum Lokalisieren von Nutensteinen (NST) für die Bauteilmontage im Waggonbau, gekennzeichnet durch

a) mindestens eine AR-Proj ektionseinheit (PJE) zum Lokali¬ sieren von Montagepositionen (MTP) , die, vorzugsweise mobil ausgeführt, jeweils in Bezug zu dem zu fertigenden Produktionsgut (ZWA) und auf eine zu lokalisierende Mon¬ tageposition (MTP) des zu fertigenden Produktionsgutes (ZWA) mit Hilfe von auf der Basis von gespeicherten, der AR-Proj ektionseinheit (PJE) zugeführten Konstruktions-, Arbeitsplan- und 3D-Modellinformationen des Produktions- gutes (ZWA) ermittelten und gespeicherten Positionsdaten positionier- und ausrichtbar ist und die derart ausgebil¬ det ist, dass diese aufgrund von gespeicherten, durch Ka- librierung generierten Kalibrierungsdaten einrichtbar ist ;

b) ein mit der AR-Proj ektionseinheit (PJE) verbundenes, vor¬ zugsweise mobiles, Steuergerät (STG) mit einem nicht- flüchtigen lesbaren Speicher (SP) , in dem prozessorlesbare Steuerprogrammbefehle eines Bildberechnungsmodul (BBM) gespeichert sind, sowie mit einem Prozessor (PZ) , dem in dem Steuergerät (STG) eine Datenschnittstelle (DS) und eine Steuerungsschnittstelle (STS) , über die das Steuer- gerät (STG) mit der AR-Proj ektionseinheit (PJE) verbunden ist, zugeordnet sind und der die Steuerungsbefehle des Bildberechnungsmoduls (BBM) ausführt und dabei auf die Datenschnittstelle (DS) und die Steuerungsschnittstelle (STS) des Steuergeräts (STG) derart zugreift, dass auf der Basis der gespeicherten Positionsdaten, der Projektionseigenschaften der Projektionseinheit (PJE), der gespeicherten Kalibrierungsdaten und der gespeicherten SD- Modellinformationen, die über die Datenschnittstelle (DS) in den Prozessor (PZ) gelangen, ein Projektionsbild in Form und Gestalt einer Montageschablone mit Hilfe des

Bildbearbeitungsmoduls (BBM) angewandten "Spatial

Augmented Reality"-basierten Methoden berechnet wird und zu dem berechneten Projektionsbild korrespondierende Bildinformationen über die Steuerungsschnittstelle (STS) an die AR-Proj ektionseinheit (PJE) übermittelt werden; c) die AR-Proj ektionseinheit (PJE), die derart ausgebildet ist, dass durch die von dem Steuergerät (STG) übermittel¬ te Bildinformation das berechnete Projektionsbild auf die Montageposition (MTP) des zu fertigenden Produktionsgutes (ZWA) überlagert wird.

8. AR-System (ARS) nach Anspruch 7, gekennzeichnet durch mindestens eine in/an dem Produktionsgut (ZWA) reversibel befestigbare Halterung (HLT) , die für die Positionierung der AR-Proj ektionseinheit (PJE) als Aufnahme und Halterung dient.

9. AR-System (ARS) nach Anspruch 8, dadurch gekennzeichnet, dass für die Ermittlung der Positionsdaten die Halterung (HLT) eine Identifikationskennung (ID) aufweist.

10. AR-System nach einem der Ansprüche 7 bis 9, dadurch ge- kennzeichnet, dass

das Steuergerät (STG) als Notebook, Laptop, Smartphone, Tablet oder einer Smartwatch etc., ausgebildet ist.

11. AR-System (ARS) nach einem der Ansprüche 7 bis 10, ge- kennzeichnet durch

eine Datenbank (DB) für Konfigurationsdaten, in der die Posi- tions-, die Kalibrierungs- und/oder Projektionsbilddaten gespeichert sind und die über die Datenschnittstelle (DS) mit dem Prozessor (PZ) in dem Steuergerät (STG) verbunden ist.

12. AR-System (ARS) nach einem der Ansprüche 1 bis 5, gekennzeichnet durch

ein "Engineering Backend"-System (EBS) für das zu fertigende Produktionsgut (ZWA) , in dem die Konstruktions- , Arbeitsplan- und 3D-Modellinformationen des Produktionsgutes (ZWA) abge¬ legt sind und das über die Datenschnittstelle (DS) mit dem Prozessor (PZ) in dem Steuergerät (STG) verbunden ist.

Description:
Beschreibung

Trackingloses proj ektionsbasiertes "Augmented Reality [AR] "- Verfahren und -System zur Montageunterstützung von Produkti- onsgütern, insbesondere zum Lokalisieren von Nutensteinen für die Bauteilmontage im Waggonbau

Die Erfindung betrifft oder bezieht sich auf ein trackinglo ¬ ses proj ektionsbasiertes "Augmented Reality [AR] "-Verfahren zur Montageunterstützung von Produktionsgütern, insbesondere zum Lokalisieren von Nutensteinen für die Bauteilmontage im Waggonbau, gemäß dem Oberbegriff des Patentanspruches 1 und ein Trackingloses laserbasiertes "Augmented Reality [AR] "- System zur Montageunterstützung von Produktionsgütern, insbe- sondere zum Lokalisieren von Nutensteinen für die Bauteilmontage im Waggonbau, gemäß dem Oberbegriff des Patentanspruches 7.

Gemäß dem Schlussbericht zu dem IGF-Vorhaben "Einsatz der Augmented-Reality-Technologie zur Unterstützung des Fahrers von Flurförderzeugen"; Berichtszeitraum 2012-2014; Seiten 1 bis 177, insbesondere Seiten 25 und 26 wird mit dem Begriff "Augmented Reality [AR]" (dt: "Erweiterte Realität") in sei ¬ ner allgemeinsten Definition die computergestützte Erweite- rung der Realitätswahrnehmung bezeichnet. Dabei wird einer

Person bei der Wahrnehmung seiner Umgebung oder einer Situation mit den zur Verfügung stehenden Sinnen, in der sich die Person befindet, computergenerierte, virtuelle Informationen übermittelt, die Bezug zu der Umgebung oder der Situation nehmen und somit im Kontext dazu stehen. Wegen der überwie ¬ genden Informationsaufnahme des Menschen über das Auge, etwa 70 bis 80% der insgesamt aufgenommenen Information wird hierüber aufgenommen, wird mit "Augmented Reality [AR] " überwie ¬ gend die visuelle Wahrnehmung in Verbindung gebracht. Für an- dere Definitionen in der Fachliteratur ist die visuelle Informationserzeugung und -wiedergäbe sogar Voraussetzung. Eine andere Definition, bei der ein AR-System unabhängig von den technischen Eigenschaften definiert wird, definiert ein solches System wie folgt: "Ein AR-System ist ein System, welches virtuelle und reale Objekte kombiniert und in eine drei- dimensionale Beziehung stellt sowie die Interaktion in Echt ¬ zeit erlaubt. "

"Augmented Reality [AR] "-Anwendungen sind vielfältig und ver ¬ schieden. Dabei lässt sich exakte Überlagerung virtueller Ob- jekte auf reale Objekte je nach Anforderung kaum bis gar nicht zu realisieren. So gibt es abgestufte Anwendungen, bei denen keine visuell-realistische Darstellung, aber eine in ¬ formative Darstellung erreicht wird. Grundsätzlich lässt sich bei "Augmented Reality [AR] " zwischen folgenden Arten der In- formationsbereitstellung unterscheiden:

Kontextunabhängig : Die Informationen werden ohne Berücksichtigung der Situation sowie ohne Bezug zur räumlichen Umgebung bereitgestellt .

Kontextabhängig (situationsgerecht) : Die Informationen werden dem aktuell betrachteten, realen Objekt zugeordnet und dem ¬ entsprechend zur richtigen Zeit und am richtigen Ort bereit ¬ gestellt.

Kongruent : Die Informationen werden exakt an der Position des entsprechenden realen Objektes und in der richtigen Perspektive bereitgestellt.

Im Zuge der vorliegenden Anmeldung wird es nachfolgend insbe ¬ sondere um die kongruente Informationsdarstellung gehen.

Im Produktionsumfeld von Produktionsgütern, wie z.B. den Waggonbau von Bahnfahrzeugen oder den Kabinenbau von Flugzeugen, sind beim Aufbau, bei der Montage oder Fertigung dieser Güter sehr oft Positionierungsaufgaben und Messaufgaben durchzufüh- ren. Hierzu ist es erforderlich, die Plandaten aus dem Engineering auf das reale Produktionsgut zu übertragen bzw. diese Daten mit dem realen Produktionsgut abzugleichen. Hierzu ist es erforderlich, die Positionierung von Komponenten und Teil- komponenten zu einem Referenzpunkt zu kennen und zu verste ¬ hen .

"Augmented Reality [AR] "-Systeme, welche virtuelle Plandaten der Realwelt entweder kamerabasiert (z.B. auf Smartphone oder Tablet) , "see-through"-basiert [z.B. in Form von Head Mounted Displays) oder durch Projektion (z.B. Laserprojektor, Beamer, etc.) überlagern, sind hier - zur Montageunterstützung - sehr viel versprechend, da sie dem Nutzer die Informationen in seinem natürlichen Umfeld korrekt registriert anzeigen. Derartige Systeme konnten sich trotz ihres hohen Potenziales noch nicht durchsetzen, da ein robustes Tracking als zentrale Komponente von "Augmented Reality [AR] " entweder sehr aufwen ¬ dig oder nicht zuverlässig genug ist. Das Tracking kann auf dem Augmented Reality Geräte z.B. optisch mit und ohne Marker über das Kamerabild erfolgen oder alle beteiligten Komponenten inklusive dem Anzeigegerät werden extern mit allen sechs Freiheitsgraden kontinuierlich getrackt [z.B. durch ein System wie ARTrack) . Neben der reinen Robustheit der Erfassung sind weitere Herausforderungen: Das Erstellen der entsprechenden Tracking-, Referenzinformation und Inhalte (AR- Authoring) , die Modellierung von virtuellen und realen Verde- ckungen und die Eindeutigkeit von Landmarken. Diese Eindeu ¬ tigkeit von Landmarken bei optischen Verfahren ist insbeson- dere bei gleichförmigen Strukturen, wie z.B. dem Aluminium- Rohbau eines Zugwaggons ein Problem.

Ein weiteres Problem im Bereich des Waggonbaus von Bahnfahrzeugen ist das Auffinden von Nutensteinen nach der Montage der Innenraumisolierung in den Zugwaggons:

In den Rohbau eines Zugwaggons werden Schienen für die Nutensteine eingebracht. · Die Nutensteine dienen zur Montage von Anbauteilen (wie z.B. Gepäckablagen).

Die Nutensteine werden gemäß Planung der Anbauteile in diesen Schienen per Maßband positioniert.

Nach der Platzierung der Nutensteine wird die Innenraum- Isolierung aufgebracht, wodurch die Nutensteine optisch verdeckt sind.

Zur Montage der Anbauteile muss die Position der Nuten ¬ steine erneut vermessen werden, die Isolierung geöffnet und nach Montage der Anbauteile wieder verschlossen wer- den.

Dieser Prozess ist sehr zeitaufwendig und fehleranfällig. Im Zweifel werden große Teile der Isolierung wieder geöffnet, um den fehlenden Nutenstein zu finden.

Der Einsatz eines heute verfügbaren "Augmented Reality [AR] "- Systems zur Markierung der entsprechenden Nutensteinsteilen wäre in der beengten Umgebung des Wagens und mit den optisch gleichmäßigen Oberflächen kaum möglich.

Die Positionierung erfolgt heute meist noch durch Vermessung mit Zollstock, Maßband, oder digitalen Abstandsmessern (u.a. auch im Nutensteinbeispiel ) . Bei hoch präzisen Anforderungen und der zur Qualitätssicherung kommen dann zusätzlich noch Laservermessungssysteme bzw. Messtaster zum Einsatz.

Als eine Art von "Augmented Reality [AR] "-Systemen kommen zum Teil heute auch schon Laser-Projektionssysteme zum Einsatz.

Diese erfordern aber eine aufwendige Einmessung bei jeder Bewegung des Systems. Diese Systeme sind Infrastruktur gebun ¬ den, berücksichtigen in der Regel nicht die drei dimensionale Struktur des Projektionsobjektes und erfordern auch eine se- parate Aufarbeitung der Projektionsinhalte für das System.

Daher werden diese Systeme in der Regel nur für Aufgaben mit höheren Stückzahlen angeschafft. Ein Einsatz in beengtem Raum (z.B. Zug in Lackieranlage, Nutensteinbeispiel) ist nur sei- ten sinnvoll möglich, da die Abdeckung von größeren Objekten sehr viele stationäre Systeme erfordert und damit auch die Kosten überverhältnismäßig steigen. Die der Erfindung zugrundeliegende Aufgabe besteht darin, ein trackingloses proj ektionsbasiertes "Augmented Reality [AR] "- Verfahren und -System zur Montageunterstützung von Produktionsgütern, insbesondere zum Lokalisieren von Nutensteinen für die Bauteilmontage im Waggonbau, anzugeben, mit dem der Fer- tigungsprozess der Produktionsgüter in Bezug auf Zeitaufwand, Kostenposition und Fehleranfälligkeit optimiert wird.

Diese Aufgabe wird ausgehend von dem im Oberbegriff des Pa ¬ tentanspruchs 1 definierten AR-Verfahren durch die im Kenn- zeichen des Patentanspruches 1 angegebenen Merkmale gelöst.

Darüber hinaus wird die Aufgabe ausgehend von dem im Oberbe ¬ griff des Patentanspruchs 7 definierten AR-System durch die im Kennzeichen des Patentanspruches 7 angegebenen Merkmale gelöst.

Die der Erfindung zugrundeliegende Idee gemäß der in den An ¬ sprüchen 1 und 7 jeweils angegebenen technischen Lehre besteht darin, dass bei einem trackinglosen proj ektionsbasier- ten, vorzugsweise laser- oder beamerbasierten, "Augmented

Reality [AR] "-Verfahren und -System zur Montageunterstützung von Produktionsgütern, insbesondere zum Lokalisieren von Nutensteinen für die Bauteilmontage im Waggonbau,

eine, vorzugsweis mobile, AR-Proj ektionseinheit zum Loka- lisieren von Montagepositionen in Bezug zu dem zu fertigenden Produktionsgut und auf eine zu lokalisierende Mon ¬ tageposition des zu fertigenden Produktionsgutes mit Hilfe von auf der Basis von gespeicherten, der AR- Proj ektionseinheit zugeführten Konstruktions- , Arbeits- plan- und 3D-Modellinformationen des Produktionsgutes ermittelten und gespeicherten Positionsdaten positioniert und ausgerichtet wird, die AR-Proj ektionseinheit aufgrund von durch Kalibrierung generierten, gespeicherten Kalibrierungsdaten ausgerichtet wird,

ein Projektionsbild in Form und Gestalt einer Montage- Schablone mit "Spatial Augmented Reality"-basierten Me ¬ thoden auf der Basis der gespeicherten Positionsdaten, der Projektionseigenschaften der Projektionseinheit, der gespeicherten Kalibrierungsdaten und der gespeicherten 3D-Modellinformationen berechnet wird und

- das berechnete Projektionsbild auf die Montageposition des zu fertigenden Produktionsgutes durch entsprechende Ansteuerung der AR-Proj ektionseinheit überlagert wird.

Bei der vorliegenden Erfindung, die ohne ein "Tracking" wäh- rend des Betriebs auskommt, wird ausgenutzt, dass die Umge ¬ bung der Produktion des Produktionsgutes, z.B. des Waggonbaus, und das Produkt, der Zugwaggon, sehr genau bekannt sind und man zusätzliche präzise Produktionshilfen an dem Produktionsgut bzw. dem Zugwaggon realisieren kann.

Um ein trackingloses proj ektionsbasiertes "Augmented Reality [AR] "-Verfahren und -System zu realisieren, werden dabei dessen besonderen Eigenschaften, der hohe Bekanntheitsgrad der räumlichen Gegebenheiten im Umfeld des Produktionsgutes bzw. des Zugwaggons sowie die Möglichkeit, präzise Produktions ¬ hilfsmittel zu realisieren und diese temporär, präzise mit dem Produktionsgut zu verbinden bzw. in dem Zugwaggon anzubringen, genutzt. In Bezug auf das AR-System bedeuten die Ausführungen zur der Erfindung zugrundeliegenden Idee, dass das AR-System vorzugsweise die folgenden Komponenten enthält:

1. Eine Projektionseinheit für ein trackingloses projekti- onsbasiertes , vorzugsweise laser- oder beamerbasiertes ,

"Augmented Reality [AR]", bei der Projektionseigenschaf ¬ ten der Projektionseinheit durch eine vorgelagerte Kali ¬ brierung bestimmt und in einer Datenbank für Konfigurati- onsdaten abgelegt werden. Eine Halterung für die Projektionseinheit, die als Pro ¬ duktionshilfsmittel mit dem Produktionsgut bzw. dem Zug ¬ waggon festverbunden ist (z.B. verschweißt oder verschraubt) und wenn es nicht mehr benötigt - spätestens bei Fertigstellung des Produktionsguts bzw. des Zugwag ¬ gons - wieder demontiert wird. Die exakten Positionsdaten der Halterung respektive der Projektionseinheit im Ver ¬ hältnis zum Produktionsgut sind Teil eines bestehenden Engineering Models für das Produktionsgut bzw. den Zug ¬ waggon. Die Montage der Projektionseinheit auf der Halte ¬ rung ist in allen sechs Freiheitsgraden eindeutig und fix . Eine als Recheneinheit fungierendes und funktionierendes Steuergerät, das z.B. als Laptop, Smartphone, Tablet oder Smartwatch ausgebildet ist. Die Recheneinheit stellt die visuellen Daten für die Projektionseinheit zur Verfügung. Ein als Softwarekomponente ausgebildetes Bildberechnungs ¬ modul zur Berechnung von Projektionsbildern, vorzugsweise in Form und Gestalt von Montageschablone. Auf Basis der bekannten Positionsdaten der der Halterung respektive der Projektionseinheit, der Kalibrierungsdaten der Projekti ¬ onseinheit und den 3D-Modellinformationen des Produkti ¬ onsgutes bzw. des Zugwaggons wird das entsprechende Pro ¬ jektionsbild berechnet und über das Steuergerät bzw. der Recheneinheit mit der Projektionseinheit visualisiert und somit der "Real-Weit" überlagert. Eine Datenbank für Konfigurationsdaten, in der die Positionsdaten, die Projektionseigenschaften der Projektionseinheit, die Kalibrierungsdaten als Konfigurationsdaten abgelegt und zur Nutzung bereitgestellt werden. Darüber hinaus werden in der Datenbank zu den berechneten Projektionsbildern gehörende Projektionsbilddaten gespeichert. 6. Ein "Engineering Backend"-System, in dem die Konstrukti- ons-, Arbeitsplan- und 3D-Modellinformationen für die Projektionseinheit für den entsprechenden Produktions ¬ schritt zur Produktion bzw. Fertigung des Produktionsgu- tes zur Verfügung gestellt werden.

Die wichtigsten Vorteile für ein solches proj ektionsbasiertes "Augmented Reality [AR] "-Verfahren und -System sind: - Es ist kein externes Tracking, aber auch keine Marker

oder nicht-Marker basiertes, optisches Tracking erforderlich bzw. allgemein kein Tracking zur Laufzeit. Trotzdem wird ein proj ektionsbasierten, vorzugsweise laser- oder beamerbasierten, "Augmented Reality [AR] "-Verfahren und- System mit hoher Zuverlässigkeit und Genauigkeit reali ¬ siert .

Es kann mit kalibrierten Standard Projektionseinheiten realisiert werden. Das Projektionseinheit und letztlich das gesamte AR-System sind im Wesentlichen mobil und zur

Berechnung der Projektionsbilder können beliebige Geräte, die einen Projektor ansprechen können, genutzt werden, so beispielsweise und u.a. auch Smartphones. Prinzipiell ist auch ein Batteriebetrieb einfach zu realisieren. Da für das AR-System größtenteils aus Standard-Komponenten verwendet werden können, ist eine kostengünstige Realisie ¬ rung möglich.

Alle Projektionen bzw. Projektionsbilder in Form und Ge- stalt der Montageschablonen können offline bzw. vorab berechnet werden. Dadurch wird in Bezug auf die Arbeitspla ¬ nung die Zeit für Einrichtung und Kalibrierung auf einen Arbeitsschritt vor der eigentlichen Produktion gelegt. Die Berechnung kann weitestgehend automatisiert durchge- führt werden. Nur die Kalibrierung der Projektionseinheit

(mit der z.B. Projektionseigenschaften der Einheit bestimmt werden) erfordert zum Teil manuelle Arbeit von Hand. Dieser Teil der Einrichtung des AR-Systems muss aber für jeden Projektionseinheit auch nur einmal bzw. wenige Male erfolgen. Beim Einsatz des AR-Systems besteht das Setup nur noch aus der Montage an der entsprechenden Halterung und der Eingabe einer Identifikationskennung der Halterung in das Steuergerät bzw. die Recheneinheit.

Insgesamt bedeutet das, dass das AR-System sehr effizient in der Produktion einsetzbar ist.

Weitere Vorteile der Erfindung ergeben sich aus der nachfol- genden Beschreibung eines Ausführungsbeispieles der Erfindung anhand der FIGUR.

Die FIGUR zeigt ein trackingloses proj ektionsbasiertes , vor ¬ zugsweise laser- oder beamerbasiertes , "Augmented Reality

[AR] "-System ARS zur Montageunterstützung für den Bau bzw. die Herstellung eines Zugwaggons ZWA. Um die Montageunterstützung durch das AR-System ARS darstellen zu können, ist in der FIGUR der Querschnitt durch ein Gehäuse GH des Zugwaggons ZWA gezeigt. In dem Gehäuse GH befindet sich im Zwischenraum zwischen der Außenhaut des Gehäuses GH, einer Gehäusewand GHW, und einer im Innenraum des Zugwaggons ZWA liegenden Gehäuseisolierung GHI ein Nutenstein NST. In einem zu montierenden Zugwaggon sind in der Regel mehrere solcher Nutensteine in dem gebildeten Zwischenraum an unterschiedlichen Posi- tionen angeordnet. Aufgrund der Gehäuseisolierung GHI ist der genaue Ort, an dem sich der Nutenstein NST befindet verdeckt und nicht mehr sichtbar. Dadurch wird die weitere Montage des Zugwaggons ZWA erschwert. Aus diesem Grund wird nun das tra- ckinglose proj ektionsbasierte, vorzugsweise laser- oder beamerbasierte, "Augmented Reality [AR] "-System ARS einge ¬ setzt, um eine durch den Nutenstein NST vorgegebene Montage ¬ position MTP für die Bauteilmontage des Zugwaggons ZWA loka ¬ lisieren zu können. Hierzu ist eine AR-Proj ektionseinheit PJE vorgesehen, die vorzugsweise mobil ausgeführt ist. Wie bereits vorstehend er ¬ wähnt, sind in dem Zugwaggon ZWA entlang der kompletten Zugwaggonlänge Nutensteine angeordnet bzw. untergebracht, so dass dann auch im Allgemeinen mehrere AR-Proj ektionspunkte notwendig sind, um die durch die Nutensteine vorgegebenen Montagepositionen für die weitere Zugwaggonmontage zu lokali ¬ sieren. Diese AR-Proj ektionspunkte können dann durch das Ver- setzen des AR-Systems ARS an die entsprechende Stelle bedient werden. Es ist aber auch möglich, hierfür (die Bedienung der AR-Proj ektionspunkte) mehrerer AR-Proj ektionseinheiten PJE einzusetzen . Damit die AR-Proj ektionseinheit PJE in Bezug auf die zu loka ¬ lisierende Montageposition MTP zielgerichtet eingesetzt wer ¬ den kann, ist in dem Zugwaggon ZWA für die AR-Proj ektionseinheit PJE und jede weitere benötigte AR-Proj ektion bzw. AR- Proj ektionseinheit PJE jeweils eine Halterung HLT reversibel an der Gehäusewand GHW befestigt, z.B. durch Verschweißen oder Verschrauben . Die reversibel befestigbare Halterung HLT dient als Aufnahme AR-Proj ektionseinheit PJE, wodurch diese für deren Positionierung in Bezug auf die Montageposition MTP ortsfest in allen sechs Freiheitsgraden positioniert ist. Da- mit die Ortskoordinaten der Halterung HLT in dem Zugwaggon

ZWA für die Ermittlung von Positionsdaten für die Lokalisierung der Montageposition MTP mit der AR-Proj ektionseinheit PJE herangezogen werden können, weist die Halterung HLT eine Identifikationskennung ID auf.

Eine weitere zentrale Komponente des AR-Systems ARS ist ein mit der AR-Proj ektionseinheit PJE verbundenes, vorzugsweise mobiles, Steuergerät STG. Das Steuergerät STG, das vorzugs ¬ weise als Notebook, Laptop, Smartphone, Tablet oder einer Smartwatch etc., ausgebildet ist, enthält einen nicht-flüch ¬ tigen lesbaren Speicher SP, in dem prozessorlesbare Steuerprogrammbefehle eines Bildberechnungsmodul BBM gespeichert sind, und einen Prozessor PZ, dem eine in dem Steuergerät STG enthaltene Datenschnittstelle DS und eine Steuerungsschnitt- stelle STS zugeordnet sind. Über die Steuerungsschnittstelle STS sind der Prozessor PZ und damit das Steuergerät STG mit der AR-Proj ektionseinheit PJE verbunden. Darüber hinaus sind der Prozessor PZ und damit das Steuergerät STG über die Da- tenschnittstelle DS mit einer Datenbank DB und einem "Engineering Backend"-System EBS verbunden. Während in der Datenbank DB Konfigurationsdaten und vorzugsweise Bildinformati ¬ onsdaten, die für die AR-Proj ektionseinheit PJE zum Projizie- ren von Projektionsbildern dienen, gespeichert sind, sind in dem "Engineering Backend"-System EBS Konstruktions- , Arbeitsplan- und 3D-Modellinformationen des Zugwaggons ZWA abgelegt, aufgrund derer der zu fertigende Zugwaggon ZWA zusammengebaut und montiert wird.

Auf der Basis der in dem "Engineering Backend"-System EBS gespeicherten Konstruktions-, Arbeitsplan- und SD-Modellinformationen des Zugwaggons ZWA, die über die Datenschnittstelle DS in den Prozessor PZ des Steuergerät STG gelangen, und der über eine mit dem Prozessor verbundene I /O-Einrichtung IOE des Steuergerätes STG eingegebenen Identifikationskennung ID der Halterung HLT ermittelt der Prozessor PZ Positionsdaten für die AR-Proj ektionseinheit PJE, die über die Datenschnitt ¬ stelle DS in der Datenbank DB gespeichert werden und entweder unmittelbar oder zeitversetzt über die Steuerungsschnittstel ¬ le STS der AR-Proj ektionseinheit PJE zugeführt werden. Mit diesen Positionsdaten wird die AR-Proj ektionseinheit PJE, die von der Halterung HLT ortsfest gehalten wird, positioniert. Ist die AR-Proj ektionseinheit PJE zuvor unabhängig von der Positionierung bereits bezüglich ihrer Projektionseigenschaf ¬ ten kalibriert worden und sind dabei gewonnene Kalibrierungs ¬ daten über den Weg des Steuergerätes STG in der Datenbank DB abgespeichert, so ist das AR-System ARS im Prinzip für den angedachten Zweck zur Montageunterstützung, was die Ausrich- tung anbetrifft, einsatzbereit.

In diesem Zustand führt der Prozessor PZ durch Zugriffe auf den Speicher SP die Steuerungsbefehle des Bildberechnungsmo ¬ duls BBM aus und greift dabei auf die Datenschnittstelle DS und die Steuerungsschnittstelle STS des Steuergeräts STG der ¬ art zu, dass auf der Basis der gespeicherten Positionsdaten, der Projektionseigenschaften der Projektionseinheit PJE, der gespeicherten Kalibrierungsdaten und der gespeicherten 3D- Modellinformationen, die über die Datenschnittstelle DS in den Prozessor PZ gelangen, ein Projektionsbild in Form und Gestalt einer Montageschablone mit Hilfe des Bildbearbei ¬ tungsmoduls BBM angewandten "Spatial Augmented Reality"- basierten Methoden berechnet wird und zu dem berechneten Projektionsbild korrespondierende Bildinformationen über die Da ¬ tenschnittstelle DS in der Datenbank DB gespeichert werden und entweder unmittelbar oder zeitversetzt über die Steuerungsschnittstelle STS an die AR-Proj ektionseinheit PJE über- mittelt werden. Aufgrund der Bildberechnung kann man bei dem Steuergerät STG auch von einer Recheneinheit sprechen.

Die AR-Proj ektionseinheit PJE, die diese Bildinformationen erhält, ist nun derart ausgebildet, dass durch die von dem Steuergerät STG übermittelte Bildinformation das berechnete Projektionsbild bzw. die Montageschablone auf die Montagepo ¬ sition MTP des zu fertigenden Zugwaggons ZWA überlagert wird. Damit kann nun der verdeckte Nutenstein NST für die weitere Montage ohne größeren Zusatzaufwand, z.B. was dessen Lokali- sierung betrifft, genutzt werden.

In einer Abwandlung des in der FIGUR dargestellten AR-Systems werden alle Projektionen vorab (zeitversetzt gemäß dem vor ¬ stehend erwähnten Aspekt) berechnet und als Bilddateien abge- legt. Das Steuergerät bzw. die Recheneinheit und die AR-Pro- j ektionseinheit müssen dann (nach der zeitversetzten Berechnung) nur noch das entsprechende Bild darstellen und keine Berechnungen mehr ausführen. Dies ist möglich da alle Projektionspunkte und Projektionsschritte bekannt sind und somit eine automatische Vorberechnung erfolgen kann.

Das AR-System ARS wird unter Berücksichtigung vorstehenden Ausführungen wie folgt verwendet. Zunächst wird AR-Proj ektionseinheit PJE bzgl. ihrer Projekti ¬ onseigenschaften kalibriert und die Kalibrierungsdaten in der Datenbank DB abgelegt. Auf Basis der Arbeitsplanung, der Konstruktionsdaten und 3D-Modellinformationen sowie der Kali- brierungsdaten der AR-Proj ektionseinheit PJE wird während der Konstruktion des Produktionsgutes bzw. des Zugwaggons ZWA die Position für die Halterung HLT der AR-Proj ektionseinheit PJE bestimmt, so dass für die entsprechenden Arbeitsschritte die AR-Proj ektionseinheit zur Verfügung steht.

Im Rahmen der Fertigung des Produktionsgutes bzw. des Zugwag ¬ gons ZWA wird dann die Halterung HLT der AR-Proj ektionseinheit PJE mit an die Gehäusewand GHW angebaut.

Kommt es jetzt zu einem Fall, bei dem die AR-Proj ektions ¬ einheit PJE für Positionierungs- und/oder Abgleichsaufgaben eingesetzt werden soll, montiert der Monteur die AR-Projek- tionseinheit PJE auf die Halterung HLT. Durch Eingabe der Identifikationskennung ID der Halterung HLT in das Steuergerät STG bzw. in die Recheneinheit über die I /O-Eingabeein- richtung IOE (z.B. Barcode, RFID oder Tastatureingabe) und des Prozessschrittes in das Steuergerät STG bzw. in die Re ¬ cheneinheit, wird das entsprechende Projektionsbild berechnet und mit der AR-Proj ektionseinheit PJE an der Montageposition MTP in dem Produktionsgut bzw. dem Zugwaggon ZWA korrekt überlagert .

Die Berechnung des Bildes geschieht wie folgt:

1. Da die exakte Position in allen sechs Freiheitsgraden

durch die Halterung der AR-Proj ektionseinheit im 3D- Modell bekannt ist und auch die Projektionseigenschaften (insbesondere der Proj ektionsöffnungswinkel ) des Projek- tionssystems bekannt sind, können die Flächen im virtuel ¬ len 3D-Modell des Produktes (Projektionsschnittflächen) berechnet werden, auf welche in der "Real-Weit" proji ¬ ziert wird.

Die zu projizierenden Elemente werden durch 3D-Rendering auf die Projektionsschnittflächen abgebildet. Hierbei macht man sich die Modellierung der virtuellen Kamera mit den Projektionseigenschaften der AR-Proj ektionseinheit für das virtuelle Rendering zu Nutze.

3. Alle bereits montierten bzw. für diesen Arbeitsschritt irrelevanten Teile des 3D-Modells können für die Projektion ausgeblendet werden, so dass nur die relevante In ¬ formation projiziert und somit überlagert wird. Wichtig ist hierbei, dass das Ausblenden hier als Einfärben der Elemente mit der Hintergrundfarbe des Rendering Prozesses realisiert wird, damit auch potentielle Verdeckung kor ¬ rekt projiziert werden.

Die entsprechenden Algorithmen zur Berechnung der Projektionen und Kalibrierung des Projektionssystems sowie die Model ¬ lierungsansätze sind aus dem Forschungsbereich "Spatial Augmented Reality" hinreichend bekannt.