Verfahren, Computerprogramm und Vorrichtung zum Erproben eines Einbaus oder Ausbaus zumindest eines Bauteils

Die vorliegende Erfindung betrifft ein Verfahren, ein Computerprogramm mit Instruktionen und eine Vorrichtung zum Erproben eines Einbaus oder Ausbaus zumindest eines Bauteils in eine oder aus einer Einbauumgebung. Die Einbauumgebung weist dabei reale Elemente und virtuelle Elemente auf.

Während der Entwicklung eines Fortbewegungsmittels, z.B. eines Kraftfahrzeugs, wird die Baubarkeit des Fahrzeugs kontinuierlich überprüft und optimiert. Dazu werden oftmals Hardwaremodelle eingesetzt. Bei den Hardwaremodellen handelt es sich regelmäßig um Bereichsmodelle, die nur einen ausgewählten Bereich des Fortbewegungsmittels nachbilden. Diese Bereichsmodelle werden mit 3D-gedruckten Bauteilen, mittels Fräsen oder Drehen hergestellten Bauteilen sowie Bauteilen aus Prototypen und Serienfertigung aufgebaut. Für den 3D-Druck können gängige Verfahren wie z.B. selektives Lasersintern, selektives Laserschmelzen, Multi-Jet Modeling oder Fused Deposition Modeling genutzt werden.

Die Verwendung von Bereichsmodellen hat den Vorteil, dass die Vorgänge realitätsnah erprobt und bewertet werden können und dadurch eine hohe Aussagekraft haben. Insbesondere können auch die Erreichbarkeit bestimmter Elemente und die von einer Montageperson aufzubringenden Kräfte betrachtet werden. Allerdings entstehen hohe Kosten für Bauteilbeschaffung und Montage. Zudem werden lange Vorlaufzeiten für die Beschaffung oder den Druck von Bauteilen benötigt. Des Weiteren kann es vorkommen, dass der nach Druck oder Beschaffung abgebildete Hardware-Stand gegebenenfalls nicht mehr den aktuellen Stand widerspiegelt.

Zum Zwecke der Schulung von Montagepersonen kommen zunehmend Virtual-Reality- Anwendungen zum Einsatz. Beispielsweise beschreibt WO 2014/037127 A1 ein System zur Simulation einer Bedienung eines nichtmedizinischen Werkzeugs. Das System weist eine Einrichtung zur Erfassung der räumlichen Position und Bewegung eines Benutzers, ein Datenverarbeitungsgerät und eine Anzeigevorrichtung auf. Die Anzeigevorrichtung zeigt ein virtuelles Bearbeitungsobjekt an. Die Daten der Einrichtung zur Erfassung der räumlichen Position und Bewegung eines Benutzers werden an das Datenverarbeitungsgerät gesendet, dort verarbeitet und an die Anzeigevorrichtung weitergeleitet, die ein Abbild des Benutzers oder eines Teils des Benutzers und ein Abbild des Werkzeugs anzeigt. Die Positionen und Bewegungen der Abbilder werden dabei in Abhängigkeit von den Daten der Einrichtungen zur Erfassung der räumlichen Position und Bewegung eines Benutzers relativ zum virtuellen Bearbeitungsobjekt angezeigt.

EP 3 066656 B1 beschreibt eine virtuelle Schweißstation für die Schulung eines Bedieners in der Herstellung kompletter Baugruppen. Die virtuelle Schweißstation umfasst einen virtuellen Sequenzer zur Simulation verschiedener Schweißtechniken und anderer Vorgänge.

Virtual-Reality-Anwendungen können auch genutzt werden, um die Baubarkeit eines Systems virtuell zu überprüfen. Dies hat den Vorteil, dass Versuche kostengünstig und schnell nachgestellt werden können. Für bestimmte Problempunkte ist die Entscheidungsfindung allerdings schwierig. Insbesondere können beispielsweise zu erbringende Kraftaufwände, Gewichte, oder das Gefühl von Reibung beim Zusammenbau nicht virtuell abgebildet werden.

Es ist eine Aufgabe der Erfindung, verbesserte Lösungen zum Erproben eines Einbaus oder Ausbaus zumindest eines Bauteils bereitzustellen.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 , durch ein Computerprogramm mit Instruktionen gemäß Anspruch 14 sowie durch eine Vorrichtung gemäß Anspruch 15 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.

Gemäß einem ersten Aspekt der Erfindung umfasst ein Verfahren zum Erproben eines Einbaus oder Ausbaus zumindest eines Bauteils in eine oder aus einer Einbauumgebung, die reale Elemente und virtuelle Elemente aufweist, die Schritte:

- Einmessen des zumindest einen Bauteils, der Einbauumgebung nebst der realen Elemente, zumindest einer Hand einer Montageperson und eines von der Montageperson getragenen Mixed-Reality-Systems;

- Tracking des zumindest einen Bauteils, der Hand der Montageperson und des Mixed-Reality- Systems während eines versuchten Einbaus oder Ausbaus des zumindest einen Bauteils; und

- Visualisieren des versuchten Einbaus oder Ausbaus des zumindest einen Bauteils für die Montageperson durch das Mixed-Reality-System. Gemäß einem weiteren Aspekt der Erfindung umfasst ein Computerprogramm Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgenden Schritte zum Erproben eines Einbaus oder Ausbaus zumindest eines Bauteils in eine oder aus einer Einbauumgebung, die reale Elemente und virtuelle Elemente aufweist, veranlassen:

- Einmessen des zumindest einen Bauteils, der Einbauumgebung nebst der realen Elemente, zumindest einer Hand einer Montageperson und eines von der Montageperson getragenen Mixed-Reality-Systems;

- Tracking des zumindest einen Bauteils, der Hand der Montageperson und des Mixed-Reality- Systems während eines versuchten Einbaus oder Ausbaus des zumindest einen Bauteils; und

- Visualisieren des versuchten Einbaus oder Ausbaus des zumindest einen Bauteils für die Montageperson durch das Mixed-Reality-System.

Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch Workstation, verteilte Systeme und andere prozessorbasierte Datenverarbeitungsvorrichtungen.

Das Computerprogramm kann beispielsweise für einen elektronischen Abruf bereitgestellt werden oder auf einem computerlesbaren Speichermedium gespeichert sein.

Gemäß einem weiteren Aspekt der Erfindung weist eine Vorrichtung zum Erproben eines Einbaus oder Ausbaus zumindest eines Bauteils in eine oder aus einer Einbauumgebung, die reale Elemente und virtuelle Elemente aufweist, auf:

- ein Einmessmodul zum Einmessen des zumindest einen Bauteils, der der Einbauumgebung nebst der realen Elemente, zumindest einer Hand einer Montageperson und eines von der Montageperson getragenen Mixed-Reality-Systems;

- ein Trackingmodul zum Tracking des zumindest einen Bauteils, der Hand der Montageperson und des Mixed-Reality-Systems während eines versuchten Einbaus oder Ausbaus des zumindest einen Bauteils; und

- ein Visualisierungsmodul zum Visualisieren des versuchten Einbaus oder Ausbaus des zumindest einen Bauteils für die Montageperson durch das Mixed-Reality-System.

Bei der erfindungsgemäßen Lösung wird eine Einbauumgebung genutzt, die reale Elemente mit virtuellen Elementen kombiniert. Die virtuellen Elemente werden für die Montageperson dabei mittels Mixed Reality visualisiert, auf Deutsch auch als vermischte bezeichnet. Insbesondere können dazu Technologien der Augmented Reality genutzt werden, auf Deutsch auch als augmentierte Realität oder erweiterte Realität bezeichnet. Die Überlagerung von virtuellen Bauteilen auf einer realen Umgebung fühlt sich für die Nutzer natürlicher an, als dies bei der Nutzung von Virtual Reality der Fall ist. Zudem kann der tatsächliche Montagevorgang oder Demontagevorgang realitätsgenau nachgespielt werden, da auch physikalische Eigenschaften wie Reibung, Gewicht etc. mit als Teil der Simulation abgebildet werden, und verschiedene Bauraumsituationen können ohne Umbau sofort betrachtet und verglichen werden. Da die Genauigkeit der Überlagerung von virtueller und realer Umgebung maßgeblich ist für eine Beurteilung etwaiger Montageuntersuchungen, werden alle beteiligten Objekte hochgenau eingemessen und getrackt. Zum Tracking können dabei insbesondere kamerabasierte Systeme verwendet werden. Beispielsweise kann die Einbauumgebung nebst den realen Elementen durch Antasten oder das Anbringen von Messpunkten eingemessen werden. Alternativ ist es möglich, dass die Einbauumgebung nebst den realen Elementen in eine bekannte Lage gebracht wird. Da die Herstellung der verwendeten realen Objekte auf Basis von verfügbaren CAD-Daten (CAD: Computer Aided Design; rechnerunterstütztes Konstruieren) erfolgt, können aus diesen Referenzkoordinaten abgeleitet, die dann in die Einmessung einfließen.

Je nach Komplexität der Einbauumgebung können Verdeckungen, anders als bei rein virtuellen Simulationen, ein großes Problem sein, z.B. Verdeckungen durch Bauteile, die Einbauumgebung oder den Körper oder die Hände des Nutzers. Daher kann es hilfreich sein, wenn die Sensoren für das Tracking zusätzliche, in die Einbauumgebung integrierte Sensorelemente umfassen. Das Tracking kann dabei auch durch eine Kombination von Outside-In-Tracking und Inside-Out-Tracking realisiert werden, d.h. eine Sensorfusion aus zwei Systemen. Die Außenperspektive beim Outside-In-Tracking liefert ein größeres Sichtfeld, wird aber auch leicht durch den Nutzer selbst eingeschränkt wird. Die intrinsische Perspektive vom Nutzer beim Inside-Out-Tracking verfügt zwar über ein weniger großes Sichtfeld bzw. Trackingvolumen, kann dafür aber bei Ausfall der Außenperspektive genutzt werden.

Gemäß einem Aspekt der Erfindung werden beim Tracking des zumindest einen Bauteils, der Hand der Montageperson und des Mixed-Reality-Systems jeweils Position und Orientierung erfasst und aufgezeichnet. Auf diese Weise ist gewährleistet, dass stets eine lagerichtige Überlagerung von virtueller und realer Umgebung erfolgt. Durch die Aufzeichnung von Position und Orientierung wird eine spätere Auswertung und Sichtung des Einbaus oder Ausbaus ermöglicht. Dies kann z.B. durch eine visuelle Wiedergabe des Einbaus oder des Ausbaus oder durch die Bereitstellung von Diagrammen oder Dokumenten mit Screenshots einer solchen visuellen Wiedergabe geschehen. Gemäß einem Aspekt der Erfindung wird zumindest ein Werkzeug eingemessen und getrackt.

Auf diese Weise können auch Probleme erkannt werden, die bei der Verwendung eines Werkzeugs beim Einbau des zumindest einen Bauteils auftreten können.

Gemäß einem Aspekt der Erfindung basiert das Tracking auf einer Erfassung von passiven oder aktiven Markern oder von dreidimensionalen Trackingelementen, die an den oder in den Bauteilen, am oder im Mixed-Reality-System, an oder im einen Werkzeug oder an der Hand der Montageperson angeordnet sind. Die Verwendung von Markern oder dreidimensionalen Trackingelementen hat den Vorteil, dass diese so gestaltet werden können, dass sie von der Trackingvorrichtung besonders gut erfasst werden können. Beispielsweise kann es sich bei den passiven Markern um Klebeelemente handelt, die an geeigneten Stellen auf das jeweilige Objekt aufgeklebt werden. Als aktive Marker kommen Infrarotleuchtdioden in Betracht, die zusammen mit einer Energieversorgung in das jeweilige Objekt eingearbeitet oder auf das Objekt aufgebracht werden können. Die dreidimensionalen Trackingelemente können z.B. speziell geformte Teile sein, die in das jeweilige Objekt integriert sind oder am Objekt befestigt werden, z.B. durch Verschraubung an ohnehin vorhandenen oder extra für diesen Zweck vorgesehenen Schraubpunkten. Unabhängig davon, ob Marker oder dreidimensionale Trackingelementen verwendet werden, muss die Lage des jeweiligen Elements in Bezug zum Objekt bekannt sein. Dies wird vorzugsweise durch das Einmessen erreicht. Das Einmessen zu verbauender Bauteile erfolgt vorzugsweise während einer Bewegung, bei der die Bauteile aus verschiedenen Richtungen betrachtet wird. Alternativ ist auch die Verwendung eines Messtasters möglich. Auch die Einbauumgebung nebst den realen Elementen kann auf eine entsprechende Weise eingemessen werden. Wenn die für das Tracking vorgesehenen Elemente an bereits bekannten Positionen in bekannter Lage angebracht werden, kann gegebenenfalls auf das Einmessen der Elemente verzichtet werden.

Gemäß einem Aspekt der Erfindung umfasst das Einmessen der Hand der Montageperson das Einmessen eines von der Montageperson getragenen Handschuhs und ein Einmessen der Finger der Hand in Relation zum Handschuh. Für das Tracking geeignete Handschuhe werden oftmals lediglich in einer Einheitsgröße und nur für Virtual-Reality-Anwendungen angeboten. Über Tracker am Handrücken und am Handgelenk wird ermittelt, wo sich die Hand im generellen befindet. Die Lage der inertialen Messeinheiten in den Fingern ist statisch in Bezug auf diesen Tracker. Die Finger können alternativ aber auch optisch mit statischen Punkten getrackt werden, analog zum Handrücken oder Handgelenk. Unterschiedlich große Hände oder Trageweisen des Handschuhs führen dazu, dass die Fingerspitzen nicht dort sind, wo angenommen. Aus diesem Grund ist eine Einmessung vorteilhaft. Die Einmessung kann z.B. gleichzeitig für alle fünf Finger bei fünf bekannten Punkten erfolgen, oder sequentiell für alle fünf Finger an einem bekannten Punkt. Über die Ablage der Fingerspitzen auf ein Set an bekannten Punkten und das Tracking der Hand unter Verwendung des Trackers am Handschuh kann die Relation zwischen den Fingern und dem Tracker genau bestimmt werden Das Handmodell kann dann entsprechend angepasst werden. Alternativ kann die angenommene Lage des Trackers in Relation zur Hand entsprechend korrigiert werden. Gerade für Mixed-Reality oder Augmented-Reality ist das exakte Einmessen der Finger in Bezug auf die Hand wichtig, da der Nutzer hier Fehler unmittelbar wahrnehmen kann. Dies ist bei Virtual Reality nicht der Fall, da kein Bezug zu realen Objekten besteht und das gesamte System problemlos etwas falsch liegen kann.

Gemäß einem Aspekt der Erfindung werden während des versuchten Einbaus oder Ausbaus des zumindest einen Bauteils Kollisionen oder Beinahekollisionen zwischen einem Bauteil, der Hand der Montageperson oder einem Werkzeug und den realen Elementen und den virtuellen Elementen der Einbauumgebung, sowie zwischen Bauteilen untereinander, erfasst. Erfasst werden können Kollisionen oder Beinahekollisionen zwischen realen Objekten, zwischen virtuellen Objekten sowie zwischen realen und virtuellen Objekten. Dabei kann jeweils auch eine Stärke der Kollision erfasst werden. Die Stärke einer Kollision kann z.B. erfasst werden, indem Geschwindigkeiten der beteiligten Objekte erfasst und gegebenenfalls aufgezeichnet werden. Eine Visualisierung einer Kollision oder Beinahekollisionen für die Montageperson oder eine beobachtende Person kann beispielsweise in Form einer Intersektion der beteiligten Objekte erfolgen. Durch die Erfassung und gegebenenfalls die Visualisierung von Kollisionen oder Beinahekollisionen können in Echtzeit Probleme beim Einbau oder Ausbau erkannt werden.

Gemäß einem Aspekt der Erfindung werden virtuelle Repräsentanten realer Objekte genutzt, um Kollisionen oder Beinahekollisionen zu erfassen oder zu visualisieren. Während eines versuchten Einbaus oder Ausbaus ist die Lage jedes Objekts virtuell bekannt. Entsprechende virtuelle Objektrepräsentationen können dann besonders einfach genutzt werden, um Kollision oder Beinahekollisionen zu erfassen. Dazu können vorteilhaft approximierte Oberflächen genutzt werden, z.B. durch eine Art Oberflächendistanzmatrix. Die virtuellen Repräsentanten müssen zudem nicht notwendigerweise 1:1 Repräsentationen der realen Objekte sein. Als reale Objekte können auch abweichende reale Objekte genutzt werden, z.B. ältere Baustände oder 3D-gedruckte, simplere Objekte, solange sie gleich eingemessen sind und die abweichende Form nicht relevant ist, z.B. weil sich das Gewicht nicht ändert. So kann es beispielsweise ausreichend sein, ein nur ähnliches Bauteil zu nutzen, auch wenn dieses in dieser Form nicht für den Verbau vorgesehen ist, um zu prüfen, ob der Einbau durch das Gewicht negativ beeinflusst wird.

Gemäß einem Aspekt der Erfindung erfolgt im Ansprechen auf eine Kollision oder Beinahekollision mit einem virtuellen Element eine taktile, auditive oder visuelle Rückmeldung an die Montageperson. Das zumindest eine Bauteil selbst liefert nur dann Kraftrückwirkungen, wenn es mit einem realen Objekt kollidiert. Da aber auch virtuelle Objekte vorliegen, mit denen das zumindest eine Bauteil kollidieren kann, und auch Beinahekollisionen schon kritisch sein können, da sie zu Beschädigungen oder Verletzungen führen können, ist eine entsprechende Rückmeldung vorteilhaft. Taktile Rückmeldungen können beispielsweise durch Vibrationsmotoren vermittelt werden, die an einem von der Montageperson getragenen Handschuh angeordnet sind. Diese vermitteln die Kollision oder Beinahekollisionen indirekt an den Händen. Vibrationsmotoren können alternativ auch an den oder in den Bauteilen angeordnet sein. Diese können beispielsweise bei der Herstellung der Bauteile eingeplant bzw. eingedruckt werden und vermitteln die Kollision oder Beinahekollisionen an einem Bauteil spürbar. Eine weitere Möglichkeit besteht darin, eine Kraftrückwirkung mittels eines Roboters zu vermitteln und so Kollisionen realitätsnah zu simulieren. Das zumindest eine Bauteil wird dazu von einem Arm des Roboters gehalten. Die Montageperson führt das zumindest eine Bauteil nur, das Bauteil ist aber stets am Roboter angebracht, der entsprechende Gegenkräfte aufbauen kann. Dieser Ansatz eignet sich vorrangig für überwiegend virtuelle Einbauräume. Eine auditive Rückmeldung kann insbesondere über von der Montageperson getragene Kopfhörer vermittelt werden, z.B. in Form eines Warntons. Für visuelle Rückmeldungen kann beispielsweise eine Leuchtdiode am Bauteil vorgesehen werden. Ebenso kann eine visuelle Rückmeldung über das Mixed-Reality-System erfolgen.

Gemäß einem Aspekt der Erfindung werden Kollisionen oder Beinahekollisionen, die außerhalb eines Sichtbereichs der Montageperson erfolgen, mittels eines Hinweises im Sichtfeld der Montageperson visualisiert. Durch einen solchen Hinweis im Sichtfeld, z.B. am Bildschirmrand, kann die Montageperson gezielt auf Kollisionen oder Beinahekollisionen hingewiesen werden, die sie nicht unmittelbar wahrnehmen kann. Der Hinweis kann beispielsweise in Form eines Pfeiles oder durch die Einblendung von Schemen erfolgen. Auch auditive oder haptische Hinweise können zu diesem Zweck genutzt werden.

Gemäß einem Aspekt der Erfindung werden virtuelle Repräsentanten realer Objekte genutzt, um Verdeckungen zu ermitteln, die beim Visualisieren des versuchten Einbaus des zumindest einen Bauteils berücksichtigt werden sollen. Die Kombination aus realen und virtuellen Objekten in einer Szene führt dazu, dass gewollte Verdeckungen nicht immer korrekt abgebildet werden. Die Verwendung von virtuellen Objekten als virtuelle Repräsentanten von realen Objekten erlaubt die Steuerung der Verdeckung, d.h. welche virtuellen Objekte verdecken andere virtuelle oder reale Objekte oder werden durch andere virtuelle oder reale Objekte verdeckt. Eine solche Steuerung der Verdeckung erhöht den Realismus der Visualisierung für die beteiligten Personen.

Gemäß einem Aspekt der Erfindung werden ein Einbaupfad oder ein Ausbaupfad des zumindest einen Bauteils während des versuchten Einbaus oder Ausbaus sowie Informationen zu Kollisionen oder Beinahekollisionen aufgezeichnet. Dieser Einbaupfad oder Ausbaupfad kann während des versuchten Einbaus oder Ausbaus oder auch zu einem späteren Zeitpunkt visualisiert werden, insbesondere auch zusammen mit den erfassten Kollisionen oder Beinahekollisionen. Bei den Kollisionen oder Beinahekollisionen kann beispielsweise aufgezeichnet werden, welche Objekte an welcher Stelle kollidiert oder beinahe kollidiert sind, und im Falle von Kollisionen, wir stark die Kollisionen ausgefallen sind. Bei der Visualisierung können auch alternative Perspektiven visualisiert werden, z.B. ein Blick von der Seite oder von Oben, welche in der Mixed-Reality-Darstellung nicht möglich sind. Dies ermöglicht eine umfassende Analyse und Bewertung des versuchten Einbaus oder Ausbaus.

Gemäß einem Aspekt der Erfindung ist zumindest eine weitere Person am versuchten Einbau oder Ausbau des zumindest einen Bauteils beteiligt. Die beteiligten Personen können sich dabei gemeinsam an einem Ort oder an verschiedenen Orten befinden, insbesondere auch entfernt von der Einbauumgebung. Dies erlaubt es, den Einbau von Bauteilen zu erproben, die von mehreren Personen eingebaut werden müssen. Beispielsweise kann eine erste Montageperson das zumindest eine Bauteil in eine definierte Position bringen, in der es dann von einer zweiten Montageperson unter Verwendung eines Werkzeugs befestigt wird. Alternativ können beispielsweise auch Entscheidungsträger per Videoübertragung indirekt beteiligt sein

Gemäß einem Aspekt der Erfindung befindet sich zumindest eine der beteiligten Personen entfernt von der Einbauumgebung. Die erfindungsgemäße Lösung erlaubt es, dass auch Personen, die sich nicht am Ort der Einbauumgebung befinden, mit der Einbauumgebung interagieren. Diese Personen können vor Ort ebenfalls eine Einbauumgebung haben, die auch abweichend ausgestaltet sein kann. Dabei ist jeweils eine Interaktion mit allen virtuelle Elementen sowie mit realen Objekten am jeweiligen Ort möglich. Bei den realen Objekten kann es sich insbesondere um das zumindest eine einzubauende Bauteil oder ein Werkzeug handeln. So ist auch eine Zusammenarbeit standortübergreifend möglich, obwohl Werkezuge oder Teile nur an gewissen Orten vorhanden sind.

Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den Figuren ersichtlich.

Fig. 1 zeigt schematisch ein Verfahren zum Erproben eines Einbaus oder Ausbaus zumindest eines Bauteils in eine oder aus einer Einbauumgebung;

Fig. 2 zeigt eine erste Ausführungsform einer Vorrichtung zum Erproben eines Einbaus oder Ausbaus zumindest eines Bauteils in eine oder aus einer Einbauumgebung;

Fig. 3 zeigt eine zweite Ausführungsform einer Vorrichtung zum Erproben eines Einbaus oder Ausbaus zumindest eines Bauteils in eine oder aus einer Einbauumgebung;

Fig. 4 zeigt schematisch einen Einbau oder einen Ausbau eines Bauteils in eine oder aus einer Einbauumgebung;

Fig. 5 zeigt schematisch ein Bauteil mit darauf angeordneten Markern;

Fig. 6 zeigt schematisch ein Systemdiagramm einer Erfindungsgemäßen Lösung; und

Fig. 7 zeigt eine Kollision zwischen zwei Objekten.

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung zu verlassen, wie er in den angehängten Ansprüchen definiert ist.

Fig. 1 zeigt schematisch ein Verfahren zum Erproben eines Einbaus oder Ausbaus zumindest eines Bauteils in eine oder aus einer Einbauumgebung. Die Einbauumgebung weist reale Elemente und virtuelle Elemente auf. In einem ersten Schritt werden das zumindest eine Bauteil, die Einbauumgebung nebst der realen Elemente, zumindest eine Hand einer Montageperson und ein von der Montageperson getragenes Mixed-Reality-System eingemessen 10. Die Montageperson kann sich dabei auch entfernt von der Einbauumgebung befinden. Das Einmessen 10 der Hand der Montageperson umfasst vorzugsweise das Einmessen eines von der Montageperson getragenen Handschuhs und ein Einmessen der Finger der Hand in Relation zum Handschuh. Während eines versuchten Einbaus oder Ausbaus des zumindest einen Bauteils erfolgt ein Tracking 11 des zumindest einen Bauteils, der Hand der Montageperson und des Mixed-Reality-Systems. Dabei können jeweils Position und Orientierung erfasst und aufgezeichnet werden. Zusätzlich kann zumindest ein Werkzeug eingemessen 10 und getrackt 11 werden. Das Tracking 11 basiert vorzugsweise auf einer Erfassung von passiven oder aktiven Markern oder von dreidimensionalen Trackingelementen, die an den oder in den Bauteilen, am oder im Mixed-Reality-System, an oder in einem Werkzeug oder an der Hand der Montageperson angeordnet sind. Zudem werden Kollisionen oder Beinahekollisionen zwischen einem Bauteil, der Hand der Montageperson oder einem Werkzeug und den realen Elementen und den virtuellen Elementen der Einbauumgebung, sowie zwischen Bauteilen untereinander, erfasst 12 und es werden Verdeckungen ermittelt 13. Dazu werden vorzugsweise virtuelle Repräsentanten realer Objekte genutzt. Im Ansprechen auf eine Kollision oder Beinahekollision mit einem virtuellen Element oder einem realen Objekt kann eine taktile, auditive oder visuelle Rückmeldung an die Montageperson erfolgen. Kollisionen oder Beinahekollisionen, die außerhalb eines Sichtbereichs der Montageperson erfolgen, können zudem mittels eines Hinweises im Sichtfeld der Montageperson visualisiert sowie auditiv oder haptisch vermittelt werden. Der versuchte Einbau oder Ausbau des zumindest einen Bauteils wird für die Montageperson durch das Mixed-Reality-System visualisiert 14. Dabei werden die ermittelten Verdeckungen berücksichtigt. Der Einbaupfad oder Ausbaupfad des zumindest einen Bauteils wird aufgezeichnet 15. Neben der Montageperson kann zumindest eine weitere Person am versuchten Einbau oder Ausbau des zumindest einen Bauteils beteiligt sein. Diese kann sich am Ort der Montageperson oder an einem anderen Ort befinden.

Fig. 2 zeigt eine vereinfachte schematische Darstellung einer ersten Ausführungsform einer Vorrichtung 20 Verfahren zum Erproben eines Einbaus oder Ausbaus zumindest eines Bauteils in eine oder aus einer Einbauumgebung. Die Einbauumgebung weist reale Elemente und virtuelle Elemente auf. Die Vorrichtung 20 hat einen Eingang 21 , über den Daten SD von Sensoren 41 empfangen werden können. Ein Einmessmodul 22 ist eingerichtet, das zumindest eine Bauteil, die Einbauumgebung nebst der realen Elemente, zumindest eine Hand einer Montageperson und ein von der Montageperson getragenes Mixed-Reality-System 6 auf Basis der empfangenen Daten SD einzumessen. Die Montageperson kann sich dabei auch entfernt von der Einbauumgebung befinden. Das Einmessen der Hand der Montageperson umfasst vorzugsweise das Einmessen eines von der Montageperson getragenen Handschuhs und ein Einmessen der Finger der Hand in Relation zum Handschuh. Ein Trackingmodul 23 ist eingerichtet, während eines versuchten Einbaus oder Ausbaus des zumindest einen Bauteils ein Tracking des zumindest einen Bauteils, der Hand der Montageperson und des Mixed- Reality-Systems auf Basis der empfangenen Daten SD durchzuführen. Dabei können jeweils Position und Orientierung erfasst und aufgezeichnet werden. Zusätzlich kann zumindest ein Werkzeug eingemessen und getrackt werden. Das Tracking basiert vorzugsweise auf einer Erfassung von passiven oder aktiven Markern oder von dreidimensionalen Trackingelementen, die an den oder in den Bauteilen, am oder im Mixed-Reality-System, an oder in einem Werkzeug oder an der Hand der Montageperson angeordnet sind. Ein Auswertemodul 24 ist eingerichtet, Kollisionen oder Beinahekollisionen zwischen einem Bauteil, der Hand der Montageperson oder einem Werkzeug und den realen Elementen und den virtuellen Elementen der Einbauumgebung, sowie zwischen Bauteilen untereinander, zu erfassen und Verdeckungen zu ermitteln. Dazu werden vorzugsweise virtuelle Repräsentanten realer Objekte genutzt. Im Ansprechen auf eine Kollision oder Beinahekollision mit einem virtuellen Element oder einem realen Objekt kann eine taktile, auditive oder visuelle Rückmeldung an die Montageperson veranlasst werden. Ein Visualisierungsmodul 25 ist eingerichtet, den versuchten Einbau oder Ausbau des zumindest einen Bauteils für die Montageperson durch das Mixed-Reality-System zu visualisieren. Zu diesem Zweck kann das Visualisierungsmodul 25 entsprechende Bilddaten BD über einen Ausgang 28 der Vorrichtung 20 an das Mixed-Reality-System 6 ausgeben. Das Visualisierungsmodul 25 kann zudem Kollisionen, die außerhalb eines Sichtbereichs der Montageperson erfolgen, mittels eines Hinweises im Sichtfeld der Montageperson visualisieren sowie auditiv oder haptisch vermitteln. Neben der Montageperson kann zumindest eine weitere Person am versuchten Einbau oder Ausbau des zumindest einen Bauteils beteiligt sein. Diese kann sich am Ort der Montageperson oder an einem anderen Ort befinden.

Das Einmessmodul 22, das Trackingmodul 23, das Auswertemodul 24 und das Visualisierungsmodul 25 können von einem Kontrollmodul 26 gesteuert werden. Über eine Benutzerschnittstelle 29 können gegebenenfalls Einstellungen des Einmessmoduls 22, des Trackingmoduls 23, des Auswertemoduls 24, des Visualisierungsmoduls 25 oder des Kontrollmoduls 26 geändert werden. Die in der Vorrichtung 20 anfallenden Daten können bei Bedarf in einem Speicher 27 abgelegt werden, beispielsweise für eine spätere Auswertung oder für eine Nutzung durch die Komponenten der Vorrichtung 20. Das Einmessmodul 22, das Trackingmodul 23, das Auswertemodul 24, das Visualisierungsmodul 25 sowie das Kontrollmodul 26 können als dedizierte Hardware realisiert sein, beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft, beispielsweise auf einer GPU oder einer CPU. Der Eingang 21 und der Ausgang 28 können als getrennte Schnittstellen oder als eine kombinierte bidirektionale Schnittstelle implementiert sein.

Fig. 3 zeigt eine vereinfachte schematische Darstellung einer zweiten Ausführungsform einer Vorrichtung Verfahren zum Erproben eines Einbaus oder Ausbaus zumindest eines Bauteils in eine oder aus einer Einbauumgebung. Die Einbauumgebung weist reale Elemente und virtuelle Elemente auf. Die Vorrichtung 30 weist einen Prozessor 32 und einen Speicher 31 auf. Beispielsweise handelt es sich bei der Vorrichtung 30 um einen Computer oder ein Steuergerät. Im Speicher 31 sind Instruktionen abgelegt, die die Vorrichtung 30 bei Ausführung durch den Prozessor 32 veranlassen, die Schritte gemäß einem der beschriebenen Verfahren auszuführen. Die im Speicher 31 abgelegten Instruktionen verkörpern somit ein durch den Prozessor 32 ausführbares Programm, welches das erfindungsgemäße Verfahren realisiert. Die Vorrichtung 30 hat einen Eingang 33 zum Empfangen von Informationen. Vom Prozessor 32 generierte Daten werden über einen Ausgang 34 bereitgestellt. Darüber hinaus können sie im Speicher 31 abgelegt werden. Der Eingang 33 und der Ausgang 34 können zu einer bidirektionalen Schnittstelle zusammengefasst sein.

Der Prozessor 32 kann eine oder mehrere Prozessoreinheiten umfassen, beispielsweise Mikroprozessoren, digitale Signalprozessoren oder Kombinationen daraus.

Die Speicher 27, 31 der beschriebenen Ausführungsformen können sowohl volatile als auch nichtvolatile Speicherbereiche aufweisen und unterschiedlichste Speichergeräte und Speichermedien umfassen, beispielsweise Festplatten, optische Speichermedien oder Halbleiterspeicher.

Nachfolgend soll eine bevorzugte Ausführungsform einer erfindungsgemäßen Lösung anhand von Fig. 4 bis Fig. 6 erläutert werden.

Fig. 4 zeigt schematisch einen Einbau oder einen Ausbau eines Bauteils 1 in eine oder aus einer Einbauumgebung 2. Die Einbauumgebung 2, in diesem Beispiel ein Motorraum eines Kraftfahrzeugs, umfasst eine Reihe von realen Elementen 3, hier durch die durchgehenden Linien dargestellt, und virtuellen Elementen 4, hier durch die gestrichelten Linien dargestellt. Die Einbauumgebung 2 ist Bestandteil eines Erprobungssystems 40. Das Erprobungssystem 40 umfasst Sensoren 41 für das Tracking, z.B. Kameras, die einen Trackingbereich 42 aufspannen. Das Bauteil 1 wird von einer Montageperson 50 mit zumindest einer Hand 5 gehalten und entlang eines Pfades 8 an einem vorgesehenen Ort in die Einbauumgebung 2 eingebaut oder aus der Einbauumgebung 2 ausgebaut. Der Pfad 8 kann insbesondere durch den Nutzer selbst gewählt sein, z.B. auf Grundlage seiner Einschätzung der Situation. Der Pfad 8 kann aber auch ein vorgegebener Pfad 8 sein, der z.B. aus einer technischen Beschreibung der Einbau- oder Ausbauprozesse bekannt ist. Ein solcher vorgegebener Pfad 8 kann auch im Sichtfeld angezeigt werden Zur Visualisierung eines versuchten Einbaus oder Ausbaus des Bauteils 1 trägt die Montageperson 50 ein Mixed-Reality-System 6. Das Bauteil 1, die realen Elemente 3 der Einbauumgebung 2, die Hand 5 der Montageperson 50 und das Mixed-Reality- System 6 sind eingemessen. Eine erfindungsgemäße Vorrichtung 20 nutzt die Daten der Sensoren 41, um ein Tracking aller beteiligten Objekte durchzuführen und Bilddaten für das Mixed-Reality-System 6 bereitzustellen. Die Montageperson 50 trägt einen Handschuh 7. Über einen Tracker am Handrücken wird ermittelt, wo sich die Hand 5 im generellen befindet. Die Finger der Hand 5 in Relation zum Handschuh 7 sind ebenfalls eingemessen, sodass auch die Lage der Finger getrackt werden kann. Da die Genauigkeit der Überlagerung von virtueller und realer Umgebung maßgeblich ist für eine Beurteilung etwaiger Montageuntersuchungen, werden alle beteiligten Objekte hochgenau eingemessen und getrackt. Zum Tracking können dabei insbesondere kamerabasierte Systeme verwendet werden.

Je nach Komplexität der Einbauumgebung können Verdeckung ein großes Problem sein. Daher kann es hilfreich sein, wenn die Sensoren 41 für das Tracking zusätzliche, in die Einbauumgebung integrierte Sensorelemente umfassen. Das Tracking kann dabei auch durch eine Kombination von Outside-In-Tracking und Inside-Out-Tracking realisiert werden, d.h. eine Sensorfusion aus zwei Systemen. Die Außenperspektive beim Outside-In-Tracking liefert ein größeres Sichtfeld, wird aber auch leicht durch den Nutzer selbst eingeschränkt wird. Die intrinsische Perspektive vom Nutzer beim Inside-Out-Tracking verfügt zwar über ein weniger großes Sichtfeld bzw. Trackingvolumen und ist zudem durch die Hände 5 und das Bauteil 1 oder ein verwendetes Werkzeug beschränkt, kann dafür aber bei Ausfall der Außenperspektive genutzt werden.

Fig. 5 zeigt schematisch ein Bauteil 1 mit darauf angeordneten Markern 43. In diesem Fall handelt es sich bei den Markern 43 um passive Marker. Die Marker 43 sind auf das Bauteil 1 aufgeklebt und an bekannten Referenzpunkten angeordnet. Alternativ können die Marker 43 auch aufgedruckt oder bei der Herstellung des Bauteils 1 eingearbeitet werden. Die Marker 43 sind so ausgestaltet, dass sie mit Kameras eines Trackingsystems leicht erfasst werden können. Die Marker spannen eine Punktwolke auf, die mit einer aus den Kamerabildern ermittelten Punktwolke verglichen werden kann. Da es nur eine korrekte Zuordnung der gemessenen Punktwolke zur bekannten, durch die Marker 43 aufgespannten Punktwolke gibt, können die Position und Orientierung des Bauteils 1 im Raum durch eine Ausgleichstransformation errechnet werden. Als Alternative zu passiven Markern 43 können auch aktive Marker verwendet werden. Diese können beispielsweise in Form von Infrarotleuchtdioden bereitgestellt werden, die zusammen mit einer Energieversorgung in das Bauteil 1 eingearbeitet oder auf das Bauteil 1 aufgebracht werden können. Die Position der Infrarotleuchtdioden kann wiederum durch geeignete Kameras eines Trackingsystems erfasst werden. Eine weitere Möglichkeit ist die Verwendung dreidimensionaler Trackingelemente. Dies können z.B. speziell geformte Teile sein, die in das Bauteil 1 integriert sind oder am Bauteil 1 befestigt werden, z.B. durch Verschraubung an ohnehin vorhandenen oder extra für diesen Zweck vorgesehenen Schraubpunkten. Bei einem versuchten Einbau oder Ausbau ist die Form des Bauteils 1 von Bedeutung. Daher ist es besonders vorteilhaft, wenn die Marker 43 in das Bauteil 1 eingearbeitet werden bzw. so angebracht werden, dass sie die das Volumen bzw. die äußere Form nicht maßgeblich ändern. Auf diese Weise wird trotz unveränderter Form des Bauteils 1 eine funktionale technische Lösung bereitgestellt.

Fig. 6 zeigt schematisch ein Systemdiagramm einer erfindungsgemäßen Lösung. In diesem Beispiel ist die erfindungsgemäße Lösung standortübergreifend realisiert. An einem ersten Standort S1 befindet sich eine Einbauumgebung 2 mit realen Elementen 3, durch die durchgehenden Linien dargestellt, und virtuellen Elementen 4, durch die gestrichelten Linien dargestellt. Am ersten Standort S1 befindet sich zudem eine Montageperson 50, die ein Bauteil 1 an einer dafür vorgesehenen Position in der Einbauumgebung 2 montieren soll oder aber demontieren soll. Die Montageperson 50 trägt ein Mixed-Reality-System 6. Am ersten Standort S1 werden alle Objekte vollumfänglich getrackt.

An einem zweiten, entfernten Standort S2 befindet sich die gleiche oder auch eine abweichende Einbauumgebung 2 mit realen Elementen 3 und virtuellen Elementen 4. Am zweiten Standort befindet sich zudem eine weitere Montageperson 50, die in diesem Beispiel direkt an der Montage beteiligt ist. Die weitere Montageperson 50 trägt ebenfalls ein Mixed- Reality-System 6 und bedient ein Werkzeug 9 zur Montage des Bauteils 1. Das Bauteil 1 wird am zweiten Standort S2 dazu als virtuelles Objekt eingebunden, was durch die gestrichelten Linien verdeutlicht wird. Dementsprechend wird das Werkzeug 9 am ersten Standort S1 als virtuelles Objekt eingebunden. Auch am zweiten Standort S2 werden alle Objekte vollumfänglich getrackt. Bei den realen Elementen 3 und den virtuellen Elementen 4 handelt es sich an den verschiedenen Standorten S1 , S2 nicht notwendigerweise um die gleichen Elemente. So kann beispielsweise am ersten Standort S1 ein Bremskraftverstärker als reales Element 3 vorliegen der am zweiten Standort S2 nur als virtuelles Element 4 vorliegt, während dies beispielsweise für eine Lenkstange gerade umgekehrt ist.

Die Montageperson 50 am ersten Standort S1 kann mit den realen Objekten vor Ort, d.h. den realen Elementen 3 und dem Bauteil 1 , sowie mit allen virtuellen Objekten, d.h. den virtuellen Elementen 4 und dem Werkzeug 9, interagieren. Die weitere Montageperson 51 am zweiten Standort S2 kann ebenfalls mit den realen Objekten vor Ort, d.h. den realen Elementen 3 und dem Werkzeug 9, sowie mit allen virtuellen Objekten, d.h. den virtuellen Elementen 4 und dem Bauteil 1 , interagieren. Die virtuellen Elemente 4 können gegebenenfalls ganz oder teilweise von einen dritten Standort S3 bereitgestellt werden.

Standortunabhängig können Beobachter 51 die Montage oder Demontage verfolgen. Diese können den Vorgang dabei aus einer eigenen Perspektive beobachten oder alternativ die Perspektive der Montageperson 50 am ersten Standort S1 oder der weiteren Montageperson 50 am zweiten Standort S2 übernehmen. Die Beobachter 51 können vorzugsweise mit allen virtuellen Objekten interagieren.

Fig. 7 zeigt beispielhaft eine Kollision zwischen zwei Objekten. Bei den Objekten handelt es sich in diesem Fall um ein Bauteil 1 und ein virtuelles Element 4 der Einbauumgebung. Während des versuchten Einbaus kommt es beim gewählten oder vorgegebenen Einbaupfad zu einer Kollision zwischen dem Bauteil 1 und einem virtuellen Element 4. Der Kollisionsbereich 44 wird visuell hervorgehoben und kann zudem auch aufgezeichnet werden. Da die Kollision mit einem virtuellen Element 4 erfolgt, liegt in diesem Fall eine Durchdringung der Objekte vor. Im Falle einer Kollision zwischen realen Objekten ist dies nicht möglich. In diesem Fall können nur Beinahekollisionen oder Grenzflächen dargestellt werden (nicht abgebildet). Der Kollisionsbereich 44 kennzeichnet dann die von der Kollision oder der Beinahekollision betroffenen Bereich der jeweiligen Oberflächen.

Bezugszeichenliste

Bauteil

Einbauumgebung

Reales Element

Virtuelles Element

Hand

Mixed-Reality-System

Handschuh

Pfad

Werkzeug

Einmessen von Objekten

Tracking der Objekte während eines versuchten Einbaus oder Ausbaus zumindest eines Bauteils

Erfassen von Kollisionen oder Beinahekollisionen

Ermitteln von Verdeckungen

Visualisieren des versuchten Einbaus oder Ausbaus

Aufzeichnen des Einbaupfades oder Ausbaupfades sowie weiterer relevanter Daten

Vorrichtung

Eingang

Einmessmodul

Trackingmodul

Auswertemodul

Visualisierungsmodul

Kontrollmodul

Speicher

Ausgang

Benutzerschnittstelle

Vorrichtung

Speicher

Prozessor 33 Eingang

34 Ausgang

40 Erprobungssystem

41 Sensor

42 Trackingbereich

43 Marker

44 Kollisionsbereich

50 Montageperson

51 Beobachter

BD Bilddaten

SD Sensordaten