B e s c h r e i b u n g

Die vorliegende Erfindung betrifft ein System und ein Verfahren zur Unterstützung einer Oberflächenbearbeitung, insbesondere des Ausbesserns von

Lackierungsfehlern an einer Fahrzeugkarosserie. Das Erkennen solcher Fehler erforderte lange Zeit den kritischen Blick eines geübten Mitarbeiters, der um die gesamte Karosserie herumgehen musste, um sie aus verschiedenen Richtungen zu inspizieren. Trotz des damit verbundenen hohen Zeitaufwands war die Zuverlässigkeit der Fehlererkennung stark von der momentanen Verfassung des Mitarbeiters abhängig.

Aus WO 01/96829 A1 ist ein Verfahren zum Prüfen eines Produktes und

insbesondere auch zum Ausbessern von Lackierungsfehlern an einer

Fahrzeugkarosserie bekannt, das eine VR-Brille verwendet, um einem Werker Hinweise auf auszubessernde Fehler zu geben. Gleichzeitig ist eine Kamera der VR-Brille das einzige Mittel, um überhaupt solche Fehler zu finden. Daher muss ein Benutzer der Brille, um Lackierungsfehler zu finden, weiterhin die Karosserie umrunden, damit die Kamera sie aus allen Richtungen erfassen kann.

Eine Aufgabe der vorliegenden Erfindung ist, ein System und ein Verfahren zur Unterstützung einer Oberflächenbearbeitung an einem Werkstück zu schaffen, die eine schnelle und zuverlässige Erkennung und Behebung von Fehlern ermöglichen.

Die Aufgabe wird zum einen gelöst durch ein System zur Unterstützung einer Oberflächenbearbeitung an einem Werkstück, welche

- einen Scanner zum Erkennen und Lokalisieren von Defekten an der

Oberfläche eines Werkstücks, und ein relativ zum Scanner bewegliches Ausgabeinstrument zum Ausgeben der Positionen, an denen der Scanner einen Defekt lokalisiert hat, umfasst,

wobei das Ausgabeinstrument eine VR-Brille ist und das System

Mittel zum Erfassen der Position und Orientierung der VR-Brille relativ zum Werkstück und

einen Grafikprozessor umfasst, der eingerichtet, in einem in der VR-Brille angezeigten Bild einen Hinweis auf einen Defekt auf oder benachbart zu einer sich zwischen dem Auge eines Benutzers der VR-Brille und dem Defekt erstreckenden Sichtlinie anzuzeigen.

So ist die Erfassung von Fehlern nicht mehr auf die Blickrichtung des Trägers der VR-Brille eingeschränkt, und es entfällt insbesondere die Notwendigkeit für den Träger der VR-Brille, das Werkstück zu umrunden, um eine Fehlererfassung aus verschiedenen Blickrichtungen zu ermöglichen.

Um das Werkstück in kurzer Zeit aus allen relevanten Richtungen zu erfassen, kann der Scanner mehrere Kameras aufweisen, die aus verschiedenen Richtungen auf eine Erfassungsregion ausgerichtet sind, in der das Werkstück platziert werden kann. Ferner können Antriebsmittel vorgesehen sein, um das Werkstück und die Kameras relativ zueinander zu bewegen. Insbesondere eine Variante, bei der das Werkstück an stationären Kameras des Scanners vorbeibewegt wird, eignet sich besonders zur Integration in eine Fließbandfertigung.

Die Kameras können an einem Portal montiert sein, unter dem das Werkstück hindurchtransportiert wird, und es so aus diversen, einem Mitarbeiter eventuell nur schwer zugänglichen Richtungen erfassen.

Der Grafikprozessor kann eingerichtet sein, einen Hinweis auf einen Defekt auch dann anzuzeigen, wenn der Defekt sich an einer von der VR-Brille abgewandten Seite des Werkstücks befindet. So ist sichergestellt, dass ein Benutzer der VR- Brille, wenn er sich dem Werkstück nähert, sofort darüber Bescheid weiß, ob auszubessernde Defekte vorhanden sind, und dazu nicht seinerseits zeitaufwendig das Werkstück umrunden muss.

Um zu verhindern, dass der Benutzer der VR-Brille vergeblich nach einem Defekt sucht, zu dem ihm ein Hinweis angezeigt wird, sollte der Grafikprozessor ferner eingerichtet sein, unterschiedliche Formen von Hinweisen zu verwenden, je nachdem, ob der Defekt sich an einer der VR-Brille zugewandten oder einer von der VR-Brille abgewandten Seite des Werkstücks befindet.

Wenn ein Defekt behoben ist, kann ein weiterhin angezeigter Hinweis auf den Defekt den Benutzer der VR-Brille irritieren. Deswegen vorzugsweise ferner Mittel zum Erfassen einer Geste des Benutzers der VR-Brille vorgesehen, um bei

Erkennung der Geste einen angezeigten Hinweis zu löschen.

Die zu erfassende Geste kann ein Zeigen auf den Defekt, ein Blicken auf ein vorgegebenes Objekt in der Umgebung des Werkstücks oder ein Bearbeiten des Defekts durch den Benutzer der VR-Brille sein.

Wenn die VR-Brille, z. B. als die oben erwähnten Mittel zum Erfassen der Position und Orientierung der VR-Brille, eine Kamera umfasst, kann eine Bildauswerteeinheit mit der Kamera verbunden sein, um zu beurteilen, ob ein Defekt behoben ist oder nicht, und den Hinweis auf den Defekt nur zu löschen, wenn der Defekt als behoben beurteilt wird.

Der Grafikprozessor ist ferner vorzugsweise eingerichtet, einen Umriss des

Werkstücks in dem in der VR-Brille angezeigten Bild wiederzugeben, etwa um dem Benutzer der VR-Brille unter mehreren Werkstücken in seiner Umgebung die Identifizierung des jeweils zu bearbeitenden Werkstücks zu erleichtern. Dieser Umriss sollte sich mit dem aus der Perspektive des Benutzers sichtbaren Umriss des Werkstücks decken.

Den Hinweis auf einen Defekt exakt auf der Sichtlinie anzuzeigen kann dem

Benutzer zwar das Finden eines Defekts erleichtern, andererseits kann es eine genaue Betrachtung des Defekts erschweren, die erforderlich ist, damit der

Benutzer entscheiden kann, wie der Defekt am besten zu beheben ist. Deswegen ist es zweckmäßig, einen solchen Hinweis nur dann anzuzeigen, wenn der Abstand der VR-Brille (und ihres Benutzers) vom Werkstück einen Grenzwert überschreitet, d.h. insbesondere zu groß ist, als dass der Benutzer den Defekt erreichen und bearbeiten könnte. Wenn hingegen der Defekt in Reichweite des Benutzers ist, dann ist die Verwendung eines zur Sichtlinie benachbarten Hinweises

zweckmäßiger, der die Inaugenscheinnahme des Defekts durch die VR-Brille hindurch nicht behindert. Ein solcher Hinweis kann z.B. einen sich um die Sichtlinie und den Defekt erstreckenden Kreis oder einen auf diese gerichteten Pfeil beinhalten.

Der Grafikprozessor kann ferner eingerichtet sein, Angaben zum Werkstück in alphanumerischer Form in das in der VR-Brille angezeigte Bild einzufügen. Bei diesen Angaben kann es sich um technische Angaben zum Werkstück wie etwa eine Typenbezeichnung oder eine werkstückspezifische Kennung, um Angaben zum Defekt oder auch um allgemeine Hinweise zum Umgang mit dem Werkstück und insbesondere zur Behebung des Defekts handeln.

Die Aufgabe wird ferner gelöst durch ein Verfahren zum Unterstützen einer

Oberflächenbearbeitung an einem Werkstück, mit den Schritten:

a) Scannen der Oberfläche eines Werkstücks, um Defekte der Oberfläche zu erkennen und zu lokalisieren,

b) Ausgeben der Positionen, an denen ein Defekt lokalisiert wurde, an einen Grafikprozessor,

c) Erfassen der Position und Orientierung einer VR-Brille, die an den

Grafikprozessor zum Empfangen von Bilddaten angeschlossen ist, relativ zum Werkstück,

e) in einem in der VR-Brille durch den Grafikprozessor angezeigten Bild, Anzeigen eines Hinweises auf einen Defekt auf oder benachbart zu einer sich zwischen dem Auge eines Benutzers der VR-Brille und dem Defekt erstreckenden Sichtlinie.

Vorzugsweise sind die Defekte, auf die das Verfahren angewandt wird, Lackdefekte, und das Werkstück ist eine Fahrzeugkarosserie.

Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen. Es zeigen:

Fig. 1 eine schematische Darstellung des erfindungsgemäßen Systems;

Fig. 2 ein Beispiel des Bildes, das sich einem Benutzer der VR-Brille des in

Fig. 1 gezeigten Systems darbietet; und. Fig. 3 einen alternativen, in der VR-Brille angezeigten Hinweis.

Fig. 1 zeigt schematisch ein erfindungsgemäßes System, das in der Kfz-Fertigung zur Erkennung von Lackfehlern an Fahrzeugkarosserien 1 eingesetzt wird, die auf einem Fließband oder durch andere geeignete Antriebsmittel 2 gefördert aus einer nicht dargestellten, an sich bekannten Lackieranlage kommen. Die

Fahrzeugkarosserien 1 werden von dem Antriebsmittel 2 durch einen Scanner 3 hindurchtransportiert, der ein mit diversen Kameras 4 bestücktes Portal 5 umfasst Die Kameras 4 sind auf einen Innenraum des Portals 5 ausgerichtet, um die Außenflächen der hindurchtransportierten Karosserien 1 zu erfassen.

Eine an die Kameras 4 angeschlossene Bildauswertungseinheit 6 analysiert die von den Kameras gelieferten Bilder und generiert zu jeder Karosserie 1 , die das Portal 3 durchläuft, einen Datensatz, der eine individuelle Kennung der Karosserie 1 sowie ggf. Orte an der Karosserie 1 , an denen ein Lackierungsfehler erkannt worden ist, und ggf. Angaben zur Beschaffenheit des Lackierungsfehlers enthält.

Die so erhaltenen Datensätze werden in einer Datenbank 7 hinterlegt.

Ein Prozessrechner 8 greift auf die Datensätze in der Datenbank 7 zu. Indem der Prozessrechner 8 ferner mit einer Steuerung der Antriebsmittel 2 kommuniziert und deren Geschwindigkeit erfasst oder vorgibt, ist er jederzeit in der Lage, zu berechnen, an welchem Ort entlang des Fließbands sich eine bestimmte Karosserie 1 befindet.

Der Prozessrechner 8 ist ferner an mehrere Kameras 9 gekoppelt, um den

Aufenthaltsort und die Orientierung einer VR-Brille 10 zu erfassen, die von einem mit der Behebung der Lackierungsfehler befassten Mitarbeiter 1 1 getragen wird. Eine oder mehrere dieser Kameras 9 sind in der Umgebung des Fließbandes ortsfest montiert; eine weitere Kamera 9 kann in die VR-Brille 10 eingebaut und mit dieser beweglich sein, um das Blickfeld des die VR-Brille 10 tragenden Mitarbeiters 11 zu überwachen. Anhand von Bildern, die die ortsfesten Kameras 9 von dem Mitarbeiter 11 liefern, ist der Prozessrechner 8, z.B. durch Triangulation, in der Lage, den Aufenthaltsort des Mitarbeiters 11 (und, wenn auch mit begrenzter Genauigkeit, seine Blickrichtung) zu bestimmen. Ein Abgleich des von der Kamera der VR-Brille 10 gelieferten Bildes mit denen der ortsfesten Kameras 9 ermöglicht die Bestimmung der Blickrichtung des Mitarbeiters 11 bzw. der Orientierung der von ihm getragenen VR-Brille 10 mit hoher Genauigkeit.

Fig. 2 zeigt schematisch das Bild, das sich dem Mitarbeiter 1 1 durch die VR-Brille 10 darbietet. Die VR-Brille 10 umfasst in an sich bekannter Weise einen

Anzeigeschirm, dessen Transparenz und Farbe lokal steuerbar ist, so dass der Benutzer durch die transparenten Teile des Bildschirms der VR-Brille 10 hindurch die reale Umgebung, hier eine Abfolge der Karosserien 1 auf dem Fließband, wahrnehmen kann, und gleichzeitig auf dem Bildschirm angezeigte grafische Elemente wahrnehmen kann.

Anhand der bekannten Positionen der Karosserien 1 sowie der Position und

Orientierung der VR-Brille 10 ist ein Grafikprozessor 12 des Prozessrechners 8 in der Lage, für jede der Karosserien 1 deren Umriss zu berechnen, so wie er sich aus der erfassten Perspektive des Mitarbeiters 11 darbietet, und ein daraus

resultierendes Bild an die VR-Brille 10, vorzugsweise über Funkschnittstellen 19, 20 des Prozessrechners 8 und der VR-Brille 10, zu übertragen. Unter den Karosserien 1 wählt der Prozessrechner 8 anhand der Angaben in der Datenbank 7 diejenige aus, die auf dem Fließband am weitesten fortgeschritten ist, um einen diese

Karosserie 1 umgebenden Rahmen 13 zu berechnen und auf dem Bildschirm der VR-Brille 10 wiederzugeben, dass er die betreffende Karosserie 1 umschließt. Der Rahmen 13 kann eine Linie sein, die sich um die betreffende Karosserie 1 herum erstreckt; im hier gezeigten Fall ist die ausgewählte Karosserie 1 gegenüber den anderen zusätzlich dadurch hervorgehoben, dass die Transparenz des Bildschirms der VR-Brille 10 außerhalb des Rahmens 13 vermindert ist, so dass die nicht ausgewählten Karosserien dunkler und/oder mit vermindertem Kontrast,

verminderter Schärfe oder mit einem sie teilweise verbergenden Muster überlagert erscheinen. So wird die Aufmerksamkeit des Mitarbeiters intuitiv auf die zu bearbeitende Karosserie 1 gelenkt.

Anhand der Angaben der Datenbank 7 berechnet der Grafikprozessor 12, wo aus der Sicht des Mitarbeiters 1 1 Lackfehler an der Karosserie 1 sichtbar sein müssen, und platziert in der VR-Brille 10 einen Hinweis 14 auf jeden solchen Fehler auf einer Sichtlinie 15, die vom Auge des Mitarbeiters 11 zu diesem Lackfehler verläuft. In der Ausgestaltung der Fig. 2 haben diese Hinweise 14 die Form von Kreuzen, deren Kreuzungspunkt der Position des Lackfehlers auf der Karosserie 1 entspricht, d.h. auf der Sichtlinie liegt, die durch den Bildschirm der VR-Brille 10 hindurch das Auge des Benutzers 1 1 mit dem Lackfehler 16 verbindet. Der Hinweis 14 behindert so zwar die Sicht auf den Lackfehler, doch ist dies ohne Belang, solange der

Mitarbeiter 11 noch nicht nahe genug an den Lackfehler herangekommen ist, um ihn zu erreichen und bearbeiten zu können.

Während sich der Mitarbeiter 11 dem Lackfehler nähert, kann der Hinweis 14 auf dem Bildschirm der VR-Brille 10 seine Größe beibehalten oder weniger als umgekehrt proportional zum Abstand wachsen, so dass mit zunehmender

Annäherung an den Lackfehler seine Position genauer erkennbar wird.

Wie am Beispiel eines auf dem Dach der Karosserie 1 erfassten Lackfehlers deutlich wird, können die Hinweise 14 eine perspektivische Verzerrung

entsprechend der Orientierung der Oberfläche annehmen, auf der sich der

Lackfehler befindet, auf den sie hinweisen; so kann dem Mitarbeiter 11 das Finden des Lackfehlers zusätzlich erleichtert werden.

Ein Hinweis 14‘ von auch ohne perspektivische Verzerrung abweichender Gestalt, hier am hinteren Kotflügel der Karosserie 1 , z.B. in Form eines Kreuzes aus gestrichelten Linien, weist auf einen Lackfehler hin, der vom Standort des

Mitarbeiters 10 aus noch nicht sichtbar ist, weil er sich an einer gegenüberliegenden Seite der Karosserie 1 befindet. Sobald der Mitarbeiter 10 um die Karosserie 1 herumgeht und einen Ort erreicht, von wo aus dieser Lackfehler sichtbar ist, ändert der Grafikprozessor 12 das Erscheinungsbild des betreffenden Hinweises, z.B. in ein Kreuz aus durchgezogenen Linien wie der Hinweis 14 in Fig. 2, so dass der Mitarbeiter 10 am Erscheinungsbild eines Hinweises 14, 14‘ jederzeit beurteilen kann, an welcher Seite der Karosserie 1 der zugehörige Lackfehler zu suchen ist.

Wenn ein Abstand zum Lackfehler unterschritten ist, insbesondere wenn der Mitarbeiter 10 nahe genug an den Lackfehler herangekommen ist, um ihn bearbeiten zu können, ersetzt der Grafikprozessor 12 den Hinweis 14 durch einen Hinweis 14“ anderer Gestalt, der nicht unmittelbar in der (zur Ebene der Fig. 3 senkrechten) Sichtlinie 15 zwischen dem Auge des Mitarbeiters 11 und dem hier schematisch als kreuzschraffierte Fläche dargestellten Lackfehler 16 liegt, um die Sicht auf letzteren während der Ausbesserung nicht zu behindern.

Anhand der von der Kamera der VR-Brille 10 gelieferten Bilder ist der

Prozessrechner 8 in der Lage, den jeweils vom Mitarbeiter 1 1 bearbeiteten

Lackfehler zu identifizieren. Ebenfalls kann der Prozessrechner s erkennen, wenn sich der Mitarbeiter 1 1 nach erfolgreicher Ausbesserung von dem Lackfehler abwendet, und daraufhin den betreffenden Lackfehler aus der Datenbank 7 löschen oder ihn dort als behoben vermerken.

Damit der Lackfehler nicht gelöscht oder als behoben vermerkt wird, bevor der Mitarbeiter 11 mit seiner Ausbesserung fertig ist, z.B. weil der Mitarbeiter 1 1 zeitweilig den Kopf in eine andere Richtung wendet, kann vorgesehen werden, dass der Lackfehler erst dann gelöscht oder als behoben vermerkt wird, wenn im

Blickfeld der Kamera der VR-Brille 10 ein vorgegebenes Objekt 17 erscheint. Das Objekt 17 kann grundsätzlich beliebig ausgewählt werden; für einen intuitiven Gebrauch der VR-Brille 10 ist es zweckmäßig, wenn das Objekt 17 einen mit der erfolgreichen Ausbesserung verknüpften Sinngehalt hat, z.B. ein mit OK

beschriftetes Schild, das benachbart zum Fließband an einer Position montiert ist, wo die Wahrscheinlichkeit gering ist, dass der Mitarbeiter 1 1 unwillkürlich darauf blickt, z.B. deutlich über Augenhöhe, oder ein entsprechend beschriftetes Kärtchen, das der Mitarbeiter 1 1 zusammen mit Ausbesserungswerkzeugen mit sich führt und sich vor Augen bzw. vor die Kamera der VR-Brille 10 hält, wenn er mit der

Ausbesserung des Lackfehlers fertig ist. Denkbar ist auch, dass das Objekt 17 ein Finger des Mitarbeiters 1 1 ist, der, auf den fertig ausgebesserten Lackfehler zeigend, im Blickfeld der Kamera 9 der VR-Brille 10 erscheint.

Denkbar ist auch, dass der Prozessrechner 8 anhand der von der Kamera der VR- Brille 10 gelieferten Bilder den Fortschritt der Ausbesserung überwacht, entscheidet, ob der Lackfehler behoben ist oder nicht, und ggf. die Datenbank 7 entsprechend anpasst.

Wenn ein Lackfehler in der Datenbank 7 gelöscht oder als behoben vermerkt ist, wird kein Hinweis auf ihn in der VR-Brille 10 mehr angezeigt. Alternativ kann eine differenzierte Darstellung erfolgen, wobei der Ort des behobenen Lackfehlers im auf dem Bildschirm der VR-Brille 10 angezeigten Bild farbig oder mit Zeichenzusatz „OK“ etc. markiert wird.

Informationen 18 zu Typ und Identität der Karosserie wie etwa eine laufende Fertigungsnummer können benachbart zu dieser vom Grafikprozessor 12 in das in der VR-Brille 10 angezeigte Bild eingeblendet werden, vorzugsweise außerhalb des Rahmens 13, um die Sicht auf die zu bearbeitende Karosserie 1 nicht zu

beeinträchtigen. Wenigstens die Informationen zur Identität der Karosserie 1 sind auch an dieser selbst ablesbar, so dass durch einen Vergleich der vom

Grafikprozessor 12 angezeigten und der ablesbaren Informationen der Mitarbeiter 11 verifizieren kann, dass die in der VR-Brille 10 angezeigten Hinweise 14 auf Lackfehler sich tatsächlich auf die Karosserie 1 beziehen, die er gerade vor sich hat.

Es versteht sich, dass die obige detaillierte Beschreibung und die Zeichnungen zwar bestimmte exemplarische Ausgestaltungen der Erfindung darstellen, dass sie aber nur zur Veranschaulichung gedacht sind und nicht als den Umfang der Erfindung einschränkend ausgelegt werden sollen. Diverse Abwandlungen der beschriebenen Ausgestaltungen sind möglich, ohne den Rahmen der nachfolgenden Ansprüche und deren Äquivalenzbereich zu verlassen. Insbesondere gehen aus dieser

Beschreibung und den Figuren auch Merkmale der Ausführungsbeispiele hervor, die nicht in den Ansprüchen erwähnt sind. Solche Merkmale können auch in anderen als den hier spezifisch offenbarten Kombinationen auftreten. Die Tatsache, dass mehrere solche Merkmale in einem gleichen Satz oder in einer anderen Art von Textzusammenhang miteinander erwähnt sind, rechtfertigt daher nicht den Schluss, dass sie nur in der spezifisch offenbarten Kombination auftreten können; stattdessen ist grundsätzlich davon auszugehen, dass von mehreren solchen Merkmalen auch einzelne weggelassen oder abgewandelt werden können, sofern dies die Funktionsfähigkeit der Erfindung nicht in Frage stellt.

Bezugszeichenliste

I Karosserie

2 Antriebsmittel

3 Scanner

4 Kamera

5 Portal

6 Bildauswertungseinheit

7 Datenbank

8 Prozessrechner

9 Kamera

10 VR-Brille

II Mitarbeiter

12 Grafikprozessor

13 Rahmen

14 Hinweis

15 Sichtlinie

16 Lackfehler

17 Objekt

18 Information

19 Funkschnittstelle