MAY, Thomas (Alte Schiffstraße 9, Konstanz, 78464, DE)
MASSANELL, Javier (Am Ramsberg 7, Markdorf, 88677, DE)
MAY, Thomas (Alte Schiffstraße 9, Konstanz, 78464, DE)
| Ansprüche 1. System für eine Interaktion zwischen einer Person (300) und einer Maschine (30), insbesondere einem Roboter, - mit Markierungsmitteln (400), die an der Person (300) an bestimmten Positionen, vorzugsweise Endpositionen von Extremitäten oder Gelenken, angeordnet sind, - mit mindestens einer 3D-TOF-Kamera (10) zur dreidimensionalen Erfassung des Interaktionsbereichs (I) und zur Erfassung der Markierungsmittel (400), - mit einer Auswerteeinheit (210), die derart ausgestaltet ist, dass ausgehend von den erfassten Markierungsmitteln (400) ein Modell der Person erstellt und eine Position und eine Bewegung der Person erfasst und/oder vorbestimmt wird, - mit einer Steuereinheit (35), die die Maschine (30) derart ansteuert, dass bei einer sicherheitskritischen Position und/oder Bewegung der Person, die Person nicht gefährdet wird. 2. System nach Anspruch 1 , bei dem die Markierungsmittel (400) als Reflektoren ausgebildet sind. 3. System nach einem der vorhergehenden Ansprüche, bei dem die Markierungsmittel (400) mit unterschiedlichen optischen Eigenschaften ausgestaltet sind 4. System nach einem der vorhergehenden Ansprüche, bei dem eine Arbeitskleidung der interagierenden Person (300) Markierungsmitteln an den bestimmten Positionen aufweist. 5. System nach einem der vorhergehenden Ansprüche, mit mindestens zwei 3D-TOF-Kameras (10). 6. System nach einem der vorhergehenden Ansprüche, bei dem innerhalb des Interaktionsbereichs (I) mindestens zwei, personenunabhängige Referenzmarkierung (250), insbesondere Reflektoren, angebracht sind. 7. Verfahren zum Betreiben eines Systems nach einem der vorhergehenden Ansprüchen, bei dem eine mit der Maschine (30) interagierende Person (300) anhand von Markierungsmittel (400), die an bestimmten Stellen der Person (300) angeordnet sind, in seiner Position und Bewegung erfasst wird, wobei anhand der erfassten Markierungsmittel (400) zunächst ein Modell der Person ermittelt wird, anhand dessen die weiteren Berechnungen erfolgen. 8. Verfahren nach Anspruch 7, bei dem vor der Interaktion der Person (300) mit der Maschine (30) in einer Startphase zunächst alle Markierungsmittel der Person (300) erfasst werden. 9. Verfahren nach einem der Ansprüche 7 bis 8, bei dem die Person (300) in der Startphase bestimmte Positionen einnimmt und/oder Gesten durchführt. 10. Verfahren nach einem der Ansprüche 7 bis 9, bei dem in der Startphase erst bei einer Erkennung aller erwarteten Markierungsmittel (400) die Interaktion mit der Maschine (30) freigegeben wird. 1 1. Verfahren nach einem der Ansprüche 7 bis 10, bei dem anhand der letzten Positionen und/oder Bewegungen der Person (300) unter Berücksichtigung des ermittelten Modells die nächste Bewegung der Person (300) vorbestimmt bzw. prognostiziert wird. 12. Verfahren nach einem der Ansprüche 7 bis 1 1 , bei beim bei einer erkannte oder prognostizierten sicherheitskritischen Position und/oder Bewegung der Person (300) die Maschine (30) so angesteuert wird, dass eine Gefährdung der Person (300) auszuschließen ist. 13. Verfahren nach einem der Ansprüche 7 bis 12, bei dem die Maschine mit der Person (300) einen kooperativen Prozessablauf aufrechterhält, wenn die erkannte oder prognostizierten Position und/oder Bewegung der Person (300) innerhalb eines erwarteten Prozessbereiches liegt. |
SYSTEM UND VERFAHREN FÜR EINE INTERAKTION ZWISCHEN EINER
PERSON UND EINER MASCHINE
[0001] Die Erfindung betrifft ein System und ein Verfahren zur Interaktion
zwischen einer Person und einer Maschine, insbesondere einem Roboter, bei dem an der Person an bestimmten Positionen Markierungsmittel angeordnet sind und mithilfe einer 3D-TOF-Kamera erfasst werden können. Die Maschine wird über eine Steuereinheit derart angesteuert, dass die erkannte Person nicht in ihrer Sicherheit gefährdet wird.
[0002] Aus der DE 10 2005 003 827 B4 ist bereits eine Vorrichtung und ein
Verfahren zur Interaktion zwischen einem Menschen und einer
Robotereinheit an einem Roboterarbeitsplatz bekannt, bei der die
Annäherung eines Menschen anhand zweier Sicherheitsschwellen überwacht wird. Über eine erste Sensoreinheit wird eine Annäherung eines Menschen an den Arbeitsplatz derart erfasst, dass bei einem
Unterschreiten eines ersten Sicherheitsabstandes ein erstes Signal und bei einem Unterschreiten eines zweiten Sicherheitsabstandes ein zweites Signal erzeugt wird. Bei Vorliegen des ersten Signals ist es vorgesehen, die Robotereinheit in einem vorgebbaren Zustand, in einen so genannten sicheren Betriebshalt zu überführen. Liegt das zweite Signal vor, wird die Robotereinheit in einen so genannten Not-Aus-Zustand überführt, in dem die Robotereinheit bewegungslos in ihrer momentanen Stellung verharrt. Weiterhin ist es vorgesehen, dass am Arbeitsplatz der Robotereinheit ein zusätzlicher Sicherheitsschalter angeordnet ist, der die Robotereinheit in den Zustand des sicheren Betriebshaltes überführt.
[0003] Aus der DE 103 20 343 B4 ist ein Verfahren zur überwachten Kooperation zwischen einer Robotereinheit und einem Menschen bekannt, bei dem nach einem vorgebbaren Programmablauf Handhabungsschritte innerhalb eines sowohl von der Robotereinheit als auch vom Menschen
zugänglichen gemeinsamen Arbeitsraumes durchgeführt werden. Hierbei ist es vorgesehen, dass der Robotereinheit bei relativer Annäherung an den Menschen ein Bewegungsmuster aufgeprägt wird, dass sich durch die Bewegungsrichtung, Bewegungsgeschwindigkeit sowie dem Abstand der Robotereinheit relativ zum Menschen auszeichnet. Aus einer Vielzahl unterschiedlicher abgespeicherter Bewegungsmuster wird ein für den Menschen individuelles Bewegungsmuster ausgewählt, so dass dem Menschen ein Gefühl an Arbeitssicherheit und Kontrolle über die
Robotereinheit vermittelt wird. Jedes Bewegungsmuster liegt mindestens in einer ersten und zweiten Qualitätsstufe vor, die sich beispielsweise in ihrer Bewegungsgeschwindigkeit und/oder Bewegungsrichtung
unterscheiden. Unter Berücksichtigung eines aktuellen Abbremsweges der Robotereinheit sowie einer maximalen eigenen
Bewegungsgeschwindigkeit des Menschen wird die Robotereinheit solange abgebremst oder zum Stillstand gebracht, bis eine
Kollisionsgefahr auszuschließen ist.
[0004] Aus dem Stand der Technik sind ferner Systeme zur dreidimensionalen Bilderfassung bekannt, welche mit Hilfe einer aktiven Beleuchtung arbeiten. Dazu gehören so genannten Time-of-flight- (TOF-) oder
Laufzeitmesssysteme. Diese verwenden eine amplitudenmodulierte oder gepulste Beleuchtung, zur Ausleuchtung der zu erfassenden
dreidimensionalen Szenerie.
[0005] Mit Kamerasystem soll insbesondere alle 3D-TOF-Kamerasysteme mit umfasst sein, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als
3D-TOF-Kameras sind insbesondere PMD-Kameras mit
Photomischdetektoren (PMD) geeignet, wie sie u.a. in den Anmeldungen, EP 1 777 747, US 6 587 186 und auch DE 197 04 496 beschrieben und beispielsweise von der Firma ,ifm electronic gmbh' als Frame-Grabber O3D zu beziehen sind. Die PMD-Kamera erlaubt insbesondere eine flexible Anordnung der Lichtquelle und des Detektors, die sowohl in einem Gehäuse als auch separat angeordnet werden können.
[0006] Aufgabe der Erfindung ist es ein System mit einer 3D-TOF-Kamera für ein Interaktions-System zwischen einer Person und einer Maschine weiter zu bilden.
[0007] Die Aufgabe wird in vorteilhafter Weise durch die erfindungsgemäße
Vorrichtung und dem erfindungsgemäßen Verfahren der unabhängigen Ansprüche gelöst.
[0008] Vorteilhaft sieht das erfindungsgemäße Systenn für eine Interaktion
zwischen einer Person und einer Maschine, insbesondere einem Roboter, Markierungsmittel vor, die an bestimmten Positionen der Person, vorzugsweise an Endpositionen von Extremitäten oder Gelenken, angeordnet sind. Mindestens eine 3D-TOF-Kamera dient zur
dreidimensionalen Erfassung des Interaktionsbereichs und zur Erfassung der Markierungsmittel. Mit Hilfe einer Auswerteeinheit wird ausgehend von den erfassten Markierungsmitteln ein Modell der Person erstellt und eine Position und eine Bewegung der Person erfasst und/oder vorbestimmt. Anhand der erfassten und/oder vorbestimmten Position und Bewegung der Person wird die Maschine über eine Steuereinheit derart angesteuert, dass bei einer sicherheitskritischen Position und/oder Bewegung der Person, die Person nicht weiter gefährdet wird.
[0009] Zweckmäßiger Weise sind die Markierungsmittel als Reflektoren
ausgebildet, so wird in vorteilhafter Weise sichergestellt, dass auch bei starkem Umgebungslicht das Markierungsmittel eindeutig und sicher vom Hintergrund unterschieden werden kann.
[0010] Weiterhin ist es nützlich die Markierungsmittel mit unterschiedlichen
optischen Eigenschaften auszugestalten. So ist es möglich, für bestimmte Positionen Markierungsmittel mit besonderen optischen Eigenschaften bereitzustellen. So kann beispielsweise ein Reflektor, der am Kopf der Person angeordnet ist, eine andere optische Eigenschaft aufweisen als die Reflektoren die an der Schulter oder an der Hand angeordnet sind.
Prinzipiell ist es denkbar, für jede Position eine eigene optische
Eigenschaft vorzusehen.
[001 1] Gemäß einer weiteren Ausgestaltung ist es vorgesehen, eine
Arbeitskleidung der interagierenden Person mit Markierungsmittel an den bestimmten Positionen auszustatten.
[0012] Weiterhin ist es von Vorteil mehr als eine 3D-TOF-Kamera vorzusehen.
Die Verwendung mehrerer Kameras erlaubt es insbesondere, die
Sicherheit der erfassten Daten zu erhöhen. Darüber hinaus ist es mithilfe mehrerer Kameras möglich auch gegebenenfalls durch die Person oder der Maschine verdeckte Bereiche zu erfassen.
[0013] In einer weiteren Ausgestaltung ist es vorteilhaft, innerhalb des
Interaktionsbereichs mindestens zwei, personenunabhängige
Referenzmarkierungen, insbesondere Reflektoren, vorzusehen. Ort und Abstand dieser Referenzmarkierungen sind in Bezug auf mindestens eine 3D-TOF-Kamera bekannt, sodass ausgehend von diesen
Referenzmarkierungen das 3D-Modell einer 3 D-TO F- Kamera kalibriert werden kann.
[0014] Ferner ist es von Vorteil, auch ein Verfahren zum Betreiben des
vorgenannten Systems bereitzustellen, bei dem die mit der Maschine interagierende Person anhand von Markierungsmitteln, die an bestimmten Stellen der Person angeordnet sind, in seiner Position und Bewegung erfasst wird, wobei anhand der erfassten Markierungsmittel zunächst ein Modell der Person ermittelt wird, anhand dessen die weiteren
Berechungen erfolgen.
[0015] Das Verfahren lässt sich weiter verbessern, indem vor der Interaktion der Person mit der Maschine in einer Startphase zunächst alle
Markierungsmittel der Person erfasst werden. So kann sichergestellt werden, dass für die Person ein geeignetes Modell für die weiteren Berechungen hinterlegt werden kann.
[0016] Zweckmäßiger Weise ist es vorgesehen, dass die Person in der
Startphase bestimmte Positionen einnimmt und/oder bestimmte Gesten durchführt. So wird beispielsweise sichergestellt, dass alle Gelenkpunkte der Person erkannt und eine maximale Bewegungsmöglichkeit der Person erfasst wird.
[0017] Vorteilhaft wird die Interaktion mit der Maschine nur dann freigegeben, wenn in der Startphase alle erwarteten Markierungsmittel eindeutig erkannt wurden.
[0018] In einer weiteren Ausgestaltung ist es vorgesehen, bei einer erkannten oder prognostizierten Sicherheitskritischen Position und/oder Bewegung der Person die Maschine so anzusteuern, dass eine Gefährdung der Person auszuschließen ist.
[0019] Liegen die erkannten oder prognostizierten Positionen und/oder Bewegung der Person innerhalb eines erwarteten Prozessbereiches, ist es vorteilhaft vorgesehen einen kooperativen Prozessablauf zwischen
Maschine und der Person aufrechtzuerhalten.
[0020] Es zeigen:
[0021] Fig. 1 schematisch ein erfindungsgemäßes System,
Fig. 2 einen Maschinenarbeitsbereich mit einer kooperierenden Person, Fig. 3 eine kooperierende Person innerhalb eines Interaktionsbereichs, Fig. 4 eine kooperierende Person außerhalb des Interaktionsbereichs in der Startphase.
[0022] Figur 1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einem 3D-TOF-Kamerasystem, wie es beispielsweise aus der DE 197 04 496 bekannt ist.
[0023] Das 3D-TOF-Kamerasystem umfasst hier eine Sendeeinheit bzw. ein
Beleuchtungsmodul 100 mit einer Lichtquelle 12 und einer dazugehörigen Strahlformungsoptik 50 sowie eine Empfangseinheit bzw. 3 D-TO F- Kamera 200 mit einer Empfangsoptik 150 und einem Fotosensor 15. Der
Fotosensor 15 ist vorzugsweise als Pixel-Array, insbesondere als
PMD-Sensor, ausgebildet. Die Empfangsoptik besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 50 der Sendeeinheit 100 ist vorzugsweise als Reflektor ausgebildet. Es können jedoch auch diffraktive Elemente oder Kombinationen aus reflektierenden und diffraktiven
Elementen eingesetzt werden.
[0024] Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasendifferenz des emittierten und empfangenen Lichts die Laufzeit des emittierten und reflektierten Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle und der Fotosensor 15 über einen Modulator 18 gemeinsam mit einer bestimmten
Modulationsfrequenz mit einer ersten Phasenlage a beaufschlagt.
Entsprechend der Modulationsfrequenz sendet die Lichtquelle 12 ein amplitudenmoduliertes Signal mit der Phase a aus. Dieses Signal bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 20 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben mit einer zweiten Phasenlage b auf den Fotosensor 15. Im Photosensor 15 wird das Signal der ersten Phasenlage a des Modulators 18 mit dem empfangenen Signal, das mittlerweile eine zweite Phasenlage b angenommen hat, gemischt und aus dem
resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung ermittelt.
[0025] Figur 2 zeigt schematisch einen Maschinenarbeitsplatz mit einem Roboter 30 und einer kooperierenden Person 300. Der Roboter 30 ist hier als Greif- bzw. Werkzeug-Roboter mit mehreren Gelenkarmen 32 und
Gelenken 33 ausgestaltet. Zwischen der Person 300 und dem Roboter 30 befindet sich ein Arbeitsplatz 500, der gemeinsam von der Person 300 und dem Roboter 30 vorzugsweise kooperierend genutzt wird. Die gesamte Situation in der sich der Roboter 30 und die Person 300 befinden wird von einer 3D-TOF-Kamera 10 erfasst. Zur besseren Erkennung der
Extremitäten der Person 300 sind an bevorzugten Stellen wie
beispielsweise Kopf, Schulter, Handgelenk, Arm- und Kniegelenk sowie im Fußbereich Markierungsmittel, vorzugsweise Reflektoren, angeordnet. Die von der 3D-TOF-Kamera erfasste Situation wird mithilfe einer
Auswerteeinheit bzw. Bildverarbeitung 210 verarbeitet und insbesondere im Hinblick auf Position und Bewegung der Person 300 ausgewertet. Die Daten der Auswerteeinheit 210 werden vorzugsweise einer Steuereinheit 35 des Roboters 30 zu Verfügung gestellt. Ausgehend von den Position-, Bewegungs- und Lagedaten der Person 300 kann in Relation zu den bekannten Positions- und Bewegungsplänen des Roboters eine
sicherheitskritische Lage der Person 300 erkannt werden. Um die Gefahr für die Person zu reduzieren oder gegebenenfalls auch abzuwenden, kann es vorgesehen sein, beispielsweise die Geschwindigkeit der
Robotergelenke bei Annäherung zu verringern, sodass sichergestellt werden kann, dass der Roboterarm jederzeit gefahrlos zum Stillstand gebracht werden kann.
[0026] Bei einer kooperierenden Interaktion zwischen Person 300 und Roboter 30 werden von der Person 300 vorbestimmte Bewegungsmuster erwartet. Kooperiert die Person 300 innerhalb dieser Bewegungsmuster, hält die Maschine den kooperativen Prozessablauf aufrecht. Weicht die Person 300 jedoch von diesem Prozessablauf ab, geht die Maschine
gegebenenfalls in einen Sicherheitsmodus oder weicht den Bewegungen der Person 300 aus.
[0027] Auch für den kooperierenden Prozessablauf ist es vorgesehen, dass die maximale Geschwindigkeit des Roboters so gewählt ist, dass er innerhalb einer vorgegebenen Sicherheitsgrenze bei Gefahr zum Stillstand kommt. Beispielsweise kann es vorgesehen sein, dass die Geschwindigkeit des Roboters mit abnehmendem Abstand der Person 300 von dem Roboter 30 reduziert wird.
[0028] Figur 3 zeigt schematisch die interaktive Situation in einer Aufsicht.
Beispielhaft sind in diesem Ausführungsbeispiel drei 3D-TOF-Kameras 10 vorgesehen, die innerhalb ihres Erfassungsbereiches E den
Interaktionsbereich I der Maschine 30 vollständig erfassen. Der
Interaktionsbereich I der Maschine 30 wird vornehmlich durch die maximalen Bewegungsmöglichkeiten des Roboters aufgespannt und umfasst selbstverständlich nicht nur eine zweidimensionale Ebene, sondern auch einen entsprechenden Volumenbereich. In der Darstellung befindet sich die Person 300 am Maschinenarbeitsplatz 500 und kann beispielsweise das auf dem Arbeitsplatz 500 befindliche Arbeitsmittel 510 dem Roboter 30 kooperativ zur Verfügung stellen.
[0029] Ferner sind auf dem Arbeitsplatz 500 in einem Randbereich
Referenzmarkierungen 250 angeordnet. Ort und Abstand dieser
Referenzmarkierungen sind in Bezug auf mindestens eine
3D-TOF-Kamera bekannt, sodass ausgehend von diesen
Referenzmarkierung beispielsweise eine 3D-Modell einer 3D-TOF-Kamera kalibriert werden kann. Im dargestellten Fall könnten die
Referenzmarkierungen 250 beispielsweise als Reflexionsstreifen ausgebildet sein. Selbstverständlich können die Referenzmarkierungen 250 auch ohne besondere Reflexionseigenschaften ausgebildet sein, maßgeblich ist, dass diese Markierungen 250 von mindestens einer 3D-TOF-Kamera 10 eindeutig erfasst werden können. Die
Referenzmarkierungen 250 können beispielsweise auch an anderen Orten des Erfassungsbereichs E angeordnet werden, insbesondere ist es auch denkbar, dass die Referenzmarkierungen 250 an der Grenze des
Interaktionsbereichs I angeordnet sind. So dass sowohl Ort und Position als auch eine Grenze des Interaktionsbereichs I markiert ist.
[0030] Figur 4 zeigt eine mögliche Startphase der in Figur 3 gezeigten
Arbeitssituation. Im dargestellten Fall befindet sich die Person 300 in einer vorbestimmten Startposition SP. Diese Startposition befindet sich vorzugsweise außerhalb des Interaktionsbereiches, sodass in dieser Phase zunächst keine potenzielle Gefahr von der Maschine 30 ausgeht. Innerhalb der Startphase ist es erfindungsgemäß vorgesehen, dass die Person 300 sich vor Beginn einer Interaktion dem System in der
Startposition SP zu erkennen gibt. Vorteilhaft nimmt die Person eine bestimmte Haltung oder eine bestimmte Geste ein, um dem System die Erkennung der Markierungsmittel zu erleichtern bzw. die Zuverlässigkeit der Erkennung zu verbessern. Zu einer weiteren Verbesserung der Erkennung kann es zudem auch vorgesehen sein, mehrere Positionen oder Gesten einzunehmen. Nachdem die Person anhand der Erfassung aller erwarteten Markierungsmittel sicher erfasst und erkannt wurde gibt das System eine mögliche Interaktion frei.
[0031] Personen die ohne Markierungsmittel in den Erfassungsbereich E
eindringen werden als potenziell gefährdet eingestuft. Abhängig von Geschwindigkeit und Richtung des eindringenden Objektes werden sicherheitsrelevante Maßnahmen bis hin zum Not-Halt der Maschine durchgeführt.
[0032] Durch dieses Vorgehen wird sichergestellt, dass nur entsprechend
autorisierte Personen, nämlich solche, die durch bestimmte
Markierungsmittel gekennzeichnet sind, kooperativ mit der Maschine in Wechselwirkung treten können. Nicht autorisierte Personen bzw.
unbekannte Objekte werden vorsorglich als Sicherheitsrisiko eingestuft.
Next Patent: CAMERA SYSTEM