1. Technischer Bereich Die vorliegende Erfindung betrifft ein Robotersystem und ein Verfahren zum Betrieb eines teleoperativen Prozesses, wie etwa zur

roboterunterstützten Bearbeitung von Werkstücken oder zur

medizinischen Behandlung eines Patienten, bei dem ein

robotergeführtes Werkzeug und ein Bildaufnahmegerät zum Einsatz kommen.

2. Technischer Hintergrund

Die Telerobotik ist ein Teilgebiet der Robotik, das sich mit der Steuerung von Robotern aus der Distanz beschäftigt. Ferngesteuerte Manipulatoren werden auch als Teleoperatoren bezeichnet und die Telerobotik kommt in vielen industriellen Anwendungen zum Einsatz. Ein weiteres

Anwendungsgebiet ist die Medizin, wobei insbesondere in der Chirurgie roboterassistierte Systeme teleoperativ betrieben werden. Beispielsweise zählen mit Bildaufnahmegeräten, wie z.B. Ultraschallgeräten oder endoskopischen Bildgebungsgeräten, gestützte medizinische

Untersuchungen bzw. Behandlungen heute zu den Standardeingriffen in der Medizin. Ein Beispiel für eine derartige medizinische Behandlung ist die minimal-invasive Chirurgie, bei der als Werkzeuge endoskopische Instrumente, z.B. Biopsienadeln, zum Einsatz kommen und wobei der Einsatz dieser medizinischen Instrumente im Körper eines Patienten mit Bildaufnahmegeräten, z.B. einem Videoendoskop, überwacht wird. Bei derartigen Eingriffen muss das medizinische Instrument im vom

Bildaufnahmegerät erfassten Bereich bleiben, damit der Operateur bzw. Chirurg eine optische Rückkopplung seiner Arbeit hat. Bei solchen Systemen kann es jedoch passieren, dass durch ungünstige

Positionierung des Bildaufnahmegeräts oder des Instruments, das Instrument während der Operation aus dem erfassten Bereich heraus bewegt wird, wie z.B. aus dem Kamerasichtfeld des Videoendoskops. In diesem Fall muss die Kamera bzw. das Instrument so positioniert werden, dass das Instrument wieder sichtbar wird, wobei es (von außen des Patientenkörpers) nicht immer offensichtlich ist, wie die Kamera bzw. das Instrument bewegt werden müssen. Eine solche Situation sollte also möglichst vermieden werden. Ähnliche Probleme existieren in einer Vielzahl von anderen teleoperativen Prozessen.

Aus dem Stand der Technik sind Verfahren bekannt, bei denen ein Bildaufnahmegerät, nämlich ein Ultraschallkopf, mittels eines

Manipulators, insbesondere eines Roboters, geführt wird. Beispielsweise ist aus der US 7,753,851 ein Robotersystem vorbekannt, bei dem eine Sonde am Handflansch des Roboters angebracht ist, und vom Roboter bewegt werden kann. Im Vergleich zum manuellen Bedienen der Sonde erlaubt die roboterunterstützte Behandlung eine besonders präzise Orientierung der Sonde.

Aus der US 6,236,875 Bi ist vorbekannt eine vordefinierte

Sicherheitszone im Körper eines Patienten (z.B. eine Umgebung um ein bestimmtes Organ des Patienten) vorzugeben und zu überwachen. Die Position des für den Eingriff verwendeten medizinischen Instruments wird ebenfalls überwacht und das Instrument wird deaktiviert, wenn es sich der Sicherheitszone nähert. In der US 2013/0038707A1 ist ein Verfahren beschrieben, um einem Chirurgen mittels einer Videokamera die Möglichkeit des optischen Feedbacks während eines minimal-invasiven chirurgischen Eingriffs zu bieten. Dabei soll auch das verwendete medizinische Instrument überwacht werden, um ein Eintreten des Instruments in eine

vordefinierte Sicherheitszone im Körper des Patienten zu verhindern.

Ein Nachteil von einigen der obigen Verfahren ist, dass die Definition von Sicherheitszonen eine aufwendige Planung voraussetzt, bei der insb. die jeweiligen Sicherheitszonen für jeden Fall individuell bestimmt werden müssen. Zudem muss der Körper des Patienten während der Operation entweder fixiert oder getrackt werden, damit seine aktuelle Position den vordefinierten Sicherheitszonen entspricht. Zudem ist es auch in diesen Fällen möglich, dass das medizinische Instrument den erfassten Bereich der Bildaufnahmegeräte verlässt, also z.B. das

Sichtfeld der verwendeten Kamera, da das Bildaufnahmegerät als auch das Werkzeug meist beweglich sind. Diese Nachteile existieren analog auch in anderen, z.B. industriellen Anwendungen. Es ist daher die Aufgabe der vorliegenden Erfindung ein verbessertes System und Verfahren zum Betrieb eines teleoperativen Prozesses bereitzustellen, wie etwa zur roboterunterstützten medizinischen Behandlung eines Patienten, mit dem die Nachteile des Standes der Technik vermieden oder vermindert werden können. Es ist insbesondere eine Aufgabe der vorliegenden Erfindung automatisch geeignete

Gegenmaßnahmen bereitzustellen, wenn ein Werkzeug den erfassten Bereich eines Bildaufnahmegeräts zu verlassen droht.

Diese und weitere Aufgaben, welche aus der folgenden detaillierten Beschreibung deutlicher werden, werden durch den Gegenstand der unabhängigen Ansprüche 1 und 7 gelöst.

3. Inhalt der Erfindung

Die vorliegende Erfindung betrifft insbesondere ein Robotersystem für einen teleoperativen Prozess, bei dem ein Bildaufnahmegerät und ein Werkzeug vorgesehen sind, wobei das Werkzeug von einem ersten Manipulator geführt ist. Der Manipulator ist insbesondere ein mehrachsiger Gelenkarmroboter. Insbesondere können die Achsen des Manipulators mit Sensoren zur Erfassung der an den Achsen wirkenden Kräfte und/oder Drehmomente versehen sein. Das System umfasst dabei eine Steuereinrichtung, die eingerichtet ist, um den aktuell erfassten Bereich des Bildaufnahmegeräts zu bestimmen, und die Lage des

Werkzeugs (wie z.B. die Spitze einer Nadel oder eines Schweißdrahts) relativ zum Bildaufnahmegerät zu bestimmen, und eine Aktion auszuführen, wenn das Werkzeug Grenzen des aktuell erfassten Bereichs des Bildaufnahmegeräts verletzt. Unter dem aktuell erfassten Bereich ist derjenige Bereich im Raum gemeint, den das Bildaufnahmegerät in seiner jeweiligen Position und Orientierung erfassen kann. Durch die Kenntnis der Lage des Werkzeugs relativ zum Bildaufnahmegerät, ist es der Steuereinrichtung möglich zu bestimmen, ob und wie das Werkzeug von dem Bildaufnahmegerät erfasst wird. Dabei ist es für viele

Anwendungen ausreichend, wenn nur ein bestimmter Teil des

Werkzeugs erfasst wird, wie etwa die Spitze eines Werkzeugs, die einen bestimmten Bereich nicht betreten oder verlassen soll, oder irgendein anderes Teil des Werkzeugs. Daher wird hierin der Schritt des

„Bestimmens der Lage des Werkzeugs" breit verstanden und umfasst auch jegliche Bestimmung der Lage nur eines Teils des Werkzeugs. Grundsätzlich ist es vorteilhaft möglich die Grenzen des aktuell erfassten Bereichs je nach Anwendung zu definieren. Beispielsweise lässt am Rand des erfassten Bereichs die Qualität der Visualisierung in der Regel nach. Abhängig von der Anwendung, d.h. der benötigten Qualität der

Visualisierung, kann daher die Grenze ab der bspw. ein Alarm ausgegeben wird, eingestellt werden. Die Sensoren zur Erfassung der an den Achsen wirkenden Kräfte und/oder Drehmomente können beispielsweise Strom- und/oder Spannungssensoren sein, welche den Strom/die Spannung der Antriebe der Achsen des Manipulators überwachen, um die an den Achsen wirkenden Kräfte und/oder Drehmomente zu erfassen. Ebenso können die Sensoren resistive, kapazitive und/oder induktive Kraft-und/oder Drehmomenten-Sensoren sein. Weiterhin können Piezosensoren oder andere bekannte Sensoren verwendet werden, welche die Erfassung von Kräften und/oder Drehmomenten ermöglichen. Vorzugweise umfasst die Aktion das Ausgeben eines Warnhinweises und/oder eine Stillsetzung bzw. Zähschaltung des ersten Manipulators und/oder ein Deaktivieren des Werkzeugs. Diese Aktionen können je nach Situation auch gestaffelt erfolgen. So ist es beispielsweise vorteilhaft, wenn ein Alarmsignal, z.B. optisch oder akustisch, in einer ersten Stufe ausgebeben wird, wenn das Werkzeug dem Rand des erfassten Bereichs zu nahe kommt. Stellt die Steuerung fest, dass das Werkzeug nach der Warnung immer noch näher an den Rand des erfassten Bereichs geführt wird, wird z.B. in einer zweiten Stufe das Werkzeug, wie z.B. ein Elektrotomie-Gerät oder eine Schweiß-Elektrode, deaktiviert. Erst als letzte Sicherheitsmaßnahme wird der erste

Manipulator stillgesetzt. Dabei wird hierin das Stillsetzen als eine

Unterform des Zähschaltens verstanden. Beim Zähschalten werden die Bewegungen des Manipulators künstlich erschwert, so dass ein

Anwender z.B. ein Chirurg über einen Force-Feedback-Controller, mit dem er den Manipulator steuert, eine haptische Rückkopplung erhält. Das Zähschalten kann die Bewegung des Manipulators derart erschweren, dass der Manipulator praktisch stillgesetzt ist. Eine

Stillsetzung kann natürlich auch durch eine Aktivierung der

mechanischen Bremsen des Manipulators erfolgen, oder durch andere geeignete Maßnahmen.

Weiter vorzugsweise ist das Bildaufnahmegerät von einem zweiten Manipulator, insbesondere einem mehrachsigen Gelenkarmroboter, geführt. Die ersten und zweiten Manipulatoren kooperieren und die Steuereinrichtung ist vorteilhaft in der Lage, Positionsinformationen beider Manipulatoren abzufragen. Ein mehrachsiger Gelenkarmroboter ist bevorzugt, da dieser einen hohen Freiheitsgrad bietet und das Bildaufnahmegerät bzw. das Werkzeug sehr flexibel führen kann.

Bevorzugt ist die Steuereinrichtung weiter eingerichtet, um den aktuell erfassten Bereich des Bildaufnahmegeräts mittels der

Manipulatorsteuerung des zweiten Manipulators zu bestimmen. Die Steuereinrichtung ist beispielsweise eingerichtet, um

Positionsinformationen des zweiten, und vorzugsweise auch des ersten, Manipulators abzufragen bzw. zu verarbeiten. Mit diesen

Positionsinformationen ist es möglich die Lage und Orientierung des Bildaufnahmegeräts im Raum zu berechnen. Da der physikalisch erfassbare, bzw. Sichtbereich des Bildaufnahmegeräts bekannt ist, lässt sich somit der aktuell erfasste Bereich des Bildaufnahmegeräts relativ einfach bestimmen. Besonders bevorzugt ist die Steuereinrichtung weiter eingerichtet, um die Lage des Werkzeugs mittels der Manipulatorsteuerung des ersten Manipulators zu bestimmen. Die Manipulatorsteuerung stellt z.B. die Positionsinformationen des ersten Manipulators zur Verfügung. Da die Anordnung bzw. Befestigung des Werkzeugs am Manipulator

vorgegeben ist, kann somit die exakte Lage des Werkzeugs im Raum einfach ermittelt werden. Besonders vorteilhaft ist es, wenn zwei Manipulatoren verwendet werden und die Steuereinrichtung auf die Positionsinformationen beider Manipulatoren zugreifen kann. Wenn die relative Position der beiden Manipulatoren zueinander bekannt ist, was einfach ermittelt werden kann, ist es der Steuereinrichtung somit möglich, direkt die relative Lage des Werkzeugs zum Bildaufnahmegerät, und damit letztendlich zum aktuell erfassten Bereich des

Bildaufnahmegeräts, zu bestimmen.

Vorzugsweise sind die verwendeten Manipulatoren, also der erste Manipulator und der zweite, wenn das Bildaufnahmegerät von einem zweiten Manipulator geführt ist, mehrachsige Gelenkarmroboter, deren Achsen vorzugsweise mit Sensoren zur Erfassung der an den Achsen wirkenden Kräfte und/oder Drehmomente versehen sind. Mit Hilfe der Sensoren lassen sich für jeden Manipulator Kraft-Grenzen definieren, die er nicht überschreiten darf, wenn er bspw. das Bildaufnahmegerät gegen den Körper eines Patienten drückt. Vorzugweise ist das Bildaufnahmegerät eine Ultraschallsonde oder ein endoskopisches Bildgebungsgerät. Im Falle einer Ultraschallsonde wird diese in der Regel am Körper des Patienten entlanggeführt, wofür sich besonders die oben erwähnten Gelenkarmroboter mit Sensoren eignen, da die Ultraschallsonden nur dann optimal arbeiten, wenn sie mit der richtigen Anpresskraft gegen den Körper des Patienten geführt werden.

Grundsätzlich bevorzugt ist die Steuereinrichtung eine eigenständige Computervorrichtung, welche mit der Manipulatorsteuerung des ersten und gegebenenfalls des zweiten Manipulators verbunden ist. Die

Aufgaben der Steuereinrichtung können jedoch auch von z.B. der Manipulatorsteuerung des ersten oder gegebenenfalls des zweiten Manipulators erfüllt werden, sofern diese eine ausreichende

Rechenkapazität aufweisen.

Die vorliegende Erfindung betrifft auch ein Verfahren zum Betrieb eines teleoperativen Prozesses, wie z.B. der roboterunterstützten

medizinischen Behandlung eines Patienten, bei dem in einem Schritt die Lage eines Werkzeugs (wie etwa eines medizinischen Instruments) bestimmt wird, welches von einem ersten Manipulator, insbesondere einem mehrachsigen Gelenkarmroboter, geführt wird. Die

Lagebestimmung ist wie oben ausgeführt dann sehr einfach möglich, da die aktuellen Positionsdaten des ersten Manipulators aus der

Manipulatorsteuerung bekannt sind. Weiter wird bei dem Verfahren der aktuell erfasste Bereich eines Bildaufnahmegeräts, wie etwa einer Ultraschallsonde oder eines Videoskops, bestimmt, welches

Bildaufnahmegerät dazu dient, einem Anwender (z.B. einem Chirurgen) eine Visualisierung der Lage des Werkzeugs zu bieten, wie z.B. die Visualisierung der Lage der Spitze des Werkzeugs. Wenn das

Bildaufnahmegerät ebenfalls von einem (zweiten) Manipulator geführt wird, ist diese Bestimmung einfach anhand der Positionsdaten aus der Manipulatorsteuerung möglich. Es ist ebenfalls möglich, das

Bildaufnahmegerät mit z.B. Markern zu versehen. Die Marker am Bildaufnahmegerät werden dann bspw. von einem geeigneten Sensor erfasst, um die Lage des Markers im Raum, und damit - da der Offset von Marker und Bildaufnahmegerät bekannt ist - die Lage des

Bildaufnahmegerät erfassen zu können.

In einem weiteren Schritt wird die Lage des Werkzeugs, wie etwa die Lage der Spitze einer Schweiß-Elektrode, relativ zum Bildaufnahmegerät bestimmt, und ein Warnhinweis ausgegeben und/oder der erste

Manipulator stillgesetzt bzw. zähgeschaltet und/oder das Werkzeug deaktiviert, wenn das Werkzeug Grenzen des aktuell erfassten Bereichs des Bildaufnahmegeräts verletzt. Wie oben erläutert, können diese Grenzen anwendungsfallspezifisch festgelegt werden. Bei hohen

Anforderungen an die Qualität der Visualisierung, kann z.B. bereits frühzeitig ein Warnsignal an den Anwender ausgegeben werden, bevor das Werkzeug den Rand des physikalisch erfassbaren Bereichs des Bildaufnahmegeräts erreicht hat, in dem zwar noch ein Bild erzeugt werden kann, dessen Qualität jedoch evtl. nicht mehr ausreichend ist.

Grundsätzlich bevorzugt wird auch bei dem Verfahren das

Bildaufnahmegerät von einem zweiten Manipulator, insbesondere einem mehrachsigen Gelenkarmroboter, geführt. Dies erlaubt vorteilhaft, dass der aktuell erfasste Bereich des Bildaufnahmegeräts mittels der

Manipulatorsteuerung des zweiten Manipulators bestimmt werden kann. Die Manipulatorsteuerung verfügt über genaue und aktuelle Positionsdaten des zweiten Manipulators und da die relative Lage des Bildaufnahmegeräts zum zweiten Manipulator, bzw. zum

Koordinatensystem des Manipulators, bekannt ist, kann somit einfach der erfasste Bereich des Bildaufnahmegeräts berechnet werden. Vorzugsweise wird außerdem die Lage des Werkzeugs mittels der Manipulatorsteuerung des ersten Manipulators bestimmt.

Aus den oben erwähnten Gründen ist es weiter bevorzugt, wenn bei dem erfindungsgemäßen Verfahren mehrachsige Gelenkarmroboter zum Einsatz kommen, wobei die Achsen der Gelenkarmroboter mit Sensoren zur Erfassung der an den Achsen wirkenden Kräfte und/oder

Drehmomente versehen sind.

4. Ausführungsbeispiel

Im Folgenden wird die vorliegende Erfindung anhand eines nicht beschränkenden Ausführungsbeispiels beschrieben. Es zeigt:

Fig. 1 schematisch ein erfindungsgemäßes System zur

roboterunterstützten Behandlung eines Patienten.

In Figur 1 ist schematisch und beispielhaft ein erfindungsgemäßes System 1 zum roboterunterstützten Behandeln eines Patienten 50 illustriert. Dem Fachmann ist klar, dass die hierin beschriebenen Prinzipien natürlich auf jede Art der Teleoperation angewendet werden können, insbesondere auf Teleoperationen im industriellen Umfeld. Das System umfasst eine Steuereinrichtung 10, die einen Computer 12 und einen Bildschirm 11 aufweist. Der Patient 50 liegt auf einem

Operationstisch 53 und in der gezeigten Darstellung soll Bezugszeichen 51 eine Schnittdarstellung durch den Hals des Patienten 50 andeuten. Im Hals 51 befindet sich ein zu untersuchender bzw. zu behandelnder Zielpunkt 52, wie etwa ein Tumor o.a. Als Werkzeug dient in der

Behandlung ein chirurgisches Instrument, nämlich eine Biopsienadel 30. Die Biopsienadel 30 wird von einem ersten Manipulator 31 geführt, der im gezeigten Fall ein mehrachsiger Gelenkarmroboter 31 ist. Dem

Gelenkarmroboter 31 ist eine Manipulatorsteuerung 32 zugeordnet, die in Verbindung mit dem Computer 12 der Steuereinrichtung 10 ist, wie es durch die gestrichelten Pfeile angedeutet ist. Die Biopsienadel 30 soll zum Zielpunkt 52 geführt werden. Um dem Chirurgen die Führung der Biopsienadel 30 zu erleichtern, bzw. überhaupt zu ermöglichen, kommt ein Bildaufnahmegerät in Form einer Ultraschallsonde 20 zum Einsatz.

Die Ultraschallsonde 20 wird von einem zweiten Manipulator 21 geführt, der ebenfalls ein mehrachsiger Gelenkarmroboter ist, und dem eine Manipulatorsteuerung 22 zugeordnet ist. Die Manipulatorsteuerung 22 und auch die Ultraschallsonde 20 sind mit der Steuereinrichtung 10 verbunden, wie es durch die gestrichelten Pfeile angedeutet wird.

Der Gelenkarmroboter 21 trägt und bewegt die Ultraschallsonde 20. Die Ultraschallsonde 20 wird vom Gelenkarmroboter 21 an den Körper des Patienten 50 gepresst, um Ultraschallbilder des Inneren des Körpers des Patienten zu machen. Die Ultraschallbilder werden an die

Steuereinrichtung 10 bzw. den zugehörigen Computer 12 übertragen, im Computer 12 verarbeitet und dann am Bildschirm 11 angezeigt. Mit dem Bezugszeichen 24 soll der aktuell erfasste Bereich der Ultraschallsonde 20 (d.h. die Bildebene (Schallebene) der Ultraschallsonde) angezeigt werden. Die Bild- oder Schallebene der Sonde ist üblicherweise nur wenige Millimeter dick, so dass die Sonde sehr genau ausgerichtet werden muss, um aussagekräftige Bilder zu liefern. Das Ausrichten der Sonde und das Anpressen der Sonde erfolgt durch den Manipulator bzw. Gelenkarmroboter 21, so dass ein Chirurg von diesen Aufgaben entlastet ist. Zu diesem Zweck ist es vorteilhaft, wenn der Gelenkarmroboter 21 mit Kraftsensoren versehen ist und in Kraftregelung arbeitet, so dass er die Ultraschallsonde 20 mit einer definierten Kraft auf die

Hautoberfläche des Patienten 50 presst.

Da die Lage der Ultraschallsonde 20 aufgrund der aktuellen

Manipulatorposition feststeht bzw. daraus berechnet werden kann, und der Verlauf und die Orientierung des erfassten Bereichs 24 ebenfalls bekannt ist, ist es somit möglich, genau zu berechnen, wo sich der erfasste Bereich 24 im Raum befindet.

In Figur 1 ist die Spitze der Biopsienadel 30 innerhalb des aktuell erfassten Bereichs 24, so dass der Chirurg auf dem Bildschirm 11 die Bewegung der Spitze durch den Körper des Patienten 50 verfolgen und die Biopsienadel 20 entsprechend zielgerichtet zum Zielpunkt 52 führen kann. Die Lage und Orientierung der Biopsienadel ist aufgrund der Roboterposition und Pose des Manipulators 31 genau bekannt bzw. kann genau bestimmt werden. Da die Steuereinrichtung 10 aus den beiden Manipulatorsteuerungen 22 und 32 die jeweilige Position und Pose der beiden Manipulatoren 21 und 31 kennt, bzw. diese mit Hilfe (d.h.

mittels) der Manipulatorsteuerungen berechnen kann, kann die

Steuereinrichtung 10 die Lage der Biopsienadel 30 relativ zur

Ultraschallsonde 20 bestimmen, und somit auch die relative Lage von z.B. der Spitze der Biopsienadel 30 zum aktuell erfassten Bereich 24. Dies erlaubt es der Steuereinrichtung festzustellen, wenn die

Biopsienadel 30 Grenzen des erfassten Bereichs 24 der Ultraschallsonde 20 verletzt. Wenn eine derartige Grenzverletzung festgestellt wird, kann bspw. auf dem Bildschirm 11 eine entsprechende Warnung ausgegeben werden, oder der Manipulator 31 wird zähgeschaltet.

Referenzzeichenliste :

1 System

10 Steuereinrichtung

11 Bildschirm

12 Computer

20 Bildaufnahmegerät (Ultraschallsonde)

21, 31 Manipulatoren (Gelenkarmroboter)

22, 32 Manipulatorsteuerungen aktuell erfasster Bereich (Schallebene) Werkzeug (Biopsienadel)

Patient

Querschnitt durch Hals

Zielpunkt

Operationstisch