Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
CONFIGURING, RUNNING, AND/OR ANALYZING AN APPLICATION OF A MOBILE AND/OR COLLABORATIVE ROBOT
Document Type and Number:
WIPO Patent Application WO/2021/233670
Kind Code:
A1
Abstract:
The invention relates to a method for configuring, running, and/or analyzing an application of a robot assembly (1, 1.1) comprising at least one mobile and/or collaborative robot (1) using a user interface (2; 2') for inputting and/or outputting data, having the step of: superimposing (S20) at least one virtual object (110-210) on a view, in particular a representation (10; 20; 30), of an environment; wherein the superimposing step is provided for configuring, running, and/or analyzing the application by means of the user interface, in particular on the user interface, in particular the view of the surroundings and the virtual object are superimposed by means of the user interface, in particular on the user interface, and/or the application is configured, ran, and/or analyzed (S30), in particular by means of the user interface, on the basis of the superimposing step.

Inventors:
BALDINI, Marco (DE)
Application Number:
PCT/EP2021/061627
Publication Date:
November 25, 2021
Filing Date:
May 04, 2021
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
KUKA DEUTSCHLAND GMBH (DE)
International Classes:
B25J9/16
Attorney, Agent or Firm:
TILLMANN, Axel (DE)
Download PDF:
Claims:
Patentansprüche

1. Verfahren zum Konfigurieren, Durchführen und/oder Analysieren einer Applikation einer Roboteranordnung (1, 1.1) mit wenigstens einem mobilen und/oder kollaborativen Roboter (1), mithilfe einer Benutzerschnittstelle (2; 2‘) zum

Ein- und/oder Ausgeben von Daten, wobei das Verfahren den Schritt aufweist: Überlagern (S20) einer Ansicht, insbesondere Darstellung (10; 20; 30), einer Umgebung mit wenigstens einem virtuellen Objekt (110-210); wobei diese Überlagerung zum Konfigurieren, Durchführen und/oder Analysieren der Applikation durch die, insbesondere an der, Benutzerschnittstelle zur Verfügung gestellt wird, insbesondere die Ansicht der Umgebung und das virtuelle Objekt durch die, insbesondere an der, Benutzerschnittstelle überlagert werden und/oder die Applikation auf Basis dieser Überlagerung, insbesondere mithilfe der Benutzerschnittstelle, konfiguriert, durchgeführt und/oder analysiert wird (S30).

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Ansicht der Umgebung und das virtuelle Objekt auf Basis einer ermittelten, insbesondere aktuellen, Perspektive der Ansicht, einer ermittelten, insbesondere aktuellen, Pose der Benutzerschnittstelle, der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, und/oder wenigstens eines, insbesondere statischen oder bewegten, Umgebungsobjekts, insbesondere eines mit dem virtuellen Objekt verknüpften Umgebungsobjekts, relativ zu der Umgebung, auf Basis einer ermittelten, insbesondere aktuellen, Blickrichtung eines Trägers (3) der Benutzerschnittstelle und/oder auf Basis eines, insbesondere dreidimensionalen, Modells der Umgebung überlagert werden.

3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Benutzerschnittstelle wenigstens eine tragbare Mixed-Reality-spezifische und/oder wenigstens eine tragbare Mehrzweckvorrichtung und/oder wenigstens ein transparentes Display, wenigstens einen Bildschirm, insbesondere Touchscreen, wenigstens ein Trackpad, wenigstens eine Tastatur, wenigstens einen Joystick und/oder wenigstens eine Computermaus, aufweist und/oder, insbesondere mithilfe wenigstens eines, insbesondere benutzerschnittstellenseitigen, Sensors, die Umgebung und/oder Blickrichtung erfasst und/oder Daten an die Roboteranordnung, Umgebung, ein lokales Netzwerk und/oder eine Computercloud sendet (S30) und/oder von der Roboteranordnung, Umgebung, dem lokalen Netzwerk und/oder der Computercloud erhält und/oder die Überlagerung, insbesondere die Ansicht der Umgebung und/oder das virtuelle Objekt, in Echtzeit aktualisiert.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Pose der Benutzerschnittstelle, der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, und/oder des Umgebungsobjekts mittels Selbstlokalisation und/oder mithilfe einer Umgebungskarte, insbesondere mittels SLAM, und/oder mithilfe wenigstens eines benutzerschnittsteilen-, roboteranordnungs- oder umgebungsseitigen Sensors (4.2), insbesondere wenigstens einer inertialen Messeinheit, wenigstens einer Kamera, wenigstens einer LIDAR-Vorrichtung, wenigstens eines Sonarsensors, wenigstens eines Tiefenwahrnehmungssensors und/oder wenigstens eines Funksensors, und/oder in Echtzeit und/oder auf Basis einer ermittelten Anfangspose ermittelt ist.

5. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die Anfangspose auf Basis eines, insbesondere mittels Bildverarbeitung, erfassten, insbesondere codierten und/oder hierzu angeordneten, Umgebungsmerkmals und/oder mithilfe von Triangulation und/oder wenigstens einer, insbesondere mit der Benutzerschnittstelle und/oder Roboteranordnung kommunizierenden, externen Messvorrichtung ermittelt ist.

6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Benutzerschnittstelle Anweisungen an die Roboteranordnung, insbesondere den mobilen und/oder kollaborativen Roboter und/oder eine Roboteranordnungssteuerung, sendet (S30) und/oder Daten, insbesondere Navigations-, Sicherheits-, Konfigurations- und/oder Posendaten, der Roboteranordnung speichert und/oder, insbesondere von dem mobilen und/oder kollaborativen Roboter und/oder einer Roboteranordnungssteuerung, empfängt und die Überlagerung auf Basis der gespeicherten bzw. empfangenen Daten ermittelt, insbesondere aktualisiert.

7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens ein überlagertes virtuelles Objekt mit Kartendaten eines Navigationsmittels der Roboteranordnung, insbesondere des mobilen, in einer Ausführung kollaborativen, Roboters, mit einem Sensorbereich, insbesondere einer Sensorerfassungsrichtung, mit einem, insbesondere geplanten und/oder abgefahrenen, Pfad oder zulässigen Pfadbereich der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, mit einem, insbesondere vorgegebenen und/oder zwei- oder dreidimensionalen, Sicherheits-, Auswertungs-, Erreichbarkeits- und/oder Reservierungsbereich der Umgebung und/oder der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, mit einem Warte- oder Zielort, mit einer Warte- oder Zielpose, mit einer Warte- oder Ankunftszeit, mit dem mobilen und/oder kollaborativen Roboter, insbesondere einem Energie-, Navigations-, Fehler-, Kommunikations- und/oder Logistikzustand, mit einem Umgebungsobjekt oder -punkt, insbesondere einem Zustand und/oder einer potentiellen, insbesondere geplanten, Interaktion mit der Roboteranordnung, und/oder mit einer Navigationshilfe zu einer vorgegebenen Stelle verknüpft ist.

8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Position und/oder Orientierung wenigstens eines überlagerten virtuellen Objekts relativ zu einer Außenkontur der Ansicht der Umwelt bei einer Bewegung der Benutzerschnittstelle und/oder Änderung der Perspektive der Ansicht der Umgebung konstant bleibt.

9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Position und/oder Orientierung wenigstens eines überlagerten virtuellen Objekts relativ zu einer Ansicht eines mit diesem virtuellen Objekt verknüpften Umgebungsobjekts oder -punkts oder Pfadpunkts oder -abschnitts der Roboteranordnung in der Überlagerung bei einer Bewegung der Benutzerschnittstelle und/oder Änderung der Perspektive der Ansicht der Umgebung konstant bleibt.

10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Benutzerschnittstelle eine Benutzereingabe mithilfe von Blickerfassung, Gestenerkennung, Spracherkennung und/oder Erkennung von virtuellem Kontakt, erfasst.

11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass durch eine Benutzereingabe über die Benutzerschnittstelle Navigationsdaten und/oder das virtuelle Objekt, insbesondere dessen Pose in der Überlagerung, veränderbar (S30) sind.

12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens ein überlagertes virtuelles Objekt und/oder wenigstens ein Merkmal wenigstens eines überlagerten virtuellen Objekts auf Basis einer Benutzereingabe ein- und/oder ausgeblendet und/oder verändert wird, insbesondere seine Pose relativ einer Außenkontur der Ansicht der Umwelt und/oder wenigstens ein Parameter des virtuellen Objekts bzw. Merkmals.

13. System zum Konfigurieren, Durchführen und/oder Analysieren einer Applikation einer Roboteranordnung (1, 1.1) mit wenigstens einem mobilen und/oder kollaborativen Roboter (1), mithilfe einer Benutzerschnittstelle (2; 2‘) zum

Ein- und/oder Ausgeben von Daten, wobei das System zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist und/oder aufweist:

Mittel zum Überlagern einer Ansicht, insbesondere Darstellung (10; 20; 30), einer Umgebung mit wenigstens einem virtuellen Objekt (110-210); wobei die Benutzerschnittstelle dazu eingerichtet ist, diese Überlagerung zum Konfigurieren, Durchführen und/oder Analysieren der Applikation, insbesondere an der Benutzerschnittstelle, zur Verfügung zu stellen, insbesondere die Ansicht der Umgebung und das virtuelle Objekt zu überlagern und/oder die Applikation auf Basis dieser Überlagerung zu konfigurieren, durchzuführen und/oder zu analysieren.

14. Computerprogrammprodukt mit einem Programmcode, der auf einem von einem Computer lesbaren Medium gespeichert ist, zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche.

Description:
Beschreibung

Konfigurieren, Durchführen und/oder Analysieren einer Applikation eines mobilen und/oder kollaborativen Roboters

Die vorliegende Erfindung betrifft ein Verfahren und ein System zum Konfigurieren, Durchführen und/oder Analysieren einer Applikation einer Roboteranordnung mit wenigstens einem mobilen und/oder kollaborativen Roboter mithilfe einer Benutzerschnittstelle zum Ein- und/oder Ausgeben von Daten sowie ein Computerprogrammprodukt zur Durchführung des Verfahrens.

Die sogenannte gemischte Realität („Mixed Reality“, MR) umfasst insbesondere die sogenannte erweiterte Realität („Augmented Reality“, AR) und die erweiterte Virtualität („Augmented Virtuality“, AR). In einer Ausführung interagieren in der gemischten Realität reale und virtuelle Objekte.

Ein Grundgedanke der vorliegenden Erfindung ist demgegenüber die Verwendung einer gemischten, in einer Ausführung erweiterten, Realität (MR bzw. AR) zum Konfigurieren, Durchführen und/oder Analysieren von Applikationen mobiler und/oder kollaborativer Roboter.

Eine Aufgabe einer Ausführung der vorliegenden Erfindung ist es entsprechend, den Einsatz von mobilen und/oder kollaborativen Robotern zu verbessern.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Ansprüche 13, 14 stellen ein System bzw. Computerprogrammprodukt zur Durchführung eines hier beschriebenen Verfahrens unter Schutz. Die Unteransprüche betreffen vorteilhafte Weiterbildungen.

Nach einer Ausführung der vorliegenden Erfindung weist eine Roboteranordnung einen oder mehrere mobile und/oder kollaborative Roboter auf. In einer Ausführung weisen der bzw. einer oder mehrere der mobile(n), in einer Ausführung kollaborative(n), Roboter (jeweils) eine mobile Basis, insbesondere ein, in einer Ausführung nicht schienengebundenes, Fahrwerk, insbesondere ein oder mehrere, insbesondere gelenkte und/oder angetriebene, Räder, und/oder wenigstens einen Roboterarm, welcher in einer Ausführung wenigstens sechs Gelenke bzw. Achsen, insbesondere Drehgelenke bzw. -achsen, aufweist und/oder an, insbesondere auf der mobilen Basis angeordnet ist, und/oder eine roboterseitige Energieversorgung, insbesondere einen elektrischen Energiespeicher, für wenigstens einen Antrieb der mobilen Basis und/oder des Roboterarms auf. In einer Ausführung sind der bzw. einer oder mehrere der mobile(n) Roboter AGVs und/oder kollaborative Roboter. Die Roboteranordnung kann zusätzlich oder alternativ einen oder mehrere stationäre Roboter, insbesondere einen oder mehrere (stationäre) Roboterarme, welche in einer Ausführung jeweils wenigstens sechs Gelenke bzw. Achsen, insbesondere Drehgelenke bzw. -achsen, aufweisen, und/oder eine roboterexterne, in einer Ausführung zentrale, Roboteranordnungssteuerung aufweisen, die einen oder mehrere der mobilen und/oder einen oder mehrere der stationären Roboter steuert bzw. hierzu vorgesehen, insbesondere eingerichtet ist bzw. verwendet wird, insbesondere ein Flottenmanagement(system).

In einer Ausführung kollaboriert, in einer Ausführung humankollaboriert, der bzw. wenigstens einer der kollaborative(n) Roboter wenigstens temporär („Mensch- Roboter-Kollaboration“), in einer Ausführung arbeitet er, wenigstens temporär, (auch) (voll)automatisiert bzw. ohne (Human- bzw. Mensch-Roboter-)Kollaboration, wechselt in einer Ausführung zwischen (human)kollaborierendem Betrieb und (voll)automatisiertem Betrieb bzw. Betrieb ohne (Human- bzw. Mensch- Roboter-)Kollaboration, bzw. ist der Roboter bzw. die Roboteranordnung hierzu fähig, insbesondere vorgesehen, in einer Ausführung eingerichtet, bzw. wird hierzu verwendet. In einer Ausführung sind der bzw. einer oder mehrere der kollaborativen Roboter Cobots und/oder umfasst die Roboteranordnung wenigstens eine hybride Zelle. In einer Ausführung ist der bzw. wenigstens einer der kollaborativen Roboter ein mobiler oder stationärer Roboter und/oder weist einen Roboterarm auf, welcher in einer Ausführung wenigstens sechs Gelenke bzw. Achsen, insbesondere Drehgelenke bzw. -achsen, aufweist. In einer Ausführung umfasst die Applikation eine oder keine Mensch-Roboter-Kollaboration, in einer Ausführung einen Wechsel zwischen (human)kollaborierendem Betrieb und (voll)automatisiertem Betrieb bzw. Betrieb ohne (Human- bzw. Mensch-Roboter-)Kollaboration. Entsprechend ist ein kollaborativer Roboter in einer Ausführung ein Roboter, der dazu fähig, in einer Ausführung vorgesehen, insbesondere eingerichtet, ist bzw. verwendet wird, wenigstens temporär eine Mensch-Roboter-Kollaboration durchzuführen bzw. die Roboteranordnung in einer Ausführung eine Roboteranordnung, die dazu fähig, in einer Ausführung vorgesehen, insbesondere eingerichtet, ist bzw. verwendet wird, das (wenigstens einer) ihr(er) Roboter wenigstens temporär eine Mensch- Roboter-Kollaboration durchführt, in einer Ausführung führt der kollaborative Roboter wenigstens temporär eine Mensch-Roboter-Kollaboration durch.

Die vorliegende Erfindung kann für solche Roboter(anordnungen), insbesondere aufgrund von deren Einsatzfeldern, Komplexität und/oder Variabilität, mit besonderem Vorteil verwendet werden, ohne hierauf beschränkt zu sein.

Nach einer Ausführung der vorliegenden Erfindung weist ein Verfahren zum Konfigurieren, Durchführen und/oder Analysieren einer Applikation der Roboteranordnung mithilfe einer ein- oder mehrteiligen Benutzerschnittstelle, über die ein, insbesondere menschlicher, Benutzer Daten eingibt und/oder die Daten an einen bzw. den Benutzer ausgibt bzw. hierzu vorgesehen, insbesondere eingerichtet ist und/oder verwendet wird, die Schritte auf:

A) Überlagern a) einer Ansicht einer Umgebung, in einer Ausführung einer Umgebung der Benutzerschnittstelle und/oder der Roboteranordnung, insbesondere des bzw. eines oder mehrerer der mobilen und/oder kollaborativen Roboter(s), mit b) einem oder mehreren virtuellen Objekten, in einer Ausführung durch die, in einer Ausführung an, insbesondere auf oder in, der, Benutzerschnittstelle, in einer Ausführung Überlagern in der Ansicht der Umgebung; und

B) zur Verfügung stellen dieser Überlagerung durch die, in einer Ausführung an, insbesondere auf oder in, der, Benutzerschnittstelle, insbesondere dem Benutzer, zum Konfigurieren, Durchführen und/oder Analysieren der Applikation, in einer Ausführung Konfigurieren, Durchführen und/oder Analysieren der Applikation auf Basis, insbesondere mithilfe, dieser Überlagerung, in einer Ausführung mithilfe der, insbesondere durch, die Benutzerschnittstelle.

Hierdurch kann in einer Ausführung die benötigte Zeit und/oder der Aufwand zum Konfigurieren, Durchführen bzw. Analysieren der Applikation reduziert und/oder die dabei erreichte Zuverlässigkeit und/oder Präzision erhöht werden. Das Konfigurieren umfasst in einer Ausführung ein Planen bzw. Vorgeben von Bewegungen und/oder Tätigkeiten bzw. Arbeiten der Roboteranordnung und/oder einer damit interagierenden Umgebung, insbesondere Lagern, Be- und/oder Entladestationen, Förder-, Be- bzw. Verarbeitungs-, Prüf- und/oder Betankungs- und/oder Elektro-(Auf)Ladestationen oder dergleichen und/oder ein Gestalten, insbesondere Parametrieren und/oder Verändern der Roboteranordnung und/oder damit interagierenden Umgebung. In einer Ausführung erfolgt das Konfigurieren vor dem Durchführen der Applikation.

Das Durchführen einer Applikation der Roboteranordnung umfasst in einer Ausführung ein Kommandieren, insbesondere Steuern bzw. Regeln, und/oder Überwachen von Bewegungen und/oder Tätigkeiten der Roboteranordnung und/oder einer damit interagierenden Umgebung, insbesondere Lagern, Be- und/oder Entladestationen, Förder-, Be- bzw. Verarbeitungs-, Prüf- und/oder Betankungs- und/oder Elektro-(Auf)Ladestationen oder dergleichen. In einer Ausführung erfolgt das erfindungsgemäße Durchführen online. In einer Ausführung umfasst, insbesondere ist, das Durchführen einer Applikation der Roboteranordnung das Steuern des bzw. eines oder mehrerer der mobilen und/oder kollaborativen Roboter(s), in einer Ausführung online und/oder remote durch einen Benutzer der Benutzerschnittstelle.

Das Analysieren umfasst in einer Ausführung ein Sammeln, insbesondere Speichern, und/oder Auswerten von Daten von der Roboteranordnung und/oder einer damit interagierenden Umgebung, insbesondere Lagern, Be- und/oder Entladestationen, Förder-, Be- bzw. Verarbeitungs-, Prüf- und/oder Betankungs- und/oder Elektro-(Auf)Ladestationen oder dergleichen, insbesondere ein Auswerten während und/oder nach Durchführen der Applikation.

Die Ansicht der Umgebung umfasst in einer Ausführung

- wenigstens eine, in einer Ausführung zwei- oder dreidimensionale, Darstellung, der Umgebung und/oder

- einen Blick bzw. ein Sichtfeld eines Benutzers der Benutzerschnittstelle.

Diese Darstellung der Umgebung umfasst in einer Ausführung ihrerseits - wenigstens ein aufgenommenes, insbesondere aktuelles, in einer Ausführung aktualisiertes, oder gespeichertes, Bild, insbesondere Kamerabild, der Umgebung und/oder

- eine künstliche Rekonstruktion der Umgebung, in einer Ausführung an, insbesondere auf bzw. in, der Benutzerschnittstelle.

Das Kamerabild ist bzw. wird in einer Ausführung

- mithilfe der, insbesondere durch die, Benutzerschnittstelle bzw. wenigstens eine(r) benutzerschnittstellenseitige(n) Kamera,

- mithilfe der, insbesondere durch die, Roboteranordnung, insbesondere des bzw. den mobilen und/oder kollaborativen Roboter(s), bzw. wenigstens eine(r) roboter(anordnungs)seitige(n) Kamera und/oder

- mithilfe, insbesondere durch, wenigstens eine(r) benutzerschnittsteilen- und roboteranordnungsexterne(n) Kamera aufgenommen, insbesondere aktualisiert.

Somit umfasst das Überlagern insbesondere die folgenden, nicht abschließenden

Varianten:

- Überlagern eines aufgenommenen (Ab-, insbesondere Kamera)Bildes der Umgebung und des wenigstens einen virtuellen Objekts, in einer Ausführung auf einem Bildschirm der Benutzerschnittstelle oder durch Projektion;

- Überlagern einer künstlichen Rekonstruktion der Umgebung, beispielsweise einer Darstellung der Umgebung in Form von Gittern, vereinfachten geometrischen Flächen und/oder Körpern, virtuellen Wänden, Böden, Decken, Körpern und dergleichen, und des wenigstens einen virtuellen Objekts, in einer Ausführung auf einem Bildschirm der Benutzerschnittstelle oder durch Projektion;

- Überlagern des wenigstens einen virtuellen Objekts mit einem Blick bzw. Sichtfeld bzw. einer Sicht des Benutzers auf die Umgebung, insbesondere auf einem Brillen-, Linsen- oder Maskenglas der Benutzerschnittstelle oder durch Projektion.

In einer Ausführung werden die Ansicht der Umgebung und das bzw. die virtuelle(n)

Objekt(e)

- auf Basis bzw. in Abhängigkeit von einer ermittelten, in einer Ausführung aktuellen, in einer Ausführung aktualisierten, Perspektive der Ansicht;

- auf Basis bzw. in Abhängigkeit von (einer) ermittelten, in einer Ausführung aktuellen, in einer Ausführung aktualisierten, Pose(n) - der Benutzerschnittstelle,

- der Roboteranordnung, insbesondere des bzw. eines oder mehrerer der mobilen und/oder kollaborativen Roboter(s), und/oder

- wenigstens eines, in einer Ausführung statischen oder bewegten, Umgebungsobjekts, in einer Ausführung wenigstens eines mit dem bzw. einem der virtuellen Objekt(e) verknüpften Umgebungsobjekts, relativ zu der Umgebung; und/oder

- auf Basis bzw. in Abhängigkeit von (einer) ermittelten, in einer Ausführung aktuellen, in einer Ausführung aktualisierten, Blickrichtung eines Trägers der Benutzerschnittstelle, insbesondere relativ zu der Umgebung und/oder Benutzerschnittstelle überlagert.

Entsprechend umfasst das Verfahren in einer Ausführung das Ermitteln, insbesondere Erfassen und/oder Aktualisieren, dieser Perspektive, dieser Pose(n) und/oder Blickrichtung. Eine ermittelte Pose bzw. Blickrichtung ist in einer Ausführung eine erfasste und/oder aktualisierte Pose bzw. Blickrichtung.

Eine Pose umfasst in einer Ausführung wenigstens eine ein-, zwei- oder dreidimensionale Position und/oder wenigstens eine ein-, zwei- oder dreidimensionale Orientierung, insbesondere eine Position und/oder Orientierung relativ zu bzw. in der Umgebung.

In einer Ausführung wird die Ansicht der Umwelt auf Basis der ermittelten Pose der Benutzerschnittstelle aktualisiert, in einer Ausführung in Echtzeit und/oder derart, dass sich eine Blickrichtung der Ansicht mit bzw. bei einer Änderung der Pose der Benutzerschnittstelle (entsprechend) (mit)ändert, in einer Ausführung entsprechend einer Änderung einer benutzerschnittstellenfesten Blickrichtung (relativ zur Umgebung).

Wird beispielsweise die Benutzerschnittstelle um eine Achse gedreht, dreht sich, gegebenenfalls (nur) bei relativ zur Benutzerschnittstelle konstanter Blickrichtung des Benutzers oder auch unabhängig hiervon, in einer Ausführung auch die Blickrichtung der Ansicht der Umwelt (entsprechend mit). In einer Ausführung wird die Ansicht der Umwelt auf Basis der ermittelten Pose der Roboteranordnung, in einer Ausführung des mobilen und/oder kollaborativen Roboters, aktualisiert, in einer Ausführung in Echtzeit und/oder derart, dass sich eine Blickrichtung der Ansicht mit bzw. bei einer Änderung der Pose des Roboters (entsprechend) (mit)ändert, in einer Ausführung entsprechend einer Änderung einer roboterfesten Blickrichtung (relativ zur Umgebung).

Dreht sich beispielsweise der Roboter um eine Achse, dreht sich in einer Ausführung auch die Blickrichtung der Ansicht der Umwelt (entsprechend mit).

Somit kann zusätzlich oder alternativ zu einer Ansicht der Umgebung der Benutzerschnittstelle auch eine Ansicht der Umgebung der Roboteranordnung, in einer Ausführung des mobilen und/oder kollaborativen Roboters, mit einem oder mehreren virtuellen Objekten überlagert werden, um so beispielsweise Fernsteuerungen, Fernerkundungen oder andere Applikationen der Roboteranordnung, beispielsweise Tätigkeiten in Fabrikationsstätten, Lagern oder dergleichen, zu konfigurieren, durchzuführen und/oder zu analysieren.

In einer Ausführung wird eine Pose, insbesondere Position und/oder Orientierung, des bzw. wenigstens eines der virtuelle(n) Objekt(e) in der Überlagerung, in einer Ausführung in der Ansicht der Umgebung, insbesondere in der Darstellung der Umgebung bzw. dem Sichtfeld des Benutzers, auf Basis der ermittelten Pose der Roboteranordnung, in einer Ausführung des mobilen und/oder kollaborativen Roboters, aktualisiert, in einer Ausführung in Echtzeit und/oder derart, dass sich eine Pose, insbesondere Position und/oder Orientierung, des, insbesondere mit der Roboteranordnung, in einer Ausführung dem mobilen und/oder kollaborativen Roboter, verknüpften, virtuellen Objekts in der Überlagerung bzw. Ansicht der Umgebung mit bzw. bei einer Änderung der Pose der Roboteranordnung bzw. des Roboters relativ zu der Umgebung (entsprechend) (mit)ändert, in einer Ausführung entspricht die Änderung der Pose, insbesondere Position und/oder Orientierung, des virtuellen Objekts in der Überlagerung bzw. Ansicht der Änderung der Pose, insbesondere Position und/oder Orientierung, der Roboteranordnung bzw. des Roboters relativ zu der Umgebung in Richtung und Größe. Verfährt beispielsweise der Roboter, verschiebt sich in einer Ausführung auch das damit verknüpfte virtuelle Objekt in der Überlagerung bzw. Ansicht der Umwelt (entsprechend mit).

Gleichermaßen kann die Roboteranordnung auch nicht mit virtuellen Objekten verknüpft und/oder in der (Ansicht der) Umgebung nicht (real) präsent und/oder (nur) durch virtuelle Objekte symbolisiert, sein.

In einer Ausführung wird eine Pose, insbesondere Position und/oder Orientierung, des bzw. wenigstens eines der virtuelle(n) Objekt(e) in der Überlagerung, in einer Ausführung in der Ansicht der Umgebung, insbesondere in der Darstellung der Umgebung bzw. dem Sichtfeld des Benutzers, auf Basis einer prognostizierten oder nur geplanten, aber (noch) nicht angefahrenen bzw. Planungs-Pose der Roboteranordnung, in einer Ausführung des mobilen und/oder kollaborativen Roboters, aktualisiert, in einer Ausführung in Echtzeit und/oder während einer Planung(sphase) der Applikation und/oder derart, dass sich eine Pose, insbesondere Position und/oder Orientierung, des, insbesondere mit der Roboteranordnung, in einer Ausführung dem mobilen und/oder kollaborativen Roboter, verknüpften, virtuellen Objekts in der Überlagerung bzw. Ansicht der Umgebung mit bzw. bei einer Änderung der prognostizierten bzw. Planungs-Pose der Roboteranordnung bzw. des Roboters relativ zu der Umgebung (entsprechend) (mit)ändert, in einer Ausführung entspricht die Änderung der Pose, insbesondere Position und/oder Orientierung, dieses virtuellen Objekts in der Überlagerung bzw. Ansicht der Änderung der prognostizierten bzw. Planungs-Pose, insbesondere Position und/oder Orientierung, der Roboteranordnung bzw. des Roboters relativ zu der Umgebung in Richtung und Größe.

Verschiebt sich beispielsweise eine Planungs-Pose, etwa ein Knoten eines Navigationspfades oder dergleichen, insbesondere infolge einer Benutzereingabe, verschiebt sich in einer Ausführung auch das damit verknüpfte virtuelle Objekt in der Überlagerung bzw. Ansicht der Umwelt (entsprechend mit).

Hierdurch kann ein Benutzer in einer Ausführung vorteilhaft Auswirkungen geplanter bzw. zukünftiger Roboter(anordnugs)posen, insbesondere potentielle Verletzungen von Schutzräumen, Kollisionen mit Hindernissen oder dergleichen, vorteilhaft erkennen.

In einer Ausführung wird eine Pose, insbesondere Position und/oder Orientierung, des bzw. eines oder mehrerer der virtuellen Objekte in der Überlagerung, in einer Ausführung in der Ansicht der Umgebung, insbesondere in der Darstellung der Umgebung bzw. dem Sichtfeld des Benutzers, auf Basis der ermittelten Pose eines mit dem (jeweiligen) virtuellen Objekt verknüpften Umgebungsobjekts aktualisiert, in einer Ausführung in Echtzeit und/oder derart, dass sich eine Pose, insbesondere Position und/oder Orientierung, des (jeweiligen) virtuellen Objekts in der Überlagerung bzw. Ansicht der Umgebung mit bzw. bei einer Änderung der Pose des damit verknüpften Umgebungsobjekts relativ zu der Umgebung (entsprechend) (mit)ändert, in einer Ausführung entspricht die Änderung der Pose, insbesondere Position und/oder Orientierung, des virtuellen Objekts in der Überlagerung bzw. Ansicht der Änderung der Pose, insbesondere Position und/oder Orientierung, des Umgebungsobjekts relativ zu der Umgebung in Richtung und Größe.

Verschiebt sich beispielsweise ein Werkstück, Transportgut, Werkzeug- oder Fördertisch oder ein anderes Umgebungsobjekt, verschiebt sich in einer Ausführung auch das damit verknüpfte virtuelle Objekt in der Überlagerung bzw. Ansicht der Umwelt (entsprechend mit).

Gleichermaßen kann eine Pose, insbesondere Position und/oder Orientierung, des bzw. eines oder mehrerer der virtuellen Objekte relativ zu einer Außenkontur der Ansicht der Umgebung, insbesondere relativ zu einer Außenkontur der Darstellung der Umgebung bzw. einer Außenkontur des Sichtfelds des Benutzers auch konstant bzw. relativ zur Außenkontur ortsfest sein.

Schwenkt beispielsweise eine Perspektive der Ansicht um eine Vertikalachse, kann ein solches virtuelles Objekt relativ zu einer Außenkontur eines (Ab-, insbesondere Kamera)Bildes der Umgebung, einer Außenkontur einer künstlichen Rekonstruktion der Umgebung bzw. einer Außenkontur eines Blick(feld)s des Benutzers bzw. einer Außenkontur eines Brillen-, Linsen- oder Maskenglases der Benutzerschnittstelle ortsfest bleiben. Die Perspektive der Ansicht ist, insbesondere wird, in einer Ausführung auf Basis einer ermittelten, insbesondere aktuellen, Pose der Benutzerschnittstelle oder Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, relativ zur Umgebung ermittelt, in einer Ausführung aktualisiert.

Zusätzlich oder alternativ ist, insbesondere wird, die Perspektive der Ansicht in einer Ausführung auf Basis einer ermittelten, insbesondere aktuellen, Blickrichtung eines Benutzers, insbesondere Trägers, der Benutzerschnittstelle ermittelt, in einer Ausführung aktualisiert, in einer Ausführung auf Basis einer ermittelten Blickrichtung des Benutzers relativ zur Benutzerschnittstelle und einer ermittelten Pose der Benutzerschnittstelle relativ zur Umgebung oder auf Basis einer ermittelten Blickrichtung des Benutzers relativ zur Umgebung.

Diese Perspektive der Ansicht wird in einer Ausführung bei der Überlagerung der Ansicht der Umgebung mit dem bzw. den virtuellen Objekt(en) verwendet, insbesondere die Ansicht in bzw. mit dieser Perspektive visualisiert und/oder das bzw. eines oder mehrere der virtuellen Objekt(e) unter Berücksichtigung dieser Perspektive mit der Ansicht der Umgebung überlagert, insbesondere in hier bzw. vorstehend und nachfolgend beschriebener Weise.

Trägt beispielsweise ein Benutzer eine Benutzerschnittstelle in Form eines Handgeräts und dreht sich mit dem Handgerät um eine Achse, wird in einer Ausführung auch die Perspektive der Ansicht entsprechend (mit)gedreht.

Trägt ein Benutzer beispielsweise eine Benutzerschnittstelle in Form einer MR-Maske, MR-Linse, MR-Brille oder dergleichen und dreht sich ohne Augenbewegung um eine Achse, wird in einer Ausführung auch die Perspektive der Ansicht entsprechend (mit)gedreht. Bewegt er ohne Kopfbewegung die Augen, beispielsweise horizontal von links nach rechts, wandert in einer Ausführung auch die Perspektive der Ansicht entsprechend (mit). Bei einer Kombination von Augen- und

Benutzerschnittstellenbewegung bzw. einer Änderung der Blickrichtung des Benutzers und der Pose der Benutzerschnittstelle wird in einer Ausführung auch die Perspektive der Ansicht entsprechend geändert (ermittelt) bzw. aktualisiert. Dreht der Benutzer beispielsweise seinen Kopf horizontal von links nach rechts und seine Augen gleichschnell von rechts nach links, bleibt die Perspektive der Ansicht in einer Ausführung konstant, dreht der Benutzer beispielsweise seinen Kopf horizontal von links nach rechts und seine Augen ebenfalls von links nach rechts, wandert in einer Ausführung auch die Perspektive der Ansicht mit der superponierten Geschwindigkeit von Kopf- und Augenbewegung.

Somit werden in einer Ausführung die Ansicht der Umgebung und das bzw. die virtuelle(n) Objekt(e) augmentiert.

Hierdurch kann in einer Ausführung die benötigte Zeit und/oder der Aufwand zum Konfigurieren, Durchführen bzw. Analysieren von Applikationen mobiler und/oder kollaborativen Roboter, insbesondere aufgrund von deren Komplexität und/oder Variabilität, besonders vorteilhaft reduziert und/oder die dabei erreichte Zuverlässigkeit besonders vorteilhaft erhöht werden.

In einer Ausführung werden die Ansicht der Umgebung und das bzw. die virtuelle(n) Objekt(e) auf Basis eines, in einer Ausführung dreidimensionalen, insbesondere mathematischen bzw. datentechnischen, Modells der Umgebung überlagert. In einer Ausführung entspricht eine Pose des (jeweiligen) virtuellen Objekts relativ zu bzw. in dem Modell einer ermittelten Pose des mit diesem virtuellen Objekt verknüpften Umgebungsobjekts relativ zur Umgebung. Das Modell kann insbesondere eine(n) oder mehrere Punkte, insbesondere Punktewolke(n), Gruppen relativ zueinander lokalisierter Merkmale, 3D-Gitter oder dergleichen aufweisen.

Hierdurch kann in einer Ausführung das Überlagern verbessert, in einer Ausführung die Präzision und/oder Stabilität erhöht werden. Beispielsweise kann so eine 2D- Abbildung, die eine Navigation des mobilen, in einer Ausführung kollaborativen, Roboters repräsentiert, insbesondere visualisiert, der Ansicht der Umgebung präzise(r) und/oder stabil(er) überlagert werden.

Zusätzlich oder alternativ wird das Modell in einer Ausführung auch zur Navigation der Roboteranordnung verwendet, wodurch in einer Ausführung das Modell synergetisch genutzt und/oder die Navigation verbessert, in einer Ausführung die Präzision und/oder Stabilität erhöht werden kann. In einer Ausführung weist die Benutzerschnittstelle wenigstens eine, in einer Ausführung am Kopf, tragbare Mixed-Reality-spezifische, in einer Ausführung AR- spezifische, Vorrichtung wie beispielsweise Microsoft Hololens2, Magic Leap One oder dergleichen, in einer Ausführung eine MR-Brille, MR-Linse oder MR-Maske, in einer Ausführung eines (MR-)Helms oder (MR-)Kopfgurtes, auf.

Hierdurch kann in einer Ausführung die Ergonomie und/oder Präzision verbessert werden.

In einer Ausführung weist die Benutzerschnittstelle wenigstens eine tragbare Mehrzweckvorrichtung, insbesondere ein Mobiltelefon, Tablet oder dergleichen, auf, die neben der Benutzerschnittstellenfunktionalität in einer Ausführung noch eine oder mehrere andere Funktionalitäten, insbesondere Kommunikation mit dem Internet und/oder Telefonie, insbesondere Bildtelefonie wie Skype oder dergleichen aufweist bzw. zur Verfügung stellt.

Hierdurch kann in einer Ausführung eine bereits vorhandene Benutzerschnittstelle mehrere Funktionen übernehmen.

In einer Ausführung weist die Benutzerschnittstelle wenigstens ein transparentes Display, wenigstens einen Bildschirm, insbesondere Touchscreen, wenigstens ein Trackpad, wenigstens eine Tastatur, wenigstens einen Joystick und/oder wenigstens eine Computermaus auf.

Hierdurch kann in einer Ausführung die Ergonomie und/oder Präzision verbessert werden.

In einer Ausführung erfasst die Benutzerschnittstelle mithilfe eines oder mehrerer, in einer Ausführung benutzerschnittstellenseitiger bzw. -fester, Sensoren die Umgebung bzw. ist hierzu eingerichtet bzw. wird hierzu verwendet.

Hierdurch kann in einer Ausführung die Darstellung der Umgebung und/oder die Selbstlokalisation der Benutzerschnittstelle verbessert werden. In einer Ausführung erfasst die Benutzerschnittstelle mithilfe eines oder mehrerer, in einer Ausführung benutzerschnittstellenseitiger bzw. -fester, Sensoren die Blickrichtung eines Trägers der Benutzerschnittstelle bzw. ist hierzu eingerichtet bzw. wird hierzu verwendet.

Hierdurch kann in einer Ausführung die Überlagerung verbessert werden.

In einer Ausführung sendet die Benutzerschnittstelle, in einer Ausführung drahtlos, Daten an die Roboteranordnung, Umgebung, ein lokales Netzwerk und/oder eine Computercloud und/oder erhält von der Roboteranordnung, Umgebung, dem lokalen Netzwerk und/oder der Computercloud, in einer Ausführung drahtlos, Daten bzw. ist hierzu eingerichtet bzw. wird hierzu verwendet.

Hierdurch kann in einer Ausführung benutzerschnittstellenexterne Sensor- und/oder Rechenkapazität genutzt und damit insbesondere eine Sensor- bzw. Rechenkapazität der Benutzerschnittstelle geschont bzw. reduziert werden und/oder die Benutzerschnittstelle als Sensor fungieren.

In einer Ausführung aktualisiert die Benutzerschnittstelle die Überlagerung, insbesondere die Ansicht der Umgebung und/oder das bzw. eines oder mehrerer virtuelle(n/r) Objekt(e/s), in Echtzeit bzw. ist hierzu eingerichtet bzw. wird hierzu verwendet.

Hierdurch kann in einer Ausführung das Durchführen der Applikation verbessert, insbesondere eine Präzision erhöht werden.

In einer Ausführung ist, insbesondere wird, die Pose der Benutzerschnittstelle und/oder die Pose der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, und/oder die Pose des bzw. eines oder mehrerer der Umgebungsobjekte, mit dem das bzw. mit denen jeweils eines der virtuelle(n) Objekt(e) verknüpft ist, mittels Selbstlokalisation und/oder mithilfe einer Umgebungskarte, insbesondere mittels SLAM (Simultaneous Localization and Mapping) ermittelt. Hierdurch kann das Überlagern auf Basis der ermittelten Pose verbessert, insbesondere eine Präzision erhöht werden.

In einer Ausführung ist, insbesondere wird, die Pose der Benutzerschnittstelle und/oder die Pose der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, und/oder die Pose des bzw. eines oder mehrerer der Umgebungsobjekte, mit dem das bzw. mit denen jeweils eines der virtuelle(n) Objekt(e) verknüpft ist, mithilfe wenigstens eines benutzerschnittstellenseitigen und/oder wenigstens eines roboteranordnungs-, insbesondere roboterseitigen und/oder wenigstens eines umgebungsseitigen Sensors ermittelt. In einer Ausführung ist, insbesondere wird, die Pose der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, und/oder die Pose des bzw. eines oder mehrerer der Umgebungsobjekte zusätzlich oder alternativ auf Basis einer vorgegebenen, insbesondere geplanten oder gesteuerten, Positionierung, insbesondere Bewegung, der Roboteranordnung bzw. des (jeweiligen) Umgebungsobjekts ermittelt.

Durch umgebungsseitige Sensoren kann in einer Ausführung die Belastung der Benutzerschnittstelle bzw. Roboteranordnung bzw. des mobilen und/oder kollaborativen Roboters reduziert werden, durch benutzerschnittsteilen- bzw. roboter(anordnungs)seitige Sensoren in einer Ausführung die Benutzerschnittstelle bzw. Roboteranordnung flexibler, insbesondere in beliebigen Umgebungen eingesetzt werden.

Als Sensor zur Ermittlung der Pose der Benutzerschnittstelle, Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, bzw. des Umgebungsobjekts werden bevorzugt eine oder mehrere Kameras, insbesondere 2D- und/oder 3D-Kameras, eine oder mehrere LIDAR-Vorrichtungen („Light Detection And Ranging“), ein oder mehrere Sonarsensoren, ein oder mehrere Tiefenwahrnehmungssensoren („depth sensing devices“), ein oder mehrere Funksensoren, insbesondere Empfänger von, in einer Ausführung umgebungsseitigen und/oder benutzerschnittsteilen- bzw. roboter(anordnungs)seitigen, Funkfeuern („radio beacon“), und/oder eine oder mehrere inertiale Messeinheiten („Inertial Measurement Units“, IMUs), in einer Ausführung räumliche Kombinationen mehrerer Inertialsensoren wie Beschleunigungssensoren und Drehratensensoren, verwendet. Hierdurch kann in einer Ausführung die Selbstlokalisation der Benutzerschnittstelle verbessert, insbesondere eine Präzision erhöht werden.

In einer Ausführung ist, insbesondere wird, die Pose der Benutzerschnittstelle und/oder die Pose der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, und/oder die Pose des bzw. eines oder mehrerer der Umgebungsobjekte, mit dem das bzw. mit denen jeweils eines der virtuelle(n) Objekt(e) verknüpft ist, in Echtzeit ermittelt, insbesondere aktualisiert.

Hierdurch kann das Überlagern auf Basis der ermittelten Pose verbessert, insbesondere eine Präzision erhöht, und dadurch insbesondere das Durchführen und/oder die Analyse verbessert werden.

In einer Ausführung ist, insbesondere wird, die (aktuelle) Pose der Benutzerschnittstelle und/oder die Pose der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, und/oder die Pose des bzw. eines oder mehrerer der Umgebungsobjekte, mit dem das bzw. mit denen jeweils eines der virtuelle(n) Objekt(e) verknüpft ist, auf Basis einer ermittelten Anfangspose der Benutzerschnittstelle, Roboteranordnung bzw. des mobilen und/oder kollaborativen Roboters, bzw. (jeweiligen) Umgebungsobjekts ermittelt.

Diese Anfangspose ist, insbesondere wird, in einer Ausführung auf Basis eines Umgebungsmerkmals, das in einer Ausführung hierzu angeordnet und/oder codiert und/oder mittels Bildverarbeitung erfasst wird bzw. ist, und/oder mithilfe von (Koordinaten)Triangulation und/oder wenigstens einer, insbesondere mit der Benutzerschnittstelle und/oder Roboteranordnung kommunizierenden, externen Messvorrichtung ermittelt.

Beispielsweise kann die Anfangspose mithilfe eines QR-Codes oder eines anderen erkennbaren Merkmals der Umgebung erfasst werden, welches mittels wenigstens eines benutzerschnittsteilen- bzw. roboter(anordnungs)seitigen Sensors erfasst wird, wobei aus der bekannten Pose des Umgebungsmerkmals relativ zur Umgebung und der sensorisch erfassten Pose des Umgebungsmerkmals relativ zur Benutzerschnittstelle bzw. Roboteranordnung die (Anfangs)Pose der Benutzerschnittstelle bzw. Roboteranordnung relativ zur Umgebung ermittelt werden kann.

Hierdurch kann in einer Ausführung die Selbstlokalisation der Benutzerschnittstelle verbessert, insbesondere eine Präzision erhöht werden.

In einer Ausführung sendet die Benutzerschnittstelle Anweisungen an die Roboteranordnung, insbesondere den mobilen und/oder kollaborativen Roboter und/oder eine, insbesondere roboterexterne und/oder zentrale, Roboteranordnungssteuerung, in einer Ausführung ein Flottenmanagement(system), das mehrere mobile Roboter der Roboteranordnung steuert bzw. hierzu eingerichtet ist bzw. verwendet wird, in einer Ausführung sendet die Benutzerschnittstelle Bewegungsanweisungen, Anweisungen zur Änderung einer Konfiguration der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, und/oder Anforderungen von bzw. Nachfragen nach Daten.

Hierdurch kann in einer Ausführung benutzerschnittstellenexterne Sensor- und/oder Rechenkapazität genutzt und damit insbesondere eine Sensor- bzw. Rechenkapazität der Benutzerschnittstelle geschont bzw. reduziert werden und/oder die Benutzerschnittstelle als Sensor fungieren und/oder den bzw. einen oder mehrere der mobilen und/oder kollaborativen Roboter steuern.

In einer Ausführung empfängt die Benutzerschnittstelle Daten, in einer Ausführung Navigations-, insbesondere Karten- und/oder Pfaddaten, Sicherheitsdaten, Konfigurationsdaten und/oder Posendaten, der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters. In einer Ausführung empfängt sie die Daten von der Roboteranordnung, insbesondere von dem mobilen und/oder kollaborativen Roboter und/oder einer bzw. der Roboteranordnungssteuerung, und/oder speichert solche, insbesondere empfangenen, Daten. In einer Ausführung ermittelt, in einer Ausführung aktualisiert, die Benutzerschnittstelle die Überlagerung auf Basis der gespeicherten bzw. empfangenen Daten.

Hierdurch kann in einer Ausführung benutzerschnittstellenexterne Sensor- und/oder Rechenkapazität genutzt und damit insbesondere eine Sensor- bzw. Rechenkapazität der Benutzerschnittstelle geschont bzw. reduziert werden. In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit Kartendaten eines Navigationsmittels der Roboteranordnung, insbesondere des mobilen, in einer Ausführung kollaborativen, Roboters verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt die Kartendaten, beispielsweise einer Occupancy Grid Map oder dergleichen.

In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit einem Sensorbereich, insbesondere einer Sensorerfassungsrichtung, verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt den Sensorbereich bzw. die Sensorerfassungsrichtung, beispielsweise einen oder mehrere Strahlen eines oder mehrerer Scanner, insbesondere Laserscanner, oder dergleichen.

In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit einem, in einer Ausführung geplanten und/oder abgefahrenen, Pfad oder zulässigen Pfadbereich der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt den Pfad(bereich), beispielsweise in Form eines topometrischen bzw. topologischen Graphen, Voronoi-Diagramms, Abstandskarten oder dergleichen.

In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit einem, in einer Ausführung vorgegebenen und/oder zwei- oder dreidimensionalen ein- oder mehrteiligen, Sicherheitsbereich der Umgebung und/oder der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt diesen Sicherheitsbereich, beispielsweise in Form einer ein- oder mehrteiligen Bodenfläche oder einer ein- oder mehrteiligen Hüllkontur.

In einer Ausführung wird ein mit dem roboterseitigen Sicherheitsbereich kollidierender Umgebungsbereich und/oder ein mit dem umgebungsseitigen Sicherheitsbereich kollidierender Roboterbereich erfasst und auf Basis der Erfassung ein Merkmal des mit diesem Sicherheitsbereich verknüpften virtuellen Objekts verändert, beispielsweise (anders) eingefärbt oder dergleichen, und/oder ein eigenes virtuelles Objekt mit diesem kollidierenden bzw. Schnittbereich verknüpft, das ihn in einer Weiterbildung repräsentiert, insbesondere visualisiert.

Ein roboterseitiger Sicherheitsbereich ist, insbesondere wird, in einer Ausführung in Abhängigkeit von einer Abmessung, aktuellen oder Planungs-Pose und/oder aktuellen, geplanten oder extremalen Stellung der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, vorgegeben bzw. ermittelt, in einer Ausführung aktualisiert.

In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit einem, in einer Ausführung vorgegebenen und/oder zwei- oder dreidimensionalen ein- oder mehrteiligen, Auswertungsbereich der Umgebung und/oder der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt diesen Auswertungsbereich, beispielsweise in Form einer ein- oder mehrteiligen Fläche, Hüllkontur oder dergleichen.

Ein solcher Auswertungsbereich ist, insbesondere wird, in einer Ausführung über die Benutzerschnittstelle vorgegeben und/oder entspricht einem ein- oder mehrteiligen Bereich der Umgebung, der zur (Selbst)Lokalisation ausgeschlossen oder primär, in einer Ausführung exklusiv, verwendet werden soll bzw. wird bzw. ist. Entsprechend wird insbesondere auch ein ein- oder mehrteiliger, über die Benutzerschnittstelle vorgegebener Umgebungsbereich, der nicht zur (Selbst)Lokalisation verwendet werden soll, als ein Auswertungsbereich bezeichnet.

In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit einem, in einer Ausführung vorgegebenen und/oder zwei- oder dreidimensionalen ein- oder mehrteiligen, Erreichbarkeitsbereich der Umgebung und/oder der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt diesen Erreichbarkeitsbereich, beispielsweise in Form einer ein- oder mehrteiligen Fläche, Hüllkontur oder dergleichen.

Ein solcher Erreichbarkeitsbereich ist, insbesondere wird, in einer Ausführung mittels wenigstens teilweise automatisierter Umgebungs-, insbesondere Hinderniserfassung ermittelt, in einer Ausführung aktualisiert, und/oder entspricht einem ein- oder mehrteiligen Bereich der Umgebung, der von der Roboteranordnung, insbesondere dem mobilen und/oder kollaborativen Roboter erreichbar ist.

In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit einem, in einer Ausführung vorgegebenen und/oder zwei- oder dreidimensionalen ein- oder mehrteiligen, Reservierungsbereich der Umgebung und/oder der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt diesen Reservierungsbereich, beispielsweise in Form einer ein- oder mehrteiligen Bodenfläche oder einer ein- oder mehrteiligen Hüllkontur.

Ein solcher Reservierungsbereich ist, insbesondere wird, in einer Ausführung in Abhängigkeit von einer Abmessung, aktuellen oder Planungs-Pose und/oder aktuellen, geplanten oder extremalen Stellung der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, vorgegeben bzw. ermittelt, in einer Ausführung aktualisiert, und/oder repräsentiert bzw. visualisiert einen ein- oder mehrteiligen Bereich, den die Roboteranordnung, insbesondere der mobile und/oder kollaborative Roboter, potentiell, insbesondere beim Abfahren einer geplanten Bahn und/oder Durchführen einer geplanten Aufgabe und/oder in einer extremalen Auslage, einnimmt.

Ein roboterseitiger Sicherheits- bzw. Reservierungsbereich überragt in einer Ausführung eine Außenkontur des mobilen und/oder kollaborativen Roboters. Hierdurch kann in einer Ausführung dessen Ermittlung vereinfacht und/oder eine Sicherheit erhöht werden. Ein umgebungsseitiger Sicherheitsbereich ist in einer Ausführung ein Bereich, in den der Roboter nicht eindringen darf bzw. soll, ein roboterseitiger Sicherheitsbereich entsprechend in einer Ausführung ein Bereich, in den kein Hindernis eindringen darf bzw. soll. Ein (roboterseitiger) Reservierungsbereich ist in einer Ausführung ein Bereich, der für den Roboter reserviert ist bzw. werden soll und/oder in dem der Roboter sich aufhalten und/oder bewegen darf.

In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit einem Zielort bzw. einer Zielpose, insbesondere der Roboteranordnung, in einer Ausführung des mobilen und/oder kollaborativen Roboters, verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt einen solchen Zielort bzw. eine solche Zielpose, beispielsweise eine (aktuell und/oder geplante) anzufahrende Be- und/oder Entladestation, Förder-, Be- bzw. Verarbeitungs-,

Prüf- und/oder Betankungs- und/oder Elektro-(Auf)Ladestation oder dergleichen.

In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit einem Warteort bzw. einer Wartepose, insbesondere der Roboteranordnung, in einer Ausführung des mobilen und/oder kollaborativen Roboters, verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt einen solchen Warteort bzw. eine solche Wartepose, beispielsweise eine (aktuell und/oder geplante) anzufahrende Position, an der vorgesehen ist, dass der Roboter für eine bestimmte Zeit und/oder auf ein bestimmtes Ergebnis, beispielsweise eine Freigabe oder dergleichen, wartet.

In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit einer, in einer Ausführung geplanten oder verbleibenden, Wartezeit, für einen bzw. den mobilen und/oder kollaborativen Roboter, in einer Ausführung an einem Warteort bzw. einer Wartepose des Roboters, verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt diese Wartezeit.

In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit einer, in einer Ausführung geplanten oder prognostizierten, Ankunftszeit, der Roboteranordnung, in einer Ausführung des mobilen und/oder kollaborativen Roboters, in einer Ausführung an einem Warte- oder Zielort bzw. einer Warte- oder Zielpose der Roboteranordnung bzw. des Roboters, verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt diese Ankunftszeit.

In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit dem mobilen und/oder kollaborativen Roboter, in einer Ausführung mit einem Energie-,

Navigations-, Fehler-, Kommunikations- und/oder Logistikzustand, des Roboters verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt den Roboter bzw. Zustand, beispielsweise einen Ladezustand einer Batterie, eine Genauigkeit einer (Selbst)Lokalisierung, aktuelle Fehler am Roboter, eine Zuverlässigkeit einer Kommunikationsverbindung oder seine aktuelle Stelle in einer Flottenmanagementverwaltung.

In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit einem, insbesondere stationären oder bewegten, Umgebungsobjekt oder -punkt, insbesondere einem Zustand und/oder einer potentiellen, insbesondere geplanten, Interaktion (des Umgebungsobjekts bzw. (an dem) Umgebungspunkt(s)) mit der Roboteranordnung, verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt dieses Umgebungsobjekt bzw. diesen Umgebungspunkt, insbesondere dessen Zustand und/oder die potentielle, insbesondere geplante, Interaktion mit der Roboteranordnung, beispielsweise einen Füllgrad und/oder Ausrüstungs- und/oder Bereitschaftszustand einer Be- und/oder Entladestation, Förder-, Be- bzw. Verarbeitungs-, Prüf- und/oder Betankungs- und/oder Elektro-(Auf)Ladestation - oder Parkstation, eine Aufgabe, die der mobile und/oder kollaborativen Roboter an einer Station durchführen kann oder soll oder dergleichen.

In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit einer Navigationshilfe zu einer vorgegebenen Stelle verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt diese Navigationshilfe. In einer Ausführung weist das virtuelle Objekt hierzu einen oder mehrere (Richtungs)Pfeile, Distanzangaben, Bahnen, insbesondere aktuell abgefahrene, bereits abgefahrene und/oder mögliche, insbesondere geplante Bahnen, und/oder Ortsidentifikationen auf.

In einer Ausführung sind bzw. werden ein oder mehrere der hier bzw. vor- und nachstehend genannten virtuellen Objekte (jeweils) mit einem, insbesondere stationären oder bewegten, Umgebungsobjekt oder -punkt, verknüpft, insbesondere derart, dass ihre Pose, insbesondere Position, relativ zu einer Ansicht dieses Umgebungsobjekts bzw. -punkts in der Ansicht der Umgebung konstant bleibt. In einer Ausführung bleibt zusätzlich ihre Orientierung relativ zur Blickrichtung der Ansicht konstant, insbesondere kann ein virtuelles Objekt in Form einer ebenen Fläche stets so orientiert sein, dass die Blickrichtung der Ansicht parallel zur Flächennormale dieser Fläche ist. Hierdurch kann in einer Ausführung die Ergonomie, Zuverlässigkeit, Schnelligkeit und/oder Präzision des Konfigurierens, Durchführens bzw. Analysierens der Applikation verbessert werden.

In einer Ausführung bleibt eine Position wenigstens eines überlagerten virtuellen Objekts relativ zu einer Außenkontur der Ansicht der Umwelt bei einer Bewegung der Benutzerschnittstelle (relativ zur Umgebung) und/oder Änderung der Perspektive der Ansicht der Umgebung konstant, insbesondere an einer vorgegebenen, in einer Ausführung durch Benutzereingabe wähl-, insbesondere veränderbaren, Position, beispielsweise an einem Bildrand oder dergleichen.

Zusätzlich oder alternativ bleibt in einer Ausführung eine Orientierung wenigstens eines überlagerten virtuellen Objekts relativ zu einer Außenkontur der Ansicht der Umwelt bei einer Bewegung der Benutzerschnittstelle (relativ zur Umgebung) und/oder Änderung der Perspektive der Ansicht der Umgebung konstant, insbesondere in einer vorgegebenen, in einer Ausführung durch Benutzereingabe wähl-, insbesondere veränderbaren, Orientierung, beispielsweise parallel zu einer Bildebene oder dergleichen.

In einer Ausführung bleibt eine Position und/oder Orientierung wenigstens eines überlagerten virtuellen Objekts relativ zu einer Ansicht, insbesondere einem Bild, eines mit diesem virtuellen Objekt verknüpften Umgebungsobjekts oder Umgebungspunkts oder Pfadpunkts oder Pfadabschnitts der Roboteranordnung in der Überlagerung, in einer Ausführung in der Ansicht der Umgebung, insbesondere in der Darstellung der Umgebung bzw. dem Sichtfeld des Benutzers, bei einer Bewegung der Benutzerschnittstelle und/oder Änderung der Perspektive der Ansicht der Umgebung konstant. In einer Ausführung wird dabei eine Änderung der Perspektive der Ansicht der Umgebung, insbesondere infolge einer Bewegung der Benutzerschnittstelle, kompensiert bzw. die Position und/oder Orientierung des virtuellen Objekts relativ zu einer Außenkontur der Ansicht der Umgebung entsprechend angepasst.

In einer Ausführung ist, insbesondere wird, eine Position des bzw. eines oder mehrerer der virtuellen Objekte in der Überlagerung, in einer Ausführung in der Ansicht der Umgebung, insbesondere in der Darstellung der Umgebung bzw. dem Sichtfeld des Benutzers, auf Basis der Position eines mit dem (jeweiligen) virtuellen Objekt verknüpften

- Umgebungsobjekts,

- Umgebungspunktes oder

- Punktes oder Abschnitts eines, insbesondere geplanten oder abgefahrenen, Pfades der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, relativ zur Umgebung ermittelt, insbesondere aktualisiert, in einer Ausführung in Echtzeit und/oder derart ermittelt bzw. aktualisiert, dass

- sich die Position des (jeweiligen) virtuellen Objekts in der Überlagerung bzw. Ansicht der Umgebung mit bzw. bei einer Änderung der Position des damit verknüpften Umgebungsobjekts bzw. Pfadpunktes bzw. -abschnitts relativ zu der Umgebung (entsprechend) (mit)ändert bzw.

- die Position des (jeweiligen) virtuellen Objekts relativ zu der Ansicht des Umgebungspunkts in der Überlagerung bzw. Ansicht der Umgebung konstant bleibt bzw.

- die Position des (jeweiligen) virtuellen Objekts relativ zu der Ansicht des Pfadpunkts bzw. -abschnitts in der Überlagerung bzw. Ansicht der Umgebung konstant bleibt.

In einer Ausführung bleibt zusätzlich eine Orientierung dieses virtuellen Objekts relativ zu einer Außenkontur der Ansicht der Umwelt bei einer Bewegung der Benutzerschnittstelle (relativ zur Umgebung) und/oder Änderung der Perspektive der Ansicht der Umgebung konstant.

Hierdurch kann in einer Ausführung die Ergonomie verbessert werden.

In einer Ausführung erfasst die Benutzerschnittstelle eine Benutzereingabe mithilfe von Blickerfassung, Gestenerkennung, Spracherkennung, Erkennung von virtuellem Kontakt, insbesondere virtuellem Kontakt, in einer Ausführung Handkontakt, eines Benutzers mit einem virtuellen Objekt.

Hierdurch kann in einer Ausführung die Ergonomie, Zuverlässigkeit, Schnelligkeit und/oder Präzision des Konfigurierens, Durchführens bzw. Analysierens der Applikation verbessert werden. In einer Ausführung wird wenigstens ein überlagertes virtuelles Objekt und/oder wenigstens ein Merkmal wenigstens eines überlagerten virtuellen Objekts auf Basis einer Benutzereingabe eingeblendet und/oder ausgeblendet und/oder verändert, in einer Ausführung eine Pose, insbesondere Position und/oder Orientierung, des virtuellen Objekts bzw. Merkmals relativ zu einer Außenkontur der Ansicht der Umwelt und/oder wenigstens ein Parameter des virtuellen Objekts bzw. Merkmals.

Insbesondere werden in einer Ausführung durch entsprechende Benutzereingaben zusätzliche Merkmale, in einer Ausführung (Unter)Menüs, ein- und/oder ausgeblendet.

In einer Ausführung sind, insbesondere werden, durch eine Benutzereingabe über die Benutzerschnittstelle Navigationsdaten, insbesondere Karten, Graphen oder dergleichen, und/oder das bzw. eines oder mehrere der virtuellen Objekte, insbesondere dessen Pose in der Überlagerung, veränder-, insbesondere editierbar bzw. verändert, insbesondere editiert. In einer Ausführung sind, insbesondere werden, durch eine Benutzereingabe über die Benutzerschnittstelle ein oder mehr geplante Aufgaben und/oder Punkte, insbesondere Abschnitte, einer geplanten Bahn der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, generier- und/oder veränder-, insbesondere editierbar bzw. generiert und/oder verändert, insbesondere editiert.

Beispielsweise kann ein Benutzer durch entsprechende Benutzereingabe ein Hindernis, welches nicht (mehr) vorhanden ist, aus einer (Navigations)Karte entfernen, einen potentiellen, insbesondere möglichen oder geplanten, Pfad für den mobilen und/oder kollaborativen Roboter umändern oder hinzufügen, oder ein virtuelles Objekt in der Überlagerung verschieben und/oder mit einem (anderen) Umgebungsobjekt verknüpfen und/oder (um)parametrieren.

Wie bereits erwähnt, ist in einer Ausführung die Roboteranordnung, insbesondere der mobile und/oder kollaborativen Roboter, durch eine Benutzereingabe über die Benutzerschnittstelle Steuer- und/oder (um)konfigurierbar.

Nach einer Ausführung der vorliegenden Erfindung ist ein System zum Konfigurieren, Durchführen und/oder Analysieren einer Applikation einer Roboteranordnung mit wenigstens einem mobilen und/oder kollaborativen Roboter mithilfe einer Benutzerschnittstelle zum Ein- und/oder Ausgeben von Daten, insbesondere hard- und/oder Software-, insbesondere programmtechnisch, zur Durchführung eines hier beschriebenen Verfahrens eingerichtet ist und/oder weist auf:

Mittel zum Überlagern einer Ansicht, insbesondere Darstellung, einer Umgebung mit wenigstens einem virtuellen Objekt, wobei die Benutzerschnittstelle dazu eingerichtet ist, diese Überlagerung zum Konfigurieren, Durchführen und/oder Analysieren der Applikation, in einer Ausführung an der Benutzerschnittstelle, zur Verfügung zu stellen, in einer Ausführung die Ansicht der Umgebung und das virtuelle Objekt zu überlagern und/oder die Applikation auf Basis dieser Überlagerung zu konfigurieren, durchzuführen und/oder zu analysieren.

In einer Ausführung weist das System bzw. sein(e) Mittel auf:

Mittel zum Überlagern der Ansicht der Umgebung und des virtuellen Objekts auf Basis einer ermittelten, insbesondere aktuellen, Perspektive der Ansicht; auf Basis einer ermittelten, insbesondere aktuellen, Pose der Benutzerschnittstelle, der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, und/oder wenigstens eines, insbesondere statischen oder bewegten, Umgebungsobjekts, insbesondere eines mit dem virtuellen Objekt verknüpften Umgebungsobjekts, relativ zu der Umgebung; auf Basis einer ermittelten, insbesondere aktuellen, Blickrichtung eines Trägers der Benutzerschnittstelle und/oder auf Basis eines, insbesondere dreidimensionalen, Modells der Umgebung; und/oder

Mittel zum Erfassen der Umgebung und/oder Blickrichtung, insbesondere mithilfe wenigstens eines, insbesondere benutzerschnittstellenseitigen, Sensors; und/oder

Mittel zum Senden von Daten an die Roboteranordnung, Umgebung, ein lokales Netzwerk und/oder eine Computercloud (S30) und/oder Erhalten von Daten der Roboteranordnung, Umgebung, dem lokalen Netzwerk und/oder der Computercloud und/oder zum Aktualisieren der Überlagerung, insbesondere der Ansicht der Umgebung und/oder des virtuellen Objekts, in Echtzeit; und/oder Mittel zum Ermitteln der Pose der Benutzerschnittstelle, der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, und/oder des Umgebungsobjekts mittels Selbstlokalisation und/oder mithilfe einer Umgebungskarte, insbesondere mittels SLAM, und/oder mithilfe wenigstens eines benutzerschnittsteilen-, roboteranordnungs- oder umgebungsseitigen Sensors, insbesondere wenigstens einer inertialen Messeinheit, wenigstens einer Kamera, wenigstens einer LIDAR-Vorrichtung, wenigstens eines Sonarsensors, wenigstens eines Tiefenwahrnehmungssensors und/oder wenigstens eines Funksensors, und/oder in Echtzeit und/oder auf Basis einer ermittelten Anfangspose; und/oder Mittel zum Ermitteln der Anfangspose auf Basis eines, insbesondere mittels Bildverarbeitung, erfassten, insbesondere codierten und/oder hierzu angeordneten, Umgebungsmerkmals und/oder mithilfe von Triangulation und/oder wenigstens einer, insbesondere mit der Benutzerschnittstelle und/oder Roboteranordnung kommunizierenden, externen Messvorrichtung; und/oder Mittel zum Senden von Anweisungen von der Benutzerschnittstelle an die Roboteranordnung, insbesondere den mobilen und/oder kollaborativen Roboter und/oder eine Roboteranordnungssteuerung, und/oder Speichern und/oder Empfangen von Daten, insbesondere Navigations-, Sicherheits-,

Konfigurations- und/oder Posendaten, der Roboteranordnung, insbesondere von dem mobilen und/oder kollaborativen Roboter und/oder einer Roboteranordnungssteuerung, und Ermitteln, insbesondere Aktualisieren der Überlagerung auf Basis der gespeicherten bzw. empfangenen Daten; und/oder Mittel zum Verknüpfen wenigstens eines überlagerten virtuellen Objekts mit Kartendaten eines Navigationsmittels der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, mit einem Sensorbereich, insbesondere einer Sensorerfassungsrichtung, mit einem, insbesondere geplanten und/oder abgefahrenen, Pfad oder zulässigen Pfadbereich der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, mit einem, insbesondere vorgegebenen und/oder zwei- oder dreidimensionalen, Sicherheits-, Auswertungs-, Erreichbarkeits- und/oder Reservierungsbereich der Umgebung und/oder der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, mit einem Warte- oder Zielort, mit einer Warte- oder Zielpose, mit einer Warte- oder Ankunftszeit, mit dem mobilen und/oder kollaborativen Roboter, insbesondere einem Energie-, Navigations-, Fehler-, Kommunikations- und/oder Logistikzustand, mit einem Umgebungsobjekt oder -punkt, insbesondere einem Zustand und/oder einer potentiellen, insbesondere geplanten, Interaktion mit der Roboteranordnung, und/oder mit einer Navigationshilfe zu einer vorgegebenen Stelle; und/oder Mittel zum Erfassen einer Benutzereingabe mit der Benutzerschnittstelle mithilfe von Blickerfassung, Gestenerkennung, Spracherkennung, Erkennung von virtuellem Kontakt; und/oder

Mittel zum Verändern von Navigationsdaten und/oder dem virtuellen Objekt, insbesondere dessen Pose in der Überlagerung, durch eine Benutzereingabe über die Benutzerschnittstelle; und/oder

Mittel zum Ein- und/oder Ausblenden und/oder Verändern wenigstens eines überlagerten virtuellen Objekts und/oder wenigstens eines Merkmals wenigstens eines überlagerten virtuellen Objekts auf Basis einer Benutzereingabe, insbesondere seiner Pose relativ zu einer Außenkontur der Ansicht der Umwelt und/oder wenigstens eines Parameters des virtuellen Objekts bzw. Merkmals.

Ein Mittel im Sinne der vorliegenden Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein, insbesondere eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU), Graphikkarte (GPU) oder dergleichen, und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die Verarbeitungseinheit kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die Verarbeitungseinheit die Schritte solcher Verfahren ausführen kann und damit insbesondere die Applikation der Roboteranordnung konfigurieren, durchführen und/oder analysieren kann. Ein Computerprogrammprodukt kann in einer Ausführung ein, insbesondere nicht flüchtiges, Speichermedium zum Speichern eines Programms bzw. mit einem darauf gespeicherten Programm aufweisen, insbesondere sein, wobei ein Ausführen dieses Programms ein System bzw. eine Steuerung, insbesondere einen Computer, dazu veranlasst, ein hier beschriebenes Verfahren bzw. einen oder mehrere seiner Schritte auszuführen. In einer Ausführung werden ein oder mehrere, insbesondere alle, Schritte des Verfahrens vollständig oder teilweise automatisiert durchgeführt, insbesondere durch das System bzw. sein(e) Mittel.

In einer Ausführung weist das System die Roboteranordnung auf. Sofern vorliegend von einem bzw. dem mobilen und/oder kollaborativen Roboter die Rede ist, ist dabei insbesondere ein mobiler, gegegebenfalls kollaborativer, Roboter oder ein kollaborativer, gegebenenfalls stationärer, Roboter oder ein mobiler, gegegebenfalls kollaborativer, Roboter und zusätzlich ein kollaborativer, gegebenenfalls stationärer, Roboter gemeint bzw. umfasst der Ausdruck „mobiler und/oder kollaborativer Roboter“ „mobiler Roboter“, „kollaborativer Roboter“ und „(wenigstens) ein mobiler und (wenigstens) ein (zusätzlicher) kollaborativer Roboter“.

Eine Umgebung im Sinne der vorliegenden Erfindung ist in einer Ausführung eine reale bzw. physikalische Umgebung, ein Umgebungsobjekt entsprechend ein reales bzw. physikalisches, insbesondere roboteranordnungsexternes, materielles ein- oder mehrteiliges Objekt (dieser Umgebung), insbesondere also kein mobiler und/oder kollaborativer Roboter.

Ein Pfad bzw. eine Bahn im Sinne der vorliegenden Erfindung kann insbesondere eine Route, insbesondere Fahr(t)route, und/oder eine Trajektorie umfassen, insbesondere sein.

Ein Benutzer der Benutzerschnittstelle ist in einer Ausführung ein menschlicher Benutzer bzw. eine natürliche Person.

„Geplant“ kann insbesondere „erst geplant“ bzw. „nur geplant“ bedeuten. Beispielsweise kann „geplanter Pfad“ insbesondere „geplanter, noch nicht abgefahrener Pfad“ und „geplante Pose“ „geplante, nicht aktuelle Pose“ bedeuten.

In einer Ausführung ermittelt die Benutzerschnittstelle die Überlagerung, insbesondere rechnerisch. Zusätzlich oder alternativ visualisiert die Benutzerschnittstelle in einer Ausführung die Überlagerung, insbesondere auf wenigstens einem Bildschirm und/oder durch Projektion. Dabei kann die Überlagerung auch ganz oder teilweise benutzerschnittstellenextern ermittelt und durch die Benutzerschnittstelle (nur) visualisiert werden. Beides, d. h. sowohl die Ermittlung als auch die Visualisierung, wird vorliegend als Überlagern der Ansicht der Umgebung und des virtuellen Objekts durch die, insbesondere an der, Benutzerschnittstelle bezeichnet.

Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert:

Fig. 1 : ein System nach einer Ausführung der vorliegenden Erfindung;

Fig. 2: ein Verfahren nach einer Ausführung der vorliegenden Erfindung;

Fig. 3: ein Überlagern einer Ansicht einer Umgebung mit mehreren virtuellen Objekten nach einer Ausführung der vorliegenden Erfindung; Fig. 4: eine Benutzereingabe über eine Benutzerschnittstelle nach einer

Ausführung der vorliegenden Erfindung;

Fig. 5: ein Überlagern einer Ansicht einer Umgebung mit virtuellen Objekten nach einer Ausführung der vorliegenden Erfindung; und

Fig. 6: ein Überlagern einer Ansicht einer Umgebung mit virtuellen Objekten nach einer Ausführung der vorliegenden Erfindung.

Fig. 1, 2 zeigen ein System bzw. Verfahren zum Konfigurieren, Durchführen und/oder Analysieren einer Applikation einer Roboteranordnung mit wenigstens einem mobilen und/oder kollaborativen Roboter 1 mithilfe einer Benutzerschnittstelle 2, 2‘ zum Ein- und Ausgeben von Daten nach einer Ausführung der vorliegenden Erfindung. Der Roboter kann einen gestrichelt angedeuteten Roboterarm aufweisen.

Ein Benutzer 3 trägt die Benutzerschnittstelle, in einer Ausführung eine MR-Maske bzw. -Brille 2, in einer anderen Ausführung ein entsprechend ausgerüstetes und eingerichtetes Mobilfunkgerät oder Tablet 2‘. Beide Ausführungen sind zur kompakteren Darstellung gemeinsam gezeigt und können einzeln oder gemeinsam vorgesehen sein bzw. verwendet werden. Der Benutzer kann auch eine MR-Linse oder dergleichen verwenden.

Die Benutzerschnittstelle 2 bzw. 2‘ weist einen oder mehrere Sensoren S zur Umwelterfassung, insbesondere Selbstlokalisation, auf und ist zur Eingabe von Benutzereingaben, beispielsweise mittels Blickerfassung, Gestenerkennung, Spracherkennung, Erkennung von virtuellem Kontakt, Touchscreen, Trackpad, Tastatur, Joystick, Computermaus oder dergleichen, sowie zum Senden und Empfangen von Daten an bzw. von dem mobilen und/oder kollaborativen Roboter 1 und/oder eine(r) roboterexternen Roboteranordnungssteuerung 1.1 ausgerüstet und eingerichtet.

In einer Umgebung ist exemplarisch ein Umgebungsobjekt 4.1 sowie ein umgebungsfester Sensor 4.2 angedeutet.

Nach dem in Fig. 2 gezeigten Verfahren wird in einem Schritt S10 eine Pose der Benutzerschnittstelle 2 bzw. 2‘ relativ zur Umgebung und/oder eine Blickrichtung des Benutzers 3 relativ zur Umgebung oder Benutzerschnittstelle ermittelt. Zusätzlich oder alternativ kann in Schritt S10 eine Pose des mobilen und/oder kollaborativen Roboters 1 und/oder eine Pose des, gegebenenfalls bewegten, Umgebungsobjekts 4.1 ermittelt werden.

In einem Schritt S20 überlagert die Benutzerschnittstelle 2 bzw. 2‘ ein virtuelles Objekt, das in einer Ausführung mit dem Umgebungsobjekt 4.1 bzw. einem Umgebungspunkt verknüpft ist, mit einer Ansicht der Umgebung, beispielsweise einem Kamerabild, einer künstlichen Rekonstruktion der Umgebung oder einer Sicht des Benutzers 3 auf die Umgebung.

In einem Schritt S30 wird beispielsweise, insbesondere durch bzw. auf Basis entsprechende(r) Benutzereingaben, der mobile und/oder kollaborativen Roboter 1 gesteuert und/oder das virtuelle Objekt verändert, beispielsweise seine Position relativ zu einer Außenkontur der Ansicht und/oder sein Inhalt und/oder eines oder mehrere seiner angezeigten Merkmale. In einer Ausführung werden, insbesondere durch bzw. auf Basis entsprechende(r) Benutzereingaben, ein geplanter Pfad des mobilen und/oder kollaborativen Roboters 1 und/oder Interaktionen des mobilen und/oder kollaborativen Roboters 1 mit der Umgebung, beispielsweise dem Umgebungsobjekt 4.1, generiert oder verändert, insbesondere Pfadpunkte bzw. -abschnitte hinzufügt, verschoben und/oder gelöscht und/oder Aktionen des Roboters 1 und/oder Umgebungsobjekts 4.1 editiert, zum Beispiel eine Anzahl und/oder Identifikation abzuladender bzw. aufzunehmender T ransportgüter oder dergleichen.

Anschließend kehrt das Verfahren wieder zu Schritt S10 zurück, um die Pose(n) zu aktualisieren.

Fig. 3 zeigt ein solches Überlagern einer Ansicht einer Umgebung mit mehreren virtuellen Objekten nach einer Ausführung der vorliegenden Erfindung.

In Fig. 3 ist eine Ansicht einer Umgebung in Form eines Kamerabildes 10 mit virtuellen Objekten überlagert, im Ausführungsbeispiel einem virtuellen Objekt 110, das einen Navigationsgraph bzw. -pfad für den mobilen und/oder kollaborativen Roboter 1 repräsentiert, einem virtuellen Objekt 120, das einen Knoten des Graphen bzw. einen entsprechenden Umgebungspunkt bzw. eine Ankunftszeit repräsentiert, und einem virtuellen Objekt 130, das einen anderen Knoten des Graphen bzw. einen entsprechenden anderen Umgebungspunkt, insbesondere dessen Identität repräsentiert.

Fig. 4 bzw. die Figurenfolge Fig. 4 illustriert eine Benutzereingabe durch Berühren der virtuellen Objekte 120, 130, 140 bzw. entsprechender virtueller Knöpfe wie zum Beispiel „Open details“, „Hide“ etc. So kann etwa durch Berühren des virtuellen Objekts 130 dieses ausgeblendet (vgl. Fig. 4) bzw. können durch Berühren seines virtuellen Knopfes „Open details“ zusätzliche Merkmale bzw. Details eingeblendet werden.

Die beiden virtuellen Objekte 120, 130 sind mit dem entsprechenden Umgebungs- bzw. Pfadpunkt verknüpft, so dass ihre Position bei einer Änderung der (Perspektive der) Ansicht 10, beispielsweise durch Drehen der Benutzerschnittstelle 2‘ bzw. Drehen der am Kopf getragenen Benutzerschnittstelle 2 und/oder Augenbewegung, in der Ansicht relativ zur Umgebung ortsfest, d.h. über dem entsprechenden Knoten, bleiben und sich somit ihre Position relativ zu einer Außenkontur der Ansicht verändert. Ihre Orientierung relativ zur Außenkontur der Ansicht bleibt dabei konstant.

Umgekehrt ist das virtuelle Objekt 140 in Fig. 4 relativ zur Außenkontur der Ansicht ortsfest in einer oberen rechten Ecke verankert und behält diese Position relativ zur Außenkontur der Ansicht auch bei, wenn sich die (Perspektive der) Ansicht 10 durch die oben beschriebene Drehung des Benutzers 3 ändert.

Fig. 5 zeigt eine Überlagerung eines Kamerabildes 20 mit einem virtuellen Objekt 150, das einen hindernisfreien Erreichbarkeitsbereich bzw. zulässigen Pfadbereich in Form einer einfarbigen virtuellen Bodenfläche repräsentiert, sowie virtuellen Objekten in Form von Laserscannerstrahlen 160.

Fig. 6 zeigt eine Überlagerung eines Kamerabildes 30 mit einem virtuellen Objekt 170, das einen Reservierungsbereich in Form einer einfarbigen virtuellen Bodenfläche repräsentiert, zwei virtuellen Objekten 180.1 , 180.2, die unterschiedlich( groß)e Sicherheitsbereiche in Form einfarbiger virtueller Bodenflächen repräsentieren, einem virtuellen Objekt 190, welches in vorstehend beschriebener Form einen Navigationsgraph bzw. -pfad für den mobilen und/oder kollaborativen Roboter 1 repräsentiert, von dem in Fig. 6 ein Knoten mit der Identifikationsnummer („Node ID“)

8 sichtbar ist, und einem virtuellen Objekt 200, das relativ zur Außenkontur der Ansicht ortsfest in einer oberen rechten Ecke verankert ist und Merkmale in Form virtueller Eingabeknöpfe aufweist.

Ein mit dem inneren Sicherheitsbereich kollidierender Umgebungsbereich wird automatisiert erfasst und durch ein eigenes virtuelles Objekt 210, welches mit diesem kollidierenden bzw. Schnittbereich verknüpft ist, sowie durch Einfärben des virtuellen Objektes 180.1 visualisiert.

In Fig. 6 ist zudem angedeutet, wie der Benutzer 3 den Knoten bzw. Pfad über den Touchscreen editieren, insbesondere seine Pose in der Umgebung verschieben kann. Die Benutzerschnittstelle 2 bzw. 2‘ übermittelt die entsprechenden (Änderungs)Daten an die Bahnplanung der Roboteranordnungssteuerung 1.1. Obwohl in der vorhergehenden Beschreibung exemplarische Ausführungen erläutert wurden, sei darauf hingewiesen, dass eine Vielzahl von Abwandlungen möglich ist. Außerdem sei darauf hingewiesen, dass es sich bei den exemplarischen Ausführungen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendungen und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung von mindestens einer exemplarischen Ausführung gegeben, wobei diverse Änderungen, insbesondere in Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt.

Bezuqszeichenliste

1 mobiler und/oder kollaborativer Roboter

1.1 Roboteranordnungssteuerung

2 MR-Maske/-Brille 2 Tablet

3 Benutzer

4.1 Umgebungsobjekt

4.2 Sensor 10-30 Kamerabild (Ansicht der Umgebung) 110-210 virtuelles Objekt S Sensor der Benutzerschnittstelle