Die Erfindung betrifft ein Bild- und / oder Videodatenvisualisierungssystem mit wenigstens einem Roboter, der genau eine operative digitale Kamera, wenigstens eine

Dateninformationsspeichereinheit und wenigstens eine

Dateninformationsverarbeitungseinheit, sowie eine Bild- und / oder Videoausgabe auf wenigstens zwei parallel arbeitenden Bildausgabevorrichtungen aufweist.

Als System, im Sinne der Erfindung, wird dabei die Gesamtheit der Module bezeichnet, die derart aufeinander bezogen oder miteinander verbunden sind und in einer Weise

wechselwirken, dass sie als zweckgebundene Einrichtung die im Weiteren gestellte Aufgabe lösen.

Der Stand der Technik zeigt eine Reihe von Beispielen für die Nutzung von Tauchrobotern für industrielle und wissenschaftliche Zwecke unter Einsatz von mehreren Videokameras, die teils auf Schwenk-Neigeköpfen montiert werden. Diese haben gemeinhin einen Bildwinkel von weniger als 64° im Falle von einfachen planen Druckfenstern und bei Anwendung von

Kugelfenstern, auch Domeport genannt, einen Wnkel von über 100°.

Derartige Tauchgänge von unbemannten Tauchrobotern werden i.d.R. von mehreren

Personen gleichzeitig aus der Ferne verfolgt. Dabei bedeutet das selektive Verfolgen einzelner Kameraeinstellungen auf unterschiedlichen Bildschirmen eine massive Einschränkung für die Beurteilung der optisch untersuchbaren Bereiche. Weiter wird durch das für alle Betrachter gleiche Blickfeld, welches durch die jeweilige gerichtete Kamera bestimmt wird, eine

Beeinträchtigung der Produktivität durch die Benutzer.

Dies wird häufig noch dadurch verstärkt, dass die Beleuchtung von Tauchrobotern nicht mit den jeweiligen Kameras in Blickrichtung mitschwenkt und daher ein Blickfeld ausgeleuchtet wird, welches selbst von schwenkbaren Kameras nicht erfasst wird.

Die Druckschrift DE 698 37 932 T2 zeigt ein Verfahren zur Erfassung von immersiven Bildern, wobei durch eine Transformation eines Teils von jeweils zwei total-immersiven Darstellungen durch eine Korrektur die Darstellung für jedes Auge eines Benutzers bereitgestellt wird.

Weiter ist aus der Druckschrift DE 10 2009 001 496 A1 eine Audio- Visionseinrichtung bekannt, die Bilder auf das Innere einer Kuppel projiziert.

Aus dem Projekt ARMARE ist ferner ein Augmented-Reality-Telepräsenz-System für die Tiefsee (2012) bekannt, bei dem ein Tauchroboter MARUM-QUEST zur Erforschung der Tiefsee verwendet wird. Dabei liefern meist kabeigeführte, ferngesteuerte Tauchroboter wie der MARUM-QUEST Daten, Das sogenannte RemoteSy Operated Vehicle, kurz ROV, kann bis zu 4.000 Meter tief tauchen und ist u.a. mit HD-Kameras ausgestattet. Sie senden Videos aus der Tiefsee über Glasfaserkabel an den Kontrolicontainer auf dem Forschungsschiff in dem ein Teiepräsenz-System eingesetzt wird. Es besteht aus einer aufrechten Kuppelprojektion mit einem horizontalen und vertikalen Winkel von 180°. Die Autokaiibrierungssoftware von Fraunhofer FOKUS sorgt dafür, dass die einzelnen Live-Biider des Tauchroboters pixeigenau auf der Leinwand zu sehen sind, so dass die Forscher im Kontrollcontainer eine ähnliche Sicht wie in einem U-Boot haben. Die Projektion wird mit den ortsgenauen GIS- _: Sonar- und weiteren Messdaien angereichert. Das Teiepräsenz-System verbessert zum einen die

Navigation des Tauchroboters. Den Wissenschaftlern ermöglicht die Kuppelprojektion ein größeres Sichtfeid. Durch die zusätzlichen ortsgenauen Messdaten, können interessante Punkte, wie hydrothermale Quellen am Meeresgrund, leichter (wieder-) gefunden werden. Fraunhofer FOKUS passt dafür seine Software zur automatischen Kalibrierung den

Bedingungen unter Wasser an und setzt diese in Augmented-Reaiity-Funktionen um.

Der Erfindung liegt die Aufgabe zugrunde, ein System zur Visualisierung von Bilddaten und / oder Videodaten im Einsatz mit Robotern bereitzustellen, wobei eine Steigerung der

Arbeitseffizienz bei gleichzeitiger Reduktion der verwendeten Hardware erzielt werden soll. Eine weitere Aufgabe soll diesbezüglich eine spezielle Anforderung sein, die ergänzend erfüllbar sein soll, nämlich den Einsatz der entsprechend mit dem System zur Visualisierung von Bilddaten und / oder Videodaten ausgestatteten Roboter in der See- und Tiefsee einzusetzen.

Diese Aufgabe wird durch die Bild- und / oder Videodatenvisualisierungssystem gemäß dem Hauptanspruch gelöst.

Das Bild- und / oder Videodatenvisualisierungssystem weist auf:

- wenigstens einen Roboter, der genau eine operative digitale Kamera aufweist,

- wenigstens eine Dateninformationsspeichereinheit und wenigstens eine

Dateninformationsverarbeitungseinheit, wobei die Dateninformationsspeichereinheit und / oder Dateninformationsverarbeitungseinheit die von der Kamera aufgenommenen Bild- und / oder Videodaten speichert und / oder verarbeitet, wobei die Bild- und / oder Videodaten wenigstens einer Schnittstelle für die Bild- und / oder Videoausgabe zur

Verfügung gestellt werden, wobei die Bild- und / oder Videoausgabe auf wenigstens zwei parallel arbeitenden Bildausgabevorrichtungen erfolgt, wobei die Bildausgabevorrichtungen ausgewählt sind aus:

- Display, Monitor, Bildschirm, Flachbildschirm, Anzeigewand, Projektionsdisplay,

- Virtual reality-Helm, Virtual reality-Brille, head-mounted Display,

- Augmented reality-Brille, -Helm und / oder -Display;

wobei die wenigstens zwei parallel arbeitenden Bildausgabevorrichtungen zeitlich und / oder räumlich jeweils unabhängige Bild- und / oder Videoinformationen aus den bereit gestellten Bild- und / oder Videodaten bereit stellen.

Mittels dieses Systems zur Visualisierung von Bilddaten und / oder Videodaten ist es möglich, das Bild einer einzigen Kamera zu prozessieren, so dass mehrere Betrachter des

aufgenommenen Bildes unterschiedliche Ausschnitte, Blickrichtungen und / oder

Informationen erhalten können, die rechnerisch den Benutzern zur Verfügung gestellt werden.

Insbesondere ist der Einsatz des Systems zur Visualisierung von Bilddaten und / oder

Videodaten in Verbindung mit Tauchrobotern für industrielle, aber auch Forschungszwecke in der Tiefsee besonders von Vorteil und entsprechend angezeigt. Unter Wasser wird durch dieses System die Arbeitseffizienz erheblich gesteigert. Insbesondere ist der Einsatz in der Unterwasserwirtschaft für Offshoreanlagenbau und -betrieb zu Kontrollzwecken besonders vorteilhaft, da ein kostengünstiges und einfach ausgebildetes System verwendet werden kann.

Gegenüber einer einzelnen Kameraperspektive bei herkömmlichen Kameras erlaubt dieses System eine beliebige Anzahl an gleichzeitig nutzbaren, virtuell emulierten Schwenk-/

Neigekameras. Das periphere Gesichtsfeld wird erweitert und erlaubt den Piloten sicheres Navigieren. Das hochauflösende, weitwinklige Bild eignet sich für die nachhaltige

Dokumentation und Zwecke der Öffentlichkeitsarbeit, z.B. Umformatierung als Großformatfilm.

Die Bilder eignen sich ferner als Datengrundlage für photogrammetrische Rekonstruktion des Meeresbodens, da der große Bildwinkel die Rekonstruktion anhand von gemeinsamen Featuremarken im Bild erleichtert und die hohe Auflösung in einer hohen räumlichen

Auflösung resultiert.

Das erfinderische System weist zur Visualisierung von Bilddaten und Videodaten im Einsatz mit Robotern insbesondere die folgenden Module auf, die auch als Einheiten bzw.

Untereinheiten bezeichnet werden.

Insbesondere können weitere Merkmale zusätzlich bevorzugt angeordnet sein:

Die Bild- und / oder Videoinformationen können mit zusätzlichen Bild- und / oder

Dateninformationen ergänzt werden, wobei diese zusätzlichen Bild- und / oder

Dateninformationen über die Bild- und / oder Videoinformationen legbar sind.

Die Bild- und / oder Videoinformationen liegen insbesondere im spektralen Bereich vom nahen infrarot bis ultraviolett.

Die Kamera weist insbesondere eine Optik auf, wobei die Optik ein rektilineares Weitwinkel- und / oder Fisheyeobjektiv mit einem Bildwinkelbereich größer als 180° oder 180° bis 240° aufweisen kann und die Optik ausgewählt ist aus: Fisheye oder Hyperfisheye. Ergänzend kann die Kamera eine hohe Auflösung und Bildrate aufweisen, vor allem im

Bereich von 60fps und ca. 5.000 x 5.000 Pixeln. Hierbei kann die Auflösung größer als 4.000 x 4.000 Pixel und / oder die Bildrate größer als / gleich 60fps sein.

Weiter können ergänzende Bilddaten und / oder Daten auf den Bildausgabevorrichtungen zusätzlich darstellbar sein, wobei diese ergänzenden Bilddaten und / oder Daten ausgewählt sind aus: Entfernung von mit der Kamera aufgenommenen Objekten, Lichtstärke, Orientierung und / oder Ausrichtung, Größenvergleiche, Auflösung, Standort, Position und / oder

Kommentare von Nutzern, wobei die Nutzer räumlich getrennt sind.

Die Dateninformationsspeichereinheit und / oder Dateninformationsverarbeitungseinheit ist gemeinsam mit der Kamera in dem Roboter angeordnet.

Die Kamera- und Visualisierungsanlage kann insbesondere eine immersive Telepräsenz in der robotischen Tiefseeforschung schaffen.

Das erfinderische System zur Visualisierung von Bilddaten und Videodaten im Einsatz mit Robotern geht hier neue Wege, indem ein einzelner Kamerakopf, es können ergänzend auch mehrere Kameras an einem Roboter installiert werden oder mehrere Roboter mit jeweils einem Kamerakopf Verwendung finden, zu einem System zusammengefasst werden, welches über ein rektilineares Weitwinkel- oder Fischaugenobjektiv von beispielsweise 180° bis zu 240° Bildwinkel verfügt und mit einem entsprechend ausgelegten Domeport versehen ist. Die Kamera selbst verfügt über eine deutlich höhere Auflösung (beispielsweise 5012 x 5012 Pixel) und eine höhere Bildrate (z.B. 60fps) als herkömmliche Anlagen und wird horizontal vorausblickend oder, im Falle mehrerer Kameras, überlappend in jedem Quadranten montiert.

Die beträchtlichen Datenmengen welche vom Kamerakopf erzeugt werden, beispielsweise im Bereich von 25Gbit/s werden in einem Rekorder verlustfrei aufgezeichnet und / oder an eine integrierte oder separate Echtzeit-Verarbeitungseinheit zur geeigneten immersiven Darstellung des Videobildes weitergegeben. Die Rekorder/ Verarbeitungskombination kann, je nach bereitgestellter Infrastruktur des Trägergerätes, insbesondere in Abhängigkeit der Bandbreite des Übertragungskabels, direkt auf dem Tauchroboter platziert werden, wobei dies

beispielsweise im Falle autonomer Geräte sinnvoll und effizient ist, oder an Bord des Schiffes vorgehalten werden, was ein geeignetes Modem, beispielsweise einen optischen Multiplexer / Demultiplexer, jeweils zwischen Kamera, Signalübertragung des Roboters und Deckseinheit an Bord erfordert.

Die Verarbeitungseinheit errechnet einen oder mehrere virtuelle Perspektivenausschnitte gleichzeitig aus dem hemisphärischen Fischaugenbild, welche mit verschiedenen immersiven bildgebenden Verfahren betrachtet werden können. Denkbar sind hierfür Monitore, gekrümmte Leinwände oder Kuppeln und dergleichen, insbesondere aber auch Head Mounted Displays, HMD, wie beispielsweise Oculus Rift oder Microsoft Hololens und dergleichen oder holographische Displays.

Die Orientierung des gezeigten Bildausschnittes wird interaktiv vom Betrachter festgelegt. Dies erfolgt entweder über motorische Feedbacksensoren am HMD oder über

Bedienelemente wie Touchscreens, Joysticks, Game Konsolen oder ähnliche Regler. Im Falle der Projektion des Gesamtbildes in eine Kuppel erfolgt kein Beschnitt des Gesichtsfeldes.

Das komplette Fischaugenbild oder eine Teilansicht kann ferner komprimiert oder

unkomprimiert per Satellit an Land übertragen werden und somit die Nutzeranzahl drastisch erhöht werden. Das aufgezeichnete Bild steht zur späteren Dokumentation und

Öffentlichkeitsarbeit zur Verfügung.

Insgesamt ergeben sich folgende Alleinstellungsmerkmale gegenüber dem Stand der Technik:

Gegenüber einer einzelnen Kameraperspektive bei herkömmlichen Kameras erlaubt dieses System eine beliebige Anzahl an gleichzeitig nutzbaren, virtuell emulierten

Schwenk-/Neigekameras.

- Das periphere Gesichtsfeld wird erweitert und erlaubt den Piloten bzw. Anwendern ein sicheres Navigieren.

Das hochauflösende, weitwinklige Bild eignet sich für die nachhaltige Dokumentation und Zwecke der Öffentlichkeitsarbeit, z.B. Umformatierung als Großformatfilm.

Die Bilder eignen sich ferner als Datengrundlage für photogrammetrische Rekonstruktion des Meeresbodens, da der große Bildwinkel die Rekonstruktion anhand von

gemeinsamen Featuremarken im Bild erleichtert und die hohe Auflösung in einer hohen räumlichen Auflösung resultiert.