Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD, SYSTEM AND COMPUTER PROGRAM PRODUCT FOR INTERACTIVE COMMUNICATION BETWEEN A MOVING OBJECT AND A USER
Document Type and Number:
WIPO Patent Application WO/2023/232605
Kind Code:
A1
Abstract:
The invention relates to a method for interactive communication between a moving object (10) and a user while travelling a route having a plurality of scenarios, wherein a scenario represents a traffic event in a temporal sequence, comprising: - capturing sensor data (350) of an environment of the moving object (10) by means of first sensors (340) of a sensor device (300) of the moving object (10); - generating at least one scenario from the sensor data (350) for the traffic event in the environment of the moving object (10); - capturing first user-specific data (250), in particular in the form of voice messages, text messages and/or images and/or capturing second user-specific data (290) in the form of measurement signals from second sensors (270); - generating a user-specific evaluation function (470) by means of a software application (450) from the first data (250) and the second data (290); - creating output data (770) by means of a software application (750) of the output module (700), wherein the software application (750) evaluates the generated scenarios with the evaluation function (470) and generates user-specific output data (770) therefrom; - outputting output data (770) to the user.

Inventors:
FUOSS KLAUS (DE)
Application Number:
PCT/EP2023/063969
Publication Date:
December 07, 2023
Filing Date:
May 24, 2023
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
PORSCHE EBIKE PERFORMANCE GMBH (DE)
International Classes:
B60W40/08; B60W50/14; G06N3/02; G06V20/58; G08G1/0962
Foreign References:
US20200239003A12020-07-30
US20170274907A12017-09-28
DE102011079703A12013-01-31
DE102020123976A12022-03-17
DE102020201956A12020-08-27
DE102018126410A12020-04-23
DE102018108589A12019-10-17
DE112018007324T52021-02-11
DE102019103716A12019-08-22
EP3025949A12016-06-01
DE10341890A12005-04-14
Attorney, Agent or Firm:
STURM, Christoph (DE)
Download PDF:
Claims:
Patentansprüche Verfahren zur interaktiven Kommunikation zwischen einem sich bewegenden Objekt (10) und einem Benutzer beim Befahren einer Route mit einer Vielzahl von Szenarien, wobei ein Szenario ein Verkehrsgeschehen in einer zeitlichen Sequenz darstellt, umfassend:

- Erfassen (S10) von Sensordaten (350) einer Umgebung des sich bewegenden Objekts (10) mittels erster Sensoren (340) einer Sensoreinrichtung (300) des sich bewegenden Objekts (10);

- Übermitteln (S20) der Sensordaten (350) an ein Szenarienmodul (500);

- Generieren (S30) zumindest eines Szenarios aus den Sensordaten (350) für das Verkehrsgeschehen in der Umgebung des sich bewegenden Objekts (10) mittels einer Softwareapplikation (550) des Szenarien- moduls (500) und Übermitteln des generierten Szenarios an ein Ausgabemodul (700);

- Erfassen (S40) von ersten benutzerspezifischen Daten (250) insbesondere in Form von Sprachnachrichten, Textnachrichten und/oder Bildern und/oder von zweiten benutzerspezifischen Daten (290) in Form von Messsignalen von zweiten Sensoren (270), wobei die ersten benutzerspezifischen Daten (250) mittels einer Benutzerschnittstelle (240) von einem Benutzer eingegeben werden, und wobei die zweiten Sensoren (270) insbesondere physiologische und/oder physische Parameter des Benutzers messen;

- Übermitteln (S50) der ersten Daten (250) und/oder der zweiten Daten (290) an ein Bewertungsmodul (400);

- Generieren (S60) einer benutzerspezifischen Bewertungsfunktion (470) mittels einer Softwareapplikation (450) aus den ersten Daten (250) und den zweiten Daten (290) und Übermitteln der benutzerspezifischen Bewertungsfunktion (470) an ein Ausgabemodul (700);

- Erstellen (S70) von Ausgabedaten (770) mittels einer Softwareapplikation (750) des Ausgabemoduls (700), wobei die Softwareapplikation (750) die generierten Szenarien mit der benutzerspezifischen Bewertungsfunktion (470) bewertet und daraus benutzerspezifische Ausgabedaten (770) generiert;

- Ausgeben (S80) der benutzerspezifischen Ausgabedaten (770) an den Benutzer. Verfahren nach Anspruch 1 , wobei die ersten Sensoren (340) der Sensoreinrichtung (300) ein oder mehrere Radarsysteme mit einem oder mehreren Radarsensoren, und/oder ein oder mehrere LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, und/oder ein oder mehrere bildaufnehmende 2D/3D-Kameras im sichtbaren Bereich und/oder im IR-Bereich und/oder im UV-Bereich, und/oder GPS-Systeme umfassen, und wobei ein oder mehrere der zweiten Sensoren (270) als Blutdruckmessgerät und/oder Herzfrequenzgerät und/oder Temperaturmessgerät und/oder Beschleunigungssensor und/oder Geschwindigkeitssensor und/oder kapazitiver Sensor und/oder induktiver Sensoren und/oder Spannungssensor ausgebildet ist/sind. Verfahren nach Anspruch 1 oder 2, wobei die Softwareapplikation (450) des Bewertungsmoduls (400) und/oder die Softwareapplikation (550) des Sze- narienmoduls (500) und/oder die Softwareapplikation (750) des Ausgabemoduls (700) Algorithmen der Künstlichen Intelligenz und des Maschinenlernens, insbesondere Deep Learning mit beispielsweise zumindest einem gefalteten neuronalen Netzwerk (engl.: convolutional neural network, CNN) und/oder zumindest einem Lernverstärkungs-Agenten (Reinforcement Learning Agent, LV) zur Generierung der benutzerspezifischen Bewertungsfunktion (470) und/oder zur Generierung von Szenarien aus den aufgenommenen Sensordaten (350) und/oder zur Generierung von Ausgabedaten (770) umfasst. Verfahren nach einem der Anspruch 1 bis 3, wobei für die Generierung der Ausgabedaten (770) weitere Daten aus einer Datenbank (850) verwendet werden. Verfahren nach einem der Ansprüche 1 bis 4, wobei das Bewertungsmodul (400), das Szenarienmodul (500) und das Ausgabemodul (700) in einer Cloud-Computing-Infrastruktur (800) integriert sind und für die Datenverbindung der Sensoreinrichtung (300) mit dem Szenarienmodul (500) bzw. der Cloud-Computing-Infrastruktur (800) und für die Datenverbindung des Eingabemoduls (200) mit dem Bewertungsmodul (400) bzw. der Cloud-Com- puting-lnfrastruktur (800) eine 5G-Mobilfunkverbindung oder 6G-Mobilfunk- verbindung verwendet wird für eine Datenübermittlung in Echtzeit. Verfahren nach einem der Ansprüche 1 bis 5, wobei eine erste Version der Bewertungsfunktion (470) in einer Trainingsphase mittels eines Trainingssatzes von benutzerspezifischen Daten (250, 290) erstellt wird. Verfahren nach einem der Ansprüche 1 bis 6, wobei es sich bei den Ausgabedaten (770) um Audiosequenzen insbesondere in Form von Sprachnachrichten, Warntönen und/oder Musiktiteln handelt. Verfahren nach einem der Ansprüche 1 bis 7, wobei die Szenarien mit La- beln bezeichnet werden für eine Klassifizierung durch die Bewertungsfunktion (470). System (100) zur interaktiven Kommunikation zwischen einem sich bewegenden Objekt (10) und einem Benutzer beim Befahren einer Route mit einer Vielzahl von Szenarien, wobei ein Szenario ein Verkehrsgeschehen in einer zeitlichen Sequenz darstellt, umfassend ein Eingabemodul (200), eine Sensoreinrichtung (300), ein Bewertungsmodul (400), ein Szenarienmodul (500), und ein Ausgabemodul (700); wobei die Sensoreinrichtung (300) ausgebildet ist, Sensordaten (350) einer Umgebung des sich bewegenden Objekts (10) mittels erster Sensoren (340) einer Sensoreinrichtung (300) des sich bewegenden Objekts (10) zu erfassen und die Sensordaten (350) an das Szenarienmodul (500) zu übermitteln; wobei das Szenarienmodul (500) ausgebildet ist, zumindest ein Szenario aus den Sensordaten (350) für das Verkehrsgeschehen in der Umgebung des sich bewegenden Objekts (10) mittels einer Softwareapplikation (550) zu generieren und das generierte Szenarios an ein Ausgabemodul (700) zu übermitteln; wobei das Eingabemodul (200) ausgebildet ist, erste benutzerspezifische Daten (250), insbesondere in Form von Sprachnachrichten, Textnachrichten und/oder Bildern, und/oder zweite benutzerspezifische Daten (290) in Form von Messsignalen von zweiten Sensoren (270) zu erfassen, wobei die ersten benutzerspezifischen Daten (250) mittels einer Benutzerschnittstelle (240) von einem Benutzer eingegeben werden, und wobei die zweiten Sensoren (270) insbesondere physiologische und/oder physische Parameter des Benutzers messen, und die ersten Daten (250) und/oder die zweiten Daten (290) an ein Bewertungsmodul (400) zu übermitteln; wobei das Bewertungsmodul (400) ausgebildet ist, eine benutzerspezifische Bewertungsfunktion (470) mittels einer Softwareapplikation (450) aus den ersten Daten (250) und den zweiten Daten (290) zu generieren und die benutzerspezifische Bewertungsfunktion (470) an das Ausgabemodul (700) zu übermitteln; wobei das Ausgabemodul (700) ausgebildet ist, Ausgabedaten (770) mittels einer Softwareapplikation (750) zu erstellen, wobei die Softwareapplikation (750) die generierten Szenarien mit der benutzerspezifischen Bewertungsfunktion (470) bewertet und daraus benutzerspezifische Ausgabedaten (770) generiert; und die benutzerspezifischen Ausgabedaten (770) direkt oder indirekt mittels einer Übertragungseinrichtung wie eines Mikrofons oder eines Kopfhörers an den Benutzer auszugeben. System (100) nach Anspruch 9, wobei die ersten Sensoren (340) der Sensoreinrichtung (300) ein oder mehrere Radarsysteme mit einem oder mehreren Radarsensoren, und/oder ein oder mehrere LIDAR-Systeme zur opti- sehen Abstands- und Geschwindigkeitsmessung, und/oder ein oder mehrere bildaufnehmende 2D/3D-Kameras im sichtbaren Bereich und/oder im IR-Bereich und/oder im UV-Bereich, und/oder GPS-Systeme umfassen, und wobei ein oder mehrere der zweiten Sensoren (270) als Blutdruckmessgerät und/oder Herzfrequenzgerät und/oder Temperaturmessgerät und/oder Beschleunigungssensor und/oder Geschwindigkeitssensor und/oder kapazitiver Sensor und/oder induktiver Sensoren und/oder Spannungssensor ausgebildet ist/sind. System (100) nach Anspruch 9 oder 10, wobei die Softwareapplikation (450) des Bewertungsmoduls (400) und/oder die Softwareapplikation (550) des Szenarienmoduls (500) und/oder die Softwareapplikation (750) des Ausgabemoduls (700) Algorithmen der Künstlichen Intelligenz und des Ma- schinenlernens, insbesondere Deep Learning mit beispielsweise zumindest einem gefalteten neuronalen Netzwerk (engl.: convolutional neural network, CNN) und/oder zumindest einem Lernverstärkungs-Agenten (Reinforcement Learning Agent, LV) zur Generierung der benutzerspezifischen Bewertungsfunktion (470) und/oder zur Generierung von Szenarien aus den aufgenommenen Sensordaten (350) und/oder zur Generierung von Ausgabedaten (770) umfasst, und/oder wobei für die Generierung der Ausgabedaten (770) weitere Daten aus einer Datenbank (850) verwendet werden. System (100) nach einem der Ansprüche 9 bis 11 , wobei das Bewertungsmodul (400), das Szenarienmodul (500) und das Ausgabemodul (700) in einer Cloud-Computing-Infrastruktur (800) integriert sind, und wobei für die Datenverbindung der Sensoreinrichtung (300) mit dem Szenarienmodul (500) bzw. der Cloud-Computing-Infrastruktur (800) und für die Datenverbindung des Eingabemoduls (200) mit dem Bewertungsmodul (400) bzw. der Cloud-Computing-Infrastruktur (800) eine 5G-Mobilfunkverbindung oder 6G-Mobilfunkverbindung verwendet wird für eine Datenübermittlung in Echtzeit. System (100) nach einem der Ansprüche 9 bis 12, wobei eine erste Version der Bewertungsfunktion (470) in einer Trainingsphase mittels eines Trainingssatzes von benutzerspezifischen Daten (250, 290) erstellt wird. System (100) nach einem der Ansprüche 9 bis 13, wobei es sich bei den Ausgabedaten (770) um Audiosequenzen insbesondere in Form von Sprachnachrichten, Warntönen und/oder Musiktiteln handelt. Computerprogrammprodukt (900), umfassend einen ausführbaren Programmcode (950), der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren nach einem der Ansprüche 1 bis 8 ausführt.

Description:
Verfahren, System und Computerprogrammprodukt zur interaktiven Kommunikation zwischen einem sich bewegenden Objekt und einem Benutzer

Die Erfindung betrifft ein Verfahren, ein System und ein Computerprogrammprodukt zur interaktiven Kommunikation zwischen einem sich bewegenden Objekt und einem Benutzer.

Es ist bekannt, dass Informationen zur Navigation eines Kraftfahrzeugs entlang einer Route mittels eines Navigationssystems auf einem Display in dem Kraftfahrzeug angezeigt werden. Zusätzlich werden weitere Informationen über ein Audiosystem als Sprachnachrichten ausgegeben. Auch für andere sich bewegende Objekte wie beispielsweise ein Fahrrad, insbesondere ein elektrisches Fahrrad, sind Navigationssysteme bekannt, deren bereitgestellten Informationen auf einem Display angezeigt werden. Allerdings ist es für einen Benutzer eines Fahrrades oft schwierig, die Informationen auf dem Display korrekt abzulesen, da beispielsweise Blendeffekte durch eine Sonneneinstrahlung auftreten oder eine Fahrsituation wie beispielsweise das Befahren eines Waldwegs die gesamte Aufmerksamkeit des Fahrradfahrers beansprucht. Es wäre in einer solchen Situation für einen Fahrradfahrer hilfreich, die erforderlichen Navigationsinformationen in erster Linie in Form von Audioinformationen zu erhalten, wobei diese neben direkten Sprachnachrichten auch Warnsignale oder an eine spezifische Fahrsituation angepasste Musikuntermalungen beinhalten können.

Zudem wäre es wünschenswert, wenn die präsentierten Informationen während des Befahrens einer Route sich stärker den Bedürfnissen des jeweiligen Benutzers orientierten. So gibt es Fahrradfahrer, die eine sehr detaillierte Unterstützung durch Navigationsinformationen wünschen, während anderen beispielsweise allein eine Unterstützung in Extremsituationen ausreicht. Insbesondere der Musikgeschmack ist bei verschiedenen Fahrradfahrern sehr unterschiedlich ausgeprägt. Der sich zudem die Umgebung während des Befahrens einer Route ändert, beispielsweise von einer belebten Straße am Stadtrand zu einem Waldweg, kann die Atmosphäre der Umgebung einen Einfluss auf die Vorlieben eines Fahrradfahrers haben. Daher kann es erstrebenswert sein, eine Synchronizität zwischen der Umgebung und einem Musikstück herzustellen. So werden epische Klänge beispielsweise beim Passieren von besonderen Schauplätzen wie einer hochgelegenen Brücke über einem Tal oder beim Herausfahren aus einem Tunnel geschätzt, während beim Befahren eines Waldabschnitts moderate und leise Klänge besser passen.

Darüber hinaus sind Anwendungen einer verbesserten Kommunikation bei anderen sich bewegenden Objekten wünschenswert. So sind Personen mit Sehbehinderungen auf Audionachrichten angewiesen, um sich in einer Umgebung zurechtzufinden. Bisherige Unterstützungsvorrichtungen, wie beispielsweise Rollatoren, weisen jedoch weder die erforderliche Sensorik zur Erfassung der Umgebung noch eine zufriedenstellende interaktive Kommunikationsvorrichtung auf. Aber gerade in diesem Bereich ist es wünschenswert zur Erhöhung der Sicherheit eines Benutzers, die Umgebung sicher zu erfassen und entsprechende Warnhinweise dem Benutzer insbesondere mittels einer Sprachnachricht in Echtzeit zu übermitteln. Und auch hier gibt es unterschiedliche Bedürfnisse von Benutzern hinsichtlich der Quantität und Qualität von Audionachrichten.

Ein weiteres Anwendungsgebiet sind Flurfahrzeuge in der Produktion, die durch eine individualisierte Kommunikation effizienter und sicherer eingesetzt werden könnten.

Es besteht daher der Bedarf nach einer individuellen Gestaltung der Kommunikation zwischen einem Benutzer und einem Navigationssystem eines sich bewegenden Objekts bzw. der Audioumgebung eines Benutzers, da hierdurch sowohl das Fahrerlebnis bzw. Bewegungserlebnis als auch die Sicherheit erhöht werden können.

Die DE 10 2020 201956 A1 offenbart eine Bestimmungsvorrichtung, welche anhand von Fahrinformationen den physischen Zustand des Fahrers bestimmt. Die Informationen können über ein Display, einen Lautsprecher oder über eine Schnittstelle ausgegeben werden. Zudem ist ein Lernmodell für maschinelles Lernen integriert.

Die DE 10 2018 126410 A1 offenbart eine Benutzerschnittstelle für ein Fahrzeug, welches Ausgabeereignisse erkennt und Basisinformationen zu einer Fahrzeugfunktion ausgibt. Außerdem können über die Schnittstelle Zusatzinformationen von außerhalb des Fahrzeugs befindlichen Geräten bezogen werden.

Die DE 10 2018 108589 A1 offenbart eine Fahrradbaugruppe, welche über einen Lautsprecher Informationen über den Betriebszustand der Fahrradkomponenten ausgibt und Geräuschsignale zur Steuerung verwendet.

Die DE 11 2018 007324 T5 offenbart eine ECU, welche in der Lage ist, dem Fahrer Informationen als Sprachnachrichten zu übermitteln.

Die DE 10 2019 103716 A1 offenbart eine Steuervorrichtung, welche biometrische Informationen wie beispielsweise Spracheingaben zur Authentifizierung verwendet.

Die EP 3025949 A1 offenbart ein Fahrrad, bei dem Informationen als Sprachnachrichten eingegeben bzw. ausgegeben werden können.

Die DE 10341890 A1 offenbart einen Fahrradcomputer, welcher mittels einer Sprachnachricht gesteuert werden kann.

Eine Aufgabe der vorliegenden Erfindung besteht daher darin, Möglichkeiten einer interaktiven und auf die individuellen Bedürfnisse eines Benutzers abgestimmte Kommunikation zwischen einem sich bewegenden Objekt und dem Benutzer beim Befahren einer Route anzugeben, um dadurch die Sicherheit und den Komfort während des Befahrens der Route mit dem sich bewegenden Objekt zu verbessern. Diese Aufgabe wird hinsichtlich eines Verfahrens durch die Merkmale des Patentanspruchs 1 , hinsichtlich eines Systems durch die Merkmale des Patentanspruchs 9, und hinsichtlich eines Computerprogrammprodukt durch die Merkmale des Patentanspruchs 15 erfindungsgemäß gelöst. Die weiteren Ansprüche betreffen bevorzugte Ausgestaltungen der Erfindung.

Gemäß einem ersten Aspekt stellt die Erfindung ein Verfahren zur interaktiven Kommunikation zwischen einem sich bewegenden Objekt und einem Benutzer beim Befahren einer Route mit einer Vielzahl von Szenarien bereit. Ein Szenario stellt ein Verkehrsgeschehen in einer zeitlichen Sequenz dar. Das Verfahren umfasst die Verfahrensschritte:

- Erfassen von Sensordaten einer Umgebung des sich bewegenden Objekts mittels erster Sensoren einer Sensoreinrichtung des sich bewegenden Objekts;

- Übermitteln der Sensordaten an ein Szenarienmodul;

- Generieren zumindest eines Szenarios aus den Sensordaten für das Verkehrsgeschehen in der Umgebung des sich bewegenden Objekts mittels einer Softwareapplikation des Szenarienmoduls und Übermitteln des generierten Szenarios an ein Ausgabemodul;

- Erfassen von ersten benutzerspezifischen Daten, insbesondere in Form von Sprachnachrichten, Textnachrichten und/oder Bildern, und/oder von zweiten benutzerspezifischen Daten in Form von Messsignalen von zweiten Sensoren, wobei die ersten benutzerspezifischen Daten mittels einer Benutzerschnittstelle von einem Benutzer eingegeben werden, und wobei die zweiten Sensoren insbesondere physiologische und/oder physische Parameter des Benutzers messen;

- Übermitteln der ersten Daten und/oder der zweiten Daten an ein Bewertungsmodul;

- Generieren einer benutzerspezifischen Bewertungsfunktion mittels einer Softwareapplikation aus den ersten Daten und den zweiten Daten und Übermitteln der benutzerspezifischen Bewertungsfunktion an ein Ausgabemodul; - Erstellen von Ausgabedaten mittels einer Softwareapplikation des Ausgabemoduls, wobei die Softwareapplikation die generierten Szenarien mit der benutzerspezifischen Bewertungsfunktion bewertet und daraus benutzerspezifische Ausgabedaten generiert;

- Ausgeben der benutzerspezifischen Ausgabedaten an den Benutzer.

In einer vorteilhaften Weiterbildung ist vorgesehen, dass die ersten Sensoren der Sensoreinrichtung ein oder mehrere Radarsysteme mit einem oder mehreren Radarsensoren, und/oder ein oder mehrere LIDAR-Systeme zur optischen Abstandsund Geschwindigkeitsmessung, und/oder ein oder mehrere bildaufnehmende 2D/3D-Kameras im sichtbaren Bereich und/oder im IR-Bereich und/oder im UV- Bereich, und/oder GPS-Systeme umfassen, und wobei ein oder mehrere der zweiten Sensoren als Blutdruckmessgerät und/oder Herzfrequenzgerät und/oder Temperaturmessgerät und/oder Beschleunigungssensor und/oder Geschwindigkeitssensor und/oder kapazitiver Sensor und/oder induktiver Sensoren und/oder Spannungssensor ausgebildet ist/sind.

In einer vorteilhaften Ausführungsform ist vorgesehen, dass die Softwareapplikation des Bewertungsmoduls und/oder die Softwareapplikation des Szenarienmo- duls und/oder die Softwareapplikation des Ausgabemoduls Algorithmen der Künstlichen Intelligenz und des Maschinenlernens, insbesondere Deep Learning mit beispielsweise zumindest einem gefalteten neuronalen Netzwerk (engl.: convolutional neural network, CNN) und/oder zumindest einem Lernverstärkungs-Agenten (Reinforcement Learning Agent, LV) zur Generierung der benutzerspezifischen Bewertungsfunktion und/oder zur Generierung von Szenarien aus den aufgenommenen Sensordaten und/oder zur Generierung von Ausgabedaten umfasst.

In einer weiteren Ausführungsform ist vorgesehen, dass für die Generierung der Ausgabedaten weitere Daten aus einer Datenbank verwendet werden.

Vorteilhafterweise ist vorgesehen, dass das Bewertungsmodul, das Szenarienmo- dul und das Ausgabemodul in einer Cloud-Computing-Infrastruktur integriert sind. Insbesondere wird für die Datenverbindung der Sensoreinrichtung mit dem Szena- rienmodul bzw. der Cloud-Computing-Infrastruktur und für die Datenverbindung des Eingabemoduls mit dem Bewertungsmodul bzw. der Cloud-Computing-Infra- struktur eine 5G-Mobilfunkverbindung oder 6G-Mobilfunkverbindung verwendet für eine Datenübermittlung in Echtzeit.

In der Weiterentwicklung ist vorgesehen, dass eine erste Version der Bewertungsfunktion in einer Trainingsphase mittels eines Trainingssatzes von benutzerspezifischen Daten erstellt wird.

In einer vorteilhaften Ausführungsform ist vorgesehen, dass es sich bei den Ausgabedaten um Audiosequenzen insbesondere in Form von Sprachnachrichten, Warntönen und/oder Musiktiteln handelt.

Insbesondere ist vorgesehen, dass die Szenarien mit Labeln bezeichnet werden für eine Klassifizierung durch die Bewertungsfunktion.

Gemäß einem zweiten Aspekt stellt die Erfindung ein System zur interaktiven Kommunikation zwischen einem sich bewegenden Objekt und einem Benutzer beim Befahren einer Route mit einer Vielzahl von Szenarien bereit. Ein Szenario stellt ein Verkehrsgeschehen in einer zeitlichen Sequenz dar. Das System umfasst ein Eingabemodul, eine Sensoreinrichtung, ein Bewertungsmodul, ein Szenarien- modul und ein Ausgabemodul. Die Sensoreinrichtung ist ausgebildet, Sensordaten einer Umgebung des sich bewegenden Objekts mittels erster Sensoren zu erfassen und die Sensordaten an das Szenarienmodul zu übermitteln. Das Szenarien- modul ist ausgebildet, zumindest ein Szenario aus den Sensordaten für das Verkehrsgeschehen in der Umgebung des sich bewegenden Objekts mittels einer Softwareapplikation zu generieren und das generierte Szenario an das Ausgabemodul zu übermitteln. Das Eingabemodul ist ausgebildet, erste benutzerspezifische Daten, insbesondere in Form von Sprachnachrichten, Textnachrichten und/oder Bildern, und/oder zweite benutzerspezifische Daten in Form von Messsignalen von zweiten Sensoren zu erfassen, und die ersten Daten und/oder die zweiten Daten an ein Bewertungsmodul zu übermitteln, wobei die ersten benutzerspezifischen Daten mittels einer Benutzerschnittstelle von einem Benutzer eingegeben werden, und wobei die zweiten Sensoren insbesondere physiologische und/oder physische Parameter des Benutzers messen. Das Bewertungsmodul ist ausgebildet, eine benutzerspezifische Bewertungsfunktion mittels einer Softwareapplikation aus den ersten Daten und den zweiten Daten zu generieren und die benutzerspezifische Bewertungsfunktion an das Ausgabemodul zu übermitteln. Das Ausgabemodul ist ausgebildet, Ausgabedaten mittels einer Softwareapplikation zu erstellen, wobei die Softwareapplikation die generierten Szenarien mit der benutzerspezifischen Bewertungsfunktion bewertet und daraus benutzerspezifische Ausgabedaten generiert, und die benutzerspezifischen Ausgabedaten direkt oder indirekt mittels einer Übertragungseinrichtung wie eines Mikrofons oder eines Kopfhörers an den Benutzer auszugeben.

In einer vorteilhaften Weiterbildung ist vorgesehen, dass die ersten Sensoren der Sensoreinrichtung ein oder mehrere Radarsysteme mit einem oder mehreren Radarsensoren, und/oder ein oder mehrere LIDAR-Systeme zur optischen Abstandsund Geschwindigkeitsmessung, und/oder ein oder mehrere bildaufnehmende 2D/3D-Kameras im sichtbaren Bereich und/oder im IR-Bereich und/oder im UV- Bereich, und/oder GPS-Systeme umfassen, und wobei ein oder mehrere der zweiten Sensoren als Blutdruckmessgerät und/oder Herzfrequenzgerät und/oder Temperaturmessgerät und/oder Beschleunigungssensor und/oder Geschwindigkeitssensor und/oder kapazitiver Sensor und/oder induktiver Sensoren und/oder Spannungssensor ausgebildet ist/sind.

In einer vorteilhaften Ausführungsform ist vorgesehen, dass die Softwareapplikation des Bewertungsmoduls und/oder die Softwareapplikation des Szenarienmo- duls und/oder die Softwareapplikation des Ausgabemoduls Algorithmen der Künstlichen Intelligenz und des Maschinenlernens, insbesondere Deep Learning mit beispielsweise zumindest einem gefalteten neuronalen Netzwerk (engl.: convolutional neural network, CNN) und/oder zumindest einem Lernverstärkungs-Agenten (Reinforcement Learning Agent, LV) zur Generierung der benutzerspezifischen Bewertungsfunktion und/oder zur Generierung von Szenarien aus den aufgenommenen Sensordaten und/oder zur Generierung von Ausgabedaten umfasst,.

Insbesondere werden für die Generierung der Ausgabedaten weitere Daten aus einer Datenbank verwendet.

In einer weiteren Ausführungsform ist vorgesehen, dass das Bewertungsmodul, das Szenarienmodul und das Ausgabemodul in einer Cloud-Computing-Infrastruk- tur integriert sind.

Vorteilhafterweise wird für die Datenverbindung der Sensoreinrichtung mit dem Szenarienmodul bzw. der Cloud-Computing-Infrastruktur und für die Datenverbindung des Eingabemoduls mit dem Bewertungsmodul bzw. der Cloud-Computing- Infrastruktur eine 5G-Mobilfunkverbindung oder 6G-Mobilfunkverbindung verwendet für eine Datenübermittlung in Echtzeit.

In einer Weiterentwicklung ist vorgesehen, dass eine erste Version der Bewertungsfunktion in einer Trainingsphase mittels eines Trainingssatzes von benutzerspezifischen Daten erstellt wird.

Vorteilhaftweise handelt es sich bei den Ausgabedaten um Audiosequenzen insbesondere in Form von Sprachnachrichten, Warntönen und/oder Musiktiteln.

Gemäß einem dritten Aspekt betrifft die Erfindung ein Computerprogrammprodukt, umfassend einen ausführbaren Programmcode, der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt ausführt.

Nachfolgend wird die Erfindung anhand eines in der Zeichnung dargestellten Ausführungsbeispiels näher erläutert. Dabei zeigt:

Figur 1 ein Blockdiagramm zur Erläuterung eines Ausführungsbeispiels eines erfindungsgemäßen Systems;

Figur 2 ein Flussdiagramm zur Erläuterung der einzelnen Verfahrensschritte eines erfindungsgemäßen Verfahrens;

Figur 3 ein Computerprogrammprodukt gemäß einer Ausführungsform des dritten Aspekts der Erfindung.

Zusätzliche Merkmale, Aspekte und Vorteile der Erfindung oder ihrer Ausführungsbeispiele werden durch die ausführliche Beschreibung in Verbindung mit den Ansprüchen ersichtlich.

Fig. 1 zeigt ein erfindungsgemäßes System 100 zur interaktiven Kommunikation zwischen einem sich bewegenden Objekt 10 und einem Benutzer. Das System 100 umfasst das sich bewegende Objekt 10 und mehrere Module, die sowohl integrierte oder zugeordnete Prozessoren und/oder Speichereinheiten umfassen können.

Insbesondere handelt es sich bei dem sich bewegenden Objekt 10 um ein elektrisches Fahrrad. Es kann sich aber auch um ein Kraftfahrzeug, ein autonom fahrendes Kraftfahrzeug, ein landwirtschaftliches Fahrzeug wie ein Mähdrescher, ein Roboter in der Produktion oder in Service- und Pflegeeinrichtungen, oder um ein Wasserfahrzeug oder um ein Flugobjekt wie ein Flugtaxi handeln. In einer Ausführungsform kann es sich bei dem sich bewegenden Objekt 10 auch um eine Hilfsvorrichtung für Menschen mit Sehbehinderungen handeln, um sich entlang einer Route sicher zu bewegen, wie beispielsweise in Form eines Rollators oder einer ähnlichen Rollvorrichtung. Das sich bewegende Objekt 10 wird beim Befahren einer Route von einem Benutzer als Fortbewegungsmittel oder als Unterstützungsmittel verwendet. So dient beispielsweise ein Fahrrad einem Benutzer, d. h. dem Fahrradfahrer, als Fortbewegungsmittel. Das System 10 umfasst des Weiteren ein Eingabemodul 200, eine am oder mit dem Objekt 10 verbundene Sensoreinrichtung 300, ein Bewertungsmodul 400, ein Szenarienmodul 500 und ein Ausgabemodul 700.

Unter einem „Modul“ kann daher im Zusammenhang mit der Erfindung beispielsweise ein Prozessor und/oder eine Speichereinheit zum Speichern von Programmbefehlen verstanden werden. Beispielsweise ist das Modul speziell dazu eingerichtet, die Programmbefehle derart auszuführen, um das erfindungsgemäße Verfahren oder einen Schritt des erfindungsgemäßen Verfahrens zu implementieren oder zu realisieren.

Unter einem „Prozessor“ kann im Zusammenhang mit der Erfindung beispielsweise eine Maschine oder eine elektronische Schaltung oder ein leistungsfähiger Computer verstanden werden. Bei einem Prozessor kann es sich insbesondere um einen Hauptprozessor (engl. Central Processing Unit, CPU), einen Mikroprozessor oder einen Mikrocontroller, beispielsweise eine anwendungsspezifische integrierte Schaltung oder einen digitalen Signalprozessor, möglicherweise in Kombination mit einer Speichereinheit zum Speichern von Programmbefehlen, etc. handeln. Auch kann unter einem Prozessor ein virtualisierter Prozessor, eine virtuelle Maschine oder eine Soft-CPU verstanden werden. Es kann sich beispielsweise auch um einen programmierbaren Prozessor handeln, der mit Konfigurationsschritten zur Ausführung des genannten erfindungsgemäßen Verfahrens ausgerüstet wird oder mit Konfigurationsschritten derart konfiguriert ist, dass der programmierbare Prozessor die erfindungsgemäßen Merkmale des Verfahrens, der Komponente, der Module, oder anderer Aspekte und/oder Teilaspekte der Erfindung realisiert. Außerdem können hochparallele Recheneinheiten und leistungsfähige Grafikmodule vorgesehen sein.

Unter einer „Speichereinheit“ oder „Speichermodul“ und dergleichen kann im Zusammenhang mit der Erfindung beispielsweise ein flüchtiger Speicher in Form von Arbeitsspeicher (engl. Random-Access Memory, RAM) oder ein dauerhafter Spei- eher wie eine Festplatte oder ein Datenträger oder z. B. ein wechselbares Speichermodul verstanden werden. Es kann sich bei dem Speichermodul aber auch um eine cloudbasierte Speicherlösung handeln.

Die Sensoreinrichtung 300 des sich bewegenden Objekts 10 umfasst Sensoren 340, die Sensordaten 350 von der Umgebung des Objekts 10 wie Straßenmarkierungen, Fahrzeuge, Personen, Leitplanken, etc. erfassen und an das Szenarien- modul 500 übermitteln.

Unter Sensordaten 350 sind im Zusammenhang mit der Erfindung sowohl Rohdaten als auch bereits aufbereitete Daten aus den Messergebnissen der Sensoren 350 sowie gegebenenfalls weiteren Datenquellen zu verstehen.

Die Sensoren 340 der Sensoreinrichtung 300 können insbesondere ein oder mehrere Radarsysteme mit einem oder mehreren Radarsensoren, ein oder mehrere LIDAR-Systeme (engl.: Light Detection and Ranging) zur optischen Abstands- und Geschwindigkeitsmessung, ein oder mehrere bildaufnehmende 2D/3D-Kameras im sichtbaren Bereich, aber auch im IR- und UV-Bereich, und/oder GPS-Systeme umfassen.

Insbesondere ist die 2D/3D-bildaufnehmende Kamera als RGB-Kamera im sichtbaren Bereich mit den Grundfarben Blau, Grün und Rot ausgebildet. Es kann aber auch noch zusätzlich eine UV-Kamera im ultravioletten Bereich und/oder eine IR- Kamera im infraroten Bereich vorgesehen sein. Die sich durch ihr Aufnahmespektrum unterscheidenden Kameras können somit unterschiedliche Lichtverhältnisse in dem Aufnahmebereich Modellen. Des Weiteren ist vorgesehen, dass eine 3D- Kamera als Stereokamera ausgebildet ist.

Die Aufnahmefrequenz der Sensoreinrichtung 300 ist insbesondere für schnelle Geschwindigkeiten des Objekts 10 ausgelegt und kann Sensordaten 350 mit einer hohen Bildaufnahmefrequenz aufzunehmen. Des Weiteren kann die Sensorein- richtung 300 für die Erfassung von akustischen Signalen mit einem Mikrofon ausgestattet sein. Hierdurch können Abrollgeräusche von Reifen oder Motorgeräusche aufgenommen werden.

Zudem kann vorgesehen sein, dass die Sensoreinrichtung 300 automatisch den Bildaufnahmeprozess dann startet, wenn sich eine flächenmäßig signifikante Änderung im Aufnahmebereich der Sensoreinrichtung 300 ergibt, beispielsweise wenn eine deutliche Änderung einer Verkehrssituation erkennbar ist. Hierdurch wird ein selektiver Datenerfassungsprozess ermöglicht und nur relevante Sensordaten 350 werden von dem Szenarienmodul 500 verarbeitet. Hierdurch können Rechenkapazitäten effizienter genutzt werden.

Insbesondere ist vorgesehen, als Kameratyp für eine oder mehrere Kameras eine wetterfeste Action-Kamera zu verwenden, die insbesondere im Außenbereich des Objekts 10 angeordnet sein kann. Eine Action-Kamera verfügt über weitwinkelige Fischaugen-Objektive, wodurch es möglich ist, einen sichtbaren Radius von ca. 180° zu erreichen. Hierdurch kann eine vorausliegende Fahrbahn umfassend abgebildet werden. Action-Kameras können üblicherweise Videos in Full HD (1 .920 x 1.080 Pixel) aufzeichnen, jedoch können auch Action-Kameras in Ultra HD bzw. 4K (mindestens 3.840 x 2.160 Pixel) eingesetzt werden, wodurch sich eine deutliche Qualitätssteigerung in der Bildqualität ergibt. Die Bildaufnahmefrequenz beträgt üblicherweise 60 Bilder pro Sekunde in 4K und bis zu 240 pro Sekunde in Full HD. Außerdem kann noch ein integrierter Bildstabilisator vorgesehen sein. Zudem sind Action-Kameras häufig mit einem integrierten Mikrofon ausgestattet. Um Hintergrundgeräusche gezielt auszublenden, können darüber hinaus Verfahren der differentiellen Signalverarbeitung verwendet werden.

Die Anbringungsposition einer Kamera an dem Objekt 10 bestimmt, welcher Aufnahmebereich von der Kamera aufgenommen werden kann. Es kann insbesondere vorgesehen sein, dass die Aufnahmebereiche von zwei oder mehr Kameras sich überlappen, um beispielsweise im Rahmen der weiteren Bildverarbeitung eine Panoramadarstellung zu erzeugen. Hierdurch kann die räumliche Umgebung ei- nes sich bewegenden Objekts 10 umfassend erfasst werden. Neben dem anzustrebenden Aufnahmebereich sind allerdings bei einem Objekt 10 wie einem Fahrrad auch die technisch möglichen Anbringungspositionen und eine sinnvolle Integration in das Design des Rahmens zu berücksichtigen.

Radarsensoren können für längere Strecken bis zu 250 Meter verwendet werden und haben den Vorteil, gegenüber Wetter- und Lichtverhältnissen unabhängig zu sein. Die Leistungsfähigkeit eines Radars hängt von vielen Faktoren ab wie den gewählten Hardwarekomponenten, der Softwareverarbeitung und dem Radarecho. So ist beispielsweise die Radargenauigkeit bei einem geringeren Signal- Rausch-Verhältnis weniger präzise als bei einem hohen Signal-Rausch-Verhältnis. Zudem ist die Einbauposition entscheidend für eine hohe Leistungsfähigkeit eines Radarsensors, da sich Effekte wie eine Mehrwegeausbreitung und eine Verzerrung durch Abdeckungen auf die Detektionsgenauigkeit auswirken.

Neben bildaufnehmenden Kameras und Radarsensoren stellen LIDAR-Sensoren einen wichtigen Sensortyp für die Wahrnehmung der Umgebung für sich bewegende Objekte 10 dar. Wie mit Kameras und Radarsensoren kann das Umfeld aufgenommen werden und Abstände zu anderen Umgebungsobjekten gemessen werden. Insbesondere 3D-LIDAR-Sensoren können detaillierte Informationen über ein Umgebungsobjekt aufnehmen durch eine hohe Abtastrate. Im Vergleich zu Radarsensoren zeichnen sich LIDAR-Sensoren durch eine höhere Orts- und Tiefenauflösung aus. Bei LIDAR-Sensoren wird zwischen einem mechanischem Scan- ning-LIDAR mit mechanisch rotierenden Bauteilen für das Scannen eines Laserstrahls und einem SSL-LIDAR (engl. Solid State Lidar) ohne bewegliche Komponenten unterschieden. Ein SLL-LIDAR-System besteht typischerweise aus einer Laserquelle bzw. einer Laserdiode, optischen Elementen wie Linsen und Diffusoren, Strahlsteuerungselementen, Photodetektoren und Signalverarbeitungseinheiten. Der Aufnahmebereich von SLL-LIDAR ist kleiner, aber die Kosten sind geringer und die Zuverlässigkeit ist höher. Des Weiteren ist vorteilhafterweise eine GPS-Verbindung vorgesehen, um den geographischen Standort des Objekts 10 zu ermitteln und diesen den aufgenommenen Sensordaten 350 zuzuordnen.

Die von der Sensoreinrichtung 300 erfassten Sensordaten 350 der Umgebung des Objekts 10 werden mittels Datenverbindungen an das Szenarienmodul 500 weitergegeben, um aus den Sensordaten 350 ein Szenario abzuleiten. Da sich das Szenarienmodul 500 nicht in bzw. an dem sich bewegenden Objekt 10 befinden muss, ist insbesondere eine drahtlose Datenverbindung vorgesehen, die beispielsweise als Mobilfunkverbindung und/oder einer Nahfelddatenverbindung wie Bluetooth®, Ethernet, NFC (near field communication) oder Wi-Fi® ausgebildet sein kann.

Insbesondere ist vorgesehen, dass das Szenarienmodul 500 in einer Cloud-Com- puting-lnfrastruktur 800 integriert ist. Hierdurch kann eine schnelle Berechnung gewährleistet werden, da cloudbasierte Lösungen den Vorteil von hohen und damit schnellen Rechenleistungen bieten. Für die Kommunikation der Sensoreinrichtung 300 mit dem Szenarienmodul 500 bzw. der Cloud-Computing-Infrastruktur 800 wird insbesondere eine 5G-Mobilfunkverbindung oder 6G-Mobilfunkverbin- dung verwendet, da auf diese Weise eine Datenübermittlung in Echtzeit erfolgen kann. Die Sensoreinrichtung 300 ist hierfür mit den entsprechenden Mobilfunkmodulen ausgestattet.

5G ist der Mobilfunkstandard der fünften Generation und zeichnet sich im Vergleich zum 4G-Mobilfunkstandard durch höhere Datenraten bis zu 10 Gbit/sec, der Nutzung höherer Frequenzbereiche wie beispielsweise 2100, 2600 oder 3600 Megahertz, eine erhöhte Frequenzkapazität und damit einen erhöhten Datendurchsatz und eine Echtzeitdatenübertragung aus, da bis zu eine Million Geräte pro Quadratkilometer gleichzeitig ansprechbar sind. Die Latenzzeiten betragen wenige Millisekunden bis unter 1 ms, so dass Echtzeitübertragungen von Daten und von Berechnungsergebnissen möglich sind. Daher können die von der Sensoreinrichtung 300 aufgenommenen Sensordaten 350 in Echtzeit an das Szenarienmodul 500 weitergeleitet werden. Durch die Integration des Szenarienmoduls 500 in einer Cloud-Computing-Infra- struktur 800 in Verbindung mit einer 5G-Mobilfunkverbindung kann somit eine Verarbeitung der von der Sensoreinrichtung 300 aufgenommenen Sensordaten 350 in Echtzeit sichergestellt werden. Um die Verbindung zu der Cloud-Computing-Infra- struktur 800 mittels einer Mobilfunkverbindung zu schützen, sind insbesondere kryptographische Verschlüsselungsverfahren vorgesehen.

Das Szenarienmodul 500 weist eine Softwareapplikation 550 auf, die aus den während eines bestimmten Zeitabschnitts aufgenommenen Sensordaten 350 ein Szenario 370 bestimmt. Als Szenario wird im Rahmen der Erfindung ein Verkehrsgeschehen in einer zeitlichen Sequenz bezeichnet. Ein Beispiel für ein Szenario ist das Befahren eines Waldweges, einer Straße im Stadtverkehr, einer Brücke, das Abbiegen auf einer Abbiegespur, das Durchfahren eines Tunnels, das Einbiegen in einen Kreisverkehr oder das Halten vor einem Fußgängerübergang. Darüber hinaus können spezifische Sichtverhältnisse beispielsweise aufgrund der Dämmerung oder einer hohen Sonnenlichteinstrahlung sowie Umweltbedingungen wie das Wetter und die Jahreszeit, das Verkehrsaufkommen sowie bestimmte geographische topographische Verhältnisse ein Szenario beeinflussen.

Ein Szenario kann beispielsweise durch verschiedene Parameter und zugehörige Parameterwerte definiert werden. Die Parameterwerte legen den Wertebereich eines Parameters fest. Die Parameter umfassen beispielsweise ein bewegliches Objekt wie ein Kraftfahrzeug, ein unbewegliches Objekt wie ein Gebäude, eine Straßenkonfiguration wie eine Autobahn, eine Geschwindigkeit, ein Straßenschild, eine Ampel, einen Tunnel, einen Kreisverkehr, eine Abbiegespur, eine Beschleunigung, eine Richtung, einen Winkel, einen Radius, einen Ort, ein Verkehrsaufkommen, eine topographische Struktur wie eine Steigung, eine Uhrzeit, eine Temperatur, einen Niederschlagswert, eine Witterung, eine Jahreszeit.

Die Softwareapplikation 550 umfasst insbesondere Algorithmen der künstlichen Intelligenz und der maschinellen Bildanalyse, um die Sensordaten 350 zu selektieren und zu klassifizieren und daraus ein oder mehrere Szenarien 370 zu bestimmen. Vorteilhaftweise verwendet die Softwareapplikation 550 Algorithmen aus dem Bereich des Maschinenlernens, vorzugsweise Deep Learning mit beispielsweise zumindest einem gefalteten neuronalen Netzwerk (engl.: convolutional neural network, CNN) und/oder zumindest einem Lernverstärkungs-Agenten (Reinforcement Learning Agent, LV) zur Erstellung von Szenarien aus den aufgenommenen Sensordaten 350.

Ein neuronales Netzwerk besteht aus Neuronen, die in mehreren Schichten angeordnet und unterschiedlich miteinander verbunden sind. Ein Neuron ist in der Lage, an seinem Eingang Informationen von außerhalb oder von einem anderen Neuron entgegenzunehmen, die Information in einer bestimmten Art zu bewerten und sie in veränderter Form am Neuronen-Ausgang an ein weiteres Neuron weiterzuleiten oder als Endergebnis auszugeben. Hidden-Neuronen sind zwischen den Input-Neuronen und Output-Neuronen angeordnet. Je nach Netzwerktyp können mehrere Schichten von Hidden-Neuronen vorhanden sein. Sie sorgen für die Weiterleitung und Verarbeitung der Informationen. Output-Neuronen liefern schließlich ein Ergebnis und geben dieses an die Außenwelt aus. Durch die unterschiedliche Anordnung und Verknüpfung der Neuronen entstehen verschiedene Typen von neuronalen Netzwerken wie ein vorwärtsgerichtetes Netzwerk (engl. Feedforward Network, FFN), ein rückwärtsgerichtetes Netzwerk (eng. Recurrent Network, RNN) oder ein gefaltetes neuronales Netzwerk (engl. Convolutional Neural Network, CNN). Die Netzwerke lassen sich durch unbeaufsichtigtes oder überwachtes Lernen trainieren

Insbesondere das Convolutional Neural Network (CNN) ist für maschinelles Lernen und Anwendungen mit Künstlicher Intelligenz (Kl) im Bereich der Bild- und Spracherkennung sehr gut geeignet, da es mehrere Faltungsschichten aufweist. Die Funktionsweise eines Convolutional Neural Networks ist in einer gewissen Weise biologischen Vorgängen nachempfunden und der Aufbau ist vergleichbar der Sehrinde des Gehirns. Herkömmliche neuronale Netzwerke bestehen aus volloder teilverknüpften Neuronen in mehreren Ebenen und diese Strukturen stoßen bei der Verarbeitung von Bildern an ihre Grenzen, da eine der Pixelanzahl entsprechende Zahl an Eingängen vorhanden sein müsste. Das Convolutional Neural Network setzt sich aus verschiedenen Schichten zusammen und ist vom Grundprinzip ein zum Teil lokal verknüpftes neuronales Feedforward-Netzwerk. Die einzelnen Schichten des CNN sind die Convolutional-Schicht, die Pooling-Schicht und die vollständig verknüpfte Schicht. Das Convolutional Neural Network (CNN) eignet sich daher für maschinelles Lernen und Anwendungen der Künstlichen Intelligenz mit großen Mengen an Eingabedaten wie in der Bilderkennung. Das Netzwerk arbeitet zuverlässig und ist gegenüber Verzerrungen oder anderen optischen Veränderungen unempfindlich. Das CNN kann unter verschiedenen Lichtverhältnissen und in unterschiedlichen Perspektiven aufgenommene Bilder verarbeiten. Es erkennt dennoch die typischen Merkmale eines Bildes. Da das CNN mehrere lokale teilverknüpfte Schichten umfasst, hat es einen wesentlich geringeren Speicherplatzbedarf als vollverknüpfte neuronale Netze, da durch die Faltungsschichten die Speicheranforderungen erheblich reduziert werden. Zudem verkürzt sich hierdurch die Trainingszeit eines CNN, insbesondere bei der Verwendung von modernen Grafikprozessoren.

Das von der Softwareapplikation 550 erstellte Szenario 570 kann zudem mit einem oder mehreren Labeln versehen werden, beispielsweise mit einem Label, das einen Sicherheitsindex wiedergibt. So kann ein erkannte Szenario 570, das von dem sich bewegenden Objekt 10 durchfahren wird, mit einem niedrigen Sicherheitsindex bewertet werden, so dass es für die Sicherheit des sich bewegenden Objekts 10 bzw. des Benutzers unwichtig ist, während ein Label mit einem hohen Sicherheitsindex angibt, dass das durchfahrene Szenario eine hohe Bedeutung für die Sicherheit des Benutzers hat.

Des Weiteren kann das Ausgabemodul 700 mit einer Datenbank 850 verbunden sein, in der historische Daten in Form von Bildern, Graphiken, Zeitreihen, Routenplanungen, Kenngrößen, etc. abgelegt sind. Darüber hinaus sind in der Datenbank 850 Audiosequenzen wie Sprachnachrichten, Musikstücke und Warntöne gespeichert. Unter „Datenbank“ ist sowohl ein Speicheralgorithmus als auch die Hardware in Form einer Speichereinheit zu verstehen. Insbesondere kann die Datenbank 850 ebenfalls in der Cloud-Computing-Infrastruktur 800 integriert sein.

Für die Erfassung von ersten benutzerspezifischen Daten 250 und zweiten benutzerspezifischen Daten 290 ist das Eingabemodul 200 vorgesehen. Bei den ersten benutzerspezifischen Daten 250 handelt es sich um von einem Benutzer mittels einer Benutzerschnittstelle 240 eingegebene Daten. Die Benutzerschnittstelle 240 ist daher zur Eingabe und Generierung von Daten 250 in Form von Textnachrichten und/oder Sprachnachrichten und/oder Bildern und Graphiken ausgebildet. Für die Eingabe der Daten 250 sind insbesondere eine Tastatur, ein Mikrofon, eine Kamera und/oder ein als Touchscreen ausgebildetes Display vorgesehen.

Zudem ist das Eingabemodul 200 mit zweiten Sensoren 270 verbunden, die physiologische und/oder physische Reaktionen eines Benutzers beim Befahren einer Route mit dem sich bewegenden Objekt 10 erfassen. Bei den Sensoren 270 zur Erfassung von physiologischen und/oder physischen Parametern eines Benutzers handelt es sich insbesondere um Sensoren, die am Körper des Benutzers angebracht sind bzw. mit dem Körper verbunden sind. Insbesondere kann ein Sensor 270 als Blutdruckmessgerät, als Herzfrequenzgerät und/oder Temperaturmessgerät ausgebildet sein. Eine mögliche Ausführungsform eines Sensors 270 stellt ein Fitnessarmband wie beispielsweise von FITBIT® oder anderen Herstellern dar, die die Herzfrequenz kontinuierlich messen. Diese Fitnessbänder können am Handgelenk des Benutzers befestigt werden und die gemessenen Daten können einfach ausgelesen werden. Der Puls und damit die Herzfrequenz wird bei diesen Geräten im Allgemeinen optisch mittels des geänderten Reflexionsverhaltens von ausgesandtem LED-Licht bei einer Veränderung des Blutflusses aufgrund des Zusammenziehens der Blutkapillargefäße beim Herzschlag gemessen. Das Gerät emittiert typischerweise Licht im grünen Wellenlängenbereich in das Gewebe am Handgelenk und misst das reflektierte Licht. Da Blut das Licht in diesem Wellenlängenbereich stark absorbiert, schwankt beim Pulsieren der Blutgefäße die gemessene Lichtintensität, woraus die Herzfrequenz bestimmt werden kann. In einer Stresssituation beschleunigt sich die Herzfrequenz, so dass die geänderte Herzfrequenz ein guter Indikator für das Auftreten einer Stresssituation ist.

Es können aber auch mit Sensoren ausgestattete Kleidungsstücke oder Smart Watches oder entsprechende Brillen verwendet werden. Darüber hinaus können optische Sensoren wie eine Kamera eingesetzt werden, um die Änderung der Mimik und Gestik eines Benutzers aufzuzeichnen, wie erweiterte Pupillen als Kennzeichen einer Angstreaktion. Denkbar sind auch Infrarotkameras zur Messung der Hautoberflächentemperatur und Sensoren zur Ermittlung von Schweißbildung.

Auch sind körperinterne Sensoren, wie sogenannte Smart Pilis denkbar, die in Pillenform ausgebildet und schluckbar sind. Sie können chemische Reaktionen im Körper ermitteln und beispielsweise per Funkverbindung die ermittelten Daten an eine externe Speichereinrichtung senden.

Eine plötzliche Änderung eines Parameters wie die Herzfrequenz deuten auf das Erkennen einer Gefahrensituation oder eine hohe körperliche Anstrengung eines Benutzers hin. Beispielsweise wird daher eine charakteristische Abweichung von einem Normalwert als Grenzwert definiert, der auf eine solche Extremsituation hinweist.

Des Weiteren können direkte physischen Reaktionen des Fahrers wie die Lenkaktivität und die Bremspedalbetätigung erfasst werden. Hierbei kann es sich um das plötzliche und kraftvolle Betätigen der Bremsvorrichtung durch einen Benutzer handeln, wenn er beispielsweise der Gefahr einer Kollision mit einem anderen Objekt ausweichen will. Die Bremsvorrichtung kann mit Bremssensoren versehen sein, die eine schnelle und plötzliche Änderung im Bremsverhalten registrieren. Dabei können die Sensoren als kapazitive Beschleunigungssensoren ausgebildet sein. Darüber hinaus können Drucksensoren beispielsweise an einem Lenkrad eines Fahrrades verwendet werden, die einen festeren Griff am Lenkrad und damit eine größere Druckausübung feststellen, wenn der Benutzer das Lenkrad fester umfasst aufgrund der während einer Stresssituation auftretenden Verstärkung des Muskeltonus. Auch schnelle und ruckartige Lenkbewegungen des Lenkrads können mit entsprechenden Bewegungssensoren erfasst werden. Auch hier weisen charakteristische Abweichungen von einem Normalwert auf eine solche Extremsituation hin.

Eine Gefahrensituation kann aber auch zu spontanen Sprachäußerungen des Benutzers beispielsweise als Ausdruck einer Verärgerung führen. Diese akustischen Signale können von einem Mikrofon der Benutzerschnittstelle 240 aufgezeichnet werden.

Die eingegebenen und aufgenommenen benutzerspezifischen Daten 250 werden an das Bewertungsmodul 400 weitergegeben. Das Bewertungsmodul 400 weist eine Softwareapplikation 450 auf, die aus den benutzerspezifischen Daten 250 eine Bewertungsfunktion 470 erstellt. Die Bewertungsfunktion 470 stellt ein individuelles Benutzerprofil dar für die Bewertung und Interpretation der von dem Sze- narienmodul 500 bestimmten Szenarien. Für die Erstellung der Bewertungsfunktion 470 verwendet die Softwareapplikation 450 Algorithmen der künstlichen Intelligenz wie insbesondere Deep Learning mit beispielsweise zumindest einem gefalteten neuronalen Netzwerk (engl.: convolutional neural network, CNN) und/oder zumindest einem Lernverstärkungs-Agenten (Reinforcement Learning Agent, LV).

In einer Trainingsphase wird eine erste Version der Bewertungsfunktion 470 mittels eines Trainingssatzes von benutzerspezifischen Daten 250, 290 erstellt. Beispielsweise kann ein Benutzer eingeben, dass er eine sportliche Fahrweise des sich bewegenden Objekt 10 bevorzugt. Da die Softwareapplikation 450 selbstlernende Algorithmen umfasst, kann die Bewertungsfunktion 470 im Laufe der zeit durch die fortlaufende Benutzung des sich bewegenden Objekt 10 und der Generierung von benutzerspezifischen Daten 250, 290 während der Benutzung ständig verbessert werden, so dass sie sich immer besser an die Bedürfnisse und Vorlieben eines Benutzers anpasst.

Die Bewertungsfunktion 470 wird an das Ausgabemodul 700 weitergegeben. Das Ausgabemodul 700 umfasst eine Softwareapplikationen 750, die die Szenarien 570 mittels der Bewertungsfunktion 470 bewertet und die entsprechenden Ausgabedaten 770 für die Kommunikation mit dem Benutzer ausgibt. Bei den Ausgabedaten 770 handelt es sich in erster Linie um Audiosequenzen wie Sprachausgaben, die auf ein bestimmtes Szenario hinweisen, beispielsweise auf eine mögliche Kollision mit einem anderen Objekt, falls der Benutzer die derzeitige Geschwindigkeit beibehält. Handelt es sich bei den Ausgabedaten 770 um Audiosequenzen, so können diese beispielsweise über einen an dem sich bewegenden Objekt 10 angeordneten Lautsprecher ausgegeben werden. Es kann aber auch vorgesehen sein, dass der Benutzer über ein entsprechendes Headset, einen In-Ear-Kopfhö- rer, einen in einem Schutzhelm integrierten Lautsprecher, etc. die jeweiligen Audiosequenzen empfängt.

Da die Szenarien 570 mit der benutzerspezifischen Bewertungsfunktion 470 bewertet werden, erfolgt allerdings nicht für jedes Szenario ein Hinweis an den Benutzer. Ist in einer für den Benutzer personalisierten Bewertungsfunktion 470 beispielsweise hinterlegt, dass der Benutzer eine sportliche Fahrweise bevorzugt, so werden Szenarien 570, die als unkritisch betrachtet werden, dem Benutzer nicht mitgeteilt, da der Fokus auf kritischen Szenarien 570 liegt. Ist in der Bewertungsfunktion 470 hingegen hinterlegt, dass der Benutzer eine komfortable Fahrweise bevorzugt, so wird der Benutzer bereits auf eher harmlose Szenarien 570 hingewiesen.

Neben der Art der Fahrweise kann in die Bewertungsfunktion 470 beispielsweise aufgrund der Daten 290 zu der physiologischen Verfassung des Benutzers eine Bewertung seines Gesundheitszustandes einfließen. Hieraus kann sich beispielsweise ergeben, dass beim Überschreiten einer bestimmten Geschwindigkeit des sich bewegenden Objekts 10 die Ausgabedaten 770 eine Sprachnachricht enthalten, die den Benutzer darauf hinweist, seine Geschwindigkeit zu drosseln.

Des Weiteren ist es möglich, dass die Bewertungsfunktion 470 einen Emotionalitätsindex aufweist, um bestimmte Szenarien 570 mit einer gewünschten Emotionalität zu verbinden. So kann ein Benutzer beispielsweise beim Erreichen eines Ziels eine Sprachnachricht in Form einer Motivationsbotschaft erhält, wie „Toll gemacht - Du bist Dein Ziel mit Erfolg erreicht“. Zusätzlich kann vorgesehen sein, dass dazu eine bestimmte Musiksequenz wie ein bestimmtes Musikstück abgespielt wird. Auch kann die Sprachwiedergabe hinsichtlich der Stimmlage, der Stimmgeschwindigkeit und der Emotionalität variieren.

Des Weiteren kann vorgesehen sein, das beim Durchfahren eines bestimmten Szenarios, beispielsweise eines Waldstücks, eine entsprechend leise Hintergrundmusik abgespielt wird, während beim Befahren einer hochfrequentierten Straße ein anderer Musikstil gewählt wird.

Ein Verfahren zur interaktiven Kommunikation zwischen einem sich bewegenden Objekt 10 und einem Benutzer beim Befahren einer Route mit einer Vielzahl von Szenarien umfasst die folgenden Verfahrensschritte:

In einem Schritt S10 werden Sensordaten 350 einer Umgebung des sich bewegenden Objekts 10 mittels erster Sensoren 340 einer Sensoreinrichtung 300 des sich bewegenden Objekts 10 erfasst.

In einem Schritt S20 werden Sensordaten 350 an ein Szenarienmodul 500 übermittelt.

In einem Schritt S30 wird zumindest ein Szenario aus den Sensordaten 350 für das Verkehrsgeschehen in der Umgebung des sich bewegenden Objekts 10 mittels einer Softwareapplikation 550 des Szenarienmoduls 500 generiert und an ein Ausgabemodul 700 übermittelt.

In einem Schritt S40 werden erste benutzerspezifische Daten 250, insbesondere in Form von Sprachnachrichten, Textnachrichten und/oder Bildern, und/oder zweite benutzerspezifische Daten 290 in Form von Messsignalen von zweiten Sensoren 270 von einem Eingabemodul 200 erfasst, wobei die ersten benutzer- spezifischen Daten 250 mittels einer Benutzerschnittstelle 240 von einem Benutzer eingegeben werden, und wobei die zweiten Sensoren 270 insbesondere physiologische und physischen Parameter des Benutzers messen.

In einem Schritt S50 werden die ersten Daten 250 und/oder die zweiten Daten 290 an ein Bewertungsmodul 400 übermittelt.

In einem Schritt S60 wird eine benutzerspezifische Bewertungsfunktion 470 mittels einer Softwareapplikation 450 aus den ersten Daten 250 und den zweiten Daten 290 generiert und an das Ausgabemodul 700 übermittelt.

In einem Schritt S70 werden Ausgabedaten 770 mittels einer Softwareapplikation 750 des Ausgabemoduls 700 erstellt, wobei die Softwareapplikation 750 das zumindest eine generierte Szenario mit der benutzerspezifischen Bewertungsfunktion 470 bewertet und daraus benutzerspezifische Ausgabedaten 770 generiert.

In einem Schritt S80 werden die benutzerspezifischen Ausgabedaten 770 an den Benutzer ausgegeben.

Durch die erfindungsgemäße Generierung einer benutzerspezifischen Bewertungsfunktion kann die einem Benutzer angebotene Information über ein Szenario, das der Benutzer mit einem sich bewegenden Objekt 10 durchfährt bzw. passiert, individuell an die Bedürfnisse und Vorlieben des Benutzers angepasst werden.

Das sich bewegende Objekt 10 umfasst eine Sensoreinrichtung, mit der Daten der Umgebung sicher erfasst werden. Mittels einer Softwareapplikationen kann aus den Daten jeweils ein spezifisches Szenario klassifiziert wird. Während üblicherweise ein derart generiertes Szenario einem Benutzer ungefiltert beispielsweise mittels einer Navigationseinrichtung mitgeteilt wird, erfolgt erfindungsgemäß mittels der benutzerspezifischen Bewertungsfunktion eine Bewertung und somit eine Extraktion der relevanten Szenarien. Insbesondere während einer Trainingsphase wird die Bewertungsfunktion trainiert mittels benutzerspezifischer Daten, wie insbesondere Angaben zum Fahrstil und zum Sicherheitslevel. Es kann dabei vorge- sehen sein, dass der Benutzer vor dem Start des erfindungsgemäßen Systems einen entsprechenden Fragenkatalog beantworten muss. Hierzu kann beispielsweise eine spezifische App entwickelt werden, die der Benutzer beispielsweise von seinem Mobiltelefon aufrufen kann, so dass das Training der Bewertungsfunktion an einem von dem sich bewegenden Objekt getrennten Ort durchgeführt wird. Darüber hinaus entwickelt sich die Bewertungsfunktion selbstlernend weiter, da sie über entsprechende Lernalgorithmen verfügt, die sich einem sich ändernden Benutzerverhalten anpasst. So kann beispielsweise ein Benutzer Informationen über den kulturellen und geschichtlichen Hintergrund einer Sehenswürdigkeit, die auf dem Weg der Route liegt, anfordern, während ein anderer Benutzer Informationen über seine derzeitigen physiologischen Daten wie seine Pulsfrequenz vorzieht.

In einer bevorzugten Ausführungsform ist das sich bewegende Objekt als elektrisches Fahrrad ausgebildet. Darüber hinaus sind weitere Anwendungen für eine verbesserte Kommunikation bei anderen sich bewegenden Objekten denkbar wie beispielsweise bei Flurfahrzeugen in der Produktion oder Unterstützungsvorrichtungen für Personen mit Sehbehinderungen, wie beispielsweise Rollatoren. Durch eine verbesserte Sensorik an diesen Geräten kann die Umgebung sicher erfasst werden und die hieraus resultierenden für einen Benutzer relevanten Informationen, insbesondere in Form erforderlicher Warnhinweise, können dem Benutzer beispielsweise mittels einer Sprachnachricht in Echtzeit zu übermittelt werden, wodurch die Sicherheit des Benutzers deutlich erhöht werden kann.