Die Offenbarung betrifft ein System und Verfahren zur Koppelung von Benutzeroberflächen mit Benutzeroberflächen in Fahrzeugen. Die Offenbarung betrifft insbesondere ein System und Verfahren zur automatischen, intelligenten Koppelung von Benutzeroberflächen, beispielsweise von mobilen Endgeräten oder Cloud-basierten Systemen, mit Benutzeroberflächen in Fahrzeugen.

Stand der Technik

Im Stand der Technik sind verschiedene Systeme bekannt, die eine Koppelung von mobilen Endgeräten an das Infotainmentsystem eines Fahrzeugs ermöglichen. Das von der Firma Apple angebotene„CarPlay“ bietet beispielsweise die Möglichkeit, ein Apple Smartphone eingeschränkt über das Infotainmentsystem eines Fahrzeugs zu bedienen, und somit beispielsweise die Navigation, das Senden und Empfangen von Nachrichten und das Abspielen von Musik zu ermöglichen. Hierbei wird, ebenso wie bei dem in seiner Funktion ähnlichen„Android Auto“, angeboten von Google für Smartphones basierend auf dem Android Betriebssystem, eine speziell für jede zu verwendende App entwickelte und in den Bedien- und Anzeigefunktionen angepasste bzw. eingeschränkte Benutzeroberfläche auf dem Infotainmentsystem des Fahrzeugs dargestellt. Ein weiteres in seiner Funktion ähnliches Produkt ist„Mirror Link“.

Eine automatische Unterstützung von nicht speziell für die Bedienung mittels CarPlay oder Android Auto bzw. Mirror Link entwickelten Apps ist nicht vorgesehen. Fremdanbietem ist es erlaubt, entsprechende Bedienkonzepte für eigene Apps zu entwickeln. Die Möglichkeit, eine App, die durch Drittanbieter hergestellt wurde, in eines der vorgenannten Systeme zu integrieren, bedarf jedoch der Freigabe durch den jeweiligen Hersteller, typischerweise um eine Ablenkung des Fahrers zu minimieren und, um zu entscheiden, ob eine App im Fährbetrieb überhaupt aktiviert werden darf.

Eine individuelle Anpassung zur Integration in ein jeweiliges Infotainmentsystem und eine entsprechende Prüfung bzw. Freigabe jeder einzelnen App ist sehr aufwendig und kosten- bzw. zeitintensiv. Eine individuelle Anpassung muss zudem typischerweise in Bezug auf das verwendete Integrationssystem (z.B. CarPlay) und das entsprechende Infotainmentsystem erfolgen, wobei letztere von Fahrzeughersteller zu Fahrzeughersteller stark unterschiedlich implementiert sein können.

Die Druckschrift U.S. 2013/0106750 Al beschreibt ein System und Verfahren, mit dem ein Nutzergerät mit einem fahrzeugseitigen Computersystem gekoppelt werden kann. Hierbei werden die Bildschirminhalte des Nutzergerätes auf einen Touchscreen des Computersystems gespiegelt und Eingaben, die der Fahrer mit dem Touchscreen vornimmt, auf das Nutzergerät übertragen. Es wird eine Fernbedienung des Nutzergerätes durch den Touchscreen realisiert. Die Systeme und Verfahren erfordern, dass die verwendeten Apps für die Nutzung freigegeben sind. Eine Ablenkung des Fahrers, die durch die Nutzung des Systems entstehen kann, wird nicht berücksichtigt. Das Bedienkonzept ist nicht auf die Anwendung im Fahrzeug angepasst, sondern wird„eins zu eins“ durchgereicht.

Die Druckschrift U.S. 10,251,034 B2 beschreibt ebenfalls ein System und Verfahren, mit dem ein Nutzergerät mit einem fahrzeugseitigen Computersystem gekoppelt werden kann, wobei ausdrücklich vorgesehen ist, bestimmte Elemente der Darstellung auszublenden bzw. nicht darzustellen, um die Darstellung nicht zu überladen und den Nutzer evtl zu sehr abzulenken. Hierbei werden bestimmte Ereignisse seitens des Nutzergerätes (z.B. basierend auf Sensordaten oder Betriebsbedingungen des Nutzergerätes) vorausgesetzt, um einzelne Elemente anzuzeigen. So ist es beispielsweise vorgesehen, eine Ladestandanzeige des Nutzergerätes nur dann auf dem Fahrzeuginformationssystem anzuzeigen, wenn der Ladestand ein vorbestimmtes Minimum erreicht. Eine darüber hinaus gehende Berücksichtigung potenzieller Ablenkung des Fahrers erfolgt nicht. Insbesondere ist nicht vorgesehen, fahrzeugseitige Ereignisse zu berücksichtigen.

Die Druckschrift U.S. 2015/0019967 Al beschreibt ebenfalls ein System und Verfahren, mit dem ein Nutzergerät mit einem fahrzeugseitigen Computersystem in Form einer Live- Verbindung („live link“) gekoppelt werden kann. Die beschriebenen Systeme und Verfahren können bedarfsweise die Wiedergabe der Anzeige eines Nutzergerätes vollständig verbergen, falls es die Situation erfordert, zum Beispiel im Falle einer Vollbremsung des Fahrzeugs durch den Fahrer. Ein manuelles Verbergen der Wiedergabe, beispielsweise durch einen Beifahrer, ist ebenfalls vorgesehen.

Es ist bisher kein System oder Verfahren bekannt, welches die Benutzeroberfläche beliebiger Apps, welche auf einem mobilen Endgerät eines Nutzers oder Cloud-basiert ausgeführt werden, derart erfasst und verarbeitet, dass eine Nutzung durch den Fahrer auch während der Fahrt ohne wesentliche Ablenkung erfolgen kann.

In Bezug auf Cloud-basierte Systeme ist ebenfalls kein System oder Verfahren bekannt, welches eine entsprechende Benutzeroberfläche, beispielsweise ähnlich zu Webseiten oder bekannten Oberflächen von Software für Desktopsysteme, derart erfasst und verarbeitet, dass eine Nutzung durch den Fahrer auch während der Fahrt ohne wesentliche Ablenkung erfolgen kann. Während im Falle von Benutzeroberflächen für mobile Endgeräte noch relativ viele, auch herstellerübergreifende, Einschränkungen existieren (z.B. Bildschirm große, Bedienelemente, Interaktionsmöglichkeiten), sind für Cloud- basierte Systeme weitere bzw. andere Einschränkungen zu berücksichtigen.

Weiter ist bisher kein System oder Verfahren bekannt, welches die Benutzeroberfläche von Cloud-basierten Systemen derart erfasst und verarbeitet, dass eine Nutzung durch den Fahrer eines Fahrzeugs mittels eines im Fahrzeug vorhandenen Anzeige- bzw. Bediensystems (z.B. Infotainment, iDrive, Gestensteuerung, Spracheingabe, Touchscreen), insbesondere auch während der Fahrt und ohne wesentliche Ablenkung des Fahrers, erfolgen kann.

Daher besteht der Bedarf an Systemen und Verfahren, die die Benutzeroberfläche beliebiger Apps, welche auf einem mobilen Endgerät eines Nutzers ausgeführt werden, oder von Cloud-basierten Systemen, vorzugsweise im Wesentlichen in Echtzeit erfassen, erfasste Inhalte verarbeiten und eine angepasste Wiedergabe der Inhalte bereit stellen, wobei die angepasste Wiedergabe eine potenzielle Ablenkung des Fahrers verhindert oder minimiert.

Daher besteht insbesondere der Bedarf an Systemen und Verfahren, die etwaige Bedienelemente, welche auf einer jeweiligen Benutzeroberfläche einer auf einem mobilen Endgerät eines Nutzers ausgeführten App, oder von Cloud-basierten Systemen, zur Verfügung gestellt werden, auf eine potenzielle Ablenkung des Fahrers überprüfen und gegebenenfalls bedarfsweise und unter Minimierung einer Ablenkung des Fahrers auf geeignete Art und Weise zur Eingabe bereit stellen. Dies kann insbesondere das Ausblenden von ein oder mehreren Eingabeelementen beinhalten und/oder ein Modifizieren und bedarfsweises Einblenden eines oder mehrerer Eingabeelemente (z.B. in vergrößerter Form und/oder an vorbestimmten Stellen der wiedergegebenen B enutzerob erfl äche) .

Es besteht insbesondere der Bedarf an Systemen und Verfahren, die von einem Nutzer getätigten Eingaben erfassen und an eine jeweilige auf einem mobilen Endgerät eines Nutzers ausgeführten App, oder an Cloud-basierten Systeme, übertragen, sodass eine für den Nutzer transparente Nutzung der App bzw. des Cloud-basierten Systems ermöglicht wird.

Es besteht insbesondere der Bedarf an Systemen und Verfahren, die etwaige dynamische Elemente, welche auf einer Benutzeroberfläche einer auf einem mobilen Endgerät eines Nutzers ausgeführten App, oder von Cloud-basierten Systemen, vorhanden sind, in Ihrer Dynamik reduzieren oder in im Wesentlichen statische Elemente überführen und/oder eine erfasste Dynamik basierend auf einer aktuellen Fahrsituation des Fahrzeugs an den Nutzer ausgeben, gegebenenfalls statisch oder mit reduzierter oder minimierter Dynamik. Dies kann auch eine zeitversetzte Wiedergabe von Elementen der Benutzeroberfläche beinhalten. Offenbarung der Erfindung

Es ist eine Aufgabe der vorliegenden Offenbarung, Verfahren und Systeme bereitzustellen, die einen oder mehrere der beschriebenen Nachteile vermeiden und/oder einen oder mehrere der beschriebenen Vorteile ermöglichen.

Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.

In einem ersten Aspekt gemäß Ausführungsformen der vorliegenden Offenbarung ist ein Verfahren zur Koppelung einer ersten Benutzeroberfläche mit einer zweiten Benutzeroberfläche angegeben. Die erste Benutzeroberfläche wird durch ein mobiles Endgerät oder durch ein oder mehrere Backend Komponenten implementiert und die zweite Benutzeroberfläche wird durch ein Steuergerät eines Fahrzeugs implementiert. Das Verfahren umfasst Erfassen eines oder mehrerer Elemente der ersten Benutzeroberfläche; Ermitteln eines oder mehrerer Wiedergabeelemente basierend auf einer ersten Heuristik und den ein oder mehreren Elementen, wobei die ein oder mehreren Wiedergabeelemente konfiguriert sind, zumindest einen Teil der ein oder mehreren Elemente abzubilden; und Wiedergeben der ein oder mehreren Wiedergabeelemente auf der zweiten Benutzeroberfläche.

In einem zweiten Aspekt gemäß Aspekt 1 umfasst die erste Heuristik weiter eine relevanzbasierte Heuristik zur Überführung der ein oder mehreren Elemente auf die ein oder mehreren Wiedergabeelemente, wobei die relevanzbasierte Heuristik eine Relevanz mindestens eines der ein oder mehreren Elemente mit einem oder mehreren Wiedergabeparametem der Abbildung in Beziehung setzt; vorzugsweise wobei die relevanzbasierte Heuristik eine aktuelle Relevanz der ein oder mehreren für einen Nutzer des Fahrzeugs berücksichtigt.

In einem dritten Aspekt gemäß einem der Aspekte 1 oder 2 umfasst die erste Heuristik weiter eine dynamikbasierte Heuristik zur Überführung der ein oder mehreren Elemente auf ein oder mehrere Wiedergabeelemente, wobei die dynamikbasierte Heuristik eine Darstellungsdynamik mindestens eines der ein oder mehreren Elemente mit einem oder mehreren Wiedergabeparametern der Abbildung in Beziehung setzt. Vorzugsweise berücksichtigt die dynamikbasierte Heuristik einen aktuellen Fahrzustand des Fahrzeugs. In einem vierten Aspekt gemäß einem der Aspekte 1 bis 3 umfasst die erste Heuristik weiter eine parameterbasierte Heuristik zur Überführung ein oder mehrerer Parameter der ersten Benutzeroberfläche auf ein oder mehrere Parameter der zweiten Benutzeroberfläche. Vorzugsweise berücksichtigt die parameterbasierte Heuristik generische Abbildungsregeln der Wiedergabe der ein oder mehreren Elemente auf der zweiten Benutzeroberfläche.

In einem fünften Aspekt gemäß einem der Aspekte 1 bis 4 umfasst das Verfahren weiter Erfassen einer oder mehrerer Eingaben eines Nutzers des Fahrzeugs; Ermitteln einer Eingabeabbildung der ein oder mehreren Eingaben basierend auf einer zweiten Heuristik; und Übertragen der Eingabeabbildung auf die erste Benutzeroberfläche.

In einem sechsten Aspekt gemäß Aspekt 5 umfasst die zweite Heuristik weiter eine eingabemodale Heuristik zum Abbilden der ein oder mehreren Eingaben des Nutzers auf Eingabemodalitäten der ersten Benutzeroberfläche.

In einem siebten Aspekt gemäß einem der Aspekte 5 oder 6 erfolgen die Schritte des Erfassens einer oder mehrerer Eingaben, des Ermittelns der Eingabeabbildung, und des Übertragens der Eingabeabbildung auf die erste Benutzeroberfläche im Wesentlichen in Echtzeit.

In einem achten Aspekt gemäß einem der Aspekte 1 bis 7 erfolgen die Schritte des Erfassens der ein oder mehrerer Elemente, des Ermittelns eines oder mehrerer Wiedergabeelemente und der Wiedergabe der ein oder mehreren Wiedergabeelemente auf der zweiten Benutzeroberfläche im Wesentlichen in Echtzeit.

In einem neunten Aspekt gemäß einem der Aspekte 1 bis 8 umfasst das Verfahren weiter, vorzugsweise wiederholt in regelmäßigen Intervallen, im Wesentlichen kontinuierlich, oder bedarfsweise: Erfassen von ein oder mehreren Verhaltensparametem, die ein Verhalten eines oder mehrerer Nutzer des Fahrzeugs kennzeichnen; und Ermitteln eines oder mehrerer Aufmerksamkeitsparameter, die eine Aufmerksamkeit der ein oder mehreren Nutzer betreffend den Betrieb des Fahrzeugs kennzeichnen, basierend auf den Verhaltensparametem. In einem zehnten Aspekt gemäß dem vorhergehenden Aspekt 9 umfasst das Verfahren weiter Anpassen der ersten und/oder zweiten Heuristiken basierend auf den ermittelten ein oder mehreren Aufmerksamkeitsparametem.

In einem elften Aspekt ist ein System zur Koppelung einer ersten Benutzeroberfläche mit einer zweiten Benutzeroberfläche angegeben. Das System umfasst ein Steuergerät; und/oder ein oder mehrere Backend Komponenten. Das Steuergerät und/oder die ein oder mehreren Back-End Komponenten sind konfiguriert, das vorliegend offenbarte Verfahren, insbesondere nach einem der Aspekte 1 bis 10, auszuführen.

In einem zwölften Aspekt ist ein Fahrzeug umfassend ein Steuergerät angegeben. Das Steuergerät ist konfiguriert, einen oder mehrere Schritte, vorzugsweise sämtliche Schritte, des vorliegend offenbarten Verfahrens, insbesondere nach einem der Aspekte 1 bis 10, auszuführen.

Gemäß einem weiteren Aspekt wird ein Softwareprogramm beschrieben. Das Softwareprogramm kann eingerichtet sein, um auf einem Prozessor ausgeführt zu werden, und um dadurch vorliegend offenbarte Verfahren auszuführen.

Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein Softwareprogramm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch vorliegend offenbarte Verfahren auszuführen.

Die hier offenbarten Systeme und Verfahren bieten ein oder mehrere der nachstehend genannten Vorteile.

Systeme und Verfahren gemäß der vorliegenden Offenbarung ermöglichen eine Erfassung von Benutzeroberflächen beliebiger Apps, welche auf einem mobilen Endgerät eines Nutzers ausgeführt werden, oder von Cloud-basierten Systemen, im Wesentlichen in Echtzeit, wobei erfasste Inhalte verarbeitet und eine angepasste Wiedergabe der Inhalte bereitgestellt wird., Die angepasste Wiedergabe kann eine potenzielle Ablenkung des Fahrers verhindern oder minimieren. Damit kann eine Bedienung generischer Apps oder Cloud-basierter Systeme ermöglicht werden, während gleichzeitig eine Ablenkung des Nutzers verhindert oder minimiert wird. Dies kann sowohl die Qualität der Nutzung von Apps mobiler Endgeräte oder Cloud-basierter Systeme im Fahrzeug steigern, als auch die V erkehrs si cherheit .

Systeme und Verfahren gemäß der vorliegenden Offenbarung ermöglichen weiter, etwaige Bedienelemente, welche auf einer jeweiligen Benutzeroberfläche einer auf einem mobilen Endgerät eines Nutzers ausgeführten App, oder von Cloud-basierten Systemen, zur Verfügung gestellt werden, auf eine potenzielle Ablenkung des Fahrers zu überprüfen und gegebenenfalls bedarfsweise und unter Minimierung einer Ablenkung des Fahrers auf geeignete Art und Weise zur Eingabe bereit zu stellen. Beispielsweise kann durch Ausblenden von ein oder mehreren Eingabeelementen und/oder durch Modifizieren und bedarfsweises Einblenden eines oder mehrerer Eingabeelemente (z.B. in vergrößerter Form und/oder an vorbestimmten Stellen der wiedergegebenen Benutzeroberfläche) eine Komplexität des Eingabevorgangs verringert und/oder ein Eingabevorgang bedarfsweise gesteuert werden. Dies kann sowohl die Qualität der Nutzung von Apps mobiler Endgeräte oder von Cloud-basierten Systemen im Fahrzeug steigern, als auch die Verkehrssicherheit.

Systeme und Verfahren gemäß der vorliegenden Offenbarung ermöglichen weiter, die von einem Nutzer getätigten Eingaben zu erfassen und an eine jeweilige auf einem mobilen Endgerät eines Nutzers ausgeführte App oder ein Cloud-basiertes System übertragen, sodass eine für den Nutzer transparente Nutzung der App oder des Cloud- basierten Systems ermöglicht wird. Dies kann die Qualität der Nutzung von Apps mobiler Endgeräte oder von Cloud-basierten Systemen im Fahrzeug steigern und dazu beitragen, dass eine Menge an Apps oder Cloud-basierter Systeme, welche über ein im Fahrzeug vorhandenes Infotainmentsystem bedient werden können, vergrößert werden kann.

Systeme und Verfahren gemäß der vorliegenden Offenbarung ermöglichen weiter, etwaige dynamische Elemente, welche auf einer Benutzeroberfläche einer auf einem mobilen Endgerät eines Nutzers ausgeführten App, oder von Cloud-basierten Systemen, vorhanden sind, in Ihrer Dynamik zu reduzieren oder in im Wesentlichen statische Elemente zu überführen und/oder eine erfasste Dynamik basierend auf einer aktuellen Fahrsituation des Fahrzeugs an den Nutzer auszugeben, gegebenenfalls statisch oder mit reduzierter oder minimierter Dynamik. Insbesondere kann auch eine zeitversetzte Wiedergabe von Elementen der Benutzeroberfläche ermöglicht werden. Dies kann die Verkehrssicherheit wesentlich verbessern, insbesondere durch eine Verlagerung von Anzeige- bzw. Eingabevorgängen auf Situationen, in denen eine nur sehr geringe Aufmerksamkeit des Fahrers für das Führen des Fahrzeugs erforderlich ist.

Kurze Beschreibung der Zeichnungen

Ausführungsbeispiele der Offenbarung sind in den Figuren dargestellt und werden im Folgenden näher beschrieben. Dabei werden im Folgenden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente dieselben Bezugszeichen verwendet.

Figur 1 illustriert schematisch das Zusammenwirken einzelner Komponenten eines Systems zur Koppelung einer ersten Benutzeroberfläche mit einer zweiten Benutzeroberfläche gemäß Ausführungsformen der vorliegenden Offenbarung;

Figur 2 illustriert schematisch Funktionen eines Systems zur Koppelung einer ersten Benutzeroberfläche mit einer zweiten Benutzeroberfläche gemäß Ausführungsformen der vorliegenden Offenbarung;

Figur 3 illustriert beispielhaft die Wiedergabe von Elementen einer ersten Benutzeroberfläche auf einer zweiten Benutzeroberfläche gemäß Ausführungsformen der vorliegenden Offenbarung; und

Figur 4 zeigt ein Flussdiagramm eines Verfahrens zur Koppelung einer ersten Benutzeroberfläche mit einer zweiten Benutzeroberfläche gemäß Ausführungsformen der vorliegenden Offenbarung.

Ausführungsformen der Offenbarung

Im Folgenden werden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente gleiche Bezugszeichen verwendet.

Figur 1 illustriert schematisch das Zusammenwirken einzelner Komponenten eines Systems 100 zur Koppelung einer Benutzeroberfläche 210, 310 mit einer Benutzeroberfläche 110 in einem Fahrzeug 80 gemäß Ausführungsformen der vorliegenden Offenbarung. Wenn in der vorliegenden Offenbarung auf einen Nutzer 60 Bezug genommen wird, sind darunter grundsätzlich alle Nutzer 60 zu subsummieren, einschließlich eines Nutzers, der als Fahrer agieren kann, eines Nutzers, der als Beifahrer (z.B. sich neben dem Fahrer befindend) agieren kann oder eines Nutzers, der als Mitfahrer (z.B. auf einem Sitzplatz des Fahrzeugs 80) agieren kann. Sofern nachfolgend nicht ausdrücklich auf eine unterschiedliche Behandlung einzelner Nutzertypen eingegangen wird, ist unter dem Begriff„Nutzer“ jeglicher Nutzer 60 zu verstehen.

Der Begriff„Koppelung“ von Benutzeroberflächen umfasst im Sinne der vorliegenden Offenbarung eine Verbindung einer ersten Benutzeroberfläche 210, 310 mit einer zweiten Benutzeroberfläche, sodass über die erste Benutzeroberfläche übermittelte Informationen (z.B. grafische Darstellungen, Bilder, Fotos, Audio, Video) zur Wiedergabe durch die zweite Benutzeroberfläche 110 an diese übertragen werden und/oder, sodass mittels der zweiten Benutzeroberfläche 110 durch einen Nutzer 60 des Fahrzeugs 80 vorgenommene Eingaben (z.B. per Touchscreen, Gestik, Spracheingaben, über diverse Bedienelemente) zur Verarbeitung durch die erste Benutzeroberfläche 210, 310 an diese übertragen werden. Erfindungsgemäß erlaubt eine solche Koppelung die Bedienung von unterschiedlichen Anwendungen über die zweite Benutzeroberfläche 110 (welche z.B. durch ein Steuergerät 120 in einem Fahrzeug 80 implementiert wird), wobei die Anwendungen originär für eine Bedienung über die erste Oberfläche (welche z.B. durch ein mobiles Endgerät 200 oder ein oder mehreren Backend Komponenten 300 implementiert wird) vorgesehen sind. Hierbei wird die zweite Oberfläche 110 durch das mobile Endgerät 200 oder die ein oder mehreren Backend Komponenten 300 (z.B. im Falle von Cloud-basierten Anwendungen) eben gerade nicht implementiert, d.h. eine jeweilige Anwendung ist nicht für die Bedienung mittels der zweiten Oberfläche vorgesehen. Erfindungsgemäß ist weiter vorgesehen, eine Anpassung der Wiedergabe und/oder der Eingaben derart vorzunehmen, dass eine Aufmerksamkeit des Nutzers 60 des Fahrzeugs 80 (z.B. auf den Straßenverkehr, das Führen des Fahrzeugs und/oder die Bedienung des Fahrzeugs) nicht oder nur minimal beeinträchtigt wird und/oder, dass verschiedene Modalitäten der Eingabe im Fahrzeug 80 an die erste Benutzeroberfläche semantisch korrekt bzw. sinnvoll übertragen werden.

Der Begriff„Fahrzeug“ umfasst PKW, LKW, Busse, Wohnmobile, Krafträder, etc., die der Beförderung von Personen, Gütern, etc. dienen. Insbesondere umfasst der Begriff Kraftfahrzeuge zur Personenbeförderung. Fahrzeuge 80 mit Elektroantrieb (insbesondere Hybrid- oder Elektrofahrzeuge) werden von einem Elektromotor angetrieben und umfassen ein oder mehrere elektrische Energiespeicher (z.B. Batterien, Hochvoltspeicher), die über eine Ladevorrichtung des Fahrzeugs an eine Ladestation angeschlossen und aufgeladen werden können. Zum Aufladen der elektrischen Speicher solcher Hybrid- oder Elektrofahrzeuge können verschiedene Ladetechniken verwendet werden.

Vorzugsweise umfasst das Fahrzeug eine Umgebungssensorik (nicht in FIG. 1 dargestellt), die konfiguriert ist, um Umfeld- bzw. Umgebungsdaten zu erfassen, die eine Umgebung und/oder Objekte in der Umgebung des Fahrzeugs 80 kennzeichnen. Vorzugsweise umfasst die Umgebungssensorik wenigstens ein LiDAR-System und/oder wenigstens ein Radar-System und/oder wenigstens eine Kamera und/oder wenigstens ein Ultraschall-System. Die Umgebungssensorik kann auf Umgebungsdaten basierende Umfeldparameter bereitstellen, die einen Umgebungsbereich des Fahrzeugs kennzeichnen.

Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen der vorliegenden Offenbarung ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Bei dem automatisierten Fahren kann es sich beispielsweise um ein zeitlich längeres Fahren auf der Autobahn oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens oder Rangierens handeln. Der Begriff„automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe B ASt-Publikation „Forschung kompakt“, Ausgabe 11/2012). Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich. Die vorstehend genannten vier Automatisierungsgrade entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Beispielsweise entspricht das hochautomatisierte Fahren (HAF) Level 3 der Norm SAE J3016. Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.

Das System 100 kann im Wesentlichen auf einem Steuergerät 120 des Fahrzeugs 80 und/oder auf einer oder mehreren Backend-Komponenten 300 (z.B. Server, Dienste) implementiert werden.

Das Fahrzeug 80 umfasst neben dem Steuergerät 120 weiter eine Kommunikationseinheit 130, die zur Datenkommunikation 140 mit zum Fahrzeug 80 externen Komponenten (z.B. Backend 300) konfiguriert ist, und eine Benutzerschnittstelle 110, die beispielsweise als Touchscreen im Fahrzeug 80 realisiert sein kann (z.B. auf dem oder im Armaturenbereich des Fahrzeugs 80 oder als Teil eines Rear-Seat-Entertainment Systems im Fond des Fahrzeugs 80; nicht gezeigt). Die Kommunikationseinheit 130 kann weiter konfiguriert sein, eine Datenverbindung zu mobilen Endgeräten 200 bereitzustellen, insbesondere zu solchen, die sich im Fahrzeug 80 und/oder in der Umgebung des Fahrzeugs 80 befinden und/oder vom Nutzer 60 verwendet werden. Die Datenverbindung 140 kann sich auf das mobile Endgerät 200 im Allgemeinen beziehen, und/oder auf eine Datenverbindung zu einer (oder mehreren) auf dem mobilen Endgerät ausgeführten App 212 und/oder zu einer auf dem mobilen Endgerät 200 implementierten Benutzeroberfläche 210. Die Kommunikationseinheit 130 kann weiter konfiguriert sein, eine Datenverbindung 140 zu einem oder mehreren Cloud-basierten Diensten bereitzustellen, insbesondere zu solchen, die sich im Fahrzeug 80 und/oder in der Umgebung des Fahrzeugs 80 befinden und/oder vom Nutzer 60 verwendet werden. Die Datenverbindung 140 kann sich auf einen oder mehrere Cloud-basierte Dienste 312 im Allgemeinen beziehen, und/oder auf eine Datenverbindung zu einer durch einen oder mehrere Cloud-basierte Dienste 312 implementierte Benutzeroberfläche 310. Einzelne Komponenten des Systems 100 (z.B. Steuergerät 120, Kommunikationseinheit 130, Benutzerschnittstelle 110) sind lediglich schematisch dargestellt, sodass die Darstellung nicht unbedingte oder zwingende Rückschlüsse auf eine Platzierung der jeweiligen Komponente, auf eine Anordnung in einem spezifischen Teilbereich des Fahrzeugs 80, oder auf sonstige Eigenschaften der jeweiligen Komponente zulassen muss. Ebenso ist es nicht zwingend erforderlich, dass eine System 100 immer sämtliche in FIG. 1 dargestellten Komponenten umfassen muss. Die Darstellung in FIG. 1 zeigt somit eine beispielhafte Ausführungsform.

Das System 100 kann teilweise oder vollständig über die Benutzerschnittstelle 110 im Fahrzeug 80 bedient werden. Die Benutzerschnittstelle 110 kann eine oder mehrere multimodale Benutzerschnittstellen, insbesondere Benutzerschnittstellen, die für die Bedienung des Fahrzeugs 80 konfiguriert sind (z.B. Kommunikation, Infotainment, Klimatisierung, Sitzeinstellung, Fahrzeugeinstellungen) umfassen. Die Benutzerschnittstelle 110 ermöglicht die multimodale Erfassung von Eingaben eines Nutzers 60, beispielsweise über eine grafische Benutzeroberfläche (z.B. Touchscreen), über klassische Bedienelemente des Fahrzeugs 80 (z.B. Knöpfe, Schalter, iDrive Controller), per Sprachsteuerung (z.B. mittels Sensor 168), per Scanner (z.B. für Fingerabdrücke, Retina) und dergleichen mehr. Die Benutzerschnittstelle 110 ermöglicht weiter die multimodale Ausgabe von Informationen an einen Nutzer 60, beispielsweise über eine grafische Anzeigeelemente (z.B. Touchscreen, Head-Up Display 171, Instrumentenkombi, zentrales Informationsdisplay bzw. CID), über taktile Elemente (z.B. Vibration des Lenkrads oder von Teilen des Sitzes), per Sprachausgabe über eine im Fahrzeug vorhandene Lautsprecheranlage (z.B. Infotainmentsystem) oder akustische Signalgeber (z.B. Gong, Piepser) und dergleichen mehr. Die Benutzerschnittstelle 110 kann basierend auf entsprechenden Konfigurationsdaten eine grafische Benutzerschnittstelle implementieren, in der Anzeigeelemente und Bedienungselemente dargestellt werden, die vom Nutzer 60 für die Bedienung des Fahrzeugs 80 genutzt werden können. Zusätzlich bzw. alternativ kann die Benutzerschnittstelle (weitere) Anzeige- und Bedienelemente beinhalten, beispielsweise Schalter, Knöpfe und Anzeigen.

Über die Kommunikationseinheit 130 kann das Steuergerät 120 mit (externen) Backend Komponenten 300 (z.B. Server bzw. Dienste) in Datenkommunikation 140 treten und so beispielsweise mit Backend Servern und/oder Diensten kommunizieren. Alternativ oder zusätzlich kann das Steuergerät 120 über die Kommunikationseinheit 130 mit dem mobilen Endgerät eines Nutzers 60 in Datenkommunikation treten und Daten und/oder Sensoren verwenden, die vom mobilen Endgerät bereitgestellt werden.

Das Steuergerät 120 steht vorzugsweise mit einer Vielzahl von Komponenten in Datenverbindung über einen Datenbus (nicht gezeigt). Über den Datenbus (z.B. CAN- Bus, FlexRay) kann das Steuergerät 120 beispielsweise mit der Benutzerschnittstelle 110, der Kommunikationseinheit 130 und/oder einer Vielzahl von weiteren Komponenten in Datenverbindung stehen. Weiter kann das Steuergerät 120 konfiguriert sein, Signale bzw. Daten vom Datenbus zu empfangen und/oder Signale bzw. Daten über den Datenbus zu senden.

Das System 100 kann insbesondere Konfiguriert sein, vorzugsweise basierend auf vom Fahrzeug 80 über vorgenannte ein oder mehrere Datenbusse bezogenen Daten, einen Betriebszustand des Fahrzeugs 80 und/oder einen Zustand eines oder mehrerer Insassen im Fahrzeug 80 zu ermitteln. So kann das System 100 in bevorzugten Ausführungsformen beispielsweise ermitteln, ob das Fahrzeug 80 sich in einem besonderen Fahrzustand befindet (z.B. im Stand, Stop-and-Go, mittlere oder hohe Querdynamik, mittlere oder hohe Geschwindigkeit) oder in einem besonderen Modus betrieben wird (z.B. teilautomatisiert, automatisiert oder autonom; vgl. vorstehend beschriebene Modi).

Weiter kann das System 100 eine oder mehrere zum Fahrzeug 80 externe Backend Komponenten 300 und/oder eine Infrastruktur aufweisen, die ein oder mehrere Ressourcen (z.B. Server, Dienste/Services) bereitstellen. Die ein oder mehreren Backend Komponenten 300 können zeitweise oder dauerhaft mit dem Steuergerät 120 des Fahrzeugs 80 und/oder mit dem mobilen Endgerät in Datenkommunikation 140 stehen. Vorzugsweise können ressourcenintensive Verarbeitungsschritte (z.B. Verarbeitung natürlicher Sprache und/oder von Bild bzw. Videodaten, Spracherkennung, Verarbeitung großer externer Datenmengen) an die externe Backend Komponente 300 ausgelagert werden, die durch das Steuergerät 120 im Fahrzeug 80 und/oder durch das mobile Endgerät nur schwer oder gar nicht vorgenommen werden könnten. Hierbei kann auch auf eventuelle Anforderungen bzgl. Rechenleistung, Speicherleistung, verfügbarer Bandbreite, Anbindung an externe Datenquellen und dergleichen mehr, Rücksicht genommen werden. Die ein oder mehreren Backend Komponenten 300 können insbesondere konfiguriert sein, Cloud-basierte Dienste und/oder Anwendungen 312 zu implementieren und eine Benutzeroberfläche 310 solcher Dienste und/oder Anwendungen an die im Fahrzeug 80 vorhandene Benutzeroberfläche 110 bereitzustellen. Die ein oder mehreren Backend Komponenten 300 können diesbezüglich insbesondere konfiguriert sein, eine Anpassung bzw. Veränderung der Bereitstellung der Benutzeroberfläche 310, vorzugsweise in Echtzeit, vorzunehmen, und/oder Eingaben eines Nutzers 60 über die Benutzeroberfläche 110 zu empfangen und an die Benutzeroberfläche 310 zu übertragen.

Figur 2 illustriert schematisch Funktionen eines Systems 100 zur Koppelung einer Benutzeroberfläche 210, 310 mit einer Benutzeroberfläche 110 eines Fahrzeugs 80 gemäß Ausführungsformen der vorliegenden Offenbarung. Die Koppelung umfasst, wie bereits beschrieben, die Verbindung einer ersten Benutzeroberfläche 210, 310 mit einer zweiten Benutzeroberfläche, sodass von der ersten Benutzeroberfläche 210, 310 wiedergegebene oder über die erste Benutzeroberfläche 210, 310 übermittelte Informationen (z.B. grafische Darstellungen, Bilder, Fotos, Audio, Video) an die zweite Benutzeroberfläche 110 zur Wiedergabe durch diese übertragen werden können.

Beispielhaft für die (ersten) Benutzeroberflächen 210, 310 seien hierbei genannt eine Benutzeroberfläche 210 einer App, welche auf einem mobilen Endgerät 200 (z.B. Smartphone, Tablet) eines Nutzers 60 des Fahrzeugs 80 ausgeführt wird, und eine Benutzeroberfläche 310 einer Cloud-basierten Anwendung, welche auf einer oder mehreren Backend Komponenten 300 ausgeführt wird.

Die erste Benutzeroberfläche 210, 310 ist konfiguriert, ein oder mehrere Elemente 211, 311 wiederzugeben, beispielsweise beinhaltend textuelle Information, Grafiken, Bilder, Fotos, Videos, Audioinformation (z.B. Sprachausgabe, Geräusche, Töne, Musik) und/oder dergleichen mehr. Benutzeroberflächen sind in diesem Zusammenhang als multimedial zu verstehen, und schließen nicht nur Piktogramme, Befehlsschaltflächen, Dialoge oder andere, von klassischen Benutzeroberflächen bekannte Elemente ein, sondern können sich (auch) auf ein oder mehrere der vorgenannten und/oder weitere Elemente erstrecken.

In einem ersten Anwendungsbeispiel führt ein Nutzer 60 eine App auf seinem mobilen Endgerät 200 aus, wobei die App eine erste Benutzeroberfläche 210 implementiert auf welcher ein oder mehrere Elemente 211 wiedergegeben werden. Eine direkte Bedienung des mobilen Endgerätes 200 und/oder der Benutzeroberfläche 210 im Fahrzeug 80 des Nutzers 60 ist insbesondere während der Fahrt insofern problematisch, als dass sie die Aufmerksamkeit des Nutzers 60 auf das Führen des Fahrzeugs 80, auf das Verkehrsgeschehen und/oder eine sonstige Bedienung des Fahrzeugs 80 beeinträchtigen kann. Die unmittelbare Nutzung eines mobilen Endgerätes durch den Fahrer eines Fahrzeugs während der Fahrt ist daher typischerweise gesetzlich untersagt.

Im ersten Anwendungsbeispiel koppelt der Nutzer 60 das mobile Endgerät 200 zum Zwecke der Nutzung im Fahrzeug 80 mit einem entsprechenden Steuergerät 120, welches zur Verbindung vorgesehen ist. Eine Verbindung kann beispielsweise drahtgebunden (z.B. per USB Kabel) oder drahtlos (z.B. per Bluetooth) erfolgen und beinhaltet eine Datenkommunikation zwischen dem mobilen Endgerät 200 und dem Steuergerät 120 des Fahrzeugs 80, gegebenenfalls mittels einer Kommunikationseinheit 130. Das Fahrzeug 80 beinhaltet weiter eine zweite Benutzeroberfläche 110, welche typischerweise zur Bedienung des Fahrzeugs 80 konfiguriert bzw. vorgesehen ist (z.B. Fahrzeugbedienung, Bedienung des Infotainments, Kommunikation, Information, Navigation).

Die Benutzeroberfläche 210 wird, basierend auf der Koppelung zwischen dem mobilen Endgerät 200 und dem Steuergerät 120, auf der Benutzeroberfläche 110 des Fahrzeugs 80 derart reproduziert, dass eine Beeinträchtigung der Aufmerksamkeit des Nutzers 60 minimiert oder vollständig verhindert wird. Die Reproduktion der Benutzeroberfläche 210 durch die Benutzeroberfläche 110 wird basierend auf einer Heuristik 151 (auch: erste Heuristik 151 oder Wiedergabeheuristik) durchgeführt, welche eines oder mehrere Elemente 211 der Benutzeroberfläche 210 auf ein oder mehrere Wiedergabeelemente 111 der Benutzeroberfläche 110 abbildet. Die Wiedergabeelemente 111 sind konfiguriert, die Elemente 211 auf der Benutzeroberfläche 110 abzubilden. Die Heuristik 151 kann bei der Abbildung mehrere unterschiedliche Faktoren berücksichtigen.

In einem zweiten Anwendungsbeispiel koppelt ein Nutzer 60 eine erste Benutzeroberfläche 310 einer Cloud-basierten Anwendung, welche auf ein oder mehreren Backend-Komponenten 300 ausgeführt werden kann, mit der zweiten Benutzeroberfläche 110 im Fahrzeug 80. Eine Koppelung erfolgt im Wesentlichen analog dem ersten Ausführungsbeispiel. Die Art der App bzw. Anwendung ist für das jeweilige Anwendungsbeispiel im Prinzip nicht wesentlich, da eine Wiedergabe der jeweiligen Benutzeroberfläche 210, 310 bzw. von Elementen 211, 311 auf der Benutzeroberfläche 110 bzw. durch Wiedergabeelemente 111 im Wesentlichen gleichermaßen erfolgt. Die Heuristik 151 (bzw. Heuristiken) zur Abbildung der Elemente ist/sind gleichermaßen anwendbar.

Die Heuristik 151 kann beispielsweise eine relevanzbasierte Heuristik beinhalten, zur Abbildung der ein oder mehreren Elemente 211, 311 auf ein oder mehrere Wiedergabeelemente 1 11, wobei die relevanzbasierte Heuristik eine Relevanz mindestens eines der ein oder mehreren Elemente 211, 311 mit einem oder mehreren Wiedergabeparametern der Abbildung 111 in Beziehung setzt. Hierbei ist die relevanzbasierte Heuristik konfiguriert, für den Nutzer 60 nicht oder nur eingeschränkt relevante Elemente 211 gar nicht oder in veränderter Form abzubilden. Beispielsweise kann die Benutzeroberfläche 210 Elemente beinhalten, welche lediglich für die mobilen Nutzung des mobilen Endgerätes 200 relevant sind (z.B. Ladestandsanzeige, Bildschirmausrichtung) und daher bei der Nutzung im Fahrzeug für den Nutzer 60 keine Relevanz haben. Die relevanzbasierte Heuristik kann daher konfiguriert sein, nicht relevante Elemente 211 bei der Abbildung auf Wiedergabeelemente 111 unberücksichtigt zu lassen, um die Anzahl der wiedergegebenen Elemente zu reduzieren. Es kann beispielswese von der Anzeige des Ladestands auf der Benutzeroberfläche 110 abgesehen werden, wenn das mobile Endgerät 200 mit dem Bordnetz des Fahrzeugs 80 verbunden ist und/oder der Ladestand ausreichend hoch ist, sodass der Betrieb des mobilen Endgerätes 200 aufrechterhalten werden kann. In einem solchen Fall wäre die Anzeige des Ladestands für den Nutzer nicht oder nur mäßig relevant und kann ausgeblendet werden. Dabei gilt, dass ein Element 211, 311, welches nicht auf die Benutzeroberfläche 110 abgebildet werden muss bzw. ausgeblendet werden kann, die Aufmerksamkeit des Nutzers 60 im Fahrzeug 80 nicht beeinträchtigen kann.

Gleichermaßen kann die relevanzbasierte Heuristik konfiguriert sein, für den Nutzer 60 besonders relevante Elemente 211 in veränderter Form oder besonders prominent abzubilden. Beispielsweise kann die Benutzeroberfläche 210 Elemente beinhalten, welche insbesondere für die Nutzung des mobilen Endgerätes 200 im Fahrzeug 80 relevant sind (z.B. Navigationsanweisungen, Fahrzeugfunktionen bzw. -daten) und daher bei der Nutzung im Fahrzeug für den Nutzer 60 eine besondere oder besonders hohe Relevanz haben. Die relevanzbasierte Heuristik kann daher konfiguriert sein, besonders relevante Elemente 21 1 bei der Abbildung auf Wiedergabeelemente 111 so zu berücksichtigen, dass sie ein einfach(er) und/oder schnell(er) wahrnehmbar sind, beispielsweise um die Aufmerksamkeit des Nutzers 60 unmittelbar und einfach auf die relevanten Wiedergabeelemente 11 1 zu lenken. Es kann beispielswese eine prominente (z.B. vergrößerte, farblich hervorgehobene) Anzeige eines Richtungspfeils einer Navigations-App auf der Benutzeroberfläche 110 vorgesehen sein. In einem solchen Fall könnte der Nutzer 60 die Richtungsangabe möglicherweise einfach(er) und/oder schnell(er) wahmehmen. Insbesondere kann vorgesehen sein, Elemente 211, 311, welche den Fährbetrieb des Fahrzeugs betreffen, als Wiedergabeelemente 111 an prominenter Stelle (z.B. Head-Up Display) und/oder in entsprechender (veränderter) Form wiederzugeben.

Die Heuristik 151 kann weiter beispielsweise eine dynamikbasierte Heuristik beinhalten, zur Überführung der ein oder mehreren Elemente 211, 311 auf ein oder mehrere Wiedergabeelemente 111, wobei die dynamikbasierte Heuristik eine Darstellungsdynamik mindestens eines der ein oder mehreren Elemente 211, 311 mit einem oder mehreren Wiedergabeparametern der Abbildung in Beziehung setzt. Die dynamikbasierte Heuristik kann hierzu insbesondere eine Dynamik der Wiedergabe von Elementen 211, 311 berücksichtigen, und/oder eine anderweitige Dynamik, beispielsweise betreffend eine Fahrsituation des Fahrzeugs 80.

Hierbei kann die dynamikbasierte Heuristik konfiguriert sein, eine Dynamik der ein oder mehreren Elemente 211, 311„nicht“ oder„weniger“ dynamisch (z.B. statisch) oder in vereinfachter Form (z.B. mit reduzierter Dynamik) abzubilden. Beispielsweise kann die erste Benutzeroberfläche 210 Elemente beinhalten, welche eine hohe Dynamik aufweisen (z.B. Videos, Animationen), die eine Aufmerksamkeit des Nutzers 60 des Fahrzeugs 80 sehr beeinträchtigen können, wenn diese 1 : 1 auf der zweiten Benutzeroberfläche 110 wiedergegeben werden. Die dynamikbasierte Heuristik kann daher konfiguriert sein, Elemente 211 mit hoher Dynamik auf Wiedergabeelemente 111 mit niedriger Dynamik abzubilden, um die eine Dynamik der Wiedergabe insgesamt zu reduzieren. Es kann beispielswese ein Video oder eine Animation auf eine statische (z.B. Einzelbild, Platzhalter) oder nahezu statische (z.B. wenige Einzelbilder) Wiedergabe reduziert werden. Anstatt des Videos bzw. der Animation (z.B. Element 211, 311) wird dann auf der zweiten Benutzeroberfläche 110 lediglich eins oder wenige Einzelbilder, beispielsweise in Form eines Standbilds, Thumbnails, oder Fotos (z.B. Wiedergabeelement 111) wiedergegeben. Der Nutzer 60 wird durch die Wiedergabe des nunmehr statischen bzw. nahezu statischen Wiedergabeelements 111 nur minimal oder gar nicht abgelenkt und kann sich so auf das Führen das Fahrzeugs konzentrieren. Hierbei kann die dynamikbasierte Heuristik über den unmittelbaren Anwendungsfall hinaus einen positiven„Erziehungseffekt“ bewirken, nämlich dann, wenn der Nutzer 60 durch den Gebrauch des Systems 100 bereits daran gewöhnt ist, dass keine Informationen „verpasst“ werden können, da eine Wiedergabe während der Fahrt ohnehin ausbleibt und ein regelmäßiges „Nachsehen“ gar nicht erforderlich oder nutzbringend ist. Die dynamikbasierte Heuristik kann weiter konfiguriert sein, weitere bewegliche oder dynamische Elemente in ihrer Dynamik zu reduzieren, beispielsweise indem typische und/oder lediglich der Augenfälligkeit dienende Animationen (z.B. Öffnen oder Schließen von Fenstern, Dialogen; Bildschirmaufbau, Scrollen, etc.) reduziert oder eliminiert werden.

In einem Beispiel kann ein Nutzer 60 einen (neuen) Inhalt anfordem bzw. einen bereits wiedergegebenen Inhalt aktualisieren, beispielsweise durch Betätigen eine Bedienelements (z.B. Tastendruck, Spracheingabe). Ein Inhalt bzw. eine Aktualisierung kann beispielsweise ein (neues) Standbild eines Videos beinhalten (z.B. Fußball Live- Übertragung). Vorzugsweise kann eine Updaterate, wie oft eine Aktualisierung angefordert werden kann bzw. werden darf, auf Basis von einem oder mehreren Umfel dparametem bzw. einer vom System 100 zugestandenen„erlaubten Ablenkung“ angepasst werden. Eine erlaubte Ablenkung kann in bekannter Weise quantifiziert bzw. beeinflusst werden. Die Druckschrift DE 10 2013 221 867 offenbart beispielsweise, wie eine Fidelity und/oder Latenz eines Systems künstlich verändert werden kann, um damit eine Fahrerablenkung zu minimieren. Die Druckschrift DE 10 2018 129 801 offenbart beispielsweise ein Verfahren, mit dem situativ eine zulässige Ablenkung spezifiziert werden kann, auf deren Basis weitere Systeme in einem Fahrzeug angepasst werden können.

Die dynamikbasierte Heuristik kann zusätzlich oder alternativ konfiguriert sein, einen aktuellen Fahrzustand des Fahrzeugs 80 zu berücksichtigen. Im jeweiligen Kontext kann es für die Bewertung einer Ablenkung des Nutzers 60 entscheidend sein, einen aktuellen Fahrzustand des Fahrzeugs 80 zu erfassen und zu berücksichtigen. So benötigt ein Nutzer 60 im Stillstand oder bei Stop-and-Go Verkehr typischerweise nur eine minimale oder sehr geringe Aufmerksamkeit für das sichere Führen des Fahrzeugs 80, während bei dichtem Stadtverkehr, kurvenreicher Strecke oder höheren Geschwindigkeiten eine vergleichsweise hohe Aufmerksamkeit erforderlich ist. Gleiches gilt für verschiedene Level des automatisierten bzw. autonomen Fahrens, wobei ein Nutzer 60 je nach Level dem Fahrzeug unterschiedliche Aufmerksamkeit angedeihen lassen muss. Das System 100 kann einen jeweiligen Fahrzustand oder Fahrmodus erfassen und die Heuristik bzw. Heuristiken dem Fahrzustand anpassen. Es können insbesondere Informationen je nach Fahrzustand verzögert ausgegeben werden, sobald eine für den jeweiligen Fahrzustand benötigte Aufmerksamkeit ein bestimmtes Niveau erreicht oder unterschreitet. Wenn das benötigte Aufmerksamkeitsniveau fahrzustandsbedingt so weit gesunken ist, dass eine Ablenkung des Nutzers 60 durch die Wiedergabe der Wiedergabeelemente 111 auf der zweiten Benutzeroberfläche 110 als unkritisch angesehen werden kann, kann das System 100 eine Wiedergabe auslösen. So können beispielsweise im Falle eines Staus (z.B. Stillstand des Fahrzeugs 80) Nachrichten an den Nutzer 60 vorgelesen oder Videos wiedergegeben werden, welche fahrzustandsbasiert zuvor verzögert oder ausgeblendet wurden.

Die Heuristik 151 kann weiter beispielsweise eine content-basierte Heuristik beinhalten, zur Ermittlung einer kontextsensitiven Semantik von Elementen 211, 311 im Sinne der aktuellen Nutzung der j eweiligen Benutzeroberfläche 210, 310 durch den Nutzer 60. Hierbei ist die content-basierte Heuristik konfiguriert, Inhalte auszufiltem, die inhärent auf die Aufmerksamkeit des Nutzers 60 gerichtet sind und/oder auf dessen besondere Aufmerksamkeit abzielen (z.B. Werbeanzeigen, Werbevideos, Werbeanimationen, optisch aufbereitete Elemente zum Einfangen des Blickes).

Die Heuristik 151 kann weiter beispielsweise eine parameterbasierte Heuristik beinhalten, zur Überführung ein oder mehrerer Parameter der ersten Benutzeroberfläche 210, 310 auf ein oder mehrere Parameter der zweiten Benutzeroberfläche 110. Hierbei können eine Reihe von Parametern (z.B. Bildschirmgröße, Auflösung, Ausrichtung, Schriftgrößen, Piktogramme, Menüs) der ersten und zweiten Benutzeroberflächen aufeinander abgestimmt werden, sodass eine korrekte Wiedergabe und/oder transparente Bedienung ermöglicht werden. Weitere Heuristiken (als Teil der ersten Heuristik 151) können beispielsweise eine rollenbasierte Heuristik beinhalten, welche die Rolle eines Nutzers 60 berücksichtigt (z.B. als Fahrer, Beifahrer, Insasse) und somit die Erfordernisse an die Aufmerksamkeit des Nutzers 60 zum Führen des Fahrzeugs 80. Die rollenbasierte Heuristik kann beispielsweise basierend auf einer vom Nutzer 60 verwendeten Bedienkomponente des Fahrzeugs 80 Rückschlüsse auf die Rolle des Nutzers 60 ziehen, zum Beispiel, wenn der Nutzer 60 eine Benutzeroberfläche verwendet, welche nicht vom Fahrer des Fahrzeugs 80 verwendet werden kann (z.B. Rear-Seat Entertainment).

Weitere Heuristiken können insbesondere persönliche Fähigkeiten des bzw. Anforderungen an den Nutzer 60 in der Rolle des Fahrers beinhalten. Fähigkeiten bzw. Anforderungen können beispielsweise eine Sehkraft des Nutzers 60 betreffen, ein Hörvermögen, Reaktionsvermögen und andere Eigenschaften, einschließlich Alter, Geschlecht, oder dergleichen. Hierbei können bestimmte Fähigkeiten auch kontextabhängig relevant sein, beispielsweise ein Sehvermögen bei Dämmerung oder nachts, Farbenblindheit, etc., wobei solche Fähigkeiten vorzugsweise manuell oder statistisch erfasst und regelmäßig oder kontinuierlich aktualisiert werden (z.B. Anlernen, Abfragen, Messen). Weiter kann eine Korrelation zwischen mehreren Nutzem 60 (z.B. zeitgleiche Nutzung oder zeitversetzte Nutzung) erfolgen. Dabei kann eine personalisierte Heuristik erfassen und berücksichtigen, wie stark einzelne Personen von einzelnen Elementen abgelenkt werden, wobei insbesondere abgebildet wird, dass unterschiedliche Nutzer 60 von denselben Elementen unterschiedlich stark abgelenkt werden. Dies kann beispielsweise ermöglichen, eine reduzierte Ablenkung älterer, erfahrener Nutzer 60 gegenüber multimedialen Inhalten im Vergleich zu einer erhöhten Ablenkung jüngerer, weniger erfahrener Nutzer 60 abzubilden. Gleichermaßen kann eine erhöhte Ablenkung ersterer durch schlechte Lichtverhältnisse im Vergleich zu einer geringeren Ablenkung letzterer deswegen ebenfalls abgebildet werden. Dies ermöglicht eine individuelle Anpassung der Wiedergabe von einzelnen Elementen angepasst an jeweilige Nutzer 60 und deren Eigenschaften bzw. Rollen. Weitere Faktoren, die für die persönliche Heuristik relevant sein können, beinhalten beispielsweise eine Lautstärke von Audio- Wiedergaben, Wiedergabe von unterschiedlichen Helligkeiten, eine jeweilige Privatsphäre (z.B. bei Passworteingabe) und dergleichen mehr. Ein weiterer Aspekt für persönliche Heuristiken ist eine Berücksichtigung von Wiedergabeelementen, welche auf einen ersten Nutzer 60 (z.B. Beifahrer) gerichtet sind, auf einen zweiten Nutzer 60 (z.B. Fahrer).

Gemäß der vorliegenden Offenbarung beinhalten Heuristiken vorzugsweise vorbestimmte, gelernte und/oder getaggte Meta-Informationen zu Inhalten von Anwendungen (z.B. mobile Apps, Web Anwendungen, Cloud Anwendungen).

Am Beispiel von Sprach-Interaktionen, kann eine Heuristik vorzugsweise folgende Interaktionen abbilden:

• „Zeige (nochmal) die Hauptseite“

• „Zeige mir die Seite (<Screen-Name>;<ähnliche Screen-Namen>}“

• „Zeige mir die Seite mit dem <Inhalte>“ (Suche in den Screens nach dem Beschriebenen Inhalten)

• „So bestätigen“ bzw.„Bestätigen“

• „Setze den Haken bei <Inhalt>“;„Nein, den Haken danach“

• „So abschicken“ bzw.„Abschicken“

• „Nochmal eine Seite zurück“

• „Zeige mir mal das <Inhalt> im Detail“

• „Aktualisieren“ /„Aktualisiere das mal“ /„Aktualisiere das Bild/Video“ etc.

• „Gib da oben/unten mal einen Text ein“ /„Gib unter <Inhalt> mal folgenden Text ein (und schicke das ab)“

• „Aktiviere das Textfeld“ /„Aktiviere das Textfeld <Inhalt>“

Grundsätzliche Bildschirminhalts-Kategorien, die eine Heuristik vorzugsweise abdeckt, beinhalten ein oder mehrere von:

• Textbereich String

• Textbereich Zahlen

• Eingabebereich

• Passworteingabebereich / Login-Bereich

• Ein-/ Ausgabefelder für Datumsangaben, Zeitangaben, Kalender, etc.

• Grafikbereich statisch

• Grafikbereich dynamisch • „Bildunterschriften“

• Tabellen -> Tabellen Spaltennamen, Zeileneinträge, u.U. auch zusätzlicher Hinweis:„Tabelle umfasst x Zeilen...“

• Überschriften

• Texterkennung in Bildern, ggfs. Ersatz durch Text

• Inhaltserkennung von Bildern (z.B.„2 Gesichter“,„Hund“, etc.)

• „Hintergrundgrafik“ ohne inhaltlichen Nutzen

• Buttons bzw. Schaltflächen

• Button- bzw. Schaltflächen Beschriftung

• Typische Grafiken:

o „Vor“,„Zurück“,„Home“

o Einkaufswagen

o „Ok“,„Weiter“,„Abbrechen“

o Suchen

o Scrollen („hoch“,„runter“,„links“,„rechts“)

o Reiter

• Touch-Gestik

o Wischen

o Zoom

Zudem kann, beispielsweise um eine Lesbarkeit und/oder Erkennbarkeit von Grafikelemente zu erhöhen, eine Anpassung von Darstellungsparametem vorgenommen werden (z.B. über Kontrastanpassungen, Helligkeit, Farbänderungen, selektive Farbänderungen von Text auf Hintergrund).

Vorzugsweise kann eine Funktionalität, d.h. ob ein Element in einer Anwendung „anklickbar“ oder anderweitig aktivierbar ist (z.B. das Vorhandensein eines Zoom- oder Wischbereiches) automatisiert erlernt werden. Eine beispielhafte Implementierung hierfür ist wie folgt:

• System wird in eine (virtuelle) Maschine geladen

• Warten bis keine Änderung am Output passiert, und/oder

• Bildelemente erkennen, welche sich auch ohne Input gelegentlich/regelmäßig/ kontinuierlich ändern. • Zufällig Eingabeaktionen durchführen:

o Delta-Betrachtung:

Was hat sich verändert?

Liegt ein ganz neuer unbekannter oder bekannter Bildschirminhalt vor?

• Allgemein: Ähnlichkeitsbaum zwischen allen Ausgaben je nach Eingabe und Clustering.

• Zudem: Nutzung Heuristiken der typischen Bedienführung, bspw. Bei verschiedenen Anwendungen (z.B. iOS, Android Variante X, Web-Anwendung).

Das System 100 ist vorzugsweise konfiguriert, eine oder mehrere Heuristiken in regelmäßigen Abständen, kontinuierlich, und/oder bedarfsweise anpasst, basierend auf einer ermittelten Effektivität und/oder aktuellen oder gemittelten Ablenkung eines Nutzers 60. Hierbei kann ein Verhalten eines oder mehrerer Nutzer 60 (z.B. mittels Innenraumkamera, Eye-Tracking, oder vergleichbarer oder ähnlicher Sensorik) erfasst und ausgewertet werden, um eine momentane Ablenkung zu quantifizieren. Basierend auf einer solchen Quantifizierung können dann verschiedene Heuristiken angewendet und gemäß ein oder mehrerer Kriterien (z.B. Effektivität) beurteilt werden. Im Zeitverlauf können dann verschiedene Heuristiken, gegebenenfalls mehrfach, angepasst werden und ein oder mehrere optimierte oder anderweitig bevorzugte Heuristiken für einen oder mehrere Nutzer 60 ausgewählt und angewendet werden. Eine oder mehrere Heuristiken können insbesondere beinhalten, dass eine Ablenkung eines oder mehrerer Nutzer 60 einen Maximalwert übersteigt und eine weitere Wiedergabe von Inhalten und/oder Übertragung von Eingaben unterbinden.

Die Koppelung ermöglicht weiter, dass mittels der zweiten Benutzeroberfläche 110 durch den Nutzer 60 des Fahrzeugs 80 vorgenommene Eingaben 113 (z.B. per Touchscreen, Gestik, Spracheingaben, über diverse Bedienelemente) zur Verarbeitung durch die erste Benutzeroberfläche 210, 310 an diese übertragen werden, vorzugsweise in Form von einer Eingabeabbildung 213, 313. Erfindungsgemäß erlaubt eine solche Koppelung die Bedienung von unterschiedlichen Anwendungen über die zweite Benutzeroberfläche 110 (welche z.B. durch ein Steuergerät 120 in einem Fahrzeug 80 implementiert wird), wobei die Anwendungen originär für eine Bedienung über die erste Oberfläche (welche z.B. durch ein mobiles Endgerät 200 oder ein oder mehreren Backend Komponenten 300 implementiert wird) vorgesehen sind. Hierbei wird die zweite Oberfläche 110 durch das mobile Endgerät 200 oder die ein oder mehreren Backend Komponenten 300 (z.B. im Falle von Cloud-basierten Anwendungen) eben gerade nicht implementiert, d.h. eine jeweilige Anwendung ist nicht für die Bedienung mittels der zweiten Oberfläche vorgesehen. Erfmdungsgemäß ist weiter vorgesehen, eine Anpassung der Wiedergabe und/oder der Eingaben derart vorzunehmen, dass eine Aufmerksamkeit des Nutzers 60 des Fahrzeugs 80 (z.B. auf den Straßenverkehr, das Führen des Fahrzeugs und/oder die Bedienung des Fahrzeugs) nicht oder nur minimal beeinträchtigt wird und/oder, dass verschiedene Modalitäten der Eingabe im Fahrzeug 80 an die erste Benutzeroberfläche semantisch korrekt bzw. sinnvoll übertragen werden.

Die Ermittlung einer Eingabeabbildung 213, 313 erfolgt basierend auf ein oder mehreren Eingaben 113 des Nutzers 60 (z.B. über die zweite Benutzeroberfläche 110 oder mittels weitere Bedienelemente des Fahrzeugs 80) und basierend auf einer zweiten Heuristik 152 (auch: Eingabeheuristik). Die zweite Heuristik 152 ist konfiguriert, ein oder mehrere Eingaben 113 des Nutzers 60 unabhängig von einer Eingabemodalität auf eine Eingabeabbildung 213, 313 abzubilden, welche dann an die erste Benutzeroberfläche 210, 310 übertragen werden kann.

Die zweite Heuristik 152 kann insbesondere eine eingabemodale Heuristik beinhalten. Die eingabemodale Heuristik ist konfiguriert, unterschiedliche Eingabemodalitäten bei der Abbildung der ein oder mehreren Eingaben 113 auf die Eingabeabbildung 213, 313 zu berücksichtigen. Unterschiedliche Eingabemodalitäten liegen beispielsweise vor, wenn der Nutzer 60 Eingaben 113 nicht nur basierend auf der zweiten Benutzeroberfläche 110 tätigt (z.B. durch Tippen auf einen Touchscreen), sondern alternative und/oder zusätzliche Komponenten zur Eingabe nutzt. Solche Komponenten können beispielsweise ein oder mehrere der folgenden beinhalten: iDrive Controller (z.B. Dreh- /Drück-Steller) oder Schalter im Fahrzeug 80, Gestensteuerung, Spracheingaben, Mimik, Kopfbewegungen, und dergleichen mehr. Beispielsweise kann Ein Nutzer 60 per Gestensteuerung (z.B. Zeigen) einen Cursor auf ein Textfeld zur Eingabe einer Zieladresse positionieren und anschließend per Spracheingabe eine Zieladresse diktieren. Abschließend kann der Nutzer 60 die Eingabe per Kopfnicken bestätigen. Diese multimodalen Eingaben werden durch die eingabemodale Heuristik entsprechend auf eine Eingabeabbildung abgebildet, beispielsweise auf: Bewegen eines Cursors analog Wischen mit dem Finger über eine Benutzeroberfläche oder Zeigen mit einem Mauszeiger, textuelle Eingaben und ein Klicken oder Berühren einer Schaltfläche. Im Ergebnis werden verschiedene Modalitäten der ersten Benutzeroberfläche 110 und/oder des Fahrzeugs 80 auf Eingabemodalitäten, die der ersten Benutzeroberfläche 210, 310 entsprechen, transparent (d.h. ohne weitere Funktionalität oder individuelle Anpassungen an der zweiten Benutzeroberfläche vorauszusetzen) abgebildet.

Figur 3 illustriert beispielhaft die Wiedergabe von Elementen 211-t, 211-s, 211-n, etc. einer ersten Benutzeroberfläche 210 auf einer zweiten Benutzeroberfläche 110 gemäß Ausführungsformen der vorliegenden Offenbarung. Beispielhaft wird hier eine Koppelung basierend auf einer Benutzeroberfläche 210 eines mobilen Endgerätes 200 beschrieben. Eine Koppelung einer Webanwendung oder der Benutzeroberfläche 310 einer Cloud-basierten Anwendung erfolgt im Wesentlichen analog.

Die erste Benutzeroberfläche 210 beinhaltet mehrere Elemente, beispielsweise Texteingabefelder 211-t, statische Textfelder 211-s, numerische Elemente 211-n, Grafikelemente 211 -g, (scrollbare und ggfs statische) Listenelemente 211-1 und dynamische Elemente 211-d. Vorliegend handelt es sich um eine Anfrage nach Verbindungen im ÖPNV basierend auf einem aktuellen Standort und einer aktuellen Uhrzeit, wobei die Elemente auf entsprechenden Texteingabefeldern 211-t basieren. Die Texteingabefelder werden auf der zweiten Benutzeroberfläche 110 über entsprechende Texteingabefelder 1 11-t wiedergegeben, deren Eingaben an die Benutzeroberfläche 210 wie vorstehend beschrieben übertragen werden. Weitere Elemente werden, wie dargestellt, wiedergegeben, wobei eine Überfrachtung der Anzeige mit zu viel Information vermieden wird. Hierbei kann der Nutzer 60 eine sukzessive Anzeige über ein oder mehrere Spracheingaben (z.B.„Zeige weitere Elemente der Liste“ oder„Lese mir die Suchergebnisse vor“) abrufen kann. Zudem ist eine im Vergleich zur App vergrößerte Darstellung auf einem zentralen Informationsdisplay möglich, was eine schnellere Erfassung der Inhalte seitens des Nutzers ermöglicht.

Figur 4 zeigt ein Flussdiagramm eines Verfahrens 400 zur Koppelung einer Benutzeroberfläche 210, 310 mit einer Benutzeroberfläche 110 eines Fahrzeugs gemäß Ausführungsformen der vorliegenden Offenbarung. Das Verfahren 400 zur Koppelung einer ersten Benutzeroberfläche 210, 310 mit einer zweiten Benutzeroberfläche 110 beginnt bei Schritt 401. Die erste Benutzeroberfläche 210, 310 wird vorzugsweise durch ein mobiles Endgerät 200 oder durch ein oder mehrere Backend Komponenten 300 implementiert. Die zweite Benutzeroberfläche 110 wird vorzugsweise durch ein Steuergerät 120 eines Fahrzeugs 80 implementiert. In Schritt 402 werden ein oder mehrere Elemente 211, 311 der ersten Benutzeroberfläche 210, 310 erfasst. In Schritt 406 werden ein oder mehrere Wiedergabeelemente 11 1 ermittelt, basierend auf einer ersten Heuristik 151 und den ein oder mehreren Elemente 211, 311. Die ein oder mehreren Wiedergabeelemente 111 sind konfiguriert, zumindest einen Teil der ein oder mehreren Elemente 211, 311 abzubilden. In Schritt 408 werden die ein oder mehreren Wiedergabeelemente 11 1 auf der zweiten Benutzeroberfläche 110 wiedergegeben. Das Verfahren endet bei Schritt 420.

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.