Die vorliegende Offenbarung betrifft ein Assistenzsystem für ein Fahrzeug, ein Fahrzeug mit einem solchen Assistenzsystem, ein Assistenzverfahren und ein Speichermedium zum Ausfuhren des Assistenzverfahrens. Die vorliegende Offenbarung betrifft insbesondere eine intelligente Interaktion des Assistenzsystems mit Fahrzeuginsassen in Bezug auf abgespielte Medieninhalte, wie zum Beispiel im Rahmen einer Singfunktion oder Karaoke-Funktion des Assistenzsystems.

Stand der Technik

Die Entwicklung von Fahrassistenzfunktionen beispielsweise zum (teil-)autonom Fahren z.B. gemäß SAE-Level 3, 4 oder 5 gewinnt stetig an Bedeutung. In solchen Fahrzeugen sind aktive Fahrer oftmals nur zeitweise oder überhaupt nicht mehr nötig, so dass sich vermehrt die Frage stellt, wie Fahrzeuginsassen während des (teil-)autonom Fahrens beschäftigt werden können. Ein möglicher Ansatz besteht darin, den Fahrzeuginsassen Infotainment-Angebote zur Beschäftigung während der (teil-)autonom Fahrt bereitzustellen. Herkömmliche Infotainment- Angebote wie Filme oder Videospiele sind jedoch in ihren Möglichkeiten, die Fahrzeuginsassen zu beschäftigen, begrenzt.

Offenbarung der Erfindung

Es ist eine Aufgabe der vorliegenden Offenbarung, ein Assistenzsystem für ein Fahrzeug, ein Fahrzeug mit einem solchen Assistenzsystem, ein Assistenzverfahren und ein Speichermedium zum Ausführen des Assistenzverfahrens anzugeben, die eine intelligente Interaktion des Assistenzsystems mit Fahrzeuginsassen in Bezug auf abgespielte Medieninhalte ermöglichen. Insbesondere ist es eine Aufgabe der vorliegenden Offenbarung, eine Singfunktion, wie z.B. eine Karaoke-Funktion, in einem Fahrzeug bereitzustellen.

Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben. Gemäß einem unabhängigen Aspekt der vorliegenden Offenbarung ist ein Assistenzsystem für ein Fahrzeug, insbesondere ein Kraftfahrzeug, angegeben. Das Assistenzsystem umfasst ein Ausgabemodul, das für eine Musikausgabe bzw. Musikwiedergabe basierend auf musikalischen Akustikdaten in einem Fahrzeuginnenraum eingerichtet ist; und eine Innenraumsensorik, die eingerichtet ist, um wenigstens einen Fahrzeuginsassen optisch und/oder akustisch zu erfassen und entsprechende Erfassungsdaten bereitzustellen. Das Assistenzsystem ist weiter eingerichtet, um basierend auf den Erfassungsdaten eine Reaktion bzw. ein Verhalten des wenigstens einen Fahrzeuginsassen auf die Musikausgabe zu bestimmen; und basierend auf der Reaktion bzw. dem Verhalten des wenigstens einen Fahrzeuginsassen auf die Musikausgabe wenigstens eine Fahrzeugfunktion anzusteuem, um dem wenigstens einen Fahrzeuginsassen eine Rückmeldung zur Reaktion auf die Musikausgabe bereitzustellen.

Erfindungsgemäß wird eine Reaktion bzw. eine Verhalten eines Fahrzeuginsassen auf abgespielte Medieninhalte z.B. im Rahmen einer Singfunktion oder Karaoke-Funktion erfasst und analysiert. Basierend auf der Analyse wird dem Fahrzeuginsassen eine qualifizierte Rückmeldung bzw. ein Feedback dazu gegeben. Beispielsweise kann eine Performance eines einzelnen oder mehrerer Fahrzeuginsassen (gleichzeitig oder nacheinander) beim Mitsingen von Musik bewertet werden, indem das Verhalten (Ausdruck, Bewegung, Dynamik usw.) verschiedener Gesichts- und/oder Körpermerkmale sowie die Synchronisierung mit dem Liedtext und/oder der Musik bewertet wird. Damit kann eine intelligente Interaktion des Assistenzsystems mit dem Fahrzeuginsassen in Bezug auf abgespielte Medieninhalte z.B. im Rahmen einer Singfunktion oder Karaoke-Funktion ermöglicht werden.

Der erfindungsgemäße Prozess, wie zum Beispiel die Singfunktion oder Karaoke-Funktion des Assistenzsystems, kann dabei von einer beliebigen geeigneten Anzahl an Personen innerhalb und außerhalb des Fahrzeugs verwendet werden. Insbesondere kann ein einzelner Fahrzeuginsasse allein spielen oder z.B. gegen das Assi stenz system (z.B. ein intelligenter persönlicher Assistent (IPA), eine digitale oder virtuelle Person, ein Avatar einer berühmten Person usw.) antreten. In einem weiteren Beispiel können Fahrzeuginsassen gegeneinander (z.B. einzeln oder in Teams) und/oder gegen das den IPA antreten. In einem noch weiteren Beispiel kann wenigstens ein Fahrzeuginsasse gegen wenigstens eine Person außerhalb des Fahrzeugs antreten. Die vorliegende Offenbarung ist jedoch nicht hierauf begrenzt und weitere Konstellationen von Fahrzeuginsassen und/oder IPA und/oder externen Personen sind für die gemeinschaftliche Nutzung des Assistenzsystems, insbesondere der Singfunktion oder Karaoke-Funktion, denkbar.

Vorzugsweise erfolgt die Musikausgabe bzw. das Abspielen der Musik über wenigstens einen Lautsprecher im Innenraum des Fahrzeugs. In einigen Ausführungsformen kann das Ausgabemodul den wenigstens einen Lautsprecher umfassen. In anderen Ausführungsformen können das Ausgabemodul und der wenigstens eine Lautsprecher getrennte Einheiten sein, die kommunikativ verbunden sind, wobei das Ausgabemodul Steuersignale an den wenigstens einen Lautsprecher zum Abspielen der Musik ausgeben kann.

Vorzugsweise ist das Assistenzsystem für Zonen-Audio eingerichtet, bei dem verschiedene Musik und/oder verschiedene Texte für verschiedene Benutzer auf verschiedenen Fahrzeugsitzen bereitgestellt werden können. Ergänzend oder alternativ kann das Assistenzsystem für Spatial Audio eingerichtet sein (z.B. Apple Spatial Audio, Dolby ATMOS usw.), wobei z.B. räumliche Audiokomponenten entsprechend der singenden Person(en) gefiltert und ausgegeben werden (z.B. Lead- vs. Backing-Vocals, mehrere Personen in einem Duett usw.).

Vorzugsweise ist das Ausgabemodul weiter für eine optische Ausgabe eines sprachlichen Teils der Musikausgabe basierend auf Lyrikdaten eingerichtet. In einigen Ausführungsformen können Liedtexte optisch zum Beispiel als Schriftzug angezeigt werden, die vorliegende Offenbarung ist jedoch nicht hierauf begrenzt. Die Liedtexte können optional sein und/oder dem Fahrzeuginsassen vom System nicht oder nur unter bestimmten Bedingungen zur Verfügung gestellt werden (z.B. für fortgeschrittene Sänger, je nach Auswahl des Fahrzeuginsassen, je nach Modus des Assistenzsystems usw.; z.B. kann das Assistenzsystem eingerichtet sein, um bestimmte Texte oder Textzeilen auszulassen, wobei der Sänger sich diese Texte merken und richtig singen muss). Zusätzlich oder in Kombination mit der Anzeige des Liedtextes können in einigen Ausführungsformen eines oder mehrere des Folgenden angezeigt werden: (i) ein Timing des Gesangs, (ii) welche Wörter/Töne zu einem bestimmten Zeitpunkt gesungen werden sollten, (iii) Pausen zwischen den Texten (was nicht gesungen werden sollte), (iv) eine Position des Sängers im Lied/Text, (v) eine Kadenz oder ein Rhythmus des Liedes/Textes, (vi) ein grafisches Hilfsmittel (z.B. Grafiken, bewegte Grafiken, Filmausschnitte, Animationen usw.), das dem Benutzer hilft, sich mit dem Lied/Text oder dem Künstler, der das Lied singt, zu synchronisieren (z.B. vermittelt durch das Betrachten eines Musikvideos), (vii) ein Musikvideo (zusätzlich zum Ton) und (viii) Kombinationen davon.

Die optische Ausgabe der Liedtexte erfolgt vorzugsweise mittels einer Anzeigevorrichtung. In einigen Ausführungsformen kann das Ausgabemodul die Anzeigevorrichtung umfassen. In anderen Ausführungsformen können das Ausgabemodul und die Anzeigevorrichtung getrennte Einheiten sein, die kommunikativ verbunden sind, wobei das Ausgabemodul Steuersignale an die Anzeigevorrichtung zum Anzeigen der Liedtexte ausgeben kann.

Vorzugsweise ist die Anzeigevorrichtung ein Display eines Infotainmentsystems. Typischerweise ist das Display im oder am Armaturenbrett des Fahrzeugs installiert. Das Display kann zum Beispiel eine Headunit sein. In einigen Ausführungsformen ist das Display ein LCD-Display, ein Plasma-Display oder ein OLED-Display.

Die vorliegende Offenbarung ist nicht auf die genannten Beispiel beschränkt und die Ausgabe der Liedtexte kann ergänzend oder alternativ mit Smart Devices, wie z.B. mit einer App, die mit dem Fahrzeug geteilt werden kann, oder einem cloudbasierten System, das mit Geräten und/oder dem Fahrzeug synchronisiert arbeitet, erfolgen.

Die musikalischen Akustikdaten umfassen Daten, die geeignet sind, um die Musikausgabe bzw. Musikwiedergabe zu ermöglichen. Die musikalischen Akustikdaten können optional oder alternativ Videoinhalte oder sowohl Audio- als auch Videoinhalte in einem Filmformat (z.B. Musikvideo, Streaming-Musik-Audio und/oder Video usw.) umfassen. Ähnlich umfassen die Lyrikdaten Daten, die geeignet sind, um Liedtexte optisch z.B. als Schriftzug auf einem Display wiederzugeben. Darüber hinaus ist es denkbar, dass ein intelligentes System (z.B. mit IPA-Fähigkeit) den Liedtext durch „Anhören“ oder Analysieren des Liedes (im Voraus und/oder in Echtzeit und/oder durch Abrufen aus der Vergangenheit) erfassen kann.

Das Assi stenz system kann auf wenigstens zwei verschiedene Arten implementiert werden: in einer ersten Implementierung sind die Musik und Liedtexte im Assistenzsystem integriert. In einer zweiten Implementierung arbeitet das Assistenzsystem parallel zur Musik und den Liedtexten, die von einem anderen System bereitgestellt werden (z.B. einem Infotainment- Player, einer im Fahrzeug laufenden App eines Drittanbieters, CarPlay, Android Auto, einem mobilen Endgerät usw.).

In Bezug auf die erste Implementierung kann das Assistenzsystem ein Speichermodul umfassen, das die musikalischen Akustikdaten und optional die Lyrikdaten speichert, insbesondere permanent speichert (im Unterschied zum temporären Zwischenspeichern beim Streaming).

In einigen Ausführungsformen kann das Speichermodul im Fahrzeug oder einer mit dem Fahrzeug verbunden externen Einheit integriert sein. Beispielsweise kann das Assistenzsystem weiter ein Schnittstellenmodul umfassen, die eingerichtet ist, um die musikalischen Akustikdaten und/oder die Lyrikdaten von der externen Einheit zu empfangen. Das Schnittstellenmodul kann zum Beispiel mittels einer Drahtlosverbindung (z.B. Bluetooth, WLAN, NFC, usw.) mit der externen Einheit kommunizieren.

Vorzugsweise ist die externe Einheit ein mobiles Endgerät z.B. eines Fahrzeuginsassen. Der Begriff mobiles Endgerät beinhaltet insbesondere Smartphones, aber auch andere mobile Telefone bzw. Handys, Personal Digital Assistants (PDAs), Tablet PCs sowie alle gängigen sowie künftigen elektronischen Geräte, welche mit einer Technologie zum Laden und Ausführen von Apps ausgestattet sind. Das Assistenzsystem mit integrierter Musik und Liedtexten der ersten Implementierung kann beispielsweise als App innerhalb des Fahrzeugs, mittels eines projizierten Modus (z. B. CarPlay oder Android Auto) oder von einem mobilen Endgerät aus funktionieren.

In Bezug auf die zweite Implementierung kann das Assistenzsystem eingerichtet sein, um die musikalischen Akustikdaten und/oder die Lyrikdaten von einer externen Einheit und/oder einem Streamingdienst zu empfangen. Anders gesagt sind die Musik und/oder die Liedtexte nicht integriert, sondern werden von extern als Stream bereitgestellt. Das Assistenzsystem arbeitet also parallel zu einem bestehenden Musikplayer und nutzt diesen (z.B. liefern Apple Music und Spotify Liedtexte, während der Song abgespielt wird). Dieser Ansatz, parallel zur Quelle der Musik/Texte zu arbeiten, kann das Assistenzsystem vereinfachen und ist beispielsweise nicht von der Bereitstellung von Musik und Texten, der Verwaltung von Inhalten oder Lizenzfragen abhängig.

Vorzugsweise umfasst die Innenraumsensorik wenigstens eine Innenraumkamera und/oder wenigstens ein Innenraummikrofon. Die wenigstens eine Innenraumkamera kann Videodaten zur Analyse von Reaktionen bzw. des Verhaltens des/der Fahrzeuginsassen (z.B. der Gesangsperformance) liefern. Ähnlich kann das wenigstens eine Innenraummikrofon Audiodaten zur (weiteren) Analyse der Gesangsperformance liefern.

Vorzugsweise umfasst die Reaktion des wenigstens einen Fahrzeuginsassen auf die Musikausgabe ein körperliches Verhalten des wenigstens einen Fahrzeuginsassen, wie zum Beispiel einen Körperausdruck, eine Körperbewegung, einen Gesichtsausdruck und/oder eine Lippenbewegung. Beispielsweise kann das Assistenzsystem eine Gesichtserkennungsfunktion implementieren, um aus den Videodaten der wenigstens einen Innenraumkamera Gesichtszüge, Lippenbewegungen usw. im Takt des Textes und der Musik zu erkennen. In einigen Ausführungsformen kann das Assistenzsystem einen Gesichtsausdruck des Fahrzeuginsassen bewerten, beispielsweise indem das Assistenzsystem den Ausdruck des Fahrzeuginsassen mit einem Originalausdruck des Künstlers vergleicht (was ein Training des Assistenzsystems für bestimmte Lieder oder eine Reihe von Beispielen erfordern kann). Ergänzend oder alternativ umfasst die Reaktion des wenigstens einen Fahrzeuginsassen auf die Musikausgabe eine akustische Performance des wenigstens einen Fahrzeuginsassen in Bezug auf die Musikausgabe, insbesondere eine Lautstärke, einen Rhythmus und/oder eine Tonlage bei einem Mitsingen.

Ergänzend oder alternativ umfasst die Reaktion des wenigstens einen Fahrzeuginsassen auf die Musikausgabe eine Synchronisation eines Mitsingens des wenigstens einen Fahrzeuginsassen mit der Musikausgabe und/oder dem sprachlichen Teil der Musikausgabe. Beispielsweise kann das Assistenzsystem einen Grad der Synchronisierung der Gesichtszüge eines oder mehrerer Fahrzeuginsassen (z.B. mehrere Fahrzeuginsassen gleichzeitig) mit dem Text und/oder der Musik analysieren. Das Assistenzsystem kann zum Beispiel ein Lippenlesen implementieren (z.B. unterstützt durch KI/ML, um das Assistenzsystem auf das Lippenlesen von Gesang zu trainieren). Der Grad der Synchronisation kann in einigen Ausführungsformen Parameter wie Timing und/oder Bewegung der Gesichts- und/oder Körpermerkmale umfassen (z.B. ob sich Mund und Lippen für die gegebene Dynamik und Lautstärke der Musik weit genug auseinander bewegen).

Ergänzend oder alternativ umfasst die Reaktion des wenigstens einen Fahrzeuginsassen auf die Musikausgabe einen Emotionszustand des wenigstens einen Fahrzeuginsassen. Der Emotionszustand kann zum Beispiel Aufschluss über eine subjektive empfundene Performance des wenigstens einen Fahrzeuginsassen geben.

Vorzugsweise umfasst das Assistenzsystem weiter ein künstliche Intelligenz (KEAI)-Modul, das eingerichtet ist, um basierend auf den Erfassungsdaten der Innenraumsensorik die Reaktion bzw. das Verhalten des wenigstens einen Fahrzeuginsassen auf die Musikausgabe zu bestimmen.

Vorzugsweise umfasst das künstliche Intelligenz-Modul einen trainierten Algorithmus. Der Algorithmus kann zum Beispiel mittels Machine Learning (ML) anhand von Trainingsdaten trainiert werden. Je größer der Trainingsdatensatz ist, desto besser wird eine Performance das Assistenzsystems. In einigen Ausführungsformen kann der Algorithmus des künstliche Intelligenz-Moduls basierend auf Videodaten und/oder Audiodaten von einzelnen oder mehreren Personen, die zu verschiedenen Liedern singen, trainiert werden.

Ergänzend oder alternativ kann der Algorithmus basierend auf musikalischen Akustikdaten und/oder Lyrikdaten, die der Musikausgabe entsprechen (d.h. dieselben Lieder) trainiert werden.

Ergänzend oder alternativ kann der Algorithmus basierend auf musikalischen Akustikdaten und/oder Lyrikdaten, die der Musikausgabe ähnlich sind (d.h. ähnliche Lieder), trainiert werden.

Ergänzend oder alternativ kann der Algorithmus basierend auf historischen Daten in Bezug auf frühere Musikausgaben und Reaktionen von Fahrzeuginsassen darauf trainiert werden. Insbesondere kann das Assistenzsystem eine integrierte Trainingsfunktion umfassen, so dass das Assistenzsystem bis zu einem gewissen Grad während der Lebensdauer des Assistenzsystems aus dem Verhalten der tatsächlichen Nutzer lernt.

Vorzugsweise ist das Assistenzsystem eingerichtet, um die Rückmeldung an den wenigstens einen Fahrzeuginsassen akustisch und/oder optisch und/oder haptisch auszugeben. Insbesondere kann die wenigstens eine Fahrzeugfunktion basierend auf der Reaktion des wenigstens einen Fahrzeuginsassen auf die Musik angesteuert werden, um ein akustisches und/oder optisches und/oder haptisches Feedback auszugeben.

Die akustische Rückmeldung kann zum Beispiel über Musik, Geräusche, Töne, Soundeffekte, Sprache (z.B. über einen intelligenten persönlichen Assistenten, IPA) oder Kombinationen davon erfolgen. Die vorliegende Offenbarung ist jedoch nicht hierauf begrenzt und andere akustische Mittel können verwendet werden, um die Rückmeldung bzw. das Feedback an den wenigstens einen Fahrzeuginsassen auszugeben. Die optische Rückmeldung kann zum Beispiel über eine Anzeigevorrichtung erfolgen, wie zum Beispiel ein Head-up Display (HUD), ein Projektions-HUD (PHUD) und/oder ein Center Information Display (CID). Die vorliegende Offenbarung ist jedoch nicht hierauf begrenzt und andere Anzeigevorrichtungen, wie z.B. andere graphische Benutzeroberflächen (GUIs) und/oder digitale Projektoren, können verwendet werden, um die Rückmeldung bzw. das Feedback an den wenigstens einen Fahrzeuginsassen auszugeben.

Ergänzend oder alternativ kann die optische Rückmeldung über einen Avatar und/oder eine Umgebungsbeleuchtung erfolgen. Der Avatar kann zum Beispiel auf der Anzeigevorrichtung dargestellt werden. Die Umgebungsbeleuchtung kann moduliert werden, um ein intuitives Feedback bereitzustellen (z.B. grün für gute Performance und rot für schlechte Performance des wenigstens einen Fahrzeuginsassen).

Die haptische Rückmeldung kann zum Beispiel über eine Lenkrad-Haptik, eine Sitz-Haptik, eine GUI-Haptik oder Kombinationen davon erfolgen. Die vorliegende Offenbarung ist jedoch nicht hierauf begrenzt und andere haptische Mittel können verwendet werden, um die Rückmeldung bzw. das Feedback an den wenigstens einen Fahrzeuginsassen auszugeben.

Vorzugsweise ist das Assistenzsystem, insbesondere das Ausgabemodul, eingerichtet, um wenigstens einen Ausgabeparameter der Musikausgabe basierend auf der Reaktion des wenigstens einen Fahrzeuginsassen auf die Musikausgabe einzustellen. Der wenigstens eine Ausgabeparameter kann zum Beispiel eine Lautstärke sein. Beispielsweise kann die Lautstärke bei einer schlechten Performance des Fahrzeuginsassen erhöht werden, um die Performance subjektiv zu verbessern. Die vorliegende Offenbarung ist jedoch nicht auf die Lautstärke begrenzt und es kann zum Beispiel ein Klangbild der Musikausgabe eingestellt werden.

In einigen Ausführungsformen ist der wenigstens eine Fahrzeuginsasse ein einziger Fahrzeuginsasse, dessen Reaktion auf die Musikausgabe bestimmt und für den eine Rückmeldung ausgegeben wird. In anderen Ausführungsformen ist der wenigstens eine Fahrzeuginsasse zwei oder mehr Fahrzeuginsassen. In diesem Fall kann für jeden der zwei oder mehr Fahrzeuginsassen eine jeweilige Reaktion auf die Musikausgabe bestimmt und eine entsprechende Rückmeldung ausgegeben werden.

Die vorliegende Offenbarung ist jedoch nicht hierauf begrenzt und weitere Konstellationen von Fahrzeuginsassen und/oder Fahrassistenzsystem (z.B. IPA) und/oder externen Personen sind für die gemeinschaftliche Nutzung des Assistenzsystems, insbesondere der Singfunktion oder Karaoke-Funktion, denkbar.

In einigen Ausführungsformen kann das Assistenzsystem ein Echtzeit-Feedback zur Performance mehrerer Sänger gleichzeitig liefern (z.B. eine grafische Benutzeroberfläche mit einem Balkendiagramm, einem Stemendiagramm, einer prozentualen Einstufung usw.), wobei die Identität jedes Sängers berücksichtigt wird. Hierzu kann das Assistenzsystem zum Beispiel eine Gesichtserkennung verwenden, um die Fahrzeuginsassen zu erkennen und zu identifizieren. Dies kann einen freundschaftlichen Wettbewerb fördern und zu einem unterhaltsamen und angenehmen Erlebnis führen.

Das Assistenzsystem kann in einigen Ausführungsformen auf frühere Ergebnisse oder Daten einzelner Sänger zurückgreifen und die allgemeine Performance oder die Performance bei bestimmten Liedern, die in der Vergangenheit gesungen wurden, vergleichen. Dies ermöglicht ein persönliches Wachstum und eine positive Einstellung zur Verbesserung im Vergleich zum Wettbewerb.

Vorzugsweise umfasst das Assistenzsystem einen intelligenten persönlichen Assistenten (IPA), der für eine Interaktion mit dem wenigstens einen Fahrzeuginsassen eingerichtet ist. Insbesondere kann der intelligente persönliche Assistenten eingerichtet sein, um die Rückmeldung auf die Musikausgabe zu bestimmen und auszugeben. Optional kann der IPA als Teilnehmer bei der Karaoke auftreten. Unter dem Begriff „intelligenter persönlicher Assistent“ wird eine Software verstanden, die Menschen bei grundlegenden Aufgaben unterstützen kann und in der Regel Informationen in natürlicher Sprache liefert. IP As können Online-Ressourcen nutzen, um die Fragen eines Nutzers zu beantworten, z.B. zum Wetter, zu Sportergebnissen, zur Bereitstellung von Wegbeschreibungen und zur Beantwortung anderer Fragen. Im Rahmen der vorliegenden Offenbarung kann die Funktionalität des IP A erweitert werden, um mit dem Fahrer in Bezug auf die Perfomance beim Singen zu interagieren bzw. Rückmeldung/Feedback zu geben und optional als Teilnehmer bei der Karaoke aufzutreten.

Insbesondere kann der IPA in einigen Ausführungsformen eine aktive Rolle bei der Inszenierung und Moderation des Prozesses (z.B. Singen oder Karaoke) spielen und/oder ein Teilnehmer sein. So kann der IPA beispielsweise den Musiktitel ankündigen, die Teilnehmer (Fahrzeuginsassen und optional externe Nutzer) vorstellen, einen laufenden Kommentar abgeben (z.B. in Form von Sprache, Text, Emojis, grafischem Feedback usw.), die Gewinner ankündigen und die Verlierer loben (oder kritisieren).

In einigen Ausführungsformen kann der IPA zu einem Teilnehmer werden, so dass der Fahrzeuginsasse gegen den IPA antreten kann, z.B. wenn er allein reist oder wenn andere Personen im Fahrzeug nicht zu einem Lied singen wollen (z.B. aufgrund von Vorlieben oder weil sie ein Lied nicht kennen). Zudem kann der IPA den Fahrzeuginsassen ermöglichen, gemeinsam gegen den IPA anzutreten (z.B. um den sozialen Zusammenhalt unter den Fahrzeuginsassen zu fördern). Alternativ können die Fahrzeuginsassen auch untereinander oder als Team gegeneinander antreten.

Vorzugsweise ist das Assi stenz system eingerichtet, um eine Musikauswahl von dem wenigstens einen Fahrzeuginsassen zu empfangen. Beispielsweise kann der wenigstens eine Fahrzeuginsasse ein Lied auswählen, oder das Assistenzsystem kann ein Lied vorschlagen und/oder auswählen (z.B. als Ergänzung oder Kontrast zum zuletzt gespielten Lied).

Der Prozess bzw. die Singfunktion (z.B. Karaoke-Funktion) kann von einem Fahrzeuginsassen aktiviert werden, oder der Prozess bzw. die Singfunktion (z.B. Karaoke-Funktion) kann durch die Auswahl der Musik aktiviert werden. Zum Beispiel kann in einigen Ausführungsformen jedes gespielte Lied als Karaoke gestartet werden, bei dem die Fahrzeuginsassen gegeneinander antreten. Alternativ kann das Assistenzsystem beispielsweise über den IPA empfehlen, den Prozess auf der Grundlage der Fahrt oder eines oder mehrerer Kriterien zu starten, z.B. wenn die Insassen schon viele Stunden gefahren sind, Anzeichen von Langeweile oder Müdigkeit zeigen, usw.

In einigen Ausführungsformen kann das Assistenzsystem eingerichtet sein, um eine Musikauswahl automatisch basierend auf wenigstens einem Umstandsparameter durchzuführen. Der wenigstens eine Umstandsparameter kann zum Beispiel eine Jahreszeit (z.B. Weihnachtszeit, Ferien usw.), ein Tag (z.B. Valentinstag, Geburtstag, Halloween usw.), eine Uhrzeit (morgens oder abends), eine Identität des wenigstens einen Fahrzeuginsassen usw. umfassen oder sein.

Vorzugsweise ist das Assistenzsystem für Echtzeit-Software-Updates eingerichtet. Hierdurch können während der Nutzungsdauer die Leistung des Assistenzsystems aktualisiert, das Training mit neuen Musikinhalten verbessert und zusätzliche Funktionen und/oder GUI- Funktionen bereitgestellt werden.

Vorzugsweise ist für die Nutzung der Funktionalitäten des Assistenzsystems ein Abonnement erforderlich (z.B. monatliche oder jährliche Zahlungen). Die Funktionalitäten des Assistenzsystems können zudem ein Teil eines größeren Abonnementpakets oder eine Fahrzeugoption sein, der/die mit dem Fahrzeug gekauft oder zu einem späteren Zeitpunkt während des Besitzzyklus hinzugefügt wird.

In einigen Ausführungsformen kann ein Social-Media- und/oder Cloud- Aspekt aktivierbar sein, bei dem die Teilnehmer das Spiel außerhalb des Fahrzeugs oder in einem anderen Fahrzeug aus der Ferne mit Freunden oder der Öffentlichkeit (wie bei Social Gaming) spielen können. Insbesondere kann in einigen Ausführungsformen der wenigstens eine Fahrzeuginsasse mit wenigstens einem Teilnehmer außerhalb des Fahrzeugs spielen. Gemäß einem weiteren Aspekt der vorliegenden Offenbarung ist ein Fahrzeug, insbesondere Kraftfahrzeug, angegeben. Das Fahrzeug umfasst das Assistenzsystem gemäß den Ausführungsformen der vorliegenden Offenbarung.

Der Begriff Fahrzeug umfasst PKW, LKW, Busse, Wohnmobile, Krafträder, etc., die der Beförderung von Personen, Gütern, etc. dienen. Insbesondere umfasst der Begriff Kraftfahrzeuge zur Personenbeförderung.

Vorzugsweise ist das Fahrzeug zum automatisierten Fahren eingerichtet. Beispielsweise kann das erfindungsgemäße Assistenzsystem nur dann aktivierbar sein, wenn das Fahrzeug in einem automatisierten Fahrmodus fährt. Die vorliegende Offenbarung ist jedoch nicht herauf begrenzt und das Assi stenz system bzw. die Singfunktion oder Karaoke-Funktion kann auch bei einem manuellen Fahren aktivierbar bzw. nutzbar sein.

Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen des Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Bei dem automatisierten Fahren kann es sich beispielsweise um ein zeitlich längeres Fahren auf der Autobahn oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens oder Rangierens handeln. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012).

Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich.

Die vorstehend genannten vier Automatisierungsgrade entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Assistenzverfahren angegeben. Das Assistenzverfahren umfasst ein Ausgeben von Musik in einem Fahrzeuginnenraum; ein optisches und/oder akustisches Erfassen wenigstens eines Fahrzeuginsassen durch eine Innenraumsensorik und Bereitstellen entsprechender Erfassungsdaten; ein Bestimmen einer Reaktion bzw. eines Verhaltens des wenigstens einen Fahrzeuginsassen auf die Musik basierend auf den Erfassungsdaten; und ein Ansteuem wenigstens einer Fahrzeugfunktion basierend auf der Reaktion bzw. dem Verhalten des wenigstens einen Fahrzeuginsassen, um dem wenigstens einen Fahrzeuginsassen eine Rückmeldung zur Reaktion bzw. dem Verhalten auf die Musikausgabe bereitzustellen.

Das Assistenzverfahren kann die Aspekte des in diesem Dokument beschriebenen Assistenzsystems für ein Fahrzeug implementieren.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Software (SW) Programm angegeben. Das SW Programm kann eingerichtet werden, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Assistenzverfahren auszuführen. Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Speichermedium angegeben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Assistenzverfahren auszuführen.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist eine Software mit Programmcode zur Durchführung des Assistenzverfahrens auszuführen, wenn die Software auf einer oder mehreren softwaregesteuerten Einrichtungen abläuft.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein System zur Bereitstellung fahrzeugbezogener Daten angegeben. Das System umfasst einen oder mehrere Prozessoren; und wenigstens einen Speicher, der mit dem einen oder den mehreren Prozessoren verbunden ist und Anweisungen enthält, die von dem einen oder den mehreren Prozessoren ausgeführt werden können, um das in diesem Dokument beschriebene Assistenzverfahren auszuführen.

Ein Prozessor bzw. ein Prozessormodul ist ein programmierbares Rechenwerk, also eine Maschine oder eine elektronische Schaltung, die gemäß übergebenen Befehlen andere Elemente steuert und dabei einen Algorithmus (Prozess) vorantreibt.

Kurze Beschreibung der Zeichnungen

Ausführungsbeispiele der Offenbarung sind in den Figuren dargestellt und werden im Folgenden näher beschrieben. Es zeigen:

Figur 1 schematisch ein Assistenzsystem gemäß Ausführungsformen der vorliegenden Offenbarung,

Figur 2 schematisch eine Anzeigevorrichtung mit einem Feedback gemäß Ausführungsformen der vorliegenden Offenbarung, und Figur 3 ein Flussdiagram eines Assistenzverfahrens gemäß Ausführungsformen der vorliegenden Offenbarung.

Ausführungsformen der Offenbarung

Im Folgenden werden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente gleiche Bezugszeichen verwendet.

Figur 1 zeigt schematisch ein Assistenzsystem 100 gemäß Ausführungsformen der vorliegenden Offenbarung.

Eine Datenquelle 110 stellt musikalische Akustikdaten 112 (und optional Videodaten) für eine Musikausgabe bzw. Musikwiedergabe in einem Fahrzeuginnenraum bereit. Typischerweise erfolgt die Musikausgabe bzw. das Abspielen der Musik über wenigstens einen Lautsprecher im Innenraum des Fahrzeugs (nicht gezeigt).

In einigen Ausführungsformen stellt die Datenquelle 110 weiter Lyrikdaten 114 für eine optische Ausgabe eines sprachlichen Teils der Musikausgabe bereit. Die optische Ausgabe der Liedtexte erfolgt vorzugsweise mittels einer Anzeigevorrichtung, wie zum Beispiel einer graphischen Benutzeroberfläche (GUI) des Fahrzeugs.

Das Bereitstellen der musikalischen Akustikdaten 112 und der Lyrikdaten 114 kann auf wenigstens zwei verschiedene Arten implementiert werden: in einer ersten Implementierung sind die Musik und Liedtexte im Assistenzsystem 100 integriert (interne Datenquelle 110). In einer zweiten Implementierung arbeitet das Assistenzsystem 100 parallel zur Musik und den Liedtexten, die von einem anderen System bereitgestellt werden (externe Datenquelle 110; z.B. einem Infotainment-Player, einer im Fahrzeug laufenden App eines Drittanbieters, CarPlay, Android Auto, einem mobilen Endgerät usw.).

Bei der zweiten Implementierung sind die Musik und/oder die Liedtexte nicht integriert, sondern werden von extern als Stream bereitgestellt. Das Assistenzsystem 100 arbeitet also parallel zu einem bestehenden Musikplayer und nutzt diesen (z.B. liefern Apple Music und Spotify Liedtexte, während der Song abgespielt wird). Dieser Ansatz, parallel zur Quelle der Musik/Texte zu arbeiten, kann das Assistenzsystem 100 vereinfachen und ist beispielsweise nicht von der Bereitstellung von Musik und Texten, der Verwaltung von Inhalten oder Lizenzfragen abhängig.

Das Assistenzsystem 100 umfasst weiter eine Innenraumsensorik 120, die eingerichtet ist, um wenigstens einen Fahrzeuginsassen optisch und/oder akustisch zu erfassen und entsprechende Erfassungsdaten bereitzustellen. Die Innenraumsensorik 120 kann zum Beispiel wenigstens eine Innenraumkamera 122 und/oder wenigstens ein Innenraummikrofon 124 umfassen. Die wenigstens eine Innenraumkamera 122 kann Videodaten zur Analyse von Reaktionen bzw. des Verhaltens des/der Fahrzeuginsassen (z.B. der Gesangsperformance) liefern. Ähnlich kann das wenigstens eine Innenraummikrofon 124 Audiodaten zur (weiteren) Analyse der Gesangsperformance liefern.

Das beispielhafte Assistenzsystem 100 umfasst weiter ein künstliche Intelligenz (KEAI)-Modul 130, das eingerichtet ist, um basierend auf den Erfassungsdaten der Innenraumsensorik die Reaktion bzw. das Verhalten des wenigstens einen Fahrzeuginsassen auf die Musikausgabe zu bestimmen. In einigen Ausführungsformen kann das Kl-Modul 130 eine Gesichts- und/oder Köpererkennung (Block 132) durchführen, um unter Verwendung der Musik und Lyrik (Block 134) eine Evaluation der Performance des wenigstens einen Fahrzeuginsassen durchzuführen (Block 136).

Beispielsweise kann das Kl-Modul 130 einen Grad der Synchronisierung der Gesichtszüge eines oder mehrerer Fahrzeuginsassen (z.B. mehrere Fahrzeuginsassen gleichzeitig) mit dem Text und/oder der Musik analysieren. Das Kl-Modul 130 kann zum Beispiel ein Lippenlesen implementieren. Der Grad der Synchronisation kann in einigen Ausführungsformen Parameter wie Timing und/oder Bewegung der Gesichts- und/oder Körpermerkmale umfassen (z.B. ob sich Mund und Lippen für die gegebene Dynamik und Lautstärke der Musik weit genug auseinander bewegen). Es ist denkbar, dass eine Erkennung von Emotionen (z.B. durch Auswertung der Kameradaten) zu verschiedenen Zeiten oder periodisch während des Prozesses erfolgt, wie zum Beispiel während des Singens, vor und/oder nach dem Singen, wenn die Musik spielt und zu diesem Zeitpunkt kein Text gesungen werden muss usw.

Typischerweise umfasst das künstliche Intelligenz-Modul 130 einen trainierten Algorithmus. Der Algorithmus kann zum Beispiel mittels eines Machine Learning (ML)-Moduls 140 anhand von Trainingsdaten 141 trainiert werden. Je größer der Trainingsdatensatz ist, desto besser wird eine Performance das Assistenzsystems 100.

Im Beispiel der Figur 1 werden beim ML Trainingsdaten 141 verwendet, um den Algorithmus 143 zu trainieren. Testdaten 142 werden für eine Evaluation 144 verwendet, so dass ein trainierter Algorithmus bzw. ein Modell 145 erzeugt wird, der/das für die Evaluation der Performance des wenigstens einen Fahrzeuginsassen verwendet wird.

In einigen Ausführungsformen kann der Algorithmus basierend auf Videodaten und/oder Audiodaten von einzelnen oder mehreren Personen, die zu verschiedenen Liedern singen, trainiert werden. Ergänzend oder alternativ kann der Algorithmus basierend auf musikalischen Akustikdaten und/oder Lyrikdaten, die der Musikausgabe entsprechen (d.h. dieselben Lieder) trainiert werden. Ergänzend oder alternativ kann der Algorithmus basierend auf musikalischen Akustikdaten und/oder Lyrikdaten, die der Musikausgabe ähnlich sind (d.h. ähnliche Lieder), trainiert werden. Ergänzend oder alternativ kann der Algorithmus basierend auf historischen Daten in Bezug auf frühere Musikausgaben und Reaktionen von Fahrzeuginsassen darauf trainiert werden. Insbesondere kann das Assistenzsystem 100 eine integrierte Trainingsfunktion umfassen, so dass das Assistenzsystem 100 bis zu einem gewissen Grad während der Lebensdauer des Assistenzsystems 100 aus dem Verhalten der tatsächlichen Nutzer lernt.

Vorzugsweise kann der Algorithmus dynamisch aktualisiert werden. Hierdurch können während der Nutzungsdauer die Leistung des Algorithmus aktualisiert, das Training mit neuen Musikinhalten verbessert und zusätzliche Funktionen und/oder GUI-Funktionen bereitgestellt werden. Das Kl-Modul 130 ist eingerichtet, um basierend auf den Erfassungsdaten der Innenraumsensorik 120 und unter Verwendung des trainierten Modells 145 eine Reaktion bzw. ein Verhalten des wenigstens einen Fahrzeuginsassen auf die Musikausgabe zu bestimmen. Basierend auf der Reaktion bzw. dem Verhalten des wenigstens einen Fahrzeuginsassen auf die Musikausgabe wird wenigstens eine Fahrzeugfunktion 150 angesteuert, um dem wenigstens einen Fahrzeuginsassen eine Rückmeldung bzw. ein Feedback bereitzustellen.

Die wenigstens eine Fahrzeugfunktion kann zum Beispiel einen intelligenten persönlichen Assistenten (IPA) 152 und ein akustisches und/oder optisches und/oder haptisches Feedbackmodul 154 umfassen. Das akustische Feedback kann zum Beispiel Töne und/oder eine Stimme (z.B. des IPA 152) umfassen. Ergänzend oder alternativ kann das optische Feedback zum Beispiel einen Avatar umfassen und/oder mittels einer Anzeigevorrichtung (z.B. GUI) erfolgen. Ergänzend oder alternativ kann das haptische Feedback zum Beispiel mittels einer Lenkrad-Haptik und/oder einer Innenraumbeleuchtung erfolgen. Im Ergebnis kann eine multi sensorische Ausgabe erfolgen.

Figur 2 zeigt schematisch eine Anzeigevorrichtung 200 mit einem Feedback gemäß Ausführungsformen der vorliegenden Offenbarung.

In einigen Ausführungsformen kann das Assistenzsystem ein Echtzeit-Feedback zur Performance mehrerer Sänger gleichzeitig liefern. Im Beispiel der Figur 2 ist eine grafische Benutzeroberfläche mit einem Balkendiagramm für drei Teilnehmer User 1, User 2 und User 3 und einem Liedtext („Lyrics“) dargestellt. Die vorliegende Offenbarung ist jedoch nicht auf dieses Beispiel beschränkt und es können andere graphische Elemente (z.B. Sternendiagramme, eine prozentuale Einstufung, Emojis usw.) und/oder akustische und/oder haptische Feedbackelemente verwendet werden.

Figur 3 zeigt ein Flussdiagram eines Assistenzverfahrens 300 gemäß Ausführungsformen der vorliegenden Offenbarung. Das Assistenzverfahren 300 kann durch eine entsprechende Software implementiert werden, die durch einen oder mehrere Prozessoren (z.B. eine CPU) ausführbar ist. Das Assistenzverfahren 300 umfasst im Block 310 ein Ausgeben von Musik in einem Fahrzeuginnenraum; im Block 320 ein optisches und/oder akustisches Erfassen wenigstens eines Fahrzeuginsassen durch eine Innenraumsensorik und Bereitstellen entsprechender Erfassungsdaten; im Block 330 ein Bestimmen einer Reaktion bzw. eines Verhaltens des wenigstens einen Fahrzeuginsassen auf die Musik basierend auf den Erfassungsdaten; und im Block 340 ein Ansteuern wenigstens einer Fahrzeugfunktion basierend auf der Reaktion bzw. dem Verhalten des wenigstens einen Fahrzeuginsassen, um dem wenigstens einen Fahrzeuginsassen eine Rückmeldung zur Reaktion bzw. dem Verhalten auf die Musikausgabe bereitzustellen.

Erfindungsgemäß wird eine Reaktion bzw. eine Verhalten eines Fahrzeuginsassen auf abgespielte Medieninhalte z.B. im Rahmen einer Singfunktion oder Karaoke-Funktion erfasst und analysiert. Basierend auf der Analyse wird dem Fahrzeuginsassen eine qualifizierte Rückmeldung bzw. ein Feedback dazu gegeben. Beispielsweise kann eine Performance eines einzelnen oder mehrerer Fahrzeuginsassen (gleichzeitig oder nacheinander) beim Mitsingen von Musik bewertet werden, indem das Verhalten (Ausdruck, Bewegung, Dynamik usw.) verschiedener Gesichts- und/oder Körpermerkmale sowie die Synchronisierung mit dem Liedtext und/oder der Musik bewertet wird. Damit kann eine intelligente Interaktion des Assistenzsystems mit dem Fahrzeuginsassen in Bezug auf abgespielte Medieninhalte z.B. im Rahmen einer Singfunktion oder Karaoke-Funktion ermöglicht werden.

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.