FAGEL, Sascha (Markelstr. 26a, Berlin, 12163, DE)
KRAWINKEL, Lenard, F. (Oranienburgerstr. 16, Berlin, 10178, DE)
FAGEL, Sascha (Markelstr. 26a, Berlin, 12163, DE)
| Patentansprüche 1. Verfahren zur Zuordnung von Sprachmerkmalen zu Bewegungsmustern, umfassend die folgenden Schritte: a) Spracheingabe (a) in ein Sprachanalysesystem (10); b) Transformation der Spracheingabe (a) in ein erstes Sprachsignal (ßl) durch eine Spracherfassungseinheit d) Erstellen eines Merkmalsvektors (μ) aus dem ersten Sprachsignal (ßl) mit Sprachmerkmalen (δΐ, δ2, δ3, ...δη) durch eine Sprachanalyseeinheit (30); e) Zuordnung der Sprachmerkmale (δΐ, δ2, δ3, ...δη) des Merkmalsvektors (μ) zu Bewegungsmustern (εΐ, ε2, ε3, ... εη) durch eine Rechnereinheit (40), wobei die Zu Ordnung der Sprachmerkmale (δΐ, δ2 , δ3, ... δη) zu Bewegungsmustern (εΐ, ε2, ε3, ... εη) über direktes Feature-Mapping erfolgt; 2. Verfahren nach Anspruch 1, umfassend die zusätzlichen Schritte : f) Formen eines Bewegungsablaufes (γ) durch die Aneinan derreihung der Bewegungsmuster (εΐ, ε2, ε3, ... εη); g) Übertragung des Bewegungsablaufes (γ) auf einen Ava- tar (50); 3. Verfahren nach einem der vorherigen Ansprüche, wobei die Sprachmerkmale (61, 62, 63, ... 6n) prosodische und/oder segmentale und/oder supra-segmentale Merkmale sind. 4. Verfahren nach einem der vorherigen Ansprüche, umfassend den zusätzlichen Schritt: i) Rendern des Bewegungsablaufes (γ) des Avatars (50) in eine Filmdatei (60) oder eine Bildsequenz über einen Renderer (100); 5. Verfahren nach einem der vorherigen Ansprüche, umfassend den zusätzlichen Schritt: j) Elektronischer Versandt der Filmdatei (60) oder Bildsequenz; 6. Verfahren nach einem der vorherigen Ansprüche, wobei die Bewegungsmuster (εΐ, ε2, ε3, ... εη) gestische Elemente und/oder mimische Elemente und/oder Blickelemente beinhalten. 7. Verfahren nach einem der vorherigen Ansprüche, umfassend den zusätzlichen Schritt: bl) Geräusche und/oder die Annotation von Signalab- schnitten des Sprachsignals (ßl) werden durch die Vorverarbeitungseinheit erkannt. 8. Verfahren nach einem der vorherigen Ansprüche, umfassend den zusätzlichen Schritt: c) Umwandlung des ersten Sprachsignals (ßl) in ein zweites Sprachsignal (ß2); 9. Verfahren nach einem der vorherigen Ansprüche, umfassend den zusätzlichen Schritt: h) Überlagern des Bewegungsablaufes (γ) des Avatars (50) mit dem ersten Sprachsignal (ßl) oder mit dem umgewandelten zweiten Sprachsignal (ß2); 10. Verfahren nach einem der vorherigen Ansprüche, umfassend den zusätzlichen Schritt: e) Verstärken einzelner oder aller Bewegungsmuster (εΐ, ε2, ε3, ... εη) durch einen Multiplikator (90); |
Die Erfindung betrifft ein Verfahren zur Zuordnung von
Sprachmerkmalen zu Bewegungsmustern, insbesondere ein Verfahren zur Steuerung eines Avatars durch Sprachmerkmale.
Als Stand der Technik wurden die zwei folgenden Schriften aufgefunden.
Die DE 602 10 295 T2 beschreibt ein Verfahren zur Feststellung emotionaler Erregung eines Probanden durch Sprachanalyse . Die DE 699 35 909 T2 beschreibt ein Informationsverarbeitungsgerät, eine tragbare Einrichtung, ein Informationsverarbeitungsprozeduren speicherndes Aufzeichnungsmedium und ein Informationsverarbeitungsverfahren, welches auf unterschiedliche Arten auf einer Informationseinrichtung wie beispiels- weise Mobiltelefonen und Personalcomputer angewendet werden kann.
Ausgehend von diesem Stand der Technik ist es die Aufgabe der vorliegenden Erfindung ein Verfahren bereit zu stellen, mit welchem aus einer Spracheingabe auf eine Bewegung geschlossen werden kann.
Die der Erfindung zugrunde liegende Aufgabe wird in einem ersten Aspekt durch ein Verfahren gelöst, bei dem eine
Spracheingabe in ein Sprachanalysesystem eingebracht wird, die Spracheingabe in ein erstes Sprachsignal durch eine
Spracherfassungseinheit transformiert wird, ein Merkmalsvektor aus dem ersten Sprachsignal mit Sprachmerkmalen durch eine Sprachanalyseeinheit erstellt wird und eine Zuordnung der Sprachmerkmale des Merkmalsvektors zu Bewegungsmustern durch eine Rechnereinheit durchgeführt wird, wobei die Zuordnung der Sprachmerkmale (δΐ, δ2, δ3, ... δη) zu Bewegungsmustern (εΐ, ε2, ε3, ... εη) über direktes Feature-Mapping erfolgt.
Unter Spracheingabe versteht man im Sinne dieser Anmeldung jede Wiedergabe von Phonemen (Lauten) und/oder Wörtern und/oder Sätzen einer Person. Des Weiteren können unter einer Spracheingabe auch Laute von Tieren verstanden werden. Meist handelt es sich jedoch bei der Spracheingabe entweder um eine diskrete Spracheingabe, d. h. eine deutliche bewusste Eingabe von aneinander gereihten Wörtern mit Pausen zwischen den einzelnen Wörtern oder um eine kontinuierliche Spracheingabe, bei welcher die einzelnen Wörter ineinander übergehen. Die Spracheingabe kann Wörter aus sämtlichen Sprachen, Dialekten, Akzenten umfassen. Insbesondere kann eine Spracheingabe eine Voice Message sein. Bevorzugt wird diese Voice Message über das Sprachanalysesystem erfasst.
Unter Sprachanalysesystem im Sinne dieser Anmeldung versteht man eine Kombination aus Hardware und Software, mit welcher die Emotion einer Spracheingabe, sowie der sprachliche Inhalt analysiert werden und in verbale und/oder nonverbale Kommunikation und/oder Bewegungsmuster übersetzt wird.
Das Sprachanalysesystem besteht bevorzugt aus einer Spracher- fassungseinheit und/oder Vorverarbeitungseinheit und/ oder einer Hauptverarbeitungseinheit und/oder einer Sprachanalyseeinheit und/oder einem Speicher und/oder einer Rechnereinheit . Diese genannten Komponenten liegen als Hardware und/oder Software als Teil des Sprachanalysesystems vor. Bevorzugt sind die Hardware und/oder die Software des Sprachanalysesystem in einer Einheit zusammengefasst, d. h. dass die oben genannten Komponenten sich beispielsweise alle auf einem PC be- finden. Besonders bevorzugt ist die Hardware des Sprachanalysesystem auf verschiedenen Einheiten aufgeteilt. Beispielsweise fungiert der PC des Users nur als Webinterface mit ei- nem Mikrophon und einem Bildschirm. Die Vorverarbeitungseinheit, die Sprachanalyseeinheit, der Speicher und die Rechnereinheit des Sprachanalysesystems sind beispielsweise auf einem Server untergebracht.
Mit der Spracherfassungseinheit wird die Spracheingabe in ein erstes Sprachsignal transformiert.
Bevorzugt wird zwischen Spracherfassungseinheit und Vorverar- beitungseinheit unterteilt.
Ist dies der Fall, wird bei der Spracherfassungseinheit die Spracheingabe (akustisches Signal) von einem Mikrofon (bevorzugt mit Audio-Hardware) aufgenommen und in ein digitales Sprachsignal umgewandelt. Die Spracherfassungseinheit
und/oder das Mikrofon sind bevorzugt Bestandteil eines Handys oder eines PCs. Hier wird bevorzugt die Art des Signals erkannt und somit eine Annotation von Signalabschnitten vorgenommen und bspw. das Signal als Sprache erkannt und/oder Ge- rausche (bspw. Stille, Musik, Hintergrundgeräusche) erkannt.
Die Vorverarbeitungseinheit umfasst bevorzugt eine „Voice Ac- tivity Detection" . Hier werden/wird bevorzugt die Annotation von Signalabschnitten erkannt und/oder Sprache erkannt und/oder Geräusche (bspw. Stille, Musik, Hintergrundgeräusche ) erkannt .
Des Weiteren umfasst das Sprachanalysesystem bevorzugt eine Hauptverarbeitungseinheit, welche sich in eine erste Haupt- Verarbeitungseinheit und eine zweite Hauptverarbeitungseinheit unterteilen lässt. Die erste Hauptverarbeitungseinheit übernimmt die Analyse verbaler Eigenschaften des Sprachsignals. Die zweite Hauptverarbeitungseinheit übernimmt die Analyse von nonverbalen Eigenschaften des Sprachsignals (bspw. Emotionen, Ausdruck) . Mit der Sprachanalyseeinheit, bzw. einer ersten Signalverarbeitung (VAD) wird ein Merkmalsvektor aus dem ersten Sprachsignal mit Sprachmerkmalen erstellt. Auf dem Speicher ist be- vorzugt eine Referenzliste abgelegt, auf welcher einzelne Sprachmerkmale oder die Gesamtheit der Sprachmerkmale eines Zeitfensters einem Bewegungsmuster und/oder einem Wort und/oder einem Gebärdenzeichen zugeordnet sind/ist. Des Weiteren sind auf dem Speicher bevorzugt Modelle in Form von „Support Vector Machines" oder „Hidden Markov Models" o- der „Gaussian Mixture Models" oder abgelegt. Diese logischen Modelle dienen der Zuordnung von Sprachmerkmalen zu Bewegungsmustern, wobei die Logischen Modelle mit der Rechnerein- heit verknüpft sind. Die Rechnereinheit stellt bevorzugt die Rechenleistung für die logischen Modelle zur Verfügung. Als logisches Modell ist bevorzugt auch die Referenzliste anzusehen. Das Hidden Markov Model (HMM) ist ein stochastisches Modell, das sich durch Zufallsprozesse beschreiben lässt. Die Aufgabe besteht bevorzugt darin, aus einer Sequenz eines Sprachsignals bzw. Merkmalsvektors in zufälliger Weise, nach einem bestimmten Zufallsprozess , auf ein Bewegungsmuster zu schlie- ßen.
Eine Support Vector Machine wird bevorzugt als Klassifikator eingesetzt. Ausgangsbasis für eine solche Support Vector Machine ist eine Menge von Objekten (eine Objekt besteht aus einem oder mehreren Sprachsignalen), für die jeweils bekannt ist, welchen Bewegungsmerkmalen sie zugehören. Jedes Objekt wird durch einen Merkmalsvektor repräsentiert. Aufgabe der Support Vector Machine ist es die Objekte zu klassifizieren, d. h. Bewegungsmerkmalen zuzuordnen. Auch Objekte, die nicht genau den erkannten Objekten (Sprachsignalen) entsprechen, werden dadurch möglichst zuverlässig klassifiziert, d. h. Bewegungsmustern zugeordnet. Die Rechnereinheit trägt zur Verarbeitung der Sprachsignale bzw. des Merkmalsvektors bzw. der Sprachmerkmale bei und ordnet die Sprachmerkmale bevorzugt über die abgespeicherte Re- ferenzliste oder über Feature-Mapping entweder einem Bewegungsmuster und/oder einem Wort und/oder einem Gebärdenzeichen zu.
Bevorzugt werden beim direkten Feature-Mapping keine phoneti- sehen Kategorien (phonetischen Sprachmerkmale), sondern kontinuierliche Sprachmerkmale zur Steuerung der Sprechbewegungen des Avatars verwendet. Dabei wird die verbale Information nicht in Form von diskreten linguistischen Einheiten verarbeitet. Vielmehr werden anhand von akustischen Merkmalen ar- tikulatorische Vorgänge des Avatars gesteuert, welche keine sprachlichen Bedeutungseigenschaften haben. Dadurch kann ein Sprecher interpretiert werden, egal ob dieser auf Englisch, Französisch, Spanisch oder Deutsch spricht. Die Steuerung eines Avatars durch kontinuierliche Sprachmerkmales in Form von Feature-Mapping ist folglich sprachenunabhängig. Die Darstellung der Sprechbewegungen des Avatars auf nicht linguistische und/oder nichtkategorialer kontinuierlicher Verarbeitung wird dadurch erreicht. Es können folglich durch eine rein akustische Analyse der Spracheingabe artikulatorische Werte von der Sprachanalyseeinheit erzeugt werden. D.h. dass durch die Interpretation der reinen Lautmalerei bspw. die Lippenbreite und die Lippenbewegung des Avatars gesteuert wird.
In einem weiteren Schritt, der der Spracheingabe in das
Sprachanalysesystem bevorzugt nachgeschaltet ist wird die
Spracheingabe in ein erstes Sprachsignal durch eine Spracher- fassungseinheit transformiert. Als Sprachsignal im Sinne dieser Anmeldung versteht man nicht das analoge Signal der Spracheingabe, sondern das digitale Signal der Spracheingabe. Das Sprachsignal ist eine digitale Bitfolge, was von den elektronischen Komponenten des Sprach- analysesystems verarbeitet wird.
In dem oben genannten Schritt wird das diskrete analoge Signal (zeitdiskret oder wertediskret) der Spracheingabe abgetastet und digitalisiert. Es entsteht eine elektronisch ver- arbeitbare Bitfolge (erstes Sprachsignal). In diesem Schritt werden bevorzugt Umgebungsgeräusche oder Rauschen oder Musik oder Stille erkannt. Diese Information wird dem Merkmalsvektor bevorzugt hinzugefügt. Bevorzugt wird die Dauer des Sprachsignals, bzw. die Dauer der Spracheingabe gemessen und auf einem Speicher gespeichert. Auf den Speicher sind bevorzugt Modelle für die zu erkennenden Arten des Signals, bspw. Geräusche, Hintergrundgeräusche, Sprache, Musik, Stille, abgelegt. Mit diesen Model- len wird bevorzugt jedes Zeitfenster des Signals verglichen und die Signalart mit der größten Übereinstimmung wird dem entsprechenden Signalabschnitt zugeordnet.
In einem weiteren Schritt wird ein Merkmalsvektor aus dem ersten Sprachsignal mit Sprachmerkmalen durch eine Sprachanalyseeinheit erstellt.
Unter einer Sprachanalyseeinheit im Sinne dieser Anmeldung versteht man eine logische Einheit des Sprachanalysesystems. Die Sprachanalyseeinheit extrahiert aus dem Sprachsignal die Sprachmerkmale, die dem Sprachanalysesystem bekannt sind und formt daraus einen Merkmalsvektor. Unter Sprachanalyseeinheit können die oben genannten logischen Modelle angesehen werden, also bspw. SVM, HMM, GMM.
Als bekannte Sprachmerkmale werden diejenigen eingestuft, die auf einem Speicher des Sprachanalysesystems abgelegt sind, bevorzugt in einer Referenzliste auf dem Speicher des Sprachanalysesystems abgelegt sind. Als Referenzliste ist bevorzugt keine tatsächliche Liste mit Spalten und Zeilen anzusehen, sondern eine logische Einheit, welche nach Maßgabe einer Art Liste bestimmte Sprachmerkmale bestimmten Bewegungsmustern zuordnet.
Der Merkmalsvektor ist eine Signalfolge, welche aus Sprachmerkmalen besteht, welche dem Sprachanalysesystem bekannt sind. Bevorzugt umfasst der Merkmalsvektor nicht nur eine Sammlung von einzelnen bekannten Sprachmerkmalen, sondern auch eine zeitliche Zuordnung zu jedem Sprachmerkmal. Das heißt, die im Merkmalsvektor dargestellten Sprachmerkmale sind bevorzugt chronologisch geordnet.
Unter Sprachmerkmal versteht man jegliche physikalisch messbare Größe des Sprachsignals, welche zur Bewertung der in der Spracheingabe enthaltenen sprachlichen Information und/oder enthaltenen emotionalen Färbung (Emotion) und/oder enthalte- nen stimmlichen Ausdrucks ausgewertet werden kann. Insbesondere versteht man phonetische und nichtphonetische Segmente des Sprachsignals, die von der Verarbeitungseinheit erkannt werden und abgespeicherten Bewegungsmustern (d.h. dynamischen Bewegungen oder Filmsequenzen) zugeordnet werden. Dadurch ist es bevorzugt möglich einer Sprechpause eine Blickrichtungsänderung mit begleitendem Augenzwinkern zuzuordnen, da die Sprechpause als eine nichtphonetische Einheit erkannt wird.
Beispielsweise kann ein abgespeichertes Bewegungsmuster eine Bewegungssequenz sein, welche beinhaltet dass der Avatar mit zwei Zeigefingern ein Herzsymbol in die Luft malt. Dieses Bewegungsmuster ist bspw. in der Sprachanalyseeinheit gespeichert und mit einem bestimmten Merkmalsvektor verknüpft. Wird dieser bestimmte Merkmalsvektor aus einem Bereich des Sprach- signals gewonnen, dann kann die Verarbeitungseinheit die oben genannte Bewegung diesem Merkmalsvektor zuordnen. Dieser bestimmte Merkmalsvektor wurde bspw. aus dem Sprachsignal des Wortes „Herz" gewonnen oder bebildet. Diese physikalisch messbaren Größen des Sprachsignals können sein z. B. Grundfrequenz und/oder Energie und/oder Dauer und/oder Tonhöhe und/oder Lautheit und/oder Signalenergie und/oder spektrale Koeffizienten und/oder cepstrale Koeffizienten und/oder Formanten und/oder Noise-to-Harmonic-Ration und/oder deren Derivate, unter anderem ergänzt durch weitere prosodische Merkmale wie z. B. Intonation (Phonetik) und/oder Akzent und/oder Betonung und/oder Sprechpausen und/oder
Sprechrhythmus und/oder Sprechtempo und/oder Quantität. Des Weiteren ist es möglich Sprachmerkmale wie die Welligkeiten und akkumulierten absoluten Beschleunigungen der Sprachmelodie und der Signalenergie, Segmentdauern und Maße der Sprechgeschwindigkeit zu bestimmen. Auch ist es möglich
Sprachmerkmale wie das Maß der Sprachmelodie oder die Fluktu- ation der Spracheingabe oder die Intensität der Spracheingabe zu bestimmen. Bevorzugt werden die Sprachmerkmale segmental gewonnen, d. h. durch Analyse von einzelnen Lauteinheiten innerhalb von begrenzten Zeitfenstern der Spracheingabe, besonders bevorzugt werden Sprachmerkmale auch supra-segmental, d. h. Zeitfensterübergreifend bzw. Lautsegmentübergreifend bis hin zur gesamten Analyse des gesamten Sprachsignals gewonnen .
Bevorzugt sind die Sprachmerkmale prosodische Merkmale. Be- vorzugt werden die prosodischen Merkmale und/oder extralinguistische Features (Merkmale) zur Bestimmung unveränderlicher Sprechereigenschaften verwendet. Das Sprachanalysesystem ist somit in der Lage, Eigenschaften des Sprechers, die sich im Verlauf einer Benutzung des Sprachanalysesystems nicht än- dern oder nicht ändern können, für die Steuerung des Avatars zu verwenden. Solche Eigenschaften sind beispielsweise Alter, Geschlecht, Physiognomie und anatomische Proportionen, Krank- heiten und Behinderungen, Persönlichkeitsmerkmale, geografi- sche und soziale Herkunft, Phenotyp sowie Bildungsstand. Aufgrund der Eigenschaften, welche sich aus den prosodischen Merkmalen ergeben, kann beispielsweise eine automatische Wahl des Avatars erfolgen. Das Sprachanalysesystem stellt dann bspw. fest, dass es sich aufgrund der Analyse der prosodischen Merkmale um eine Frau handeln muss und wählt dann aufgrund dieser Bestimmung einen weiblichen Charakter, sprich Avatar aus .
In einem weiteren Schritt werden diese Sprachmerkmale des Merkmalsvektors einzelnen Bewegungsmustern durch eine Rechnereinheit zugeordnet. Bevorzugt wird einem Sprachmerkmal ein Bewegungsmuster zugeordnet, besonders bevorzugt wird mehreren Sprachmerkmalen ein Bewegungsmuster zugeordnet, am meisten bevorzugt werden mehreren Sprachmerkmalen mehrere Bewegungsmuster zugeordnet.
Diese Bewegungsmuster sind bevorzugt emotionalisierte Anima- tionsdaten und/oder verbale und nonverbale Animationsdaten. Unter einem Bewegungsmuster versteht man eine aktive Bewegung, bspw. in Form eines Films. Die erfindungsgemäßen Bewegungsmuster beinhalten Bewegungsabläufe, beispielsweise
Hand/Arm-Gesten, mimische Abläufe und Körperbewegungen, die sich durch einen zeitlichen Ablauf manifestieren. Die Verwendung von Bewegungsmustern, also an sich bewegten Einheiten, berücksichtigt die dynamischen Eigenheiten von visualisierten physischen Vorgängen.
Unter Bewegungsmustern versteht man beispielsweise Elemente der Gestik und/oder Elemente der Mimik und/oder Elemente des Blicks (Augenbewegung, Augenposition, Puppillenweite, Augenlidbewegung, Zwinkern, usw.) und/oder Bewegungen des Mundes, der Lippen, der Zunge, des Kiefers. Bevorzugt sind die Bewe- gungsmuster als ausführbare Programme hinterlegt, besonders bevorzugt als Animationsdaten. Diese Programme oder Animationsdaten sind bevorzugt auf jegliche Avatare anwendbar, bevorzugt schon auf einen Avatar zugeschnitten. Die Bewegungs- muster sind bevorzugt vorgefertigte Bewegungsschemata, welche auf sämtliche animierte Computerwesen frei übertragbar sind.
Unter Bewegungsmustern werden bevorzugt alle Bewegungen der nonverbalen Kommunikation oder der Gebärdensprache (also Ge- bärdenzeichen) gesehen. Die Bewegungsmuster sollen insbesondere den emotionalen Gehalt der Spracheingabe, des Sprachsignals, der Sprachmerkmale wiedergeben bzw. Emotion vermitteln. Die gewonnenen Sprachmerkmale aus der Spracheingabe werden bevorzugt durch direktes Feature-Mapping Bewegungsmustern bzw. Animationsparametern zugeordnet. Bevorzugt werden Bewegungsmuster per Zufallsgenerator einem oder mehreren Sprachmerkmalen zugeordnet .
Bevorzugt wird jedem Sprachmerkmal ein Zeitpunkt zugeordnet. Die Zeit beginnt bevorzugt ab dem Start-Zeitpunkt zu laufen, an dem das erste Sprachsignal detektiert wird, besonders bevorzugt, wenn der Start-Zeitpunkt manuell ausgelöst wird, z. B. durch drücken eines Knopfes am Sprachanalysesystem oder durch anklicken eines Buttons, dargestellt auf dessen Bild- schirm. Die Zeit stoppt bevorzugt wenn das Sprachsignal verschwindet, besonders bevorzugt nach einer einstellbaren Nachlaufzeit nach dem Ende des Sprachsignals, am meisten bevorzugt wird die Zeit manuell gestoppt. Die Zuordnung einzelner, detektierter Sprachmerkmale zu einzelnen Zwischenzeitpunkten erfolgt entlang der Zeitachse des aufgezeichneten Sprachsignals .
Bevorzugt werden die Bewegungsmuster einzelnen Sprachmerkmalen in einer Referenzliste gegenüber gestellt. Die Referenz- liste ist eine auf dem Speicher des Sprachanalysesystems abgelegte Datei, welche eine Gegenüberstellung von Sprachmerkmalen und zugehörigen Bewegungsmustern beinhaltet. Die Refe- renzliste ist eine wichtige Bezugsdatei für die Sprachanalyseeinheit. Die Sprachanalyseeinheit orientiert sich bevorzugt an der Referenzliste, wenn dieser nach bekannten Sprachmerkmalen sucht. Des Weiteren wird der Merkmalsvektor bevorzugt mit den Sprachmerkmalen der Referenzliste verglichen. Da jedem Sprachmerkmal in der Referenzliste ein Bewegungsmuster zugeordnet ist, kann auch einem bekannten detektierten
Sprachmerkmal des Sprachsignals ein Bewegungsmuster zugeordnet werden.
Die einem Sprachmerkmal zugeordneten Zeitpunkte werden bevorzugt auf das zugehörige Bewegungsmuster übertragen. Die Referenzliste ist bevorzugt auf einem Speicher eines PCs abgelegt, besonders bevorzugt auf einem Speicher eines Servers, besonders bevorzugt auf dem Speicher des Sprachanalysesystems . Dabei kann ein Sprachmerkmal einem Bewegungsmuster zugeordnet sein, bevorzugt einer Kombination aus Sprachmerkmalen und einem Bewegungsmuster zugeordnet sein, besonders bevorzugt einer Kombination aus Sprachmerkmalen und einer Kom- bination aus Bewegungsmustern zugeordnet sein.
Bei der Erstellung der Referenzliste wird bevorzugt darauf geachtet, dass eine Kombination an Sprachmerkmalen eine bestimmte Emotion vermittelt, welche durch ein oder mehrere Be- wegungsmuster oder durch ein oder mehrere verbale Bewegungsmuster dargestellt werden kann.
Bei den gespeicherten Bewegungsmustern sollen bevorzugt Emotionen wie beispielsweise Freude, Lust, Geborgenheit, Liebe, Trauer, Ärger, Glücklichsein, Wohlbehagen, usw. ausgedrückt werden. Das Verfahren soll es ermöglichen übermittelte Emotionen der Spracheingabe zu analysieren und diese Emotionen in Form von aneinandergereihten Bewegungsmustern wiederzugeben. Beispielsweise lässt sich die Intonation der Spracheingabe aufgrund der Grundfrequenz dieser Spracheingabe beschreiben. Ausgehend von der Grundfrequenz lässt sich die Intonation, also der Tonhöhenverlauf ausgehend von dieser Grundfrequenz, innerhalb eines Satzes oder Sprechaktes feststellen. Über die Intonation lässt sich beispielsweise die verwendete Ironie oder der Ausdruck von Überraschung aus der Spracheingabe ext- rahieren. Lässt die Intonation der Spracheingabe, bzw. lassen die Sprachmerkmale beispielsweise auf einen Ausdruck von Ü- berraschung schließen, so würde die Rechnereinheit nun diese konkreten Sprachmerkmale mit der Referenzliste abgleichen und das diesen Sprachmerkmalen zugeordnete Bewegungsmuster ermit- teln. Das Bewegungsmuster wird bevorzugt abgespeichert besonders bevorzugt in Echtzeit wiedergegeben (bspw. Auf einem Bildschirm) .
Den Sprachmerkmalen, welchen beispielsweise die Emotion „Iiberrascht sein" entnommen wurde, werden damit einem Bewegungsmuster zugeordnet, welches Überraschung vermittelt. Das ermittelte, zugeordnete Bewegungsmuster wäre beispielsweise komponiert aus den Elementen: weit aufgerissene Augen, hochgezogene Augenbrauen, runzlige Stirn, offener Mund. Bei- spielsweise werden verbale aus audiovisuellen Sprachaufnahmen trainiert, nonverbale Bewegungen werden bevorzugt von einem Animator designt.
Die (Sprachmerkmale) prosodischen Dauermerkmale wie bei- spielsweise Rhythmus, Sprechgeschwindigkeit, Pausen, Gedehntheit usw. lassen sich durch Messung der zeitlichen Länge dieser Signalabschnitte oder bspw. durch Bildung von Mittelwerten (mittlere Sprechgeschwindigkeit) messen. Aus diesen
Sprachmerkmalen lässt sich beispielsweise ableiten ob der Sprecher der Spracheingabe beispielsweise aufregt war
(schneller, ununterbrochener Sprachfluss) oder ängstlich war (Stottern, stakkatoähnlicher Sprachaufbau) oder nachdenklich war (lange Sprechpausen, Gedehntheit der Wörter). ird durch die Sprachmerkmale bspw. die Gemütsregung „Aufgeregtheit" de- tektiert, so würde sich das zugeordnete Bewegungsmuster bspw. aus den folgenden Komponenten zusammensetzen: schnelle Mund- bewegung, Wippen mit den Füßen, schnelles Heben und Senken des Brustkorbes.
Sprachmerkmale werden bevorzugt den zu erkennenden Emotionen durch trainieren von vorhandenem Sprachmaterial, bei dem die ausgedrückte Emotion bekannt ist, zugeordnet.
In einem bevorzugten weiteren Schritt werden die Bewegungsmuster durch Aneinanderreihung in einen Bewegungsablauf ge- formt. Bevorzugt kann ein Vorspann und/oder ein Abspann gewählt werden. Dieser Vorspann (oder Abspann) besteht ebenfalls aus Bewegungsmustern, welche aber nicht aufgrund der Spracheingabe generiert werden. Diese Bewegungsmuster sind durch den User (Sprecher) frei wählbar und werden dem Bewegungsablauf vor- bzw. nachgeschaltet. Nach dem die Sprachmerkmale über die Dauer der Spracheingabe ausgewertet wurden und diesen einzelnen Sprachmerkmalen über die Dauer der
Spracheingabe Bewegungsmuster zugeordnet wurden, werden diese Bewegungsmuster in einen fließenden Bewegungsablauf durch die Rechnereinheit umgeformt. Das Aneinanderreihen der einzelnen Bewegungsmuster erfolgt dabei bevorzugt nach den Zeitpunkten die den Bewegungsmustern zugeordnet wurden. Der generierte Bewegungsablauf ist bevorzugt genauso lang, wie die aufgezeichnete Spracheingabe, bspw. auch zuzüglich des möglichen Vor- und Abspanns.
In einem weiteren Schritt wird dieser Bewegungsablauf dann auf einen Avatar übertragen. Als Avatar im Sinne der Anmeldung versteht man eine künstliche Person oder ein künstliches Tier als grafischen Stellvertreter des Sprechers der Spracheingabe in einer virtuellen Welt (also ein virtueller Charakter). Der Avatar ist beispielsweise eine dreidimensionale a- nimierte Figur, welche beispielsweise mit einem CAD-Programm von einem User selbst erstellt wird oder welche beispielswei- se als Charakter bereits besteht (Shrek, Tom & Jerry, Wall-E, ...). Der Avatar kann von dem Sprecher (User) bevorzugt frei auf einer Webseite gewählt werden, besonders bevorzugt wird dem Sprecher aufgrund seiner Spracheingabe, bzw. der zugehörigen Sprachmerkmale ein Avatar zugewiesen.
Der Bewegungsablauf wird bevorzugt auf den Avatar übertragen, sodass dieser die (verbalen) Bewegungsmuster, sowie die Emotion der Spracheingabe in Form von nonverbaler Kommunikation widerspiegelt. Einen Avatar mit einem zugewiesenen Bewegungsablauf bezeichnet man bevorzugt als AnimationsSkript . Bevorzugt agiert der Avatar in einer „Szene", die ein Set, also Szenenelemente, wie Hintergründe, Props und Accessoires, sowie Kameraeinstellungen und Beleuchtungssituationen enthält. Bevorzugt sind nicht nur der Avatar, sondern auch diese Szenenelemente frei wählbar. Die Szenenelemente werden bevor- zugt über einen Zufallsgenerator bestimmt. Aus diesen Szenenelementen wird ein Szenenskript erzeugt, welches bevorzugt in Kombination mit dem schon erzeugten Animationsskript den visuellen Teil der späteren in weiteren Schritten zu erzeugenden Video-Botschaft (Message) darstellt.
In einem weiteren bevorzugten Schritt wird der Bewegungsablauf des Avatars mit dem ersten Sprachsignal überlagert.
D. h. dass das Sprachsignal bevorzugt als Tonspur unter den Bewegungsablauf des Avatars gelegt wird, bevorzugt unter die Filmdatei oder die Bildsequenz. Dies hat den Effekt, dass die Emotion der verbalen und/oder nonverbalen Kommunikation durch den Bewegungsablauf des Avatars vermittelt wird und das dazugehörige Sprachsignal mit der Stimme des Sprechers darüber gelagert wird. Bevorzugt wird die Spracheingabe lippensyn- chron von dem Avatar wiedergegeben. Des Weiteren wird bevorzugt der emotionale Ausdruck synchron zu der im Sprachsignal enthaltenen Emotion wiedergegeben. Besonders bevorzugt erfolgen die Wiedergabe der Spracheingabe und die dazugehörige Bewegung des Avatars in Echtzeit. Das Sprachsignal wird bevor- zugt als Sprachskript abgespeichert. Die Zusammenfügung von Szenenskript, Animationsskript und Sprachskript übernimmt bevorzugt eine 2D Applikation oder eine 3D Applikation, welche daraus bevorzugt ein Renderfile er- zeugt.
In einem weiteren bevorzugten Schritt wird der Bewegungsablauf des Avatars und/oder das darüber gelagerte Sprachsignal in eine Filmdatei gerendert. Dies bedeutet bevorzugt, dass das durch die oben genannte Applikation entstandene Renderfile in eine Bildinformation umgesetzt wird. Bevorzugt entsteht ein Videoclip von einem Avatar, welcher eine der gängigen Filmdateien wie beispielsweise DIVX, XVID, AVI, RM, R VB, usw. umfasst. Der Bewegungsablauf kann auch eine Bildsequenz sein. Zwischen den einzelnen Bildern der Sequenz kann bevorzugt die Darstellungszeit eines Bildes eingestellt werden. Die Darstellungszeit ist die Zeit, die das Bild bis zum Wechsel des nächsten Bildes für den Betrachter zu sehen ist. In einem weiteren bevorzugten Schritt wird die Filmdatei oder Sequenz elektronisch versandt. Die Filmdatei kann bevorzugt Teil einer E-Mail sein oder Anhang einer E-Mail sein oder Teil einer MMS sein oder Teil eines jeglichen gängigen elektronischen Versandmediums sein. Bevorzugt wird die Datei als SMS, in einer SMS als Downloadlink, als Videocall, in einer Applikation, als Applikation versandt.
Bevorzugt entsteht eine multimediale Botschaft, welche in allen Kanälen des WorldWideWeb oder der Mobiltelefonie versandt werden kann. Des Weiteren kann die Videodatei im Internet anstatt eines Forumsbeitrages gepostet werden oder in einem In- ternetblog angebracht werden oder als Statusinformation in ein Instant Messenger-System oder ein Netzwerksystem (wie beispielsweise Facebook, Xing, MySpace, usw.) eingepflegt werden.
In einem weiteren bevorzugten Schritt wird das erste Sprachsignal in ein zweites Sprachsignal umgewandelt. Durch die Um- Wandlung kann die Klangfarbe sowie die Sprachcharakteristik geändert werden. Beispielsweise bleiben der Sinngehalt und die Wortwahl der Spracheingabe identisch, jedoch bekommt der Zuhörer den Eindruck, dass beispielsweise eine prominente Persönlichkeit die Spracheingabe verfasst hat. Dadurch kann beispielsweise der Bewegungsablauf des Avatars mit einer Stimme von Arnold Schwarzenegger, Cameron Diaz, usw. überlagert werden. Dadurch wird der Bewegungsablauf des Avatars mit dem umgewandelten zweiten Sprachsignal überlagert.
In einem weiteren bevorzugten Schritt werden einzelne oder alle Bewegungsmuster durch einen Multiplikator verstärkt. Dadurch kann die Emotion, welche der Avatar vermitteln soll in sämtliche Richtungen verstärkt werden. Beispielsweise wird durch den Multiplikator das Bewegungsmuster „Grinsen" in ein überbreites Grinsen verwandelt.
In einer weiteren bevorzugten Ausführungsform lässt sich der Avatar welcher sich nach seinem zugeordneten Bewegungsablauf bewegt auf einem Bildschirm abspielen. Bevorzugt wird das zugehörige Sprachsignal über einen Lautsprecher wiedergegeben. Denkbar ist auch, dass gleichzeitig oder anstatt des Sprachsignals ein Untertitel auf dem Bildschirm angezeigt wird. Der Untertitel wird bevorzugt durch das Sprachanalysesystem er- zeugt, wobei den einzelnen Sprachmerkmalen keine Bewegungsmuster, sondern Wörter oder Silben zugeordnet werden.
In einer weiteren bevorzugten Ausführungsform erfolgt die Zuordnung der Sprachmerkmale des Merkmalsvektors zu Gebärden durch Abgleich mit einer Gebärdensammlung durch die Rechnereinheit. Unter einer Gebärde im Sinne der Anmeldung versteht man ein durch eine Bewegung ausgedrücktes Wort der Schriftsprache, also ein Zeichen der Taubstummensprache. Weitere vorteilhafte Ausgestaltungen finden sich in der Figurenbeschreibung. Die Figur zeigt: Fig.l ein AblaufSchema zum Aufnehmen und Verschicken einer Videobotschaft
In Figur 1 wird ein Ablaufschema eines Verfahrens zum Aufneh- men und Verschicken einer Videobotschaft beschrieben.
Der User besucht über seinen PC 150 eine „Zoobe" Website 120 . Auf der Website 120 , welche auf dem Bildschirm 160 des PCs 150 angezeigt wird, sind verschiedene Avatare abgebildet, von welchen sich der User einen Avatar 50 aussucht und diesen mit einem Klick bestätigt. Danach wählt der User vorgefertigte, auf dem Bildschirm 160 angezeigte, Szenenelemente 130 für den Avatar 50 aus, also das Szenenskript. In diesem Fall soll der Avatar 50 auf einer Bühne auftreten, wobei ein Spotlight di- rekt auf ihn gerichtet wird. Es werden weiter auf dem Bildschirm 160 Vor- und ein Abspanne 170 angezeigt, welche durch den User gewählt werden können. In diesem Fall werden der folgende Vor- und Abspann gewählt. Vorspann: Der Avatar 50 läuft in das Bild bleibt stehen und wendet sich dem Betrach- ter zu. Abspann: Der Avatar 50 verlässt das Bild.
Danach klickt der User auf den Start Button, womit die Aufzeichnung der Spracheingabe α beginnt. Durch den Klick auf den Start Button wird das Mikrophon 140 am PC 150 aktiviert. Der User spricht seine Voicemessage (Spracheingabe et ) und beendet die Aufzeichnung (Spracheingabe a), indem er den Stop Button anklickt. Die Voicemessage hat eine Dauer tl von x Sekunden. Die Nachricht beinhaltet das Wort: „Party!" Die Nachricht wird mit lautstarker, freudiger Stimme aufgespro- chen.
Die Voicemessage (Spracheingabe a) wird in Form eines
Sprachsignals ßl (A/D-umgewandelt durch die Audio-Hardware 200 ) direkt auf den Server 110 übertragen, auf welchem auch die „Zoobe" Website gespeichert ist. Die Spracheingabe wird durch eine Spracherfassungseinheit in ein erstes Sprachsignal ßl transformiert. Aus dem ersten Sprachsignal ßl wird ein Merkmalsvektor μ mit bestimmten Sprachmerkmalen durch eine Sprachanalyseeinheit 30 erstellt. Die Sprachanalyseeinheit 30 ist Teil des Servers 110. Die oben genannten Spracheigenschaften (bspw. spektrale Koeffizienten) werden für alle Zeitfenster des Sprachsignals berechnet und in chronologischer Reihenfolge abgelegt. Es wird die Zweisilbigkeit der Nachricht erkannt. Auch wird das Phonem „a" mit seinem lang gezogenen Charakter erkannt. Ge- nauso das „y" .
Es erfolgt die Zuordnung der Sprachmerkmale δΐ, 62 des Merkmalsvektors μ zu bestimmten Bewegungsmustern (Animationsdaten) . Dabei werden die auf Speicher 70 in der Referenzliste 80 gespeicherten Bewegungsmuster εΐ, ε2 den detektierten
Sprachmerkmalen δΐ, δ2 zugewiesen. Dem lang gezogenen Phonem „a", bzw. dessen Merkmalen wird das Bewegungsmuster εΐ weit geöffneter Mund zugeordnet. Dem „y" ist ein leicht geöffneter, leicht gespreizter Mund als Bewegungsmuster ε2 zugeord- net, bei dem die Zähne zu sehen sind. Diese Animationsdaten (Bewegungsmuster εΐ und ε2) Formen durch Aneinanderreihung den Bewegungsablauf γ.
Der Bewegungsablauf γ wird nun auf den ausgewählten Avatar 50 übertragen mit Hilfe der Rechnereinheit 40 übertragen. Der Avatar 50 mit seinem zugewiesenen Bewegungsablauf γ bildet das Animationsskript 180. Der Avatar spiegelt den sprachlichen Inhalt (das Gesagte - Spracheingabe) und die Emotion, der Spracheingabe in Form von nonverbaler, bzw. verbalen Kom- munikation wider.
Über die Rechnereinheit 40 wird das gewählte Szenenskript 130, das automatisch erstellte Animationsskript 180 und der Vor- und Abspann 170 verarbeitet. Dabei wird der Bewegungsab- lauf γ an die Eingabezeit tl der Spracheingabe angepasst. Der Bewegungsablauf γ wird mit dem aufgezeichneten Sprachsignal ßl in identischer Länge tl unterlegt. Die Daten werden über den Renderer 100 gerendert und die entstandene Filmdatei, bzw. Videosequenz in einem Fenster 200 auf dem Bildschirm 160 des User-PCs 150 angezeigt. Der User bestätigt nun die Filmdatei. Der User gibt jetzt die Telefonnummern und/oder die Emailadressen der Empfänger in das auf der Website dafür vorgesehene Eingabefeld 190 ein und klickt auf versenden. Die Nachricht erscheint nun als Email oder MMS oder SMS oder SMS mit Downloadlink (auf welchem die Filmdatei hinterlegt ist) oder Applikation oder Videocall auf den Empfängergeräten (Handys oder andere Engeräte) der Empfänger.
Der Empfänger sieht nun den Inhalt der Message wie folgt: Der ausgewählte Avatar 50 des Users, betritt bspw. den Bildschirm des Empfängergerätes, positioniert sich in der Mitte des
Bildschirmes. Der Spot richtet sich auf den Avatar. Der Empfänger sieht, dass der Avatar auf einer Bühne steht. Der Avatar teilt mit freudigem Ausdruck in Form des Bewegungsablaufes γ seine Botschaft „Party!" mit der Stimme des Users mit. Dabei folgen die Mundbewegungen dem gesprochenen Wort. Bspw. öffnet sich dabei der Mund bei der Silbe „Par". Der Mund schließt sich bei der Silbe „ty" leicht und formt ein grinsen. Danach verlässt der Avatar die Bühne.
Bezugszeichenliste α Spracheingabe
ßl erstes Sprachsignal
ß2 zweites Sprachsignal
γ Bewegungsablauf des Avatars δ Sprachmerkmal
ε Bewegungsmuster
μ Merkmalsvektor
10 Sprachanalysesystem
20 Vorverarbeitungseinheit
30 Sprachanalyseeinheit
40 Rechnereinheit
50 Avatar
60 Filmdatei
70 Speicher
80 Referenzliste
90 Multiplikator
100 Renderer
110 Server
120 Website „ZOOBE"
130 Szenenskript
140 Mikrophon
150 PC
160 Bildschirm
170 Abspann, Vorspann
180 Animationsskript
190 Fenster
200 Audio-Hardware
Next Patent: IMPAIRMENT DETECTION AND RECORDING OF ISOCHRONOUS MEDIA STREAMS