La présente invention est relative au domaine de la commande vocale d'applications, exercée sur des terminaux utilisateurs, grâce à la mise en oeuvre de moyens de reconnaissance de la parole. Les terminaux utilisateurs considérés sont tous les dispositifs dotés d'un moyen de capture de la parole, communément un microphone, possédant des capacités de traitement de ce son et reliés à un ou des serveurs par un canal de transmission. II s'agit par exemple d'appareils de commande, de télécommande utilisés dans des applications domotiques, dans des automobiles (commande d'auto-radio ou d'autres fonctions du véhicule), dans des PC ou des postes téléphoniques. Le champ des applications concernées est essentiellement celui où l'utilisateur commande une action, demande une information ou veut interagir à distance en utilisant une commande vocale. L'utilisation de commandes vocales n'exclut pas l'existence dans le terminal utilisateur d'autres moyens d'action (système multi-modal), et le retour d'informations, d'états ou de réponses peut également se faire sous forme combinée visuelle, sonore, olfactive et tout autre moyen humainement perceptif.

De manière générale, les moyens pour la réalisation de la reconnaissance de parole comprennent des moyens d'obtention d'un signal audio, des moyens d'analyse acoustique qui extraient des paramètres de modélisation et enfin des moyens de reconnaissance qui comparent ces paramètres de modélisation extraits à des modèles, et proposent la forme mémorisée dans les modèles qui peut tre associée au signal de la façon la plus probable. Optionnellement des moyens de détection d'activité vocale VAD ("Voice Activation Detection") peuvent tre utilisés. Ils assurent la détection des séquences correspondant à de la parole et devant tre reconnues. Ils extraient du signal audio en entrée, en-dehors des périodes d'inactivité vocale, des segments de parole, qui seront ensuite traités par les moyens d'extraction de paramètres de modélisation.

Plus particulièrement, l'invention porte sur les interactions entre les trois modes de reconnaissance de la parole dits embarqué, centralisé et distribué.

Dans un mode de reconnaissance de parole embarquée, l'ensemble des moyens pour effectuer la reconnaissance de parole se trouvent au niveau du terminal utilisateur. Les limitations de ce mode de reconnaissance sont donc liées notamment à la puissance des processeurs embarqués, et à la mémoire disponible pour stocker les modèles de reconnaissance de parole. En contrepartie, ce mode autorise un fonctionnement autonome, sans connexion à un serveur, et à ce titre est voué à un fort développement lié à la réduction du coût de la capacité de traitement.

Dans un mode de reconnaissance de la parole centralisée, toute la procédure de reconnaissance de parole et les modèles de reconnaissance se trouvent et s'exécutent sur une machine, appelée généralement serveur vocal, accessible par le terminal utilisateur. Le terminal transmet simplement au serveur un signal de parole. Cette méthode est utilisée notamment dans les applications offertes par les opérateurs de télécommunication. Un terminal basique peut ainsi accéder à des services évolués, activés à la voix. De nombreux types de reconnaissance de parole (robuste, flexible, très grand vocabulaire, vocabulaire dynamique, parole continue, mono ou multi locuteurs, plusieurs langues, etc) peuvent tre implémentés dans un serveur de reconnaissance de parole. En effet, les machines centralisées ont des capacités de stockage de modèles, des tailles de mémoire de travail et des puissances de calcul importantes et croissantes.

Dans un mode de reconnaissance de parole distribuée, les moyens d'analyse acoustique sont embarqués dans le terminal utilisateur, les moyens de reconnaissance étant au niveau du serveur. Dans ce mode distribué, une fonction de débruitage associée aux moyens d'extraction des paramètres de modélisation peut tre avantageusement réalisée à la source. Seuls les paramètres de modélisation sont transmis, ce qui permet un gain substantiel en débit de transmission, particulièrement intéressant pour les applications multimodales. De plus, le signal à reconnaître peut tre mieux protégé contre les erreurs de transmission. Optionnellement on peut aussi embarquer la

détection d'activité vocale (VAD) pour ne transmettre les paramètres de modélisation que durant les séquences de parole, ce qui a pour avantage de réduire de manière importante la durée de transmission active. La reconnaissance de parole distribuée permet en outre de véhiculer sur le mme canal de transmission des signaux de parole et de données, notamment texte, images ou vidéos. Le réseau de transmission peut tre par exemple de type IP, GPRS, WLAN ou Ethernet. Ce mode permet également de bénéficier de procédures de protection et de correction contre les pertes de paquets constituant le signal transmis à destination du serveur. Cependant il nécessite la disponibilité de canaux de transmission de données, avec un protocole strict de transmission.

L'invention propose un système de reconnaissance de parole comportant des terminaux utilisateurs et des serveurs combinant les différentes fonctions offertes par les modes de reconnaissance de parole embarquée, centralisée et distribuée, pour offrir le maximum d'efficacité, de confort et d'ergonomie aux utilisateurs de services multi modaux où la commande vocale est utilisée.

Le brevet US 6 487 534-B1 décrit un système de reconnaissance de parole distribuée comportant un terminal utilisateur disposant des moyens de détection d'activité vocale, de moyens d'extraction des paramètres de modélisation et de moyens de reconnaissance. Ce système comprend en outre un serveur disposant également de moyens de reconnaissance. Le procédé décrit est consiste à effecteur une première phase de reconnaissance au niveau du terminal utilisateur. Puis en fonction des résultats de cette première phase, les paramètres de modélisation calculés au niveau du terminal peuvent tre alors envoyés à destination du serveur, afin notamment de déterminer cette fois grâce aux moyens de reconnaissance du serveur, une forme mémorisée dans les modèles de celui-ci et associée au signal envoyé.

Le but visé par le système décrit dans le document cité est de diminuer la charge au niveau du serveur Cependant il s'ensuit que la reconnaissance s'effectue au mieux après le temps nécessaire à la première phase dans le terminal. Lorsqu'une deuxième phase doit avoir lieu, le temps de reconnaissance total est égal au temps de reconnaissance de la première

phase ajouté à celui de la seconde phase.

Un but de la présente invention est de proposer un procédé qui vise à optimiser le temps nécessaire à la reconnaissance de parole, et donc à la réalisation de l'action demandée par l'utilisateur.

Suivant un premier aspect, l'invention propose un procédé de reconnaissance de parole distribuée, comportant au moins un terminal utilisateur et au moins un serveur, aptes à communiquer entre eux par l'intermédiaire d'un réseau de télécommunications, selon lequel au niveau du terminal utilisateur, on réalise au moins les étapes suivantes : - obtenir un signal audio à reconnaître ; et, - calculer des paramètres de modélisation du signal audio à reconnaître ; et, - tenter d'associer une forme mémorisée aux paramètres de modélisation ; et, - indépendamment de l'étape de tentative d'association d'une forme mémorisée, émettre à destination du serveur un signal indiquant le signal audio à reconnaître ; et au niveau du serveur, on réalise au moins les étapes suivantes : - recevoir le signal émis par le terminal utilisateur ; - tenter d'associer une forme mémorisée au signal reçu.

Un procédé selon l'invention permet d'éviter de cumuler un temps de traitement au niveau du terminal et un temps de traitement au niveau du serveur, et ainsi de diminuer le temps pour donner suite à la demande de l'utilisateur.

II permet aussi de tirer avantage des avantages des caractéristiques des moyens de reconnaissance dont disposent respectivement le terminal et le serveur, notamment lorsque le signal à reconnaître est de nature indéfinie pour déterminer au plus vite la réponse à effectuer.

Dans des modes de mise en oeuvre préférés, le signal émis par le terminal utilisateur à destination du serveur est sélectionné parmi au moins le signal audio à reconnaître et un signal indiquant les paramètres de

modélisation. Alors, si le signal reçu est de type audio, le serveur calcule des paramètres de modélisation du signal audio reçu ; et tente d'associer une forme mémorisée aux paramètres de modélisation du signal audio reçu. Si le signal reçu indique des paramètres de modélisation, le serveur tente d'associer une forme mémorisée auxdits paramètres de modélisation.

Le choix du signal transmis-soit le signal audio (compressé ou non), soit le signal délivré par les moyens de calcul des paramètres de modélisation du terminal-peut tre défini soit par le type d'applications en cours, soit par l'état du réseau, soit suite à une coordination entre des moyens de contrôle respectifs du terminal et du serveur.

Avantageusement, l'obtention au terminal du signal à reconnaître comporte une détection d'activité vocale appliquée à un signal audio d'origine pour produire le signal audio à reconnaître en débarrassant le signal d'origine de périodes d'inactivité vocale. Le signal à émettre sera donc sélectionné parmi ce signal audio débarrassé de périodes d'inactivité vocale et le signal indiquant des paramètres de modélisation.

Dans un mode de mise en oeuvre du procédé selon l'invention, le signal émis est sélectionné un signal parmi au moins le signal audio d'origine, le signal audio représentatif du signal d'origine débarrassé de périodes d'inactivité vocale après détection vocale et le signal indiquant les paramètres de modélisation.

Avantageusement, si le signal reçu est un signal audio débarrassé de périodes d'inactivité vocale, le serveur calcule des paramètres de modélisation du signal reçu et tente d'associer une forme mémorisée aux paramètres de modélisation du signal audio reçu. Lorsque le signal reçu est un signal de type audio, mais sur lequel il n'a pas été réalisée de détection d'activité vocale, le serveur réalise une détection d'activité vocale appliquée au signal audio reçu pour produire un signal audio à reconnaître en débarrassant le signal d'origine de périodes d'inactivité vocale. Puis il calcule des paramètres de modélisation du signal audio à reconnaître. Enfin, il tente d'associer une forme mémorisée aux paramètres de modélisation.

Avantageusement, on choisit la forme mémorisée associée déterminée au niveau du terminal quand elle existe. On choisit la forme mémorisée

associée déterminée la première. Ou encore on choisit la forme mémorisée associée la meilleure selon un critère défini (par exemple, probabilité de vraisemblance).

Suivant un deuxième aspect, l'invention propose un terminal utilisateur pour mettre en oeuvre le procédé de reconnaissance de parole distribuée décrit ci-dessus.

Suivant un troisième aspect, l'invention propose un serveur pour mettre en oeuvre le procédé de reconnaissance de parole distribuée décrit ci-dessus.

Dans un mode de réalisation préféré, certains au moins des moyens pour réaliser le traitement de la reconnaissance au niveau du terminal (moyens d'extraction de paramètres ou des moyens de reconnaissance) ont été téléchargés par l'intermédiaire du réseau de télécommunications. Ils peuvent par exemple tre téléchargés par le serveur.

D'autres caractéristiques et avantages de l'invention apparaîtront encore à la lecture de la description qui va suivre. Celle-ci est purement illustrative et doit tre tue en regard des dessins annexés sur lesquels la figure unique est un schéma représentant un exemple de terminal utilisateur et un exemple de serveur selon l'invention.

Le système représenté sur la figure unique comporte un serveur 1 et un terminal utilisateur 2, qui communiquent entre eux par l'intermédiaire d'un réseau (non représenté) disposant de canaux pour la transmission de signaux de voix et de canaux pour la transmission de signaux de données.

Le terminal 2 comporte un microphone 4, qui recueille la parole à reconnaître d'un utilisateur sous forme d'un signal audio. Le terminal 2 comporte également des modules 5,6, 7. Le module de détection d'activité vocale VAD 5 assure la détection des séquences correspondant à de la parole et devant tre reconnues. Ce module 5 est par exemple conçu pour détecter rapidement des mots de commandes. Le module 6 effectue une analyse acoustique de façon connue en soi : il calcule des paramètres de modélisation, tout en réalisant une fonction de débruitage.

Le module 7 exécute un algorithme de reconnaissance de type connu, par exemple à base de modèles de Markov cachés avec un vocabulaire de

taille réduite. Ce moteur de reconnaissance 7 peut fonctionner en mode monolocuteur, et nécessite une phase d'apprentissage préalable à partir de la voix de l'utilisateur.

Le terminal comprend un contrôleur 8 adapté pour sélectionner, un signal audio parmi le signal audio en sortie du microphone 4, un signal représentatif des segments de parole extraits par les moyens de détection d'activité vocale 5 et un signal indicatif des paramètres de modélisation 6.

Le terminal comprend en outre une interface 9 pour l'émission sur le réseau, à destination du serveur, du signal sélectionné par le contrôleur 8.

Le serveur 1 comporte une interface réseau 10 pour recevoir les signaux qui lui sont adressés et un contrôleur 11 qui analyse le signal reçu et le dirige ensuite sélectivement vers un module de traitement du serveur parmi plusieurs modules 12,13, 14. Le module 12 est un détecteur d'activité vocale, qui assure la détection des segments correspondant à de la parole de façon similaire au module 5. Toutefois, il peut tre différent du module 5, et par exemple conçu pour détecter rapidement des phrases entières. Son temps de réaction peut donc tre différent de celui du module 5. Dans l'exemple présent, son temps de réaction sera plus lent. Le module 13 assure le calcul de paramètres de modélisation de façon semblable au module de calcul 6 du terminal. Toutefois, le modèle de calcul peut tre différent. Le module 14 exécute un algorithme de reconnaissance de type connu, par exemple à base de modèles de Markov cachés avec un vocabulaire de taille quelconque, par exemple supérieur à 100 000 mots. Ce moteur de reconnaissance 14 compare les paramètres en entrée à des modèles de parole qui représentent des mots ou des phrases, et détermine la meilleure forme associée, compte tenu de modèles syntaxiques qui décrivent les enchaînements de mots attendus, de modèles lexicaux qui précisent les différentes prononciations des mots, et de modèles acoustiques représentatifs des sons prononcés. Ces modèles sont par exemple multilocuteurs, capables de reconnaître, avec une bonne fiabilité, de la parole, indépendamment du locuteur.

Le contrôleur 11 commande le module de VAD 12, le module de calcul de paramètres 13 et le moteur de reconnaissance 14 de façon à :

lorsque le signal reçu par l'interface réseau 10 est de type audio et n'indique pas de segments de parole obtenus après détection d'activité vocale, activer le module de détection d'activité vocale 12 en leur adressant le signal reçu en tant que signal d'entrée, puis adresser les segments de parole extraits par le module 12 au module de calcul de paramètres de modélisation 13 en tant que paramètres d'entrée, puis adresser les paramètres extraits par ce module 13 au moteur de reconnaissance 14 en tant que paramètres d'entrée ; b/lorsque le signal reçu par l'interface de réception 10 indique des segments de parole après détection d'activité vocale, activer le module de calcul de paramètres de modélisation 13 en lui adressant le signal reçu en tant que signal d'entrée, puis adresser les paramètres extraits par ce module 13 au moteur de reconnaissance 14 en tant que paramètres d'entrée ; c/lorsque le signal reçu par l'interface de réception 10 indique des paramètres de modélisation, adresser lesdits paramètres indiqués au moteur de reconnaissance 14 en tant que paramètres d'entrée.

Considérons une a, oplication dans laquelle l'utilisateur enonce : « appelle Antoine », Antoine figurant dans le répertoire local. Le signal audio correspondant obtenu par le microphone 4 du terminal est traité par le module VAD 5, qui en extrait des segments de parole qui sont à leur tour adressés aux module 6, qui calcule des paramètres de modélisation. Ces paramètres sont ensuite adressés au moteur de reconnaissance 7 pour y associer une forme issue du dictionnaire local. En parallèle, le contrôleur 8 a sélectionné un signal à émettre parmi le signal audio d'origine, un signal audio indiquant les segments de parole extraits du signal audio d'origine après détection d'activité vocale et un signal indiquant les paramètres de modélisation. Le signal sélectionné est émis à l'aide de l'interface d'émission 9 à destination du serveur.

Dans le mode de réalisation considéré, le signal sélectionné par le contrôleur du terminal 8 est le signal audio d'origine, qui a été envoyé en direction du serveur dès qu'il a été acquis par le microphone 4.

Le serveur réceptionne le signal à reconnaître envoyé par le terminal, et le traite comme indiqué en a/ci-dessus.

Le processus de reconnaissance s'effectue ainsi de part et d'autre. Le terminal détermine dans un temps T1 une forme associée1 ; le serveur détermine une autre forme associée F2 dans un temps T2 différent de T1. Une des deux formes est retenue selon un critère de choix. Le critère de choix peut est par exemple le suivant : on choisit la forme la plus rapidement trouvée et ce dès qu'elle est trouvée, sans attendre la détermination de l'autre forme.

L'applicatif local au terminal passe alors à la phase applicative suivante.

Puis l'utilisateur énonce « rechercher le message de Josiane ».

La réponse au niveau du terminal n'est pas consistante et se solde par un rejet après un temps T1'. La reconnaissance s'effectue en parallèle au niveau du serveur et aboutit en un temps T2'à la détermination d'une forme associée, qui va permettre de jouer le message demandé par l'utilisateur.

Un procédé de reconnaissance selon l'invention permet ainsi de combiner les avantages des systèmes de reconnaissance au niveau du terminal et du serveur. Les mots courts sont rapidement déterminés par le moteur de reconnaissance 7 du terminai et tes phrases plus complexes sont reconnues rapidement par le moteur de reconnaissance 14 du serveur. Le temps de traitement est d'autant plus optimisé que les VAD respectives présentent des caractéristiques adaptées, la VAD 5 du terminal étant par exemple conçue pour détecter rapidement des mots de commande et la VAD 12 du serveur étant conçue pour détecter rapidement des phrases.

Le contrôleur du terminal 8 détermine le signal à transmettre à destination du serveur par exemple en fonction de critères de contrôle. Ces critères peuvent par exemple tre liés à l'application concernée, ou à des problématiques de charges des différents moyens de traitement au niveau du terminal et du serveur (les moyens de contrôle respectifs peuvent coopérer), ou encore à des problématiques de disponibilité de canaux de transmission voix ou de canaux de transmission données.

Par exemple, pour certains terminaux, le signal envoyé sera systématiquement un signal indiquant des paramètres de modélisation. Pour d'autres terminaux, le signal envoyé dépendra de l'application en cours.

Dans un mode de réalisation de l'invention, en cas de problèmes de disponibilité de canaux de données ou du module de calcul 6 du terminal

considéré, le contrôleur 8 est adapté pour transmettre le signal audio (d'origine ou après VAD). Ce signal audio pourra tre transmis sur les canaux de transmission de signaux de voix disponibles.

Le façon de déterminer la forme finalement retenue et qui sera exploitée lors de la poursuite de l'application, entre une forme associée fournie par le module de reconnaissance du serveur et une forme associée fournie par celui du terminal peut s'effectuer sur la base de différents critères, qui peuvent varier d'un terminal à l'autre, mais aussi d'une application à l'autre ou d'un contexte donné à un autre.

Ces critères peuvent donner par exemple priorité à la reconnaissance effectuée au niveau du terminal, ou à la forme associée présentant le plus fort taux de probabilité, ou encore à la forme déterminée la plus rapidement. Ces critères de choix peuvent tre intégrés par exemple dans les contrôleurs 8, 11 du terminal, ou du serveur.

Le serveur selon l'invention est également apte à effectuer de la reconnaissance de parole sur un signal transmis par un terminal ne disposant pas de moyens d'extraction de paramètres de modélisation, ni de moyens de reconnaissance (ou dont les moyens d'extraction ou de reconnaissance sont inactifs) et disposant éventuellement de VAD.

Dans un mode de réalisation, le moteur de reconnaissance 7 du terminal 2 est un programme exécutable téléchargé, par exemple depuis le serveur par des moyens classiques de transfert de données.

Avantageusement, pour une application donnée du terminal 2, des modèles de reconnaissance du terminal peuvent tre téléchargés ou mis à jour au cours d'une session applicative connectée au réseau.

D'autres ressources logicielles utiles à la reconnaissance de parole peuvent aussi tre téléchargés depuis le serveur 1, comme le module 6 de calcul de paramètres de modélisation ou le détecteur d'activité vocale 5.

D'autres exemples pourraient tre décrits, mettant en oeuvre par exemple des applications liées aux voitures, à l'électroménager, multimédia.

Comme présenté dans les exemples de réalisation ci-dessus décrits, un système selon l'invention permet d'utiliser dans un délai de traitement optimisé pour un résultat optimisé les différentes ressources nécessaires au traitement de la reconnaissance de la parole et présentes au niveau du terminal (par exemple par téléchargement) et du serveur.