Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
MULTIMODAL MULTIMEDIA TELECOMMUNICATION SYSTEM
Document Type and Number:
WIPO Patent Application WO/2012/164213
Kind Code:
A1
Abstract:
The invention relates to a telecommunication system, between at least a first portable communication device (10) and a second communication device (20), linked by a communication network (30). The system is characterised in that the first device (10) comprises: a communication module (14); a video encoder (15); a transmission module (16) that prioritises audio data over other data; and a video frame controller (17) which regulates the number of frames in the video stream originating from each video source (11) of the first device (10). The aforementioned frames are processed by the encoder (15) as a function of the following parameters: completion of the encoding of the preceding frame, transmission of the preceding frame, and offset in reception or in display between the audio and video data on the second device (20). The present invention is particularly suitable for use in remote technical assistance and telemedicine services.

Inventors:
LE BLANC PHILIPPE (FR)
GOTTI MICHEL (FR)
Application Number:
PCT/FR2012/051193
Publication Date:
December 06, 2012
Filing Date:
May 28, 2012
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
LE BLANC PHILIPPE (FR)
GOTTI MICHEL (FR)
International Classes:
H04L29/06
Foreign References:
US20100195732A12010-08-05
Other References:
"3rd Generation Partnership Project; Technical Specification Group Services and Architecture; Feasibility Study on Multimedia Session Continuity; Stage 2 (Release 8)", 3GPP STANDARD; 3GPP TR 23.893, 3RD GENERATION PARTNERSHIP PROJECT (3GPP), MOBILE COMPETENCE CENTRE ; 650, ROUTE DES LUCIOLES ; F-06921 SOPHIA-ANTIPOLIS CEDEX ; FRANCE, no. V8.0.0, 1 June 2008 (2008-06-01), pages 1 - 62, XP050364175
ISHIBASHI Y ET AL: "A comparative survey of synchronization algorithms for continuous media in network environments", LOCAL COMPUTER NETWORKS, 2000. LCN 2000. PROCEEDINGS. 25TH ANNUAL IEEE CONFERENCE ON NOVEMBER 8-10, 2000, PISCATAWAY, NJ, USA,IEEE, 8 November 2000 (2000-11-08), pages 337 - 348, XP010527456, ISBN: 978-0-7695-0912-9
ZHAOLIN ZHANG ET AL: "Dynamic Frame-Skipping Scheme for Live Video Encoders", MULTIMEDIA TECHNOLOGY (ICMT), 2010 INTERNATIONAL CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 29 October 2010 (2010-10-29), pages 1 - 3, XP031796861, ISBN: 978-1-4244-7871-2
Attorney, Agent or Firm:
CABINET GUIU - JURISPATENT (FR)
Download PDF:
Claims:
REVENDICATIONS

1 - Système de télécommunication, avec au moins des échanges audio et vidéo, entre au moins un premier dispositif (10) portatif de communication et un second dispositif (20) de communication, lesdits dispositifs de communication étant reliés par un réseau (30) de communication téléphonique et/ou informatique, chacun desdits dispositif (10,20) de communication comportant au moins une source audio (12,22), des moyens d'affichage (13,23) et de diffusion du son, des moyens de codage/décodage de flux audio et vidéo, des moyens d'émission/réception de flux audio et vidéo et des moyens de traitement informatiques caractérisé en ce que le premier dispositif (10) portatif de communication comporte :

- au moins une source vidéo (11),

- un module de communication (14) multibandes et multiréseaux ;

- au moins un encodeur (15) vidéo, destiné à compresser les données vidéo qui lui sont soumises ;

- un module d' émission ( 16) multiprotocole des données multimédia, qui transmet les données selon le ou les protocole (s) adapté ( s ) au (x) réseau (x) (30) de communication reliant le premier dispositif (10) et le second dispositif (20), et selon une technique de multiplexage, en donnant priorité par ordre aux données audio sur les données vidéo et les autres données du type photo ou texte, afin d'assurer une communication audio fluide entre le premier et le second dispositif (20) de communication ;

- au moins un contrôleur (17) de trames vidéo qui régule le nombre de trames du flux vidéo issu de chaque source vidéo (11) du premier dispositif (10) devant être traitées par l'encodeur (15) en fonction des paramètres suivants pris seuls ou en combinaison : achèvement de l'encodage de la trame précédente, émission de la trame précédente, décalage de réception ou d'affichage entre les données audio et vidéo sur le second dispositif (20) .

2 - Système selon la revendication précédente caractérisé en ce que la communication entre le premier et le second dispositif (20) de communication transite par un serveur de communication.

3 - Système selon l'une quelconque des revendications précédentes caractérisé en ce que le module de communication (14) multibandes et multiréseaux est muni d'un scanner et d'un sélecteur automatique du réseau (30) de communication accessible à proximité du premier dispositif (10) portatif et permettant le meilleur débit de communication entre le premier et le second dispositif (20) de communication. 4 - Système selon la revendication 3 caractérisé en ce que ledit sélecteur automatique est adaptatif.

5 - Système selon l'une quelconque des revendications précédentes caractérisé en ce que le second dispositif (20) de communication comporte :

- un encodeur vidéo, destiné à compresser les données vidéo qui lui sont soumises ;

- un module d'émission mult iprotocole des données multimédia, qui transmet les données selon le ou les protocole (s) adapté (s) au (x) réseau (x) de communication reliant le premier dispositif et le second dispositif, et selon une technique de multiplexage, en donnant priorité par ordre aux données audio sur les données vidéo puis sur les autres données du type photo ou texte, afin d'assurer une communication audio fluide entre le premier et le second dispositif de communication ;

- un contrôleur de trames vidéo qui régule le nombre de trames du flux vidéo issu de chaque source vidéo du second dispositif devant être traitées par l'encodeur en fonction des paramètres suivants pris seuls ou en combinaison : achèvement de l'encodage de la trame précédente, émission de la trame précédente, décalage de réception ou d' affichage entre les données audio et vidéo sur le premier dispositif portatif de communication.

6 - Système selon l'une des revendications précédentes caractérisé en ce que le second dispositif (20) de communication est un dispositif portatif de communication identique au premier dispositif (10) portatif de communication.

7 - Système se lon l ' une qu elconque des revendications 1 à 6 caractérisé en ce que une source audio (12) et une source vidéo (11) sont reliées par radiofréquence (18) au premier dispositif (10) portatif de communication .

8 - Système selon l ' une quelconque des revendications 1 à 7 caractérisé en ce que le premier dispositif (10) portatif de communication est alimenté par batteries .

9 - Application du système de télécommunication selon l'une quelconque des revendications précédentes à un service d'assistance technique à distance.

10 - Application du système de télécommunication selon l'une quelconque des revendications 1 à 8 à un service de télémédecine.

Description:
SYSTEME DE TELECOMMUNICATION MULTIMEDIA MULTIMODAL

Domaine technique

La présente invention concerne le domaine de la télécommunication multimédia multimodale, sur réseau téléphonique et/ou informatique, et plus particulièrement les télécommunications avec transmission au moins de données audio et vidéo, ainsi que son application particulière à des services d'assistance technique à distance et de télémédecine .

De manière générale, dans le présent texte, le vocabulaire de référence est celui du domaine des télécommunications .

Technique antérieure

Par télécommunication multimédia, on entend dans le présent texte que différents flux de données peuvent être échangés entre les participants : voix, vidéo, documents de type photo, messages texte.

Le terme multimodal signifie que le système recourt à tous les réseaux de communication téléphoniques et/ou informatiques connus et ouverts au grand public, ainsi qu'au différents protocoles de communication applicables sur ces réseaux, par exemple le réseau de téléphone sans fil aux normes GSM ou UMTS, le réseau de téléphone satellitaire, le réseau local sans fil selon les normes IEEE802.il (Wi-fi) , le réseau téléphonique filaire, avec les techniques DSL, ou la fibre optique.

Une difficulté majeure dans les télécommunications multimédia provient de la capacité en bande passante réseau disponible et de son encombrement variable, en fonction du nombre d'utilisateurs connectés et du type de réseau accessible, surtout si le seul réseau accessible pour la communication est un réseau téléphonique sans fil. Aujourd'hui, les moyens techniques disponibles permettent sans difficulté d'avoir des visioconférences sur des réseaux informatiques à large bande, capables d'absorber les débits élevés de données requis pour transmettre un flux vidéo. Toutefois, ces moyens techniques ne sont pas transposables sur des réseaux de communication à capacités beaucoup plus restreintes, sans compromettre la fluidité de la conversation .

Il existe donc aujourd'hui un besoin pour une solution de télécommunication permettant d' avoir une conversation avec échanges audio et vidéo fluide et au moins un des interlocuteurs étant équipé d'un dispositif portatif pouvant dans certaines situations uniquement être connecté via un réseau téléphonique sans fil. Cette situation est par exemple vécue par des utilisateurs de services d'assistance technique à distance en intervention dans des installations industrielles, ou encore par des services d'urgence médicale en intervention sur un accident survenu en milieu extérieur. Un tel outil n'existe pas à ce jour, à la connaissance du demandeur .

Résumé de l'invention

La présente invention vise donc à répondre à ce besoin, en proposant un système original de télécommunication multimédia et multimodal.

A cet égard, l'invention a pour objet un système de télécommunication, avec au moins des transmissions de données audio et vidéo, entre au moins un premier dispositif portatif de communication et un second dispositif de communication, lesdits dispositifs de communication étant reliés par un réseau de communication téléphonique et/ou informatique, chacun desdits dispositif de communication comportant au moins une source audio, des moyens d'affichage et de diffusion du son, des moyens de codage /décodage de flux audio et vidéo, des moyens d'émission/réception de flux audio et vidéo et des moyens de traitement informatiques ; ce système est remarquable en ce que le premier dispositif portatif de communication comporte :

- au moins une source vidéo,

- un module de communication multibandes et multiréseaux ;

- au moins un encodeur vidéo, destiné à compresser les données vidéo qui lui sont soumises par le contrôleur de trames vidéo ;

- un module d'émission multiprotocole des données multimédia, qui transmet les données selon le ou les protocole (s) adapté(s) au (x) réseau (x) de communication reliant le premier dispositif et le second dispositif, et selon une technique de multiplexage, en donnant priorité par ordre aux données audio sur les données vidéo et les autres données du type photo ou texte, afin d'assurer une communication audio fluide entre le premier et le second dispositif de communication ;

- au moins un contrôleur de trames vidéo qui régule le nombre de trames du flux vidéo issu de chaque source vidéo du premier dispositif devant être traitées par l'encodeur en fonction des paramètres suivants pris seuls ou en combinaison : achèvement de l'encodage de la trame précédente, émission de la trame précédente, décalage de réception ou d' affichage entre les données audio et vidéo sur le second dispositif.

On comprend bien que grâce au recours combiné d'une émission prioritaire du flux audio, du multiplexage et de l'adaptation du nombre de trames contenues dans le flux vidéo compressé en fonction notamment d'une rétroaction du second dispositif, on aboutit ainsi à une communication fluide avec une adaptation en temps réel, quelques soient les capacités de transmission des réseaux de communication mis en oeuvre et les temps de latence entre au moins les deux dispositifs de communication connectés.

D'autres avantages et caractéristiques ressortiront mieux de la description détaillée qui va suivre du système selon l'invention et d'exemples d'utilisation dudit système, en référence aux dessins annexés sur lesquels :

- la figure 1 est une vue schématique globale du système selon l'invention ;

- la figure 2 est une vue schématique des flux de données au niveau du premier dispositif de communication du système selon l'invention.

Description d'un mode de réalisation

En référence à la figure 1, le système de télécommunication comporte au moins des transmissions de données audio et vidéo entre au moins un premier dispositif 10 portatif de communication et un second dispositif 20 de communication. Ces dispositifs 10,20 de communication sont reliés par un réseau 30 de communication téléphonique et/ou informatique, en fonction des réseaux accessibles à chacun des dispositifs. On comprend que le système n'est pas limité à des communications entre deux dispositifs 10, 20 mais qu' il permet d' avoir des communications parallèles multiples entre plusieurs dispositifs de communication 10,20. Par exemple, plusieurs médecins urgentistes intervenant sur un même site d'accident et munis chacun d'un premier dispositif portatif 10 peuvent communiquer entre eux et/ou avec un second dispositif distant situé dans un service d'urgence médical.

Chacun des dispositif 10,20 de communication comporte au moins une source audio 12,22 (typiquement, un microphone), des moyens d'affichage 13,23 (typiquement, un écran) et de diffusion du son (par exemple, haut-parleurs ou casque audio), des moyens de codage /décodage de flux audio et vidéo, des moyens d'émission/réception de flux audio et vidéo et des moyens de traitement informatiques.

Le second dispositif 20 comporte avantageusement au moins une source vidéo 21 (typiquement, une caméra). Toutefois, cette source peut n'être activée que sur demande, en fonction des besoins des utilisateurs.

Selon une caractéristique de l'invention, le premier dispositif 10 portatif de communication comporte :

- au moins une source vidéo 11,

- un module de communication 14 multibandes et multiréseaux ;

- au moins un encodeur vidéo 15 ;

- un module d'émission 16 mult iprotocole des données multimédia, donnant priorité par ordre aux données audio sur les données vidéo et les autres données ;

- au moins un contrôleur 17 de trames vidéo qui régule le nombre de trames du flux vidéo devant être traitées par l'encodeur 15 en fonction de paramètres prédéfinis.

Le module de communication 14 multibandes et multiréseaux permet donc au premier dispositif 10 portatif de communication de se connecter à tout réseau 30 téléphonique et/ou informatique qui lui est accessible.

Préférentiellement et de manière avantageuse, le module de communication 14 est muni d'un scanner et d'un sélecteur automatique du réseau 30 de communication accessible à proximité du premier dispositif 10 portatif et permettant le meilleur débit de communication entre le premier et le second dispositif 20 de communication.

De préférence, ledit sélecteur automatique est adaptatif : si en cours de communication, un autre réseau de communication accessible que celui employé présentait de meilleures capacités que celui employé, alors la communication basculerait sur cet autre réseau.

Selon une autre caractéristique et en référence à la figure 2, l'encodeur 15 vidéo compresse les données vidéo qui lui sont soumises par le contrôleur 17 de trames ; il s'agit de trames provenant du flux brut émis par les sources vidéo 11. La compression appliquée peut être une méthode de compression connue, par exemple du type MPEG-4, MPEG-21, H263 ou H264, ou un format spécifique.

Selon une variante avantageuse, chaque source vidéo 11 est reliée à un encodeur 15 et un contrôleur 17 dédiés à cette source. Selon une forme préférée de réalisation, l'encodeur 15 et le contrôleur 17 sont des modules d'un programme informatique exécuté sur les dispositifs 10,20de communication. Ainsi et avantageusement, pour chaque source vidéo 11,21 reliée à un dispositif 10,20 de communication, un encodeur 15 et un contrôleur 17 sont générés.

Selon une autre caractéristique, et en référence à la figure 2, le module d'émission 16 multiprotocole des données multimédia, transmet les données du premier dispositif 10 de communication selon le ou les protocole (s) adapté (s) au (x) réseau (x) 30 de communication reliant le premier dispositif 10 et le second dispositif 20, et selon une technique de multiplexage, en donnant priorité par ordre aux données audio sur les données vidéo et les autres données du type photo ou texte, afin d'assurer une communication audio fluide entre le premier et le second dispositif 10,20 de communication. On privilégiera une transmission par paquets des données. Chaque paquet comporte un horodatage, ce qui permet avantageusement de garder une synchronisation labiale sans déviation et d'assurer une bonne synchronisation son/image. En outre, on définira un seuil de taille de fichier des données, fixe ou modulable en fonction du type de connexion, au-delà duquel le fichier est découpé en plusieurs tronçons (notamment les photos), afin de permettre aux paquets liés à la donnée « son » de transiter prioritairement sur les autres données.

En référence à la figure 2 et aux flèches représnetées en pointillés, le contrôleur 17 de trames vidéo régule le nombre de trames du flux vidéo issu de la source vidéo 11 du premier dispositif 10 devant être traitées par l'encodeur 15 en fonction des paramètres suivants pris seuls ou en combinaison : achèvement de l'encodage de la trame précédente, émission de la trame précédente, décalage de réception ou d' affichage entre les données audio et vidéo sur le second dispositif 20.

Le paramètre concernant la rétroaction du second dispositif sur le premier (décalage de réception ou d' affichage entre les données audio et vidéo sur le second dispositif) est particulièrement préféré dans le cadre de la présente invention.

De façon tout à fait préférée, les trois paramètres sont combinés : en effet, il s'est avéré que cette combinaison assure une qualité de la fluidité de la communication audio/vidéo supérieure à celle obtenue par chacun des paramètres pris séparément ou par leur simple addition .

Selon une variante préférée, la communication entre le premier et le second dispositif 10,20 de communication transite par un serveur de communication. Cela permet avantageusement de s'affranchir des contraintes de pare-feu risquant de bloquer le programme informatique gérant les communications.

Le second dispositif 20 de communication comporte optionnellement au moins une source vidéo 21.

De préférence, le second dispositif 20 de communication comporte :

- un encodeur vidéo, destiné à compresser les données vidéo qui lui sont soumises ;

- un module d'émission mul tiprotocole des données multimédia, qui transmet les données selon le ou les protocole (s) adapté (s) au (x) réseau (x) de communication reliant le premier dispositif et le second dispositif, et selon une technique de multiplexage, en donnant priorité par ordre aux données audio sur les données vidéo puis sur les autres données du type photo ou texte, afin d'assurer une communication audio fluide entre le premier et le second dispositif de communication ;

- un contrôleur de trames vidéo qui régule le nombre de trames du flux vidéo issu de chaque source vidéo du second dispositif devant être traitées par l'encodeur en fonction des paramètres suivants pris seuls ou en combinaison : achèvement de l'encodage de la trame précédente, émission de la trame précédente, décalage de réception ou d' affichage entre les données audio et vidéo sur le premier dispositif portatif de communication.

On comprend bien qu'ainsi le mode d'échange des données audio et vidéo entre le premier et le second dispositif de communication est identique et que la communication est régulée de la même manière dans les deux sens, assurant un optimum de fluidité. Les remarques liées aux choix des paramètres du contrôleur de trame du premier dispositif de communication s'appliquent également ici.

Selon une variante avantageuse d'exécution, permettant d'améliorer le partage des ressources en bande passante et en capacité de calcul entre deux dispositifs 10,20 de communication, chacun des dispositifs 10,20 comporte un module d'équilibrage vidéo qui donne des instructions au contrôleur de trames de manière à ce que les flux émis et reçus par chacun des dispositifs à destination de l'autre soient le plus proches possibles, préférentiellement identiques, en nombre de trames par secondes. Avantageusement, ce module d'équilibrage est activé à la demande. Il permet notamment de tenir compte de différences importantes en capacité de calcul entre deux dispositifs 10,20 de communication en relation. Le second dispositif 20 de communication est de préférence un ordinateur connecté à un réseau à large bande. Il est destiné à être utilisé par un opérateur portant conseil à un utilisateur distant, en communication par le biais d'un premier dispositif 10 portatif de communication. De fait, le second dispositif 20 peut comporter une source vidéo 21 qui est activée selon les besoins de l'utilisateur distant en image vidéo de son interlocuteur ou de l'environnement de ce dernier.

Selon une variante de fonctionnement, le second dispositif 20 de communication est un dispositif portatif de communication identique au premier dispositif 10 portatif de communication : le système permet à au moins deux utilisateurs munis de dispositifs portatifs de communiquer entre eux.

Par exemple, comme illustré à la figure 1, le premier dispositif 10 de communication est construit sous la forme d'un ordinateur portable enchâssé dans une valise et muni d'un programme informatique dédié à la communication multimédia.

Ce dispositif portatif 10 pourra avantageusement comporter une source audio 12 et une source vidéo 11 reliées par radiofréquence 18 à celui-ci : un opérateur pourra donc évoluer à proximité du dispositif 10 sans avoir à déplacer celui-ci pour fournir des données vidéo et/ou audio.

En outre, le premier dispositif 10 portatif de communication est alimenté par batteries, ce qui permet de lui conférer une autonomie et une liberté de portabilité. Application industrielle

Comme exposé précédemment, le système selon l'invention peut être déployé pour des services d'assistance technique et de maintenance industrielle à distance ainsi que de télémédecine. Enfin, il va de soi que les exemples d'utilisation de du système ne sont que des exemples particuliers, et que d'autres applications sont envisageables, sans pour autant sortir du cadre de la présente invention.