FR2836249A1 - Procede de synchronisation des interactions multimodales dans la presentation d'un contenu multimodal sur un support multimodal - Google Patents
Procede de synchronisation des interactions multimodales dans la presentation d'un contenu multimodal sur un support multimodal Download PDFInfo
- Publication number
- FR2836249A1 FR2836249A1 FR0202178A FR0202178A FR2836249A1 FR 2836249 A1 FR2836249 A1 FR 2836249A1 FR 0202178 A FR0202178 A FR 0202178A FR 0202178 A FR0202178 A FR 0202178A FR 2836249 A1 FR2836249 A1 FR 2836249A1
- Authority
- FR
- France
- Prior art keywords
- server
- voice
- multimodal
- synchronization
- presentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
- H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
- H04M3/4938—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals comprising a voice browser which renders and interprets, e.g. VoiceXML
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2207/00—Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place
- H04M2207/18—Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place wireless networks
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
Abstract
Le procédé selon l'invention consiste à exploiter simultanément et de façon synchronisée au moins le mode graphique et le mode vocal d'un terminal téléphonique mobile associé à un réseau cellulaire, selon le processus suivant : suite à une requête effectuée par le terminal, un serveur transfère le document multimodal (3) à un serveur de présentation (5), lequel génère les étapes de présentation graphique et le code de synchronisation au terminal (1) ainsi que les étapes de présentation vocales à un serveur vocal (9). Après établissement de la connexion, un dialogue s'instaure entre le serveur vocal (9) et le terminal (1). La synchronisation utilise un mode d'identification de la communication téléphonique, un mode d'indication au serveur vocal (9) et un mode de transition à l'étape graphique suivante.
Description
<Desc/Clms Page number 1>
La présente invention concerne un procédé de synchronisation des interactions multimodales spécifiquement adapté à la présentation d'un contenu multimodal sur un support multimodal tel qu'un terminal téléphonique mobile.
Ce procédé est particulièrement adapté à la présentation d'interactions multimodales graphiques et vocales sur les téléphones portables utilisant les réseaux cellulaires tels que GSM (Global System Mobile), GPRS (General Packet Radio Service) ou UMTS (Universal Mobile Telecommunication Service).
D'une manière générale, on sait qu'un contenu multimodal est un ensemble de documents électroniques et/ou d'applications logicielles qui supportent des modes multiples d'interaction homme/machine utilisables simultanément et de manière synchronisée. Le mode graphique et le mode vocal sont les principaux modes d'interaction homme/machine utilisés actuellement. Ces deux modes qui sont couramment utilisés de façon individuelle présentent chacun un certain nombre d'inconvénients qui leur sont spécifiques : * il est difficile à quiconque de saisir ou de lire des données sur des équipements de taille réduite (petits claviers et écrans).
Certains handicaps physiques peuvent également rendre ces opérations difficiles, voire impossibles, sur des équipements de taille normale.
<Desc/Clms Page number 2>
* la reconnaissance vocale fait encore des erreurs qui peuvent être bloquantes si elles sont répétées ; elle est également difficile, voire inaccessible à certains utilisateurs.
* la voix est séquentielle et non persistante ; elle rend longue la présentation d'une information volumineuse et nécessite une capacité et un effort de mémorisation pour en effectuer une analyse efficace.
Un mode de présentation uniquement vocal est difficile voire inaccessible aux sourds ou malentendants.
Par ailleurs, il s'avère que les langages et systèmes actuels de création de contenu ne sont pas adaptables à la création de contenu multimodal en raison de la complexité introduite par une telle adaptation, en effet : * le langage XHTML (Extensible HyperText Markup Language) ou sa version précédente : HTML est le plus utilisé pour la création de contenus graphiques accessibles sur Internet. Il est relativement facile d'utilisation par l'homme et la machine car il représente assez fidèlement, dans une forme textuelle, un modèle de documents qui définit les divers objets qui composent un document graphique, leurs propriétés, et leurs relations entre eux. Cependant, il est verbeux et complexe car les objets définis par ce modèle sont de granularité très fine. De plus, il ne permet pas de décrire une séquence d'interactions dans le temps et ce processus, lorsqu'il est absolument nécessaire, doit être décrit dans un langage de programmation tel que JavaScript.
* dans certains cas, les auteurs peuvent choisir d'abandonner la description de leur intention spécifique en matière de processus interactif et de déléguer la gestion du processus à l'utilisateur en divisant le document en plusieurs documents de taille réduite, substituant ainsi une série de transitions d'un sous-document à l'autre (navigation) à la description du processus. Cette méthode a pour inconvénients de briser l'unité du document original,
<Desc/Clms Page number 3>
d'augmenter la quantité et la complexité des interventions de l'utilisateur, de diminuer la prévisibilité du processus et de complexifier la mise à jour du document de manière proportionnelle au nombre de sous-documents produits.
* le mode d'interaction vocal étant séquentiel par nature, toute utilisation d'un modèle de documents similaire pour la définition de contenu multimodal entraînerait la nécessité pour l'auteur d'utiliser un langage de programmation ou, dans le meilleur des cas, de diviser le document en une myriade de sous-documents, avec tous les inconvénients que cette méthode comporte.
* le langage VoiceXML (Voice Extensible Markup Language) qui est un standard émergeant pour la création de contenu vocal accessible par téléphone, permet la représentation d'un processus interactif par la description de ce processus dans le flot du document. Ce faisant, il s'apparente malheureusement principalement à un langage de programmation et sa relation avec un quelconque modèle objet de document est diluée par les informations qui définissent le processus interactif.
Il apparaît donc que la réutilisation de langages et modèles de documents existants pour la description d'un contenu multimodal introduit une complexité inappropriée.
Une solution qui consisterait à produire deux documents, l'un contenant les interactions vocales, sur le modèle VoiceXML, et l'autre contenant les informations graphiques, sur le modèle XHTML, nécessiterait la production d'un troisième document décrivant la synchronisation entre les divers éléments de ces deux modèles. Outre l'évidente complexité de production associée à cette méthode, ce principe imposerait à l'auteur de décider si les informations textuelles doivent être reproduites de façon graphique ou vocale lors de la
<Desc/Clms Page number 4>
création du contenu, alors que ce choix dépend des équipements disponibles lors de la reproduction ainsi que des capacités et préférences spécifiques de l'utilisateur. Ces critères étant difficilement prévisibles au moment de la création du contenu, cette technique, outre l'accumulation des difficultés de production, limiterait considérablement le nombre potentiel d'utilisateurs du contenu et la qualité de sa présentation.
Par le brevet FR 0 200 368, la Demanderesse a déjà proposé un dispositif de production et de présentation de contenu multimodal utilisant un modèle de document unique qui définit des objets de haut niveau décrivant implicitement le processus interactif. Ce document décrit notamment un objet de type diaporama présentant successivement les images et le texte qui leur est optionnellement associé. Chaque image est présentée pendant une durée minimale fixée par l'auteur, sous la forme d'un attribut de chaque image ou du diaporama lui-même, et une durée maximale correspondant au temps d'énoncé du texte, plus d'optionnelles marges sonores, lorsque la présentation du texte est réalisée en mode vocal. Si l'auteur souhaite laisser à l'utilisateur la décision du moment de la transition, il l'indique simplement par un attribut manuel plutôt que automatique du diaporama. Sans indication particulière de la part de l'auteur, le choix du mode de transition peut être laissé à l'utilisateur, l'interaction spécifique à cette option devant être produite automatiquement par un serveur de présentation.
Pour reproduire les étapes de présentation graphiques sur l'écran d'un terminal téléphonique mobile, chacune de ces étapes doit être transférée au terminal sur le canal de données alors que les étapes vocales correspondantes doivent résider sur un serveur vocal accédé par le terminal via le canal vocal (liaison téléphonique). La distribution physique des étapes de présentation graphiques et vocales, respectivement sur le terminal téléphonique mobile et sur un serveur vocal, introduit plusieurs problèmes de synchronisation de la présentation multimodale.
<Desc/Clms Page number 5>
L'invention a donc plus particulièrement pour but de supprimer tous ces inconvénients.
A cet effet, elle propose un procédé pour l'optimisation des interactions multimodales avec un utilisateur sur un support multimodal, ce procédé consistant à exploiter simultanément et de façon synchronisée au moins deux modes multiples d'interaction homme/machine distincts sur ledit support multimodal.
Bien entendu, cette exploitation devra tenir compte : * des caractéristiques de l'information (sa nature, son volume...), * des caractéristiques des équipements de reproduction et d'acquisition de ces informations (dimensions, fidélité, précision...) * des capacités et préférences de l'utilisateur.
Avantageusement, les deux modes d'interaction homme/machine pourront consister en les deux modes principaux, à savoir le mode graphique et le mode vocal.
Le susdit support multimodal pourra quant à lui consister en un terminal téléphonique mobile associé à un réseau cellulaire, tel que GSM, GPRS ou UMTS.
Dans ce cas, le procédé selon l'invention pourra faire intervenir, outre le terminal téléphonique mobile, un premier serveur pouvant communiquer avec le terminal téléphonique mobile par l'intermédiaire d'un premier canal de transmission, un second serveur pouvant communiquer avec le terminal téléphonique mobile par l'intermédiaire d'un deuxième canal de transmission et un troisième serveur contenant le document multimodal. Le procédé pourra
<Desc/Clms Page number 6>
alors comprendre une séquence de chargement et de présentation du contenu multimodal comportant les phases opératoires suivantes : l'émission par le terminal téléphonique mobile à destination du troisième serveur d'une requête de présentation du document multimodal,
* le transfert du document multimodal au premier serveur, * la génération par le premier serveur d'étapes de présentation vocales et graphiques ainsi que du code de synchronisation, * le transfert par le premier serveur des étapes de présentation vocales au deuxième serveur, * le transfert par le premier serveur des étapes de présentation graphiques et du code de synchronisation au terminal téléphonique mobile, * l'établissement d'une connexion téléphonique avec le second serveur une fois ledit transfert réalisé, * l'établissement d'un dialogue entre le second serveur et le terminal téléphonique mobile lorsque la connexion téléphonique est établie.
* le transfert du document multimodal au premier serveur, * la génération par le premier serveur d'étapes de présentation vocales et graphiques ainsi que du code de synchronisation, * le transfert par le premier serveur des étapes de présentation vocales au deuxième serveur, * le transfert par le premier serveur des étapes de présentation graphiques et du code de synchronisation au terminal téléphonique mobile, * l'établissement d'une connexion téléphonique avec le second serveur une fois ledit transfert réalisé, * l'établissement d'un dialogue entre le second serveur et le terminal téléphonique mobile lorsque la connexion téléphonique est établie.
Un mode d'exécution de l'invention sera décrit ci-après, à titre d'exemple non limitatif, avec référence au dessin annexé dans lequel :
La figure unique est une représentation schématique du processus de communication multimodal.
La figure unique est une représentation schématique du processus de communication multimodal.
Dans cet exemple, le support multimodal consiste en un terminal téléphonique mobile, par exemple de type UMTS, pouvant adresser des requêtes sur le réseau Internet en vue d'effectuer le transfert du document multimodal émanant d'une entité connectée au réseau Internet à destination d'un premier serveur dit serveur de présentation pouvant communiquer avec le terminal téléphonique mobile par l'intermédiaire d'un canal de données.
<Desc/Clms Page number 7>
Le serveur de présentation est conçu de manière à pouvoir transférer à un second serveur dit serveur vocal les étapes de présentation vocales associées au document multimodal. Ce serveur vocal communique bidirectionnellement avec le terminal téléphonique mobile par l'intermédiaire d'un canal vocal.
Le chargement et la présentation du document multimodal sur le terminal téléphonique mobile s'effectuent selon une séquence opératoire comprenant les phases suivantes : le terminal téléphonique mobile 1 envoie une requête (flèche 2) de présentation d'un document multimodal 3, à destination du troisième serveur 4 ; le serveur de présentation 5 effectue la récupération (flèche 6) du document multimodal 3 et génère les étapes de présentation graphiques ainsi que le code de synchronisation (bloc 7) et les étapes de présentation vocales ; le serveur de présentation 5 effectue le transfert (flèche 8) des étapes de présentation vocales au serveur vocal 9 ; puis effectue le transfert (flèche 10) des étapes de présentation graphiques et du code de synchronisation au terminal téléphonique mobile 1 ; une fois le transfert (flèche 10) réalisé, le terminal mobile 1 établit une connexion téléphonique (flèche l l) avec le serveur vocal 9 ; une fois cette connexion téléphonique (flèche 11) établie et identifiée, le serveur vocal 9 peut assurer une communication vocale bidirectionnelle (flèche 12) avec l'utilisateur du terminal téléphonique mobile 1.
On obtient ainsi une interaction multimodale spécifiquement adaptée à la présentation du document multimodal.
D'une façon plus précise, en vue d'assurer le chargement et la présentation du document multimodal 3, l'utilisateur désigne au serveur de présentation 5 des données d'identification du document multimodal (requête de présentation du document).
<Desc/Clms Page number 8>
Cette requête (flèche 2) est typiquement une requête HTTP (HyperText Transfert Protocol) transmise sur Internet au serveur de présentation.
Suite à cette requête, le serveur de présentation 5 récupère le document multimodal désiré (flèche 6) et le transforme en : - une suite d'étapes de présentation graphiques, - une suite d'étapes de présentation vocales correspondantes, et - un code exécutable de synchronisation.
Les étapes de présentation vocales sont transférées (flèche 8) sur le serveur vocal 9 et les informations sonores pourront être reproduites à l'utilisateur lorsqu'une connexion téléphonique sera établie entre le terminal téléphonique mobile 1 et le serveur vocal 9.
Les étapes graphiques et le code de synchronisation sont transférés (flèche 10) au terminal téléphonique mobile 1 en tant que contenu de la réponse à la requête (flèche 2).
Il s'avère que les terminaux et réseaux actuels GSM et GPRS ne permettent pas l'accès au canal"données"lorsqu'une liaison téléphonique (connexion du canal vocal) est établie. De ce fait, il n'est pas imaginable de transférer les étapes graphiques une à une au terminal téléphonique mobile 1 car la transition d'une étape à l'autre serait trop longue, ajoutant le délai de la déconnexion/reconnexion du canal vocal au délai déjà"inconfortable"du transfert individuel de l'étape graphique.
Les réseaux et terminaux de 3ème génération (UMTS) permettront d'effectuer des requêtes de données sans déconnecter la liaison téléphonique. Néanmoins, transférer le plus d'étapes possibles en une seule réponse permet de minimiser le temps d'attente au passage d'une étape à l'autre et de bénéficier de manière
<Desc/Clms Page number 9>
optimale des algorithmes de compression de données utilisés pour leur transfert vers le terminal.
Le transfert simultané de plusieurs étapes de présentation graphiques sur le terminal téléphonique mobile 1 nécessite que la synchronisation des étapes de présentation graphiques et vocales soit réalisée par le terminal téléphonique mobile 1 lui-même, car le serveur de présentation 5 ne recevra aucune indication du passage d'une étape graphique à l'autre. Le code de synchronisation spécifique à ces étapes téléchargées, généré par le serveur de présentation, sera donc transféré au terminal téléphonique mobile 1 en même temps que les étapes de présentation graphiques, dans une forme exécutable par le terminal téléphonique mobile 1.
Pour la simplicité de cette description, on supposera que le document multimodal est d'une taille suffisamment faible et d'une complexité suffisamment restreinte pour que les étapes graphiques et le code de synchronisation produits soient d'un volume convenable à leur transfert en une seule fois, en tant que réponse à la requête (flèche 2). Cette supposition n'affecte en rien le procédé précédemment décrit.
Une fois le transfert (flèche 10) réalisé, le terminal téléphonique mobile 1 établit une connexion téléphonique (flèche 11) avec le serveur vocal 9.
L'établissement de cette connexion est réalisé par une étape initiale du code de synchronisation, préférablement associée à une étape graphique, générée automatiquement par le serveur de présentation 5, qui indique à l'utilisateur que la connexion (flèche 11) est en cours.
La demande de connexion (flèche 11) doit généralement être confirmée par l'utilisateur (dialogue généré par le terminal téléphonique mobile lui-même, selon les constructeurs) mais il s'agit d'une simple confirmation beaucoup plus simple et rapide qu'un appel manuel de la part de l'utilisateur.
<Desc/Clms Page number 10>
Une fois la connexion téléphonique établie et identifiée (flèche 12), le serveur vocal peut reproduire une information vocale à l'utilisateur ou acquérir des informations vocales de cet utilisateur.
Les étapes, décrites ci-dessus, de chargement et de présentation d'un contenu multimodal sur un terminal téléphonique mobile, nécessitent de résoudre les problèmes de synchronisation suivants : * Identification de la connexion téléphonique : Lors de l'établissement de la connexion téléphonique (flèche 12), le serveur vocal 9 doit identifier à quelle requête (flèche 2) cette connexion est associée pour identifier les étapes de présentation vocales qui doivent être reproduites sur cette connexion, en effet :
Plusieurs utilisateurs peuvent utiliser le système simultanément et le serveur vocal 9 doit déterminer quelles étapes vocales correspondent à la requête spécifique de cet utilisateur.
Plusieurs utilisateurs peuvent utiliser le système simultanément et le serveur vocal 9 doit déterminer quelles étapes vocales correspondent à la requête spécifique de cet utilisateur.
Une connexion téléphonique avec le serveur vocal 9 peut provenir d'un équipement téléphonique quelconque et ne résulter d'aucune requête spécifique de présentation multimodale (erreur de numérotation, par exemple).
* Indication au serveur vocal 9 de la transition à une nouvelle étape graphique : La transition à une nouvelle étape graphique est provoquée soit par une action de l'utilisateur sur le terminal téléphonique mobile (transition explicite dans l'étape graphique courante), soit par le code de synchronisation (transition à l'étape graphique initiale après établissement et identification de la connexion téléphonique (flèche 12) ou échéance d'un délai de présentation de l'étape précédente). Dans le premier cas au moins, la séquence d'étapes graphiques invoquées par l'utilisateur ne correspond pas nécessairement à la séquence dans laquelle les étapes vocales correspondantes sont générées par le module de présentation 5 et transférées au serveur vocal 9 de sorte que le serveur vocal
<Desc/Clms Page number 11>
ne peut présupposer d'aucune séquence dans laquelle les étapes vocales devront être reproduites.
Une fois la connexion téléphonique établie (flèche 12) et correctement associée à une série d'étapes de présentation vocales, le serveur vocal 9 doit être informé des transitions d'une étape graphique à l'autre pour : - stopper la présentation sonore de l'étape courante, le cas échéant, - démarrer la présentation de l'étape sonore qui correspond à la nouvelle étape graphique.
* Synchronisation de l'acquisition d'information par reconnaissance vocale : Lorsqu'une étape interactive de présentation graphique comportera l'acquisition d'une information de l'utilisateur (étape d'un formulaire, par exemple). Ces informations pourront être produites, au choix de l'utilisateur, soit par entrée clavier (graphique) ou par reconnaissance vocale. Lorsque l'utilisateur entre l'information en mode graphique, l'utilisateur indique qu'il a terminé sa saisie et provoque le passage à l'étape graphique suivante lorsqu'il est satisfait que l'information est correcte (exempte de faute de frappe).
Lorsque l'utilisateur désire entrer l'information par reconnaissance vocale, le serveur vocal 9 doit être informé de ce choix pour démarrer son activité de reconnaissance et le terminal téléphonique mobile 1 doit également être informé du fait que la reconnaissance de l'information a été correctement effectuée de manière à passer à l'étape graphique suivante, or la représentation textuelle de l'information acquise réside sur le serveur vocal 9 et non sur le terminal téléphonique mobile 1 de sorte que l'utilisateur ne peut pas visualiser ce texte pour juger de son exactitude.
* Synchronisation d'une transition automatique à l'étape de présentation suivante : Certaines transitions d'une étape de présentation à l'autre ne sont pas provoquées par l'utilisateur. Il s'agit par exemple du passage automatique
<Desc/Clms Page number 12>
d'une diapositive à l'autre pour la présentation d'un diaporama en mode automatique. Dans ce cas, il est nécessaire que le code de synchronisation soit informé de la fin de l'énoncé du commentaire de la diapositive courante avant de provoquer une transition automatique à la diapositive suivante.
Dans certaines applications, il est également souhaitable de retarder la transition à l'étape suivante demandée par l'utilisateur pour permettre la reproduction sonore d'une information qui lui confirmera la prise en compte et/ou la nature de son action.
Dans ces deux cas, le moment où la reproduction sonore sera terminée est une information nécessaire au code de synchronisation pour déterminer le moment optimal de passage effectif à l'étape suivante.
Le code de synchronisation s'exécutant sur le terminal téléphonique mobile 1 alors que la reproduction sonore s'exécute sur le serveur vocal 9 pose un problème particulier d'indication de cette information.
Afin de résoudre les problèmes cités précédemment, l'invention propose les moyens suivants permettant la synchronisation des interactions multimodales, à savoir :
* un mode d'identification de la connexion téléphonique (flèche 11) incluant : - l'association d'un identifiant unique de la session utilisateur aux étapes de présentation vocales transférées (flèche 8) par le serveur de présentation 5 au serveur vocal 9,
- l'indication au serveur vocal 9 sur la connexion téléphonique nouvellement établie (flèche 11) du susdit identifiant unique de la session utilisateur, * le susdit mode d'identification de la connexion téléphonique (flèche 11) utilisant un code ou une séquence de codes DTMF (Dual Tone MultiFrequency) pour l'indication au serveur vocal 9 sur la connexion téléphonique nouvellement établie (flèche 11) de l'identifiant unique de la session utilisateur,
* un mode d'identification de la connexion téléphonique (flèche 11) incluant : - l'association d'un identifiant unique de la session utilisateur aux étapes de présentation vocales transférées (flèche 8) par le serveur de présentation 5 au serveur vocal 9,
- l'indication au serveur vocal 9 sur la connexion téléphonique nouvellement établie (flèche 11) du susdit identifiant unique de la session utilisateur, * le susdit mode d'identification de la connexion téléphonique (flèche 11) utilisant un code ou une séquence de codes DTMF (Dual Tone MultiFrequency) pour l'indication au serveur vocal 9 sur la connexion téléphonique nouvellement établie (flèche 11) de l'identifiant unique de la session utilisateur,
<Desc/Clms Page number 13>
* un mode d'indication au serveur vocal 9 de la transition à une nouvelle étape graphique consistant à indiquer à partir du terminal téléphonique mobile 1 chaque transition à une nouvelle étape graphique par l'envoi d'un ou plusieurs codes DTMF au serveur vocal 9 sur la connexion téléphonique (flèche 11), * un mode de transition à l'étape graphique suivante après reconnaissance vocale incluant : - l'indication au serveur vocal 9 de la volonté de l'utilisateur d'entrer une information spécifique par reconnaissance vocale, - l'indication à l'utilisateur du démarrage de l'acquisition vocale pour cette information spécifique, - une rétroaction audio de l'information acquise par le serveur vocal 9, - une confirmation par l'utilisateur au terminal téléphonique mobile 1 du succès de cette acquisition, * un mode de transition à l'étape graphique suivante après reconnaissance vocale utilisant le transfert d'un ou de plusieurs codes DTMF sur le canal vocal 12 pour l'indication au serveur vocal 9 de la volonté de l'utilisateur d'entrer une information spécifique par reconnaissance vocale, * un mode de transition à l'étape graphique suivante après reconnaissance vocale utilisant la synthèse vocale pour une rétroaction vocale de l'information acquise par le serveur vocal 9, * un mode de synchronisation d'une transition automatique à l'étape de présentation suivante consistant en ce que le code de synchronisation généré par le serveur de présentation 5 comprend la durée de reproduction de tous les composants sonores susceptibles d'influencer la synchronisation.
Claims (9)
- 2-Procédé selon la revendication 1, caractérisé en ce que les deux modes d'interaction homme/machine consistent en le mode graphique et le mode vocal.
- 3-Procédé selon l'une des revendications précédentes, caractérisé en ce que le susdit support multimodal consiste en un terminal téléphonique mobile associé à un réseau cellulaire.
- 4-Procédé selon la revendication 3 faisant intervenir, en plus du susdit terminal téléphonique mobile, un premier serveur pouvant communiquer avec le susdit terminal téléphonique mobile par l'intermédiaire d'un premier canal de transmission, un second serveur pouvant communiquer avec le susdit terminal téléphonique mobile par l'intermédiaire d'un second canal de transmission et un troisième serveur contenant un document multimodal, caractérisé en ce qu'il comprend une séquence de chargement et de présentation du contenu multimodal comportant les phases opératoires suivantes : l'émission par le terminal téléphonique mobile à destination du troisième serveur d'une requête de présentation du document multimodal,* le transfert du document multimodal au premier serveur, * la génération par le premier serveur d'étapes de présentation vocales et graphiques ainsi que du code de synchronisation,<Desc/Clms Page number 15>* le transfert par le premier serveur des étapes de présentation vocales au deuxième serveur, * le transfert par le premier serveur des étapes de présentation graphiques et du code de synchronisation au terminal téléphonique mobile, * l'établissement d'une connexion téléphonique avec le second serveur une fois ledit transfert réalisé, * l'établissement d'un dialogue entre le second serveur et le terminal téléphonique mobile lorsque la connexion téléphonique est établie.
- 5-Procédé selon l'une des revendications précédentes, caractérisé en ce que la synchronisation des interactions multimodales utilise un mode d'identification de la connexion téléphonique (flèche 11) incluant : - l'association d'un identifiant unique de la session utilisateur aux étapes de présentation vocales transférées (flèche 8) par le serveur de présentation (5) au serveur vocal (9), - l'indication au serveur vocal (9) sur la connexion téléphonique nouvellement établie (flèche 11) du susdit identifiant unique de la session utilisateur, 6-Procédé selon la revendication 5, caractérisé en ce que le susdit mode d'identification de la connexion téléphonique (flèche 11) utilise un code ou une séquence de codes DTMF pour l'indication au serveur vocal (9) sur la connexion téléphonique nouvellement établie (flèche 11) de l'identifiant unique de la session utilisateur.
- 7-Procédé selon l'une des revendications précédentes, caractérisé en ce que la synchronisation des interactions multimodales utilise un mode d'indication au serveur vocal (9) de la transition à une nouvelle étape graphique consistant à indiquer à partir du terminal téléphonique mobile (1) chaque transition à une<Desc/Clms Page number 16>nouvelle étape graphique par l'envoi d'un ou plusieurs codes DTMF au serveur vocal (9) sur la connexion téléphonique (flèche 11).
- 8-Procédé selon l'une des revendications précédentes, caractérisé en ce que la synchronisation des interactions multimodales utilise un mode de transition à l'étape graphique suivante après reconnaissance vocale incluant : - l'indication au serveur vocal (9) de la volonté de l'utilisateur d'entrer une information spécifique par reconnaissance vocale, - l'indication à l'utilisateur du démarrage de l'acquisition vocale pour cette information spécifique, - une rétroaction audio de l'information acquise par le serveur vocal (9), - une confirmation par l'utilisateur au terminal téléphonique mobile (1) du succès de cette acquisition.
- 9-Procédé selon la revendication 8, caractérisé en ce que la synchronisation des interactions multimodales utilise un mode de transition à l'étape graphique suivante après reconnaissance vocale qui utilise le transfert d'un ou de plusieurs codes DTMF sur le canal vocal (12) pour l'indication au serveur vocal (9) de la volonté de l'utilisateur d'entrer une information spécifique par reconnaissance vocale.
- 10-Procédé selon la revendication 8, caractérisé en ce que la synchronisation des interactions multimodales utilise un mode de transition à l'étape graphique suivante après reconnaissance vocale qui utilise la synthèse vocale pour une rétroaction vocale de l'information acquise par le serveur vocal (9).<Desc/Clms Page number 17>
- 11-Procédé selon l'une des revendications 1 à 4, caractérisé en ce que la synchronisation des interactions multimodales utilise un mode de synchronisation d'une transition automatique à l'étape de présentation suivante consistant en ce que le code de synchronisation généré par le serveur de présentation (5) comprend la durée de reproduction de tous les composants sonores susceptibles d'influencer la synchronisation.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0202178A FR2836249A1 (fr) | 2002-02-18 | 2002-02-18 | Procede de synchronisation des interactions multimodales dans la presentation d'un contenu multimodal sur un support multimodal |
| PCT/FR2003/000458 WO2003071772A1 (fr) | 2002-02-18 | 2003-02-13 | Procede de synchronisation des interations multimodales dans la presentation d'un contenu multimodal sur un support multimodal |
| AU2003222906A AU2003222906A1 (en) | 2002-02-18 | 2003-02-13 | Method of synchronising multimodal interactions in the presentation of multimodal content on a multimodal support |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0202178A FR2836249A1 (fr) | 2002-02-18 | 2002-02-18 | Procede de synchronisation des interactions multimodales dans la presentation d'un contenu multimodal sur un support multimodal |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR2836249A1 true FR2836249A1 (fr) | 2003-08-22 |
Family
ID=27636365
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR0202178A Pending FR2836249A1 (fr) | 2002-02-18 | 2002-02-18 | Procede de synchronisation des interactions multimodales dans la presentation d'un contenu multimodal sur un support multimodal |
Country Status (3)
| Country | Link |
|---|---|
| AU (1) | AU2003222906A1 (fr) |
| FR (1) | FR2836249A1 (fr) |
| WO (1) | WO2003071772A1 (fr) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0847179A2 (fr) * | 1996-12-04 | 1998-06-10 | AT&T Corp. | Système et méthode d'interface vocale aux informations hyperliées |
| EP1100013A2 (fr) * | 1999-10-12 | 2001-05-16 | International Business Machines Corporation | Méthode et système pour l'exploration multimodale et l'implémentation d'un langage de balisage conversationelle |
| US20010011302A1 (en) * | 1997-10-15 | 2001-08-02 | William Y. Son | Method and apparatus for voice activated internet access and voice output of information retrieved from the internet via a wireless network |
| US20010015972A1 (en) * | 2000-02-21 | 2001-08-23 | Shoichi Horiguchi | Information distributing method, information distributing system, information distributing server, mobile communication network system and communication service providing method |
| US20010048676A1 (en) * | 2000-01-07 | 2001-12-06 | Ray Jimenez | Methods and apparatus for executing an audio attachment using an audio web retrieval telephone system |
| US20020010585A1 (en) * | 2000-06-08 | 2002-01-24 | Interactive Speech Technologies | System for the voice control of a page stored on a server and downloadable for viewing on a client device |
-
2002
- 2002-02-18 FR FR0202178A patent/FR2836249A1/fr active Pending
-
2003
- 2003-02-13 AU AU2003222906A patent/AU2003222906A1/en not_active Abandoned
- 2003-02-13 WO PCT/FR2003/000458 patent/WO2003071772A1/fr not_active Application Discontinuation
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0847179A2 (fr) * | 1996-12-04 | 1998-06-10 | AT&T Corp. | Système et méthode d'interface vocale aux informations hyperliées |
| US20010011302A1 (en) * | 1997-10-15 | 2001-08-02 | William Y. Son | Method and apparatus for voice activated internet access and voice output of information retrieved from the internet via a wireless network |
| EP1100013A2 (fr) * | 1999-10-12 | 2001-05-16 | International Business Machines Corporation | Méthode et système pour l'exploration multimodale et l'implémentation d'un langage de balisage conversationelle |
| US20010048676A1 (en) * | 2000-01-07 | 2001-12-06 | Ray Jimenez | Methods and apparatus for executing an audio attachment using an audio web retrieval telephone system |
| US20010015972A1 (en) * | 2000-02-21 | 2001-08-23 | Shoichi Horiguchi | Information distributing method, information distributing system, information distributing server, mobile communication network system and communication service providing method |
| US20020010585A1 (en) * | 2000-06-08 | 2002-01-24 | Interactive Speech Technologies | System for the voice control of a page stored on a server and downloadable for viewing on a client device |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2003222906A1 (en) | 2003-09-09 |
| WO2003071772A1 (fr) | 2003-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1992118B1 (fr) | Dispositif de communication et base pour un affichage evolue | |
| EP1943639A1 (fr) | Procede de gestion de polices de caracteres a l'interieur de scenes multimedia, programme d'ordinateur et terminal correspondants | |
| KR100558286B1 (ko) | 인터넷 프로토콜을 지원하는 이동 단말 장치에 저장된파일들에 접근하기 위한 방법 및 장치 | |
| KR20010075552A (ko) | 네트워크 협동 대화 서비스를 제공하기 위한 시스템 및 방법 | |
| FR2728089A1 (fr) | Procede et appareil pour la commande de synchronisation d'objets multimedia dans un moteur mheg | |
| EP2630768B1 (fr) | Traitement de donnees pour le transfert ou la replication d'un flux media | |
| Lara et al. | Collaboration and multimedia authoring on mobile devices | |
| FR2836249A1 (fr) | Procede de synchronisation des interactions multimodales dans la presentation d'un contenu multimodal sur un support multimodal | |
| FR2822627A1 (fr) | Module de radiocommunication hebergeant et executant un logiciel client, et procede correspondant de mise en oeuvre d'un logiciel client de pilotage | |
| EP1850602B1 (fr) | Procédé et système pour accélérer l'accès à un contenu à partir d'un terminal mobile | |
| EP2077016A1 (fr) | Procédé de gestion de canaux de communication, signal et terminal correspondants | |
| EP2255304A1 (fr) | Fourniture de services à partir d'objets filmés ou photographiés depuis un terminal mobile | |
| Chebbine et al. | Internet content adaptation system for mobile and heterogeneous environments | |
| Bouyakoub et al. | AdaMS: an adaptation multimedia system for heterogeneous environments | |
| EP1570610B1 (fr) | Systeme de selection alternee de canaux voix et donnees | |
| EP1287668A1 (fr) | Procede et dispositif de gestion de mise en relation sans divulgation de numero de telephone | |
| EP3262536B1 (fr) | Procédé de téléchargement accéléré d'une page web vers un terminal de communication | |
| FR2844128A1 (fr) | Procede et systeme d'envoi d'un contenu sonore a un terminal multimedia, serveur de referencement, serveur de contenu multimedia, terminal et signaux correspondants | |
| FR2828368A1 (fr) | Procede de transmission et de restitution d'un message multimedia pour terminal mobile | |
| WO2012022922A1 (fr) | Terminal portable pour réseau mobile | |
| KR20070010470A (ko) | 이동통신 단말기의 데이터 백업 장치 및 방법 | |
| WO2006061498A1 (fr) | Systeme de communication multimodal synchrone | |
| FR2809908A1 (fr) | Procede et systeme de traduction a la volee d'un site internet pour qu'il soit accessible d'un appareil mobile | |
| FR2809912A1 (fr) | Serveur traducteur pour decodeur de television et procede de transcodage associe | |
| FR3011356A1 (fr) | Dispositif et procede de rendu multimedia |