FR3105689A1 - Analyse d’un contenu multimédia - Google Patents

Abstract

TITRE : Analyse d’un contenu multimédia L’invention concerne un procédé d’analyse d’un contenu multimédia et un procédé d’apprentissage associé. Le procédé d’analyse est caractérisé en ce qu’il comporte, sur un dispositif d’analyse (DAN), les étapes suivantes : - obtenir (E30) une liste d’événements préférés (EVS’) relatifs à des contenus multimédia ;- obtenir (E30) un modèle d’analyse (MA) de contenus multimédia ; - analyser (E31) un contenu multimédia (C) en temps réel en utilisant le modèle d’analyse ;- générer une estimation de la présence, dans le contenu multimédia (C), d’un événement au moins (EV) de la liste d’évènements préférés (EVS’). fig. 3

Description

Analyse d’un contenu multimédia

Domaine de l'invention

L'invention se rapporte de manière générale aux télécommunications, et plus précisément à l’accès aux contenus audiovisuels. Elle s’applique plus particulièrement à des terminaux utilisateurs et à des plateformes d’apprentissage.

Il existe aujourd’hui des méthodes pour déclencher une action sur un contenu audiovisuel, par exemple un enregistrement ou un changement de visualisation du contenu (zapping). Cependant ces actions sont généralement déclenchées sur la base d’informations insérées dans le flux vidéo (aussi appelées métadonnées). Par exemple il est possible de changer de chaîne diffusée lorsqu’on atteint l’heure de diffusion théorique d’un programme, sur la base de telles métadonnées.

Ceci suppose cependant que ces informations soient insérées à l’avance dans le flux vidéo, ce qui est fastidieux et parfois peu efficace.

De surcroît si un contenu est capturé et diffusé en temps réel (par exemple une chaîne de télévision en direct), il n’est pas possible de lancer des actions liées à son contenu, qui n’est pas forcément connu à l’avance.

Le brevet US déposé sous le numéro 12/059,618 décrit un système de notification d'événements personnalisés à l'aide d'une analyse vidéo en temps réel. Dans un mode de réalisation, un flux vidéo en direct est automatiquement surveillé et les caractéristiques du flux vidéo sont analysées par rapport à des critères qui se rapportent à un événement identifié au préalable par un utilisateur. Les critères ont trait aux caractéristiques de l'image ou de l'audio dans le flux vidéo. Si les critères sont remplis, l'utilisateur est informé que l'événement s'est produit et cette notification peut être effectuée par le biais de messages sur l'écran d'affichage vidéo (par exemple sur l'écran de télévision) ou d'autres techniques de messagerie (par exemple, SMS ou courrier électronique). Dans un exemple, les critères peuvent définir un logo particulier et l'utilisateur est averti si l'analyse détecte le logo dans le flux vidéo.

Cependant l’événement défini par cette méthode reste limité à la reconnaissance d’un modèle (en anglais, «pattern») contenu dans le flux audio ou vidéo. Elle se fonde sur la détection d’éléments caractéristiques prédéfinis dans la vidéo. De ce fait, cette approche ne peut estimer des événements plus complexes, comme par exemple le niveau de violence dans certains contenus. De plus, elle est souvent mise en défaut car ne pouvant prendre en compte les variations qui peuvent accompagner l’événement. De surcroît cette méthode est très complexe à mettre en œuvre pour plusieurs contenus et plusieurs événements.

L'invention vient améliorer l'état de la technique.

Elle propose à cet effet un procédé d’analyse d’un contenu multimédia, le procédé étant caractérisé en ce qu’il comporte, sur un dispositif d’analyse, les étapes suivantes :
- obtenir une liste d’événements préférés relatifs à des contenus multimédia;
- obtenir un modèle d’analyse de contenus multimédia;
- analyser un contenu multimédia en temps réel en utilisant le modèle d’analyse;
- générer une estimation de la présence, dans le contenu multimédia, d’un événement au moins de la liste d’évènements préférés.

Avantageusement selon l’invention, la connaissance préalable d’un contenu multimédia n’est pas nécessaire pour déclencher l’estimation de la présence d’un événement dans ce contenu. L’estimation de la présence de l’événement dépend d’une analyse en temps réel des images et des sons qui composent le contenu et non plus d’informations de description du contenu déterminées à l’avance, ni d’un motif prédéterminé à analyser dans la séquence.

Par «contenu multimédia», on entend un contenu numérique qui contient au moins une image, un texte ou une donnée sonore. Le contenu multimédia peut être reçu en diffusion (streaming, chaîne de télévision, de radio, etc.) ou stocké sur un support (disque dur, base de données, serveur, etc.).

Par «événement», on entend une caractéristique ou un ensemble de caractéristiques liées à l’un au moins des médias constituantle contenu; en liaison avec les exemples précédents, il peut s’agir d’une chanson, d’un acteur, d’un niveau de violence, d’un visage, etc.

Par «analyse», on entend un procédé s’appliquant au contenu multimédia pour en déduire la présence d’un événement au moins. L’analyse peut fournir en sortie, en liaison avec les exemples précédents, une estimation de la présence de la chanson, de l’acteur, un niveau de violence d’un certain seuil, etc. Cette estimation peut être accompagnée par exemple d’une probabilité, ou d’un indice de fiabilité.

Par analyse «en temps réel» on entend une analyse du contenu multimédia en association avec une base de temps (temps de réception pour un contenu diffusé, temps de lecture pour un contenu stocké).

Selon un premier mode de mise en œuvre particulier de l'invention, un procédé tel que décrit ci-dessus inclut en outre les étapes de :

- obtenir au moins un événement préféré d’un utilisateur au moins, relatif à un contenu multimédia ;

- mettre à disposition le contenu multimédia en fonction du résultat de l’estimation de la présence de l’événement préféré.

Par «mise à disposition» on entend toute action qui informe l’utilisateur de la disponibilité du contenu multimédia: message de notification, enregistrement (sur un support qui lui est accessible), acheminement du contenu, basculement de contenu ou de chaîne, etc.

Ainsi par exemple, un utilisateur pourra-t-il visualiser automatiquement un concert quand sa chanson préférée est diffusée sur une chaîne, ou disponible en streaming, ou enregistrée dans le réseau local; être automatiquement notifié d’un film dans lequel joue son acteur préféré; être informé du niveau de violence dans un film, etc. Cette invention permet donc à l’opérateur qui gère les contenus d’un utilisateur et aux personnes qui consomment le flux vidéo de ne pas être dépendants des métadonnées fournies par les chaines de télévision pour rendre ce type de service. Il suffit que l’utilisateur informe cet opérateur du ou des critères qui l’intéressent pour que le contenu multimédia soit mis à disposition du client.

Selon un autre mode de mise en œuvre particulier de l'invention, qui pourra être mis en œuvre alternativement ou cumulativement avec le précédent, dans un procédé tel que décrit ci-dessus, le modèle d’analyse est celui d’un réseau de neurones et comporte les coefficients optimisés du réseau de neurones, et l’analyse comporte en outreune étape de:
- mettre en œuvre le réseau de neurones sur le contenu multimédia, avec les coefficients optimisés.

Avantageusement selon ce mode, un réseau de neurones est utilisé pour réaliser l’analyse du contenu. De tels réseaux sont connus pour leur capacité à traiter des problèmes divers et variés. Ils permettent par ailleurs de traiter des problèmes non structurés, c'est-à-dire des problèmes sur lesquels on ne dispose d'aucune information au préalable. Le réseau de neurones peut par exemple détecter avec un certain indice de fiabilité un niveau de violence dans le contenu qui lui est soumis.

Selon une variante du premier mode de réalisation, la mise à disposition consiste à donner accès au contenu multimédia à un terminal au moins de l’utilisateur.

Avantageusement selon cette variante, si l’étape d’analyse conclut à la présence dans le contenu analysé de l’événement que l’utilisateur a signifié comme l’un de ses préférés, le contenu est rendu disponible pour l’utilisateur, notamment pour un visionnage ou un enregistrement. Le contenu pourra par exemple être acheminé (en streaming, téléchargement, diffusion, etc.) vers la passerelle domestique de l’utilisateur, pour être délivré sur son écran TV, ou enregistré sur un disque dur du réseau local, etc.

Selon une autre variante du premier mode de réalisation, qui pourra être mise en œuvre alternativement ou cumulativement avec la précédente, la mise à disposition consiste à notifier la présence du contenu, sur au moins un terminal de l’utilisateur.

Avantageusement selon cette variante, si l’étape d’analyse conclut à la présence dans le contenu analysé de l’événement que l’utilisateur a signifié comme l’un de ses préférés, une notification est transmise à l’utilisateur (par exemple via la passerelle domestique pour affichage sur l’un de ses terminaux) afin qu’il puisse réagir en conséquence (télécharger le contenu, changer de chaîne, etc.)

Selon une autre caractéristique fonctionnelle, l’invention propose aussi un procédé d’apprentissage de caractéristiques de contenus multimédia, le procédé étant caractérisé en ce qu’il comporte, sur un dispositif d’apprentissage les étapes de:
- acquérir une pluralité de contenus multimédia ;
- associer au moins un événement à au moins un contenu acquis pour constituer au moins un couple de données d’apprentissage ;
- générer un modèle d’analyse à partir des couples de données d’apprentissage.

Avantageusement, l‘invention offre une méthode d’apprentissage sur plusieurs contenus multimédia susceptibles de contenir des événements d’intérêt pour des utilisateurs. Cet apprentissage peut être réalisé par exemple par un moteur d’intelligence artificielle (IA) utilisant un apprentissage supervisé. Cet apprentissage a pour but de dégager un certain nombre de caractéristiques de déclenchement, ou événements, de l’ensemble des vidéos. Une fois les contenus et les événements associés entrés dans le dispositif d’apprentissage, celui-ci génère un modèle d’analyse. Le modèle d’analyse comprend tous les éléments nécessaires pour une analyse ultérieure d’un contenu multimédia.

Selon un mode de mise en œuvre particulier de l'invention, le procédé d’apprentissage utilise un réseau de neurones et l’étape de générer un modèle d’analyse consiste à entraîner le réseau de neurones par les sous-étapes suivantes:
- recevoir itérativement en entrée un couple de données d'apprentissage;
- optimiser les coefficients du réseau de neurones ;
- construire le modèle d’analyse à partir des coefficients optimisés.

Avantageusement selon ce mode, c’est un réseau de neurones qui est utilisé pour réaliser l’apprentissage. De tels réseaux sont connus pour leur capacité à traiter des problèmes divers et variés. Ils permettent par ailleurs de traiter des problèmes non structurés, c'est-à-dire des problèmes sur lesquels on ne dispose d'aucune information au préalable. Le modèle d’analyse issu du réseau de neurones comprend notamment les coefficients optimisés du réseau de neurones, qui vont pouvoir être fournis très simplement à un dispositif d’analyse.

Selon une variante de ce mode de réalisation, le procédé d’apprentissage prend en compte dans son optimisation un critère de complexité.

Avantageusement selon cette variante, le modèle d’analyse peut être adapté au dispositif d’analyse. Si ce dernier dispose d’une puissance de calcul limité, on peut notamment envisager de réaliser un modèle peu complexe, afin qu’il puisse être mis en œuvre sur le dispositif.

L'invention concerne également un dispositif d’analyse d’un contenu multimédia, comprenant une mémoire, un processeur, un module d’intelligence artificielle, un module pour acquérir un contenu multimédia, configurés pour :

- obtenir une liste d’événements préférés relatifs à des contenus multimédia ;

- obtenir un modèle d’analyse de contenus multimédia ;

- analyser un contenu multimédia en temps réel en utilisant le modèle d’analyse ;

- générer une estimation de la présence, dans le contenu multimédia, d’un événement au moins de la liste d’évènements préférés.

L'invention concerne également un dispositif d’apprentissage de caractéristiques de contenus multimédia comprenant une mémoire, un processeur, un module d’intelligence artificielle, un module pour acquérir un contenu multimédia, un module pour générer un modèle d’apprentissage configurés pour :

- acquérir une pluralité de contenus multimédia ;

- associer au moins un événement à au moins un contenu acquis pour constituer au moins un couple de données d’apprentissage ;

- générer un modèle d’analyse à partir des couples de données d’apprentissage.

L'invention concerne également un serveur ou plateforme de service comprenant un dispositif d’analyse tel que décrit précédemment.

L'invention concerne également un serveur ou plateforme de service comprenant un dispositif d’apprentissage tel que décrit précédemment.

L'invention concerne également une passerelle domestique comportant un dispositif d’analyse tel que décrit précédemment.

L'invention concerne également un système pour analyser un contenu multimédia, comprenant :

- un dispositif d’analyse tel que décrit précédemment,

- un dispositif d’apprentissage tel que décrit précédemment,

le système étant configuré de telle manière que le dispositif d’analyse reçoit le modèle d’apprentissage généré par le dispositif d’apprentissage.

L'invention concerne également un programme d'ordinateur comportant des instructions pour la mise en œuvre de l’un des procédés ci-dessus selon l'un quelconque des modes particuliers de réalisation décrits précédemment, lorsque ledit programme est exécuté par un processeur. Le procédé peut être mis en œuvre de diverses manières, notamment sous forme câblée ou sous forme logicielle. Ce programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable.

L'invention vise aussi un support d'enregistrement ou support d'informations lisible par un ordinateur, et comportant des instructions d'un programme d'ordinateur tel que mentionné ci-dessus. Les supports d'enregistrement mentionnés ci-avant peuvent être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple un disque dur. D'autre part, les supports d'enregistrement peuvent correspondre à un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Les programmes selon l'invention peuvent être en particulier téléchargés sur un réseau de type Internet.

Alternativement, les supports d'enregistrement peuvent correspondre à un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.

Ces dispositifs, système et programme d'ordinateur présentent des caractéristiques et avantages analogues à ceux décrits précédemment en relation avec les procédés d’analyse d’un contenu et d’apprentissage de contenus.

Liste des figures

D’autres caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description suivante de modes de réalisation particuliers, donnés à titre de simples exemples illustratifs et non limitatifs, et des dessins annexés, parmi lesquels:

La figure 1 illustre le contexte d’un mode de réalisation l’invention;

La figure 2 illustre une architecture des dispositifs impliqués dans un système selon un mode de réalisation de l’invention;

La figure 3 illustre des étapes d’un procédé d’apprentissage et d’analyse selon un mode de réalisation de l’invention.

Description d'un mode de réalisation de l'invention

Principe général de l'invention

L'idée générale de l’invention est de s'appuyer sur une approche par apprentissage qui permet d'entrainer un module d’intelligence artificielle, par exemple un réseau de neurones, à détecter les événements d’intérêt pour un consommateur (utilisateur) de contenus multimédia. Lors de l'étape d'apprentissage, le réseau évolue pour apprendre à reconnaitre un ensemble d’événements d’intérêt dans une pluralité de contenus multimédia.

Lors d’une étape ultérieure d’analyse, on peut réaliser une détection automatique d’événements d’intérêt contenus dans le flux audio ou vidéo associé à un nouveau contenu.

Par la suite, on peut déclencher des actions relatives à ce contenu (par exemple notification, zapping ou enregistrement). Par exemple, si un utilisateur regarde la chaîne A, sachant que la chaine B diffuse un match de football, un mode de réalisation de l’invention lui permet de programmer un zapping automatique sur la chaine B lorsqu’un but est marqué, en signalant comme événement d’intérêt l’avènement d’un but. Selon un autre exemple, un utilisateur qui a précisé l’apparition d’un acteur préféré en tant qu’événement reçoit une notification lorsque l’acteur apparaît dans un contenu qu’il n’est pas en train de regarder. Selon encore un autre exemple, si un utilisateur regarde la chaîne A, sachant que la chaine B diffuse un reportage au sujet duquel il a manifesté un intérêt, un mode de réalisation de l’invention lui permet d’enregistrer automatiquement la chaine B lorsque le reportage débute.

Modes particuliers de réalisation de l'invention.

Lafigure 1représente le contexte général d’un mode de réalisation l’invention, dans lequel un système de télécommunication comporte un premier réseau local ou LAN (Local Area Network, 1) et un réseau de type étendu, ou WAN (Wide Area Network, 2). Selon cet exemple non limitatif, le réseau LAN est un réseau domestique et le réseau WAN est un réseau Internet. Plus largement, un réseau LAN pourrait être un réseau d’entreprise et le réseau WAN 2 pourrait être de n’importe quel type (cellulaire, GSM - Global System for Mobile Communications, UMTS - Universal Mobile Telecommunications System, Wifi - Wireless, DVB- Digital Video Broadcast, etc.) sans sortir du cadre de l’invention.

Selon cet exemple, un élément de gestion du réseau WAN; par exemple un serveur (5) d’un opérateur de télécommunications, situé par exemple en «tête de réseau», est chargé de la procédure d’apprentissage des contenus.

Selon cet exemple, un second élément de gestion du réseau (6) (une passerelle résidentielle, professionnelle, un hub, etc.) et des équipements terminaux (T1, T2) sont connectés sur le réseau local 1. Il s’agit respectivement selon l’exemple d’un smartphone (T2) et d’un téléviseur (T1). Ces terminaux sont aptes à recevoir sur le réseau local un contenu multimédia en provenance de la passerelle domestique. Ces contenus peuvent être issus du réseau local ou du réseau étendu.

On rappelle qu’un réseau local, aussi appelé dans la suite réseau domestique, est un réseau informatique qui relie ensemble, avec ou sans fils, les équipements terminaux, ou plus simplement terminaux, d’une maison (ordinateurs, périphériques d’impression, de stockage, objets connectés, etc.), aptes à communiquer ensemble. Un réseau domestique comporte un équipement routeur, aussi communément appelé passerelle, élément intermédiaire assurant la redirection, ou routage, des paquets de données entre les différents terminaux et réseaux qui lui sont connectés. L’utilisateur d’un tel réseau peut exécuter un service donné sur un terminal donné disposant de caractéristiques propres (par exemple, visualiser un contenu multimédia C).

Le contenu multimédia C peut être, sans perte de généralité, issu d’un réseau de type DVB, IP, etc. On rappelle qu’un réseau numérique diffusé de type DVB (acronyme de Digital Video Broadcast) dispose d’une infrastructure sous-jacente pouvant avoir pour support le satellite (SAT), la télévision numérique de terre, ou encore le câble, non représentés. Alternativement ou de manière complémentaire, les terminaux pourraient également être connectés à un réseau de type DVB-IP,aussi appelé IPTV, c’est-à-dire assurant la diffusion de télévision numérique ou la fourniture de contenus, par exemple en VOD (VidéO à la Demande) à partir du réseau Internet sous le contrôle d’un opérateur de service assurant la qualité de la délivrance (par exemple, la TV d’un opérateur, associée à un décodeur numérique et une passerelle domestique du même opérateur). Dans ces deux cas, les contenus numériques multiplexés sont reçus par un décodeur numérique, aussi appelé STB (Set Top Box) via des supports de réception appropriés (antennes, câbles, ADSL, etc.) et les différents programmes qui les constituent sont démultiplexés et décodés avant restitution par les terminaux (e.g. téléviseurs) connectés à la STB. Un tel décodeur, non représenté, peut être associé à la passerelle ou directement intégré dans le terminal. Le terminal peut aussi être prévu pour accéder aux contenus streamés à partir du WAN ou du LAN. On parle, dans ce cas, de télévision «connectée», c’est-à-dire que le terminal peut être raccordé au réseau Internet afin de fournir un ensemble de services aux utilisateurs. Si la restitution ne s’effectue pas sous le contrôle d’un opérateur de service, on parle aussi dans ce cas de contenus de type OTT, acronyme de l’appellation anglaise «Over The Top». La télévision OTT permet à un utilisateur d’un terminal connecté au réseau Internet de restituer des chaînes numériques ou des contenus Web sur le téléviseur. Généralement, ce type de terminal «connecté» s’interface avec la passerelle en charge du réseau local de l’utilisateur et accède par là à un serveur de contenus dans le réseau étendu. Enfin, un tel terminal peut accéder aux contenus depuis l’intérieur de réseau local, par exemple depuis un dispositif de streaming associé à un disque dur local (non représenté). Dans la suite, on parle indifféremment de contenu multimédia pour des contenus reçus à partir d’un réseau de diffusion (DBV, IPTV), en OTT, et/ou via un téléchargement (streaming, téléchargement de fichier, etc.)

Dans tous ces cas de figure, on suppose que le contenu est analysé par un dispositif d’analyse de contenus, qui peut se trouver sur un serveur (5) de l’opérateur, ou sur la passerelle domestique (6), sur un terminal, ou sur tout autre équipement du réseau distant ou local apte à effectuer une telle analyse.

Au préalable, un apprentissage a été effectué sur plusieurs contenus. Cet apprentissage s’effectue sur un dispositif d’apprentissage, qui se trouve de préférence sur un serveur (5) de l’opérateur (qui peut être différent ou non du serveur d’analyse) mais pourrait aussi être situé sur la passerelle domestique, ou sur tout autre équipement de réseau apte à réaliser un tel apprentissage.

Le procédé selon l’invention procède donc en deux temps, ou phases distinctes :

Première phase: apprentissage de caractéristiques et événements

Dans un premier temps, qui correspond à une phase dite d’apprentissage, N contenus multimédias (où N est un entier naturel) sont sélectionnés, sur lesquels faire un apprentissage de caractéristiques, ou événements, à l’aide d’un module d’intelligence artificielle. Le module d’apprentissage est capable de définir des paramètres pour permettre ensuite, à partir de n'importe quel contenu reçu, de fournir en sortie une indication de correspondance entre le contenu reçu et l’un au moins des événements traités par l'apprentissage. Par exemple une telle caractéristique est relative à la présence d’un acteur donné dans le contenu.

Ce module est typiquement un module d’apprentissage automatique, en anglais «machine learning» (ML). On rappelle que l'apprentissage automatique, ou apprentissage statistique, concerne la conception, l'analyse, le développement et l'implémentation de méthodes permettant à une machine (au sens large) d'évoluer par un processus systématique, et ainsi de remplir des tâches difficiles ou problématiques par des moyens algorithmiques plus classiques. Un exemple possible d'apprentissage automatique est celui de la classificationdont le but est d’étiqueter chaque donnée en l'associant à une classe.

Selon un mode de réalisation préféré, on utilise ici un réseau de neurones (RN). Lors de l'étape d'apprentissage, le réseau évolue pour apprendre à reconnaitre un ensemble d'éléments caractéristiques qui permettent de confirmer la présence d’un événement dans un contenu. Par exemple, si on souhaite apprendre à la machine la présence d’un acteur dans une séquence vidéo, on lui présente des films et contenus dans lesquels apparaît cet acteur en l’entraînant à retrouver toutes les séquences où il apparaît. Le même procédé peut s’appliquer pour la détection d’un but dans une séquence sportive, l’identité de l’équipe qui a marqué, la reconnaissance d’un lieu, d’une ville, certaines formes de violence dans les contenus, une chanson, etc.

Le module d'apprentissage fournit en sortie un «modèle» constitué d’un ensemble de données (logiciel, paramètres, coefficients optimisés du réseau de neurones, etc.). Dans la suite on appelle ce modèle «modèle d’analyse» (MA).

Seconde phase: analyse d’un contenu

Dans une seconde phase, dite d’analyse, lorsqu’un contenu est reçu (ou analysé en temps réel sur un disque dur), le programme d’analyse est mis en œuvre sur un dispositif d’analyse (DAN). Ce contenu peut être un nouveau contenu, ou un contenu qui a fait partie de l’apprentissage.

Le dispositif d’analyse hérite du modèle d’analyse(MA) fourni par le dispositif d’apprentissage.

Selon un mode préféré de réalisation, le module d’analyse fait appel au réseau de neurones (RN), avec en entrée le modèle d’analyse et le contenu, éventuellement nouveau, destiné à être visualisé par un ou plusieurs utilisateurs du réseau local si leurs critères (préférences événementielles) sont remplis. Si le module d’analyse détecte la présence (assortie éventuellement d’un indice de fiabilité) d’un événement déclencheur, une action peut être prise relativement à la mise à disposition du contenu pour un ou plusieurs utilisateurs du réseau local. Par exemple, un utilisateur 1 du terminal T1 pourra recevoir directement le contenu puisque l’un de ses critères (présence de son acteur préféré) a été rencontré, alors qu’un utilisateur 2 du terminal T2 pourra recevoir une notification (selon laquelle le contenu C contient une séquence musicale qu’il apprécie).

Selon un mode de réalisation, le module d’analyse se trouve sur la passerelle domestique 6. Avantageusement dans ce cas, les préférences des utilisateurs du réseau local peuvent être prises en compte. Par exemple, les caractéristiques associées à un utilisateur sont enregistrées dans un profil relatif à cet utilisateur. Les paramètres du réseau de neurones correspondant aux caractéristiques de déclenchement peuvent avantageusement être mis en œuvre en relation avec cet utilisateur.

Selon un autre mode de réalisation, le module d’analyse se trouve sur un serveur/plateforme d’analyse 5 de l’opérateur. Avantageusement dans ce cas, l’analyse peut bénéficier d’une puissance de traitement supérieure, et est de surcroît centralisée. Un contenu ou une notification relative au contenu est envoyée vers la passerelle domestique dans le cas où l’un des contenus reçus par la plateforme contint un événement intéressant le réseau local de la passerelle.

Lafigure 2illustre une architecture des dispositifs impliqués dans un système selon un mode de réalisation de l’invention.

Le dispositif d’apprentissage DAP possède l'architecture classique d'un ordinateur et comprend notamment une mémoire M, une unité de traitement UT, équipée par exemple d'un processeur PROC, et pilotée par le programme d'ordinateur PGAP stocké en mémoire M. A l'initialisation, les instructions de code du programme d'ordinateur PGAP sont par exemple chargées dans une mémoire avant d'être exécutées par le processeur PROC. Le processeur PROC de l'unité de traitement UT met notamment en œuvre les étapes du programme d’apprentissage selon l'un quelconque de modes particuliers de réalisation décrits en relation avec les figures 1 et 2, selon les instructions du programme d'ordinateur PGAP.

Le dispositif comporte aussi:

• un module RN d’intelligence artificielleapte à effectuer un apprentissage automatique ;
• un module MA en charge de la génération du modèle d’analyse; ce module est capable, dans un mode de réalisation, de générer un module d’analyse de complexité variable, en fonction d’un critère de complexité (imposé par le dispositif d’analyse qui mettra en œuvre le module d’analyse);
• un module COM1 de communication pour gérer toutes les entrées/sorties du dispositif, notamment acquérir les contenus multimédia, et transmettre le modèle d’analyse à un dispositif d’analyse s’il est distinct du dispositif d’apprentissage;
• un module pour obtenir les événements à traiter, EVS, par exemple un gestionnaire de base de données ;
• optionnellement une base BA pour stocker les couples constitués des contenus et de leurs événements associés alimentant le module RN.

Le dispositif d’analyse DAN a l'architecture classique d’un ordinateur et comprend notamment:

• une mémoire M’, une unité de traitement UT’, équipée par exemple d'un processeur PROC’, et pilotée par le programme d'ordinateur PGAN stocké en mémoire M’. A l'initialisation, les instructions de code du programme d'ordinateur PGAN d’analyse sont par exemple chargées dans une mémoire avant d'être exécutées par le processeur PROC’.
• Le processeur PROC’ de l'unité de traitement UT’ met notamment en œuvre les étapes du procédé d’analyse selon l'un quelconque de modes particuliers de réalisation décrits en relation avec les figures 1 et 2, selon les instructions du programme d'ordinateur PGAN. Le programme PGAN est notamment chargé de mettre en œuvre le module d’intelligence artificielle RN avec le modèle d’analyse héritée du dispositif d’apprentissage.
• un module RN d’intelligence artificielle;
• un module MA en charge de l’obtention et la mise en œuvre du modèle d’analyse;
• un module de communication pour gérer toutes les entrées/sorties du dispositif, notamment acquérir le contenu multimédia à analyser et le modèle d’analyse MA du dispositif d’apprentissage s’il est distinct du dispositif d’analyse;
• un module EVS’ apte à obtenir le ou les événement(s) d’intérêt pour l’analyse.

Lafigure 3illustre des étapes du procédé de mise à disposition selon un mode de réalisation de l’invention.

Dans une première phase d’apprentissage P1, préalable à la mise en œuvre en temps réel du réseau de neurones RN, le procédé comporte les étapes suivantes. Le procédé est décrit pour correspondre à une pluralité d’événements (acteurs, séquence sportive incluant un tir au but, remise de coupe, film comprenant des scènes de violence extrême, etc.) correspondant par exemple à une pluralité d’utilisateurs(ensemble ou sous-ensemble des abonnés au service audiovisuel de l’opérateur, ensemble des utilisateurs de terminaux du réseau local, etc.).

Dans une première étape E0, une initialisation du module d’apprentissage, selon cet exemple un réseau de neurones, est effectuée. Dans la description qui suit, on suppose que l’apprentissage s’effectue sur un ensemble d’événements noté EVS. L’initialisation du réseau est relative à cet ensemble d’événements. Un événement de l’ensemble peut avoir été transmis au dispositif d’apprentissage par les passerelles de service, ou être créé par l’opérateur, ou provenir d’un tiers, etc.

Dans une étape E1, le procédé acquiert une pluralité (de préférence, un volume important) de contenus numériques C0… CN, de préférence mais pas nécessairement représentatifs des événements soumis. Ces contenus peuvent être choisis par exemple par l’opérateur, manuellement ou automatiquement.

Dans une étape E2, le procédé consiste, à partir des contenus acquis dans la première étape E1 à associer (par exemple par action humaine) à chaque contenu, un type d’événement, à partir de l’ensemble des événements. L'ensemble des données correspondant aux couples (contenu, événement) peut constituer par exemple une base d'apprentissage BA.

Dans une étape E3, dite d'apprentissage, le procédé met en œuvre l’apprentissage à proprement parler du réseau de neurones RN. Le réseau de neurones, au départ vierge, est alimenté en contenus pour le transformer jusqu’à ce qu’il soit apte à faire des analyses pertinentes pour les usagers. A cette fin, il reçoit itérativement ou successivement en entrée un couple de données (contenu, événement) provenant par exemple de la base d'apprentissage BA. On notera que la base d’apprentissage est facultative, les couples (contenus, événement) pouvant être fournis au réseau de neurones de manière itérative sans faire appel à une base de données.

Le réseau de neurones traite les couples (contenu, événement) à chaque itération pour permettre la mise à jour des coefficients du réseau de neurones RN, jusqu'à obtenir une convergence de l'algorithme. Lorsque les performances de reconnaissance des événements sont jugées correctes, le modèle d’analyse est considéré stable, on peut donc cesser l’apprentissage. Les coefficients du réseau sont dits « figés », «convergés» ou «optimisés». Ces coefficients optimisés, ainsi que toutes les données utiles à l’implémentation ultérieure du réseau de neurones, sont stockés dans ce qu’on appelle le «module d’analyse» MA qui peut être transmis à des dispositifs d’analyse pour traiter les contenus des usagers.

Par exemple, le réseau de neurones s’entrainant à reconnaitre les traits du visage d’un acteur conserve dans son modèle d’apprentissage MA, à l’issue de la phase d’apprentissage, des coefficients optimisés et éventuellement des éléments d’analyse comme les traits du visage sous différents angles, tailles, qualités, etc. pour être capable de le retrouver dans n’importe quel contexte et n’importe quel contenu.

On notera que le réseau de neurones peut être quelconque, de tout type connu, par exemple un réseau de neurones convolutif. Pour cela, le procédé met en œuvre, par exemple, un algorithme itératif du type «algorithme du gradient» avec une approche dite par «descente du gradient» et «back-propagation », pour rechercher les coefficients du réseau de neurones RN permettant d'obtenir la meilleure performance de classification.

Selon un exemple, le réseau de neurones RN comporte:

- une ou plusieurs couches destinées à filtrer et déterminer les éléments caractéristiques des médias du contenu (images, séquences d’images, textes et sons, ...); pour cela, il met en œuvre l'application de briques logicielles telles que:

• reconnaissance de formes, mouvements, visages, sons, voix, etc.
• estimation de la violence d’une scène
• etc.

-une ou plusieurs couches connectées réalisant une classification du contenu dans un nombre limité d’événements;

- une dernière couche utilisant une fonction permettant d'estimer les probabilités d'appartenance d’un contenu à chaque événement. Une probabilité comprise entre 0 et 1 peut être associée à chaque contenu pour un événement. Une telle probabilité peut être convertie en indice de fiabilité.

Selon une variante, la base d'apprentissage BA et/ou le modèle d’analyse peuvent être issus de bibliothèques logicielles spécialisées déjà préconstituées.

Selon une variante, le procédé d’apprentissage prend en compte dans son optimisation un critère de complexité, de manière à réaliser un compromis entre la performance et la complexité (puissance, temps, etc.) de calcul nécessaire. Il est par exemple connu de l’homme du métier que l’on peut contrôler la complexité du réseau de neurones par ajout ou élagage de cellules. On pourra donc adapter selon cet exemple le réseau à la complexité de la machine hébergeant le dispositif d’analyse utilisé (e.g. réduire le nombre de couches et/ou de cellules et/ou le type de cellules si le dispositif d’analyse dispose de capacités limitées, comme par exemple un terminal de type passerelle de réseau, un routeur, un ordinateur domestique, etc.)

A l'issue de cette première phase d’apprentissage, le procédé consiste, dans une deuxième phase P2, dite d’analyse, à implémenter en temps réel le réseau de neurones RN sur le module d’analyse. Le module d’analyse est situé selon cet exemple dans la passerelle de réseau.

Selon un autre mode de réalisation, elle est située dans un serveur 5 de l’opérateur de réseau.

Dans une étape E30, le modèle d’analyse MA comportant notamment les coefficients optimisés du réseau de neurones, issus de l'étape d'apprentissage, est mis en œuvre sur le dispositif d’analyse. Il contrôle le réseau de neurones RN qui, à partir d’un contenu reçu par la passerelle de service (selon un autre mode de réalisation, un serveur 5 de l’opérateur de réseau), délivre une estimation fiable du type d’événement(s) présent(s) dans le contenu, en temps réel.

Dans une étape E31, si l’événement a été détecté dans le contenu avec une fiabilité suffisamment élevée, par exemple si l’indice de fiabilité est supérieur à un seuil donné, une action de mise à disposition peut être menée: envoi du contenu vers un terminal (ou vers une passerelle si le module d’analyse se trouve dans le réseau), notification, enregistrement, etc.

A titre d’exemple, le contenu peut être visualisé par l’utilisateur dans une étape E21.

Il va de soi que le mode de réalisation qui a été décrit ci-dessus a été donné à titre purement indicatif et nullement limitatif, et que de nombreuses modifications peuvent être facilement apportées par l’homme de l’art sans pour autant sortir du cadre de l’invention.

Notamment, le réseau de neurone peut être remplacé par tout module d’intelligence artificielle apte à remplir les mêmes fonctions: apprentissage automatique par arbres de décision, méthodes statistiques, régression logistique, analyse discriminante linéaire, algorithmes génétiques, etc.

Claims (15)

1. Procédé d’analyse d’un contenu multimédia (C), le procédé étant caractérisé en ce qu’il comporte, sur un dispositif d’analyse (DAN), les étapes suivantes :
   - obtenir (E30) une liste d’événements préférés (EVS’) relatifs à des contenus multimédia;
   - obtenir (E30) un modèle d’analyse (MA) de contenus multimédia;
   - analyser (E31) un contenu multimédia (C) en temps réel en utilisant le modèle d’analyse;
   - générer (E31) une estimation de la présence, dans le contenu multimédia (C), d’un événement au moins (EV) de la liste d’évènements préférés (EVS’).
2. Procédé d’analyse d’un contenu multimédia selon la revendication 1, caractérisé en ce qu’il comporte en outre les étapes de :
   - obtenir (E10) au moins un événement préféré (EVF) d’un utilisateur au moins, relatif à un contenu multimédia;
   - mettre à disposition (E32) le contenu multimédia en fonction du résultat de l’estimation de la présence de l’événement préféré.
3. Procédé d’analyse d’un contenu multimédia selon la revendication 1, caractérisé en ce que le modèle d’analyse est celui d’un réseau de neurones (RN) et comporte les coefficients optimisés du réseau de neurones, et en ce que en ce que l’analyse comporte en outreune étape de:
   - mettre en œuvre le réseau de neurones sur le contenu multimédia(C), avec les coefficients optimisés.
4. Procédé d’analyse d’un contenu multimédia selon la revendication 2, caractérisé en ce que la mise à disposition consiste donner accès au contenu multimédia à un terminal (T1) au moins de l’utilisateur.
5. Procédé d’analyse d’un contenu multimédia selon la revendication 2, caractérisé en ce que la mise à disposition consiste à notifier la présence du contenu, sur au moins un terminal (T2) de l’utilisateur.
6. Procédé d’apprentissage de caractéristiques de contenus multimédia, le procédé étant caractérisé en ce qu’il comporte, sur un dispositif d’apprentissage (DAP) les étapes de:
   - acquérir (E1) une pluralité de contenus multimédia(C0…CN) ;
   - associer (E2) au moins un événement (EV) à au moins un contenu acquis (C) pour constituer au moins un couple de données d’apprentissage (EV, C);
   - générer un modèle d’analyse (MA) à partir des couples de données d’apprentissage (EV, C).
7. Procédé d’apprentissage de caractéristiques de contenus multimédia selon la revendication 6, caractérisé en ce que le procédé d’apprentissage utilise un réseau de neurones (RN) et en ce que l’étape de générer un modèle d’analyse consiste à entraîner le réseau de neurones (RN) par les sous-étapes suivantes:
   - recevoir itérativement en entrée un couple de données (C, EV) d'apprentissage ;
   - optimiser les coefficients du réseau de neurones (RN) ;
   - construire le modèle d’analyse (MA) à partir des coefficients optimisés.
8. Procédé d’apprentissage de caractéristiques de contenus multimédia selon la revendication 6 ou 7, caractérisé en ce que le procédé d’apprentissage prend en compte dans son optimisation un critère de complexité.
9. Dispositif (DAN) d’analyse d’un contenu multimédia, comprenant une mémoire (M’) , un processeur (PROC’), un module d’intelligence artificielle (RN), un module pour acquérir un contenu multimédia (COM2), configurés pour:
   -obtenir (E30) une liste d’événements préférés (EVS’) relatifs à des contenus multimédia;
   - obtenir (E30) un modèle d’analyse (MA) de contenus multimédia;
   - analyser (E31) un contenu multimédia (C) en temps réel en utilisant le modèle d’analyse;
   - générer une estimation de la présence, dans le contenu multimédia (C), d’un événement au moins (EV) de la liste d’évènements préférés (EVS’).
10. Dispositif d’apprentissage (DAP) de caractéristiques de contenus multimédia comprenant une mémoire (M),un processeur (PROC), un module d’intelligence artificielle (RN), un module pour acquérir un contenu multimédia (COM1), un module pour générer un modèle d’apprentissage (MA) configurés pour:
    - acquérir (E1) une pluralité de contenus multimédia(C0…CN);
    - associer (E2) au moins un événement (EV) à au moins un contenu acquis pour constituer au moins un couple de données d’apprentissage (EV, C);
    - générer un modèle d’analyse (MA) à partir des couples (EV, C) de données d’apprentissage.
11. Serveur ou plateforme de service comprenant un dispositif d’analyse selon la revendication 9.
12. Serveur ou plateforme de service comprenant un dispositif d’apprentissage selon la revendication 10.
13. Passerelle domestique comportant un dispositif d’analyse selon la revendication 9.
14. Système pour analyser un contenu multimédia, comprenant:
    - un dispositif d’analyse selon la revendication 9 et
    - un dispositif d’apprentissage selon la revendication 10,
    le système étant configuré de telle manière que le dispositif d’analyse reçoit le modèle d’apprentissage généré par le dispositif d’apprentissage.
15. Programme d’ordinateur apte à être mis en œuvre sur un dispositif tel que défini dans la revendication 9 ou 10, le programme comprenant des instructions de code qui, lorsque le programme est exécuté par un processeur, réalise les étapes du procédé défini selon l’une des revendications 1 à 5 ou 6 à 8.