Ce projet de recherche doctorale est publié a été réalisé par GAEL RICHARD

Description d'un projet de recherche doctoral

Identification automatique et dynamique de l'état émotionnel par analyse de signaux biologiques hétérogènes

Mots clés :

Résumé du projet de recherche (Langue 1)

Le but de ce travail est d'analyser automatiquement l'état émotionnel des personnes atteintes de handicaps alors qu'elles sont plongées dans des environnements virtuels créés pour eux dans le cadre d'un traitement « jeu sérieux » visant à améliorer leur condition. L'analyse sera basée sur le traitement et la fusion des différents signaux impliqués dans un environnement immersif particulier, que ce soit les stimuli audio-visuels présentés pour le patient, ou des signaux captés par les différents capteurs audio-visuel, capteurs de mouvement et capteurs biologiques (y compris électrodes EEG et ECG) utilisés pour suivre le patient. Il est important de souligner que les émotions envisagées ne seront pas actées mais naturellement exprimées par les utilisateurs réels, évitant ainsi de considérer des catégories d’émotions trop simplistes. L’objectif est ainsi d'aller au-delà des états émotionnels prototypiques et d'envisager une grande variété d'émotions, surtout en se concentrant sur les émotions négatives comme le stress, l'anxiété ou l'angoisse. Des travaux spécifiques seront dédiées à extraire des caractéristiques appropriées à partir des différentes modalités hétérogènes considérées et d’exploiter des approches efficaces de classification, susceptibles de profiter des corrélations intermodales. Un autre aspect important de ce travail de thèse concernera l'étude de la dynamique de l'état émotionnel de l'utilisateur qui ouvre la voie à de nouveaux modèles qui pourraient prédire, par exemple, l'augmentation de l'anxiété de l'utilisateur en fonction de la situation dans laquelle il est placé dans le jeu sérieux pour l’aider à maitriser ses fortes émotions négatives.

Résumé du projet de recherche (Langue 2)

Les enjeux de cette thèse seront multiples et incluront notamment :

• Etudier les émotions naturelles : Il semble en effet maintenant incontournable de dépasser les limites de l’analyse des émotions actées, souvent trop prototypiques. Pour cela, il est proposé de suivre des approches de régression exploitant des classifieurs discriminants (par exemple les machines à vecteurs de support, voir par exemple Nicolaou2011). D’autres approches alternatives seront également considérées comme par exemple la factorisation en matrices non-négatives (voir Lee2001) qui a déjà été appliquée avec succès pour l’analyse de comportement humain dans des scènes interactives (Madhaoui2010). On envisage notamment pouvoir intégrer des contraintes structurelles, à l’image de celles qui sont utilisées pour l’analyse des signaux audio, et ainsi obtenir des descriptions pertinentes de d’émotions complexes.

• Etudier la dynamique de l’état émotionnel : De même, de nombreux travaux se sont restreints à une caractérisation d’états émotionnels stationnaires (ou stables), alors qu’il semble naturel que les manifestations émotionnelles sont des processus dynamiques (voir par exemple Morency2010, Clavel2008).

• Etudier les aspects multimodaux des manifestations émotionnelles : L’expression des émotions naturelles est souvent plus subtile et plus complexe à caractériser automatiquement à partir d’une unique modalité. L’objectif de cette thèse est d’utiliser de manière poussée la multimodalité en exploitant notamment une large variété de signaux bio-médicaux. Nos travaux précédents sur l’alignement de signaux audio sur leur partition (Joder2001) ont permis de montrer la puissance des champs aléatoires conditionnels (Conditional Random Fields ou CRF) pour notamment exploiter des flux de données hétérogènes mais décrivant un concept commun. Lié au défi précédent, il est ici proposé d’étudier le potentiel de ces approches statistiques pour combiner efficacement les signaux issus des différentes modalités pour étudier la dynamique des manifestations émotionnelles.

• Etudier les manifestations émotionnelles dans un contexte maitrisé : Les patients seront placés un environnement virtuel maitrisé dans le cadre de jeux sérieux. Cela permettra d’imerger graduellement les patients dans un environnement donné (par exemple en les plaçant progressivement dans un environnement cible qui est lié à leur phobie pour les aider à mieux contrôler leur handicap).


L’un des enjeux de cette thèse sera d’exploiter en plus de signaux plus usuels (audio, video) les signaux biologiques issus notamment d’analyse EEG (Electro-encéphalogramme) et ECG (Electrocardiogamme). L’une des phases importantes du travail de thèse consistera à acquérir des signaux de qualité. Pour cela, on pourra utiliser le tout équipement acquis par le département (Casque EEG, sans fil, 24 capteurs, Advanced Brain Monitoring X24). Il est aussi envisagé d’exploiter les travaux récents en représentations parcimonieuses, débruitage et séparation de sources pour obtenir des signaux bruts de meilleure qualité. Il s’agira ensuite de définir un ensemble de caractéristiques appropriées à même d’extraire des propriétés importantes de ces signaux et de discriminer les différents états émotionnels. L’une des approches qui sera ici poursuivie consistera à utiliser un grand nombre de caractéristiques (voir par exemple Peeters, Essid pour un large ensemble de descripteurs utilisés en audio) et à mettre en place des algorithmes de sélection statistique de caractéristiques (voir par exemple les travaux récent de Ramona).

Informations complémentaires (Langue 1)

Participation au européen VERVE