Ce projet de recherche doctorale est publié a été réalisé par GAEL RICHARD

Description d'un projet de recherche doctoral

Analyse automatique de scènes multimodales par approches discriminatives

Mots clés :

Résumé du projet de recherche (Langue 1)

L’objectif premier de cette thèse sera de proposer de nouvelles méthodes de classification hybrides mieux adaptées à des scénarios réalistes d’analyse de scènes multi-modales et multi-capteurs, en particulier l’analyse de scènes de danse enregistrées par des capteurs multiples (réseaux de micros et de caméras, dispositifs de captures de mouvements, ...) avec l’objectif de les interpréter et de les restituer virtuellement en 3D. Cela suppose que ces méthodes permettent d’effectuer l’apprentissage à partir de données de taille importante, tant en nombre d’exemples, qu’en nombre de descripteurs, et qu’elles soient donc de plus faible complexité que les méthodes précédentes. Les directions de travail principales seront les suivantes : – caractériser les signaux des différents capteurs et étudier leurs structures de dépendances en vue d’en extraire les descripteurs adéquats pour les tâches de classification envisagées, notamment la classification de mouvements de danse ; – étudier les méthodes hybrides existantes avec l’objectif de faire une synthèse dans laquelle elles seront comparées et évaluées sur des corpus communs, ce qui revêt en soi un intérêt majeur, puisque ces dernières n’ont généralement été utilisées que par leurs auteurs et que leur potentiel reste largement inexploré ; – proposer de nouvelles méthodes de classification hybrides exploitant des SVM à sortie probabilisée pour profiter au mieux de l’efficacité des algorithmes d’optimisation associés ; on poursuivra d’abord un travail initié dans le cadre du stage de master de M. Maazaoui sur des modèles SVM-HMM hybrides appris par une approche segmental K-means [10], avant d’envisager une extension à des modèles graphiques plus généraux ; – traiter de façon conjointe le problème de la sélection automatique des attributs, de manière à retenir les attributs les plus appropriés pour chaque état caché des classificateurs considérés ; les approches d’apprentissage de noyaux multiples (MKL) seront ici privilégiées. Le doctorant pourra profiter du cadre du projet d’excellence européen REVERIE centré sur les technologies rendant possible l’immersion d’utilisateurs de réseaux sociaux dans des environnements virtuels en 3D sur Internet. Les méthodes qui seront développées dans cette thèse pourront être mises à profit pour les tâches d’analyse de scènes d’activité humaine afférentes au projet. Cette application pourra être traitée en collaboration avec une post-doctorante qui a déjà été recrutée sur ce projet. Le travail sur les modèles SVM-HMM hybrides fait l’objet d’une collaboration avec un chercheur de l’IRISA (A. Ozerov) dont pourra aussi profiter le doctorant.

Résumé du projet de recherche (Langue 2)

– caractériser les signaux des différents capteurs et étudier leurs structures de dépendances – étudier les méthodes hybrides existantes avec l’objectif de faire une synthèse dans laquelle elles seront comparées et évaluées sur des corpus communs, – proposer de nouvelles méthodes de classification hybrides exploitant des SVM à sortie probabilisée pour profiter au mieux de l’efficacité des algorithmes d’optimisation associés – traiter de façon conjointe le problème de la sélection automatique des attributs,

Informations complémentaires (Langue 1)

Le doctorant pourra profiter du cadre du projet d’excellence européen REVERIE centré sur les technologies rendant possible l’immersion d’utilisateurs de réseaux sociaux dans des environnements virtuels en 3D sur Internet.