Ce projet de recherche doctorale est publié a été réalisé par ISABELLE BLOCH

Description d'un projet de recherche doctoral

Capture et Modélisation 3D Dynamique.

Mots clés :

Résumé du projet de recherche (Langue 1)

I. Contexte Ce sujet prend place au sein des activités du Groupe d'Informatique Graphique de Telecom ParisTech – CNRS/LTCI, dans l'équipe TII du département TSI. Plus particulièrement, cette thèse s'inscrit dans le projet Européen REVERIE qui vise à développer un environment complet de conception et mise en oeuvre de réseaux sociaux en 3D s'appuyant sur des environnements virtuels augmentés de données capturées à partir de clients distants. Le groupe d'informatique graphique de Telecom ParisTech est impliqué sur deux aspects fondamentaux de ce projet : la capture à partir de sources hétérogênes (caméra, capteur de profondeur, systèmes stéréo, scanner laser, systèmes de capture de mouvement) de géométrie animées de haute qualité et la restitution des données capturées dans le rendu final, où éléments virtuels et réels sont composités/substitués à la volée. Dès lors, deux éléments principaux doivent être proposés : une méthode de captures 3D dynamique très efficace et une méthode de génération de modèle de haut niveau – nécessaire à la modification/adaptation dynamique des modèles au contexte applicatif [1] – tout aussi rapide. In fine, on se donne comme objectif ultime d'atteindre la qualité de sortie des systèmes récents de capture de performance [2] utilisés dans les effets spéciaux, mais en temps réel. Une grande partie du travail sera mené en collaboration avec les partenaires du projet REVERIE, notamment Disney R&D à Zurich et HHI à Berlin. II. Contenu Scientifique et Axes de Recherche Le travail de doctorat s'appuiera sur plusieurs outils méthodologique récent en vision et géométrie numérique. Dans la phase de capture, on étudiera et améliorera les descripteurs locaux [3][4] utilisés pour la détection et la mise en correspondence de points singuliers entre images [5]. En particulier, on étudiera l'apport de l'information de profondeur disponible en chaque point avec les capteurs rgbz récents. On s'interessera également aux deux autres étapes fondamentale sde la capture: 1/la génération d'une géométrie dense [6][7] en combinant images de profondeur à faible résolution et image couleur haute résolutions depuis plusieurs points de vue; 2/ la génération d'un maillage à partir de la géométrie dense par point [6]. Dans le cadre de la capture animée, la structure générée devra permettre une bonne reproduction des mouvements tout en limitant la résolution des modèles afin de pouvoir les transmettre et les rendre rapidement. A cette étape, les travaux récemment menés par l'équipe dans le contexte de la géométrique numérique et notamment des méthodes de déformation variationnelle [8] pourront être exploiter, en particulier pour la définition de modèles de déformation de haut niveaux et le transfert d'animation d'une forme à une autre, une application importante pour le projet REVERIE. D'un point de vue plus fondamental, la définition de méthodes de traitement et d'analyse visuels et géométriques rapides suppose la revisite complète de plusieurs axes méthodologiques, notamment en devéloppant des algorithmes à la fois adaptatifs et linéaire en temps et en mémoire. Qu'il s'agisse des méthodes de détection/mise en correspondance de points ou de génération de mailles de qualités, on pourra explorer des approches stochastique [9] et des plongement en dimension supérieur à 3 ou 4 pour atteindre ces objectifs.

Résumé du projet de recherche (Langue 2)

III. Objectifs et Programme de Travail
Cette thèse se décompose en 3 temps et 3 objectifs.
Dans un premier temps, un système de capture 3D+temps sera créé à l'aide de périphériques de capture couleur/profondeur à bas coût. L'objectif sera de reconstituer le plus fidèlement des formes 3D animées à une fréquence permettant la mise en oeuvre d'applications interactive (30 Hertz). Le systèmes devra être robuste, offrir des garanties sur le temps d'execution, et éventuellement fournir des paramètres additionnels (e.g., couleur, réflectance) exploitables pour la synthèse d'images.
Dans un second temps, de nouvelles méthodes d'analyse géométrie rapide seront développées afin de reconstruire des objets animés de haute qualité (structure de haut niveau modélisation les déformations telles que les squelettes ou les cages, maillages semi-réguliers à la structure adaptée aux mouvements, propriétés d'apparence décomposées pour le ré-éclairage) en temps réel. On tentera ici de combiner des méthodes de pure vision artificielle avec des méthodes de géométrie numérique récentes. On s'appuiera en particulier sur les résultats récent du groupe d'informatique graphique dans ces deux domaines. Le couplage de cette phase d'analyse avec la phase de capture devra se faire en temps-réel, afin de pouvoir bénéficier des structures de haut niveaux dans un contexte dynamique.
Dans un troisièmes temps, des algorithme d'édition et de synthèse d'image multirésolution seront développés pour exploiter les modèles ainsi générés dans les applications en ligne visées par le projet REVERIE. Cette troisième phases sera adaptée en fonction des résultats obtenus aux deux premières et pourra être menée en collaboration étroite avec plusieurs chercheurs de l'équipe.

Informations complémentaires (Langue 2)

Références
1. Realtime Performance-Based Facial Animation. Thibaut Weise, Sofien Bouaziz, Hao Li, Mark Pauly. ACM SIGGRAPH 2011
2. Markerless Garment Capture. Derek Bradley, Tiberiu Popa, Alla Sheffer, Wolfgang Heidrich et Tamy Boubekeur. ACM SIGGRAPH 2008.
3. Distinctive Image Features from Scale-Invariant Keypoints. David G. Lowe. International Journal of Computer Vision, vol. 60, no 2, 2004, p. 91-110
4. ASIFT: A new framework for fully affine invariant image comparison. J.M. Morel and G.Yu, SIAM Journal on Imaging Sciences, 2(2):438-469 (2009).
5. Building Rome in a Day. Sameer Agarwal, Yasutaka Furukawa, Noah Snavely, Ian Simon, Brian Curless, Steven M. Seitz and Richard Szeliski. Communications of the ACM, Vol. 54, No. 10, Pages 105-112,
6. Accurate Multi-View Reconstruction Using Robust Binocular Stereo and Surface Meshing. Derek Bradley, Tamy Boubekeur, Wolfgang Heidrich. IEEE Conference on Computer Vision and Pattern Recognition - CVPR 2008
7. Multi-View Stereo Revisited. Michael Goesele, Steven M. Seitz, and Brian Curless. Proceedings of CVPR 2006, 17-22, 2006.
8. Jacobians and Hessians of Mean Value Coordinates for Closed Triangular Meshes. Jean-Marc Thiery, Julien Tierny and Tamy Boubekeur. CNRS Technical Report, 2011
9. Mesh Simplification by Stochastic Sampling and Topological Clustering. Tamy Boubekeur, Marc Alexa. IEEE Shape Modeling International 2009 (Computer and Graphics journal, Vol. 33, No. 3), 2009