Ce projet de recherche doctorale est publié a été réalisé par TAMY BOUBEKEUR

Description d'un projet de recherche doctoral

Rendu Factorisé

Mots clés :

Résumé du projet de recherche (Langue 1)

{{I. Contexte Scientifique}} Cette thèse de doctorat s’inscrit dans les thèmes de la synthèse d’image et de la visualisation réaliste de modèles virtuels. Au cours des 40 dernières années, les méthodes de simulation physique du transport lumineux ont connu un essor important, tant au niveau fondamental qu’applicatif. A la pure simulation des lois de la physique de la lumière s’est ajoutée une méthodologie de calcul efficace, souvent intrinsèquement parallèle, alimentant aussi bien les applications de simulations au temps long (architecture, effets spéciaux, animation) que les systèmes interactifs (CAO, cartographie virtuelle, jeux vidéo). Des méthodes complémentaires, ont également permis de mettre en œuvre ce type de simulations en s’appuyant sur des modèles de données numérisés (photographie, réflectance, environnement lumineux, géométrie). Aujourd’hui, la synthèse d’images réalistes s’articulent ainsi autour de deux axes complémentaires : le rendu basé-physique et le rendu basé-image (ou données par extension). Dans un tout autre contexte, la recherche en traitement d’images et en vision par ordinateur a récemment adopté un ensemble de méthodologies, {basés-exemples} cette fois, qui exploitent une base d’information hautement structurée, souvent construite à l’aide de méthodes d’apprentissage automatique, pour revisiter les problèmes classiques du traitement du signal appliqué aux images et aux vidéos, notamment le filtrage adaptatif, la reconstruction et l’indexation. L‘objectif de cette thèse est d’aborder la synthèse d’image sous cet angle en exploitant l’une des spécificités de ce thème (et plus généralement de l’informatique graphique) : la présence d’un modèle sous-jacent structuré (maillage de surfaces, fonctions de réflectance, modèle explicite du capteur virtuel). On espère ainsi arriver à une forme de “factorisation” de la simulation lumineuse, permettant de ré-exploiter une grande partie du calcul effectué à un point de l’espace et du temps pour un grand nombre d’autres points, ailleurs dans l’images, mais aussi ailleurs dans la scènes (autre image) voir dans une autre scène 3D, sur un autre ordinateur, à un autre moment. La simulation globale sous-jacente à la synthèse d’image serait ainsi substituée, pour une grande part, par un mécanisme d’indexation et composition, à toutes les étapes du rendu. En termes de positionnement du sujet, la thèse s’effectuera dans l’esprit de l’équipe d’informatique graphique de Telecom ParisTech où géométrie, vision et rendu sont abordés de concert. {{II. Contenu Scientifique}} Cette thèse de doctorat commencera par l’établissement d’un état de l’art des méthodes de synthèse d’image réalistes. On confrontera en particulier les représentations intermédiaires utilisées dans la simulation (structure spatiale hiérarchique, multi-tampon de rendu différé, bases de fonctions pour la représentation du signal lumineux, etc.) avec les représentations utilisées dans les méthodes basé-exemple du traitement d’image et de la vision par ordinateur, notamment les descripteurs locaux, les méthodes d’indexation par vocabulaire visuel, les méthode de filtrage non-local et les méthode de réduction de dimensions. Dans un second temps, on étudiera la mise en œuvre d’un algorithme de synthèse d’image simple s’appuyant sur une collection d’exemples pour “factoriser” la simulation. Cette base devra être peuplée d’éléments spécifiques à la synthèse d’image, tels que les fonctions de visibilité, les réponses de radiance/irradiance, les carte-G (position-normale-albedo), décomposées en entités locales, compactes, indexable et mélangeables. On développera des opérateurs rapides de recherche et fusion de ces entités et on expérimentera cette synthèse factorisée sur un sous-ensemble des phénomènes d’éclairage global, tels que l’occultation ambiante, le transfert couleur et la dispersion sous-surfacique. Une implémentation temps-réel de l’algorithme est attendue, exploitant les accélérateurs graphiques (GPU) de dernière génération et notamment le parallélisme dynamique. Enfin, dans un troisième temps, on cherchera à généraliser cette approche en donnant une nouvelle définition de l’équation du rendu. Dans ce cadre, les phénomènes optiques liés aux capteurs (flou de mouvement, profondeur de champs, ajustement de la dynamique) pourront être traités. L’ensemble de la phase expérimentale de la thèse sera soutenue par un démonstrateur logiciel intégrant progressivement les avancées et développé en C++/OpenGL4/GLSL. {{Quelques Références}} Quantized Point-Based Global Illumination. Bert Buchholz and Tamy Boubekeur. EGSR 2012 Sketch-Based Shape Retrieval .Mathias Eitz, Ronald Richter, Tamy Boubekeur, Kristian Hildebrand and Marc Alexa. SIGGRAPH 2012 Delta Radiance Transfer. Bradford J. Loos, Derek Nowrouzezahrai, Wojciech Jarosz and Peter-Pike Sloan. I3D 2012 ManyLoDs: Parallel Many-View Level-of-Detail Selection for Real-Time Global Illumination Matthias Holländer, Tobias Ritschel, Elmar Eisemann and Tamy Boubekeur, EGSR 2011 Modular Radiance Transfer. Bradford J. Loos, Lakulish Antani, Kenny Mitchell, Derek Nowrouzezahrai, Wojciech Jarosz and Peter-Pike Sloan. ACM Transaction on Graphics 30(6) [Proceedings of SIGGRAPH Asia], 2011 Global Illumination Across Industries. Jaroslav Krivanek, Marcos Fajardo, Per H. Christensen, Eric Tabellion, Michael Bunnell, David Larsson, and Anton Kaplanyan. SIGGRAPH 2010 Approximating Dynamic Global Illumination in Image Space. Tobias Ritschel, Thorsten Grosch, Hans-Peter Seidel I3D 2009 Precomputed Radiance Transfer for Real-Time Rendering in Dynamic, Low-Frequency Lighting Environments, Peter-Pike Sloan, Jan Kautz and John Snyder. SIGGRAPH 2002 Modeling and Rendering Architecture from Photographs. Paul E. Debevec, Camillo J. Taylor, and Jitendra Malik. SIGGRAPH 1996.

Résumé du projet de recherche (Langue 2)

L‘objectif de cette thèse est d’aborder la synthèse d’image sous l'angle de l'indexation et de la fusion de données, en exploitant l’une des spécificités de ce thème (et plus généralement de l’informatique graphique) : la présence d’un modèle sous-jacent structuré (maillage de surfaces, fonctions de réflectance, modèle explicite du capteur virtuel). On espère ainsi arriver à une forme de “factorisation” de la simulation lumineuse, permettant de ré-exploiter une grande partie du calcul effectué à un point de l’espace et du temps pour un grand nombre d’autres points, ailleurs dans l’image, mais aussi ailleurs dans la scènes (autre image) voir dans une autre scène 3D, sur un autre ordinateur. La simulation globale sous-jacente à la synthèse d’image serait ainsi substituée, pour une grande part, par un mécanisme d’indexation et composition, à toutes les étapes du rendu.

Informations complémentaires (Langue 1)

La thèse bénéficiera du réseau international de partenaires académiques et industriels de l’équipe d’informatique graphique. En particulier, les éléments traités au sein de la thèse pourront à terme alimenter les projets Européens REVERIE (T. Boubekeur, 2011-2015) et Harvest4D (T. Boubekeur, 2013-2016), au sein desquels l’équipe collabore activement avec Disney Research Zurich (Suisses), TU Viennes (Autriche), TU Delft (Hollande), TU Darmstadt (Allemagne), Bonn Universität (Allemagne), CNR (Italie). Au niveau industriel, T. Boubekeur est en charge de l’axe Image/3D dans la Chaire Modélisation des Imaginaires (MODIM - Dassault Systèmes, Ubisoft, PSA, Orange, 2010-2015) et le travail de modélisation lié à la thèse pourra également se traduire au sein de cette structure.