Ce projet de recherche doctorale est publié a été réalisé par YANN GOUSSEAU

Description d'un projet de recherche doctoral

Méthodes par patchs et restauration multi-images

Mots clés :

Résumé du projet de recherche (Langue 1)

Projet Les appareils imageurs se sont considérablement développés ces dernières années, en particulier dans le domaine de la photographie numérique. Une tendance récurrente de ce développement est la miniaturisation des appareils, et donc des capteurs photoniques. Or cette miniaturisation a un fort impact sur les capacités des capteurs, en terme de rapport signal/bruit, de plage dynamique ou de résolution. En effet, la quantité de lumière reçue diminue avec la taille des capteurs et des optiques, conduisant à des situations extrêmes, en basse lumière, où seuls quelques dizaines de photons sont capturés. D?autre part, des capteurs plus petits saturent plus facilement, ce qui conduit à une forte réduction de la plage dynamique disponible. L?approche classique pour pallier ces limitations consiste à appliquer à l?image dégradée des algorithmes de restauration. Ceci conduit à des artefacts, du flou et une perte de détails. Une alternative pour contourner les limitations des capteurs consiste à prendre une série d?images, puis à les combiner de manière à diminuer le bruit, augmenter la gamme dynamique ou la résolution, voire à retrouver des données manquantes. On parle alors de méthodes de restauration multi-images. L?idée principale commune à ces méthodes est que la redondance de l?information entre les images permet d?augmenter la fiabilité dans les données mais également de retrouver des informations qui ne peuvent être acquises simultanément. Ces méthodes soulèvent principalement deux difficultés : ? La gestion des mouvements (de l?appareil imageur et des éléments de la scène) et des changements de conditions d?acquisition (sensibilité, flou, illumination, etc.) ? La gestion des données aberrantes (outliers) dans les séries d?images (reflets, occultations, zones saturées, etc.) Le développement de cadres génériques permettant d?aborder ces problèmes est un enjeu majeur. Comme développé au paragraphe suivant, nous pensons qu?un cadre particulièrement adapté est celui des méthodes dites par patchs, qui ont véritablement révolutionné le domaine de la restauration (et également de l?analyse) d?images ces dernières années. Comme nous allons le voir, ce cadre permet d?aborder le problème de la fusion d?information en prenant en compte les deux défis ci-dessus. Enjeux Inspirés par des travaux précurseurs dans le domaine de la synthèse de texture [6], Buades et al. [3] ont proposé l?approche non-locale du débruitage d?images en 2005. Le principe de base de cette approche est qu?un pixel est efficacement débruité lorsqu?il est remplacé par une agrégation de pixels de l?image ayant un voisinage semblable au sien. Cette idée simple a totalement renouvelé le paysage de la restauration d?images et donné lieu à de très nombreux travaux. Les voisinages utilisés pour comparer les pixels sont principalement des fenêtres carrées, communément appelées des patchs. Parallèlement, plusieurs méthodes ont proposé de poser le problème de la restauration des images comme un problème d?estimation des patchs dans un dictionnaire. Ce dictionnaire peut être obtenu par des méthodes parcimonieuses [7] ou être fixé a priori [14, 5]. Très récemment, plusieurs contributions ont montré que le recours à des mélanges de gaussiennes pour modéliser les patchs conduisait à des résultats état de l?art en débruitage [10] ou plus généralement pour la résolution de problèmes inverses [15]. Bien que s?étant imposées pour de nombreuses modalités de restauration (débruitage, déconvolution, inpainting, etc.), les méthodes par patchs ont été relativement peu appliquées aux problèmes de restauration multi-images. Les méthodes non-locales ont été adaptées au cas du débruitage multi-images, avec en particulier une application très efficace à la capture d?images de tableaux en environnement non contrôlé [9]. Dans le domaine de l?HDR, quelques approches ont été proposées pour exploiter la redondance des patchs dans un contexte de prises de vue multiples [12, 1]. Nous nous proposons de montrer que les approches par patchs sont les approches à privilégier pour la restauration multi-images. Ceci nécessite de traiter un certain nombre de problèmes génériques, essentiellement liés à la comparaison des patchs, que nous détaillons ci-après. Le problème de la comparaison des patchs n?est pas nouveau en soi, et est un problème central en stéréovision et en estimation de mouvement, entre autres. Il s?agit néanmoins d?une problématique particulièrement active actuellement, qui est renouvelée par le cadre de la restauration multi-images. Comparaison de patchs et invariances géométriques L?agrégation des informations entre différentes vues à partir de la similitude de patchs (et non en fonction de la simple position spatiale) permet naturellement de prendre en compte à la fois le mouvement de l?appareil photo et les mouvements des objets de la scène [1]. Elle constitue donc une alternative potentiellement bien plus efficace que l?approche classique : agrégation de pixels proches puis test pour rejeter d?éventuels outliers, voir par exemple [8], ou que les approches reposant sur une estimation explicite du flot optique [16], problème essentiellement mal posé. Un point délicat pour gérer correctement les mouvements locaux par comparaison de patchs consiste à développer des méthodes de comparaison qui soient robustes aux déformations géométriques. Un autre point important sera d?étudier la nécessité d?un recalage global rigide pour forcer l?hypothèse de redondance des patchs entre les vues. Patchs et modèle réaliste de bruit La modélisation réaliste du bruit d?acquisition est indispensable au développement de méthodes efficaces de photographie computationnelle, en particulier pour calculer des estimateurs optimaux de type maximum de vraisemblance. En particulier, le modèle de bruit gaussien i.i.d. s?avère très limité dans un grand nombre de situations. Nous partirons de la modélisation récemment proposée dans notre groupe [2] pour les différentes modalité multi-images envisagées. Critères de décision pour l?appariement de patchs L?un des points importants pour les méthodes non-locale est de limiter les mises en correspondance erronées de patchs. Une manière élémentaire de traiter ce problème consiste à restreindre la zone spatiale de recherche. Ceci est sousoptimal et potentiellement difficile en présence d?importants mouvements. Une alternative consiste à développer des tests statistiques permettant d?accepter ou de rejeter la similarité des patchs [4]. Une première approche peut être de développer des tests classiques reposant sur le rapport de vraisemblance, ce qui nécessite un a priori sur les patchs. Outre la modélisation du bruit déjà évoquée, cette approche bénéficiera d?a priori sur la structure des patchs. Celui-ci pourra être du type mélange de gaussiennes [15, 10], ou s?appuyer sur d?autres statistiques des images naturelles. Patchs et données manquantes Les données manquantes constituent, après le mouvement, la deuxième grande difficulté de la restauration multi-images. Les sources de données manquantes sont nombreuses : saturation des pixels, occultation d?une partie de la scène et auto-occultation, reflets, etc. Selon les modalités utilisées pour la capture et le type de défaut, la structure des données manquantes va de pixels isolés à des régions entières de l?image. Pour traiter ces problème, une approche efficace introduite dans [15] repose sur une estimation itérative à partir d?une modélisation des patchs sous la forme d?un mélange de gaussiennes. Dans le cas du débruitage, l?approche a été nettement améliorée récemment en considérant un cadre bayésien [10]. Ce cadre ne permet néanmoins pas de traiter les données manquantes. Le développement d?un cadre bayésien adapté à ce problème est donc à envisager et devrait fonctionner pour le cas de données manquantes relativement modestes. Dans le cadre de zones plus importantes, il faut avoir recours à des méthodes d?inpainting, qui dans le cas du multi-images se rapprochent des problématiques d?inpainting vidéo [13, 11]. Applications Apporter des solutions à ces problèmes génériques a de nombreuses applications en restauration d?images et en phoroposé soit essentiellement méthodologique, les liens industriels de l?équipe d?accueil, en particulier avec l?entreprise DxO Labs, acteur majeur de la photographie grand public et computationnelle, seront un atout. Remarques additionnelles Le présent sujet de thèse devrait conduire à une ou plusieurs collaborations. En premier lieu, Andrés Almansa, chercheur CNRS au LTCI, travaille sur des thématiques proches et est un spécialiste des méthodes par patchs. Par ailleurs, Julie Delon (Université Paris Descartes) et Pablo Musé (Universidad de la República) sont des collaborateurs réguliers sur le thème de la photographie computationnelle, en particulier sur l?imagerie HDR, et pourrons être impliqués dans ce projet.