Ce projet de recherche doctorale est publié a été réalisé par Andres ALMANSA

Description d'un projet de recherche doctoral

Comparaison modèle d'image contre supplément d'information pour la super-résolution

Mots clés :

Résumé du projet de recherche (Langue 1)

La super-résolution désigne un ensemble de techniques capables de produire à partir d'une ou plusieurs images de basse résolution une image à haute résolution. Jusqu'à présent le problème a été abordé sous divers angles. La principale classification que nous pouvons faire entre les différentes techniques (mis à part les divers outils mathématiques utilisés) est la dichotomie mono/multi-image (voir [10] pour un panorama des méthodes de super-résolution). Dans toute technique de restauration, dont fait partie la super-résolution, il y a deux composantes: Les données et le modèle. Les données sont ce qui a été acquis de la scène. Le modèle est l'ensemble des a priori que l'on pose sur les images. Ces deux composantes sont bien illustrées par les méthodes variationnelles où l'on cherche à minimiser une fonctionnelle faisant intervenir explicitement un terme d'attache aux données et un terme de régularité. Ces termes peuvent aussi, très, facilement s'interpréter comme un a priori statistique sur la distribution de probabilité des images et du bruit (voir [12] pour un exemple). Nous appelons "modèle d'image" un a priori sur la distribution de probabilité des images naturelles. Beaucoup de modèles d'images ont été proposés. -# modèle Tychonov: Qui s'interprète comme un modèle d'images invariantes par translation et générées comme convolution d'un processus blanc par un filtre linéaire. Son principal avantage est la simplicité de manipulation et d'implémentation numérique. -# Modèle feuille mortes [2]: Plus adapté à la formation des images comme superposition d’objets il permet d’expliquer les marginales de distributions de coefficients d’ondelettes des images naturelles sans pour cela fournir une méthode explicite de restauration. -# Variation totale: Il a été remarqué que le modèle quadratique (que nous avons appelé Tychonov) ne permet pas de reproduire les discontinuités des images qui sont à la fois prévus par le modèle feuilles mortes et par notre expérience visuelle des images. Rudin Osher et Fatemi [17] ont proposé une énergie de régularisation pour la restauration (originellement pour le débruitage) basée sur la variation totale. Ce travail fondateur en traitement des images a eu un succès phénoménal et donna lieu à toute une série de travaux. Citons comme exemple le zoom par variation totale [14]. -# L'acquisition compressée/parcimonie (compressed sensing/sparsity) : Le modèle parcimonieux est celui qui suppose qu'un signal est une somme de peu de composantes dans une certaine base. Il prédit la reconstruction exacte d'un signal à partir d’un petit nombre (par rapport à la dimension du signal ou de l'image) de projections sur une autre base sont connues (voir [7] pour un travail fondamental sur le sujet). On se rend compte qu'il est une généralisation de choses connues depuis longtemps en traitement du signal et des images. Par exemple, la variation totale est un modèle de parcimonie dans la base des différences locales entre pixels. Néanmoins les apports théoriques de l’acquisition compressée ont permis un extraordinaire développement de méthodes nouvelles basées, par exemple, sur l’apprentissage de dictionnaires [15,18]. Ces nouveaux modèles arrivent à des résultats spectaculaires dans le cas de la reconstruction à partir de données partielles. Ils son tune forme performante de super-résolution (si nous comprenons la super-résolution au sens général de découverte de nouvelles information au sujet d’une scène) mono-image. Un autre apport de l’introduction théorique de la parcimonie en traitement des images a été le développement de méthodes d’optimisation rapide rendant l’utilisation de ce modèle utilisable en pratique. (voir la suite logiciel l1-magic, par exemple ou encore [5]). {L'attache aux données:} le plus souvent l’attache aux données reflète pour sa part, le caractère blanc du bruit qui affecte les images. Cependant, dans le cas de la super-résolution multi-image, la multiplication des données peut rendre la partie attache aux données de plus en plus stable et inversible sans recours à une régularisation (ou à un modèle d’images). Simplement dit, l’augmentation du nombre d’équations jusqu’à égaler ou dépasser le nombre d’inconnues rend le problème inversible, évidemment en supposant les équations bien indépendantes [11]. Dans le même registre [8] on montre que, contrairement à la pratique courante, la regularisation n'est pas nécessaire losrque l'on utilise une mire de callibration pour estimer le noyau de flou superrésolu d'un apareil photo, même avec une seule capture, même dans des conditions aliasées. Ceci à condition que ladite mire soit connue et suffisamment irrégulière. Outre le lien méthodologique, ces estimations très précises et sous-pixelliques du noyau de flou seront utilisées dans ce travail comme donnée d'entrée dans une procédure de superrésolution.

Résumé du projet de recherche (Langue 2)

{La première question} à laquelle devra répondre la thèse est le rapport qu’il y a entre apport d’un modèle et apport d’informations supplémentaires sous la forme d’images acquises. Nous pouvons pressentir que la réponse dépendra de la fiabilité des données (par exemple: le fait que la scène ait ou pas varié entre deux prises de vues) ainsi que du nombre de celles-ci. Il faudra pour cela développer des indicateurs statistiques capables de guider l’étape de restauration (si possible localement) vers le choix de la voie du modèle ou, au contraire, de satisfaire très précisément aux observations. Par ailleurs, grâce à cette étude nous espérons apporter des réponses aux questions quant aux limites théoriques de la super-résolution (voir, par exemple [4,13,16]) et savoir à quel point le choix d’un modèle judicieux peut permettre de dépasser les limites théoriques étudiées dans ces articles.

Dans ce sens cette thèse peut être vue comme une généralisation (non-binaire et au cas de la superrésolution) du ``burst denoising'' [6] où une décision binaire est faite entre une moyenne de plusieurs images globalement recalées, ou un débruitage non-local quand le recalage n'est pas cohérent.

Dans un premier temps il faudra comparer des méthodes de super-résolution mono-image (qui ne reposent que sur le modèle qu’elles présupposent) à des méthodes basiques de super-résolution (qui font une hypothèse de type Tychonov sur les images, voire encore plus simpliste) ayant accès à plusieurs images acquises de la même scène. De la comparaison des deux types de super-résolution viendra la déduction de critères statistiques permettant de décider le poids relatif données/modèle pour obtenir la meilleure super-résolution possible.

{Une deuxième question} concerne l'apport de modèles de restauration basées sur l'échantillonnage irrégulier [9,1], où les coordonnées des pixels fusionées n'ont pas besoin d'être arrondies à l'entier le plus proche, pratique plus courante en superrésolution.

Enfin la méthode pourra être adaptée à l'obtention d'un demosaickage multi-image, plus fiable que les techniques actuelles mono-image, qui reposent sur des hypothèses de cohérence entre les différents canaux qui ne sont pas toujours satisfaites.

Informations complémentaires (Langue 2)

[1] A. Almansa, J. Caron, and S. Durand. Deblurring of irregularly sampled images by tv regularization
in a spline space. In Image Processing (ICIP), 2010 17th IEEE International Conference on, pages
1181–1184. IEEE, 2010.

[2] L. Alvarez, Y. Gousseau, and J.M. Morel. The size of objects in natural and artificial images.
Advances in Imaging and Electron Physics, 111:167–242, 1999.

[3] S.D. Babacan, R. Molina, and A.K. Katsaggelos. Variational bayesian blind deconvolution using a
total variation prior. Image Processing, IEEE Transactions on, 18(1):12–26, 2009.

[4] S. Baker and T. Kanade. Limits on super-resolution and how to break them. Pattern Analysis and
Machine Intelligence, IEEE Transactions on, 24(9):1167–1183, 2002.

[5] Y. Boykov, O. Veksler, and R. Zabih. Fast approximate energy minimization via graph cuts. Pattern
Analysis and Machine Intelligence, IEEE Transactions on, 23(11):1222–1239, 2001.

[6] T. Buades, Y. Lou, JM Morel, and Z. Tang. A note on multi-image denoising. In Local and Non-
Local Approximation in Image Processing, 2009. LNLA 2009. International Workshop on, pages
1–15. IEEE, 2009.

[7] E.J. Candes and T. Tao. Near-optimal signal recovery from random projections: Universal encoding
strategies? Information Theory, IEEE Transactions on, 52(12):5406–5425, 2006.

[8] M. Delbracio, P. Mus ́, A. Almansa, and J.M. Morel. The non-parametric sub-pixel local point-spread function estimation is a well posed problem. IJCV, (to appear), 2011.

[9] G. Facciolo, A. Almansa, J.F. Aujol, and V. Caselles. Irregular to regular sampling, denoising and
deconvolution. Multiscale Modeling & Simulation, 7(4):1574–1608, 2009.

[10] S. Farsiu, D. Robinson, M. Elad, and P. Milanfar. Advances and challenges in super-resolution.
International Journal of Imaging Systems and Technology, 14(2):47–57, 2004.

[11] M. Gastaud, S. Ladjal, and H. Maˆ ıtre. Blind filter identification and image superresolution using
subspace methods. EUSIPCO, 2007.

[12] S. Geman, D. Geman, and S. Relaxation. Gibbs distributions, and the bayesian restoration of
images. IEEE Transactions on Pattern Analysis and Machine Intelligence, 6(2):721–741, 1984.

[13] Z. Lin and H.Y. Shum. On the fundamental limits of reconstruction-based super-resolution algo-
rithms. In Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001
IEEE Computer Society Conference on, volume 1, pages I–1171. IEEE, 2001.

[14] F. Malgouyres and F. Guichard. Edge direction preserving image zooming: a mathematical and
numerical analysis. SIAM Journal on Numerical Analysis, 39(1):1–37, 2002.

[15] S. Mallat and G. Yu. Super-resolution with sparse mixing estimators. Image Processing, IEEE
Transactions on, 19(11):2889–2900, 2010.

[16] D. Robinson and P. Milanfar. Statistical performance analysis of super-resolution. Image Processing,
IEEE Transactions on, 15(6):1413–1428, 2006.

[17] L.I. Rudin, S. Osher, and E. Fatemi. Nonlinear total variation based noise removal algorithms.
Physica D: Nonlinear Phenomena, 60(1-4):259–268, 1992.

[18] G. Yu, G. Sapiro, and S. Mallat. Solving inverse problems with piecewise linear estimators: from
gaussian mixture models to structured sparsity. Arxiv preprint arXiv:1006.3056, 2010.