Ce projet de recherche doctorale est publié a été réalisé par ERIC LECOLINET

Description d'un projet de recherche doctoral

Intégration du numérique dans l'analogique : augmentation d'objets tangibles

Mots clés :

Résumé du projet de recherche (Langue 1)

Cette thèse porte sur l'augmentation d'objets matériels (documentation papier, dispositifs de contrôle analogiques, etc.) par de l'information numérique. Relevant du domaine de la réalité augmentée, elle vise à offrir une forme de continuité entre les objets physiques du monde réel et les informations qui leurs sont associées dans le monde informatique. Plus précisément, elle s'inscrit dans le contexte de l'aide à l'utilisation de systèmes complexes, en l'occurrence dans des salles de commande servant au contrôle de processus industriels sensibles. L'objectif est d'aboutir à un système de contrôle hybride où le numérique sert à améliorer l'utilisation d'un système analogique de diverses manières : par exemple pour faciliter son apprentissage et l'entrainement des utilisateurs, pour des tâches de maintenance et de vérification de bon fonctionnement, ou encore pour aider interactivement l'utilisateur en cas de panne ou d'incident. L'objectif de la thèse sera de concevoir, implémenter et évaluer expérimentalement les composantes d'un tel système en vue d'obtenir un cadre générique sur la conception de systèmes de contrôle hybride. La possibilité d'intégration de plusieurs représentations (analogiques et numériques) constituera un point central, ceci dans le but de permettre la transition d'un monde à l'autre, soit en enrichissant un environnement physique avec des capteurs et actuateurs, soit en liant des interfaces papier avec des représentations numériques. Considérant la variété des technologies de couplage réel/virtuel disponibles, on commencera donc par établir un espace de conception adapté au problème posé. On s'intéressera en particulier aux méthodes permettant d'offrir une aide interactive contextualisée sur les objets physiques à l'aide d'un dispositif mobile, en tenant compte des contraintes liées aux environnements de haute sûreté. On considèrera également les possibilités de couplage fin offertes par les technologies de type papier augmenté. Outre l'utilisation de dispositifs mobile, ce type de couplage pourra aussi recourir à des technologies permettant la superposition d'informations numériques, comme les picoprojecteurs. On s'intéressera aussi au couplage inverse, du numérique vers le tangible, afin de guider la recherche d'objets physiques à partir de données numériques. Au cours de ce travail on s'interrogera sur le type de visualisations graphiques qui sont adaptées à un tel contexte et on établira la liste de leurs propriétés. On s'intéressera également aux entrées, c'est-à-dire aux moyens permettant à l'utilisateur d'interagir avec le système, en tenant compte du fait qu'il est susceptible d'être en situation de mobilité. On pourra enfin s'intéresser aux aspects collaboratifs du contrôle d'un système complexe. Les technologies mobiles servant d'intermédiaire entre le monde physique et le monde numérique, peuvent aussi jouer ce rôle entre les divers intervenants. Le but visé est alors d'apporter une meilleure perception des actions effectuées par autrui et d'obtenir ainsi une meilleure compréhension de l'activité globale des intervenants. {{{Références}}} Azuma R.T., A survey of augmented reality. In Presence: Teleoperators and Virtual Environments 6, 4 (August 1997), MIT Press, 355-385. Coutrix, C. and Nigay, L. 2006. Mixed reality: a model of mixed interaction. In Proceedings of the Working Conference on Advanced Visual interfaces. AVI '06. ACM, 43-50. Forlines, C., Balakrishnan, R., Beardsley, P., van Baar, J., and Raskar, R. 2005. Zoom-and-pick: facilitating visual zooming and precision pointing with interactive handheld projectors. In Proceedings of the ACM Symposium on User interface Software and Technology. UIST '05. ACM, 73- 82. Jung, E., Oh, S., and Nam, Y. 2007. Handheld AR indoor guidance system using vision technique. In Proceedings of the ACM Symposium on Virtual Reality Software and Technology. VRST '07. ACM, 47-50. Mackay, W.E., Letondal, C., Pothier, G., Bøegh K. and Sørensen, H. 2002. The Missing Link: Augmenting Biology Laboratory Notebooks. In Proc. ACM Symposium on User Interface Software and Technology. UIST'02. ACM, pp 41-50. Malacria, S., Pietrzak, T., Lecolinet, E. S-Notebook. 2012. Augmenting Mobile Devices with Interactive Paper for Data Management. In Proc. Advanced Visual Interfaces AVI, ACM. 733–736 Milgram, Paul, Haruo Takemura, Akira Utsumi, and Fumio Kishino. Augmented Reality: A Class of Displays on the Reality- Virtuality Continuum. SPIE Proceedings volume 2351: Telemanipulator and Telepresence Technologies (Boston, MA, 31 October - 4 November 1994), 282-292. Rekimoto, J. and Nagao, K. 1995. The world through the computer: computer augmented interaction with real world environments. In Proceedings of the ACM Symposium on User interface and Software Technology. UIST '95. ACM, 29-36. Song H. Guimbretière F., Grossman T., Fitzmaurice G. 2010. MouseLight: Bimanual Interaction on Paper using a Digital Pen and a Spatially-Aware Mobile Projector. Proceedings of CHI'10. ACM. 2451 – 2460. Theophanis Tsandilas T, 2012. Interpreting Strokes on Paper with a Mobile Assistant. Proc. ACM Symposium on User Interface Software and Technology (UIST), ACM. hal-00589698, version 1 Tsandilas T, Letondal C, Mackay W. Musink: Composing Music through Augmented Drawing. Proceedings of CHI'09. ACM Vogel D., Balakrishnan R. 2010. Direct pen interaction with a conventional graphical user interface. Human-Computer Interaction. 1532-7051, Vol. 25, Issue 4. p. 324-388. Wagner, D. and Schmalstieg, D. 2006. Handheld Augmented Reality Displays. In Proceedings of the IEEE Conference on Virtual Reality (March 25 - 29, 2006). VR. IEEE Computer Society, Washington, DC, 321.

Résumé du projet de recherche (Langue 2)

Réalité augmentée, couplage tangible/numérique, interfaces tangibles, informatique portée, représentations multimodales, interaction mobile