Identification des doigts sur interfaces tactiles multipoints - application au développement de nouvelles techniques d'interaction

Equipe et contact

Equipe MINT (Univ. Lille 1, CNRS & Inria Lille)

Mots-clés

Interaction tactile et gestuelle, interfaces tactiles multipoints, vision par ordinateur.

Sujet

Les interfaces tactiles multipoints connaissent un intérêt grandissant depuis l'apparition de l'iPhone d'Apple et de la table Surface de Microsoft en 2007. L'intérêt pour ces interfaces peut s'expliquer par l'utilisation des doigts pour interagir directement avec le contenu affiché ainsi que la possibilité d'utiliser plusieurs doigts simultanément pour manipuler des objets plus facilement (e.g. opération de translation, rotation et changement d'échelle en utilisant deux doigts) ou invoquer des commandes. Par rapport à l'interaction indirecte avec la souris via un pointeur, l'interaction directe a l'inconvénient d'occulter le contenu affiché sous les doigts et ne permet pas de survoler les objets [1]. Il est ainsi difficile de sélectionner de petits objets ou d'offrir un retour visuel lors du survol d'éléments particuliers de l'interface [2].

Les informations disponibles sur les interfaces commerciales actuelles sont la position, la pression, voire l'orientation d'un ou plusieurs doigts en contact avec la surface. Il n'est cependant pas possible d'identifier les doigts ou les mains en contact. Des prototypes de laboratoires ont exploré l'utilisation de systèmes de vision pour suivre et identifier les doigts [3]. La précision de mesure de la position des doigts ainsi que la discrimination du contact entre les doigts et une surface restent cependant limitées.

L'objectif de ce stage de Master sera d'étudier les méthodes existantes d'identification des doigts afin de proposer une méthode robuste compatible avec les technologies multipoints existantes (e.g. capacitives). Il s'agira ensuite de mettre à profit ces informations supplémentaires afin de développer de nouvelles techniques d'interaction permettant de résoudre les problèmes d'occultation, de précision de sélection et de survol d'objets.

Le travail à mener est le suivant :

• faire un état de l'art des techniques d'identification des doigts ;
• proposer une méthode d'identification robuste compatible avec les technologies actuelles ;
• proposer et développer une ou plusieurs techniques d'interaction exploitant les possibilités offertes par la discrimination des doigts ;
• réaliser un démonstrateur permettant de comparer les techniques proposées ;
• évaluer les techniques mises en œuvre dans le démonstrateur par le biais d'expériences contrôlées.

Références

[1] W. Buxton, R. Hill and P. Rowley. Issues and techniques in touch-sensitive tablet input. In Proceedings of SIGGRAPH'85, pages 215–224, 1985. ACM. [ACM]

[2] H. Benko, A. D. Wilson and P. Baudisch. Precise selection techniques for multi-touch screens. In Proceedings of CHI '06, pages 1263–1272, 2006. ACM. [ACM]

[3] J. Letessier and F. Bérard. Visual tracking of bare fingers for interactive surfaces. In Proceedings of UIST'04, pages 119–122, 2004. ACM. [ACM]

Lieu d'accueil et rémunération