Sujet de recherche Master MIAGE et INFO dans l'équipe FOX-MIIRE axe vidéo

Année 2012-2013

Titre : Reconnaissance d’émotions dans les flux vidéo

Laboratoire d’Informatique Fondamentale de Lille, Equipe FOX-MIIRE

Encadrants et contacts : Marius.Bilasco@lifl.fr, Taner.Danisman@lifl.fr

Mots clés

émotions, détection des éléments du visage, quantification du mouvement des éléments du visage, analyse gestuelle

Contexte

Le but de ce travail est d’étudier l’impact de la dynamique du visage et des gestes sur l’extraction des émotions à partir des flux vidéo. Actuellement, il y a un vrai engouement autour des technologies permettant de reconnaître les actions réalisées par les humains à l’aide des systèmes avancées des caméras et/ou capteurs. Nous nous intéressons à une classe spécifique d’actions qui correspondent à la manifestation des émotions telles que la joie, la tristesse, l’énervement. La reconnaissance d’émotion peut servir dans différents domaines impliquant de l’interaction homme-machine tels que dans l’industrie du commerce (tables de vente interactives), dans l’aide des personnes à domicile, etc.

L’équipe FOX s’intéresse de manière générale à l’extraction des informations de la vidéo et à des applications au comportement humain. Dans nos travaux passés, nous avons déjà exploré l’extraction des émotions de base (telle que la joie, cf. image ci-dessous) à partir des images en utilisant uniquement des informations statiques telles que les distances entre les régions significatives du visage (sourcils, yeux, nez, bouche, etc.). Si ces informations sont suffisante pour caractériser des émotions simples et plutôt statiques telle que la joie. En effet, dès que l’on aperçoit le visage d’une personne nous pouvons de rendre compte si la personne exprime la joie. Cependant, elles ne suffisent plus lorsque l’on étudie des émotions plus complexes telle que l’énervement. Nous croyons que l’apport informationnel issu de l’étude du mouvement de la personne dans sa globalité peut augmenter de manière importante la détection des émotions et la quantification de leur intensité.

Objectifs

Le travail à mener pendant ce stage concerne :

1) l’état de l’art de la détection des émotions à partir des éléments du visage et de la dynamique de la personne suivi

2) la proposition d’une méthode pour la reconnaissance d’émotions dynamiques telles que l’énervement

3) la réalisation d’un prototype pour étudier la faisabilité et les performances de la méthode proposée

4) évaluation du prototype en temps réel dans un contexte laboratoire, ainsi que sur des vidéos tests

Possibilité de poursuivre en thèse.

Lieu de stage

IRCICA, Parc de la Haute Borne, Villeneuve d’Ascq

Rémuneration

Gratification

Références

1. Taner Danisman, Marius Bilasco, Nacim Ihaddadene and Chabane Djeraba, "Automatic facial feature detection for facial expression ", VISAPP 2010, Angers, France.

2. Badioze Zaman H., Robinson P., Petrou M., Olivier P., Schröder H., Shih T., "Detecting Emotions from Connected Action Sequences" in Visual Informatics: Bridging Research and Practice, Lecture Notes in Computer Science 2009, vol. 5857

3. Metallinou, A.; Busso, C.; Sungbok Lee; Narayanan, S.; , "Visual emotion recognition using compact facial representations and viseme information," Acoustics Speech and Signal Processing (ICASSP), 2010 IEEE International Conference on , vol., no., pp.2474-2477, 14-19 March 2010

4. Tingfan Wu; Bartlett, M.S.; Movellan, J.R.; , "Facial expression recognition using Gabor motion energy filters," Computer Vision and Pattern Recognition Workshops (CVPRW), 2010 IEEE Computer Society Conference on , vol., no., pp.42-47, 13-18 June 2010