Direction de recherche : Christophe MARSALA

Co-encadrement : RIFQI Maria, PINNA Andrea

Reconnaissance personnalisée des émotions à partir de signaux physiologiques et implémentation embarquée

Cette thèse étudie la reconnaissance des émotions à partir de signaux physiologiques dans le contexte des jeux vidéo et la faisabilité de sa mise en œuvre sur un système embarqué. Les défis suivants sont abordés : la relation entre les états émotionnels et les réponses physiologiques dans le contexte du jeu, les variabilités individuelles des réponses psycho-physiologiques et les problèmes de mise en œuvre sur un système embarqué. Les contributions majeures de cette thèse sont les suivantes. ? Premièrement, nous construisons une base de données multimodale dans le cadre de l'Affective Gaming (DAG). Cette base de données contient plusieurs mesures concernant les modalités objectives telles que les signaux physiologiques de joueurs et des évaluations subjectives sur des phases de jeu. A l'aide de cette base, nous présentons une série d'analyses effectuées pour la détection des moments marquant émotionnellement et la classification des émotions à l'aide de diverses méthodes d'apprentissage automatique. Deuxièmement, nous étudions la variabilité individuelle de la réponse émotionnelle et proposons un modèle basé sur un groupe de joueurs déterminé par un clustering selon un ensemble de traits physiologiques pertinents. Nos travaux mettent en avant le fait que le modèle proposé, basé sur un tel groupe personnalisé, est plus performant qu'un modèle général ou qu'un modèle spécifique à un utilisateur. Troisièmement, nous appliquons la méthode proposée sur un système ARM A9 et montrons que la méthode proposée peut répondre à l'exigence de temps de calcul.

Publications 2015-2018

• 2018
  • W. Yang : “Towards user-independent emotion recognition and implementation on hardware”, soutenance de thèse, soutenance 27/02/2018, direction de recherche Marsala, Christophe, co-encadrement : Rifqi, Maria, Pinna, Andrea (2018)
  • W. YANG, M. Rifqi, Ch. Marsala, A. Pinna : “Physiological-Based Emotion Detection and Recognition in a Video Game Context”, IEEE International Joint Conference on Neural Networks (IJCNN), Rio, Brazil, pp. 194-201 (2018)
  • M. Liao, Q.‑D. To, C. Léonard, W. YANG : “Prediction of thermal conductance and friction coefficients at solid-gas interface from statistical learning of collisions”, Physical Review E, (American Physical Society (APS)) (2018)
• 2016
  • W. YANG, Ch. Marsala, A. Pinna, M. Rifqi, P. Garda : “Arbres de décision flous adaptatifs”, 25^e rencontres francophones sur la logique floue et ses applications (LFA), La Rochelle, France (2016)
• 2015
  • W. YANG, A. Gomes Da Silva, M.‑L. Picard : “COMPUTING DATA QUALITY INDICATORS ON BIG DATA STREAMS USING A CEP”, Computational Intelligence for Multimedia Understanding (IWCIM), 2015 International Workshop on, Prague, Czechia (2015)