Direction de recherche : Bernadette BOUCHON-MEUNIER

Co-encadrement : RIFQI Maria

Modélisation de systèmes émotionnels à partir de signaux physiologiques et application dans la conception de jeux vidéo

Les émotions jouant un rôle essentiel dans les rapports humains, il est important de développer des méthodologies pour évaluer les états émotionnels ressentis par un utilisateur lorsqu'il interagit avec des ordinateurs. Dans le domaine de la conception des jeux vidéo en particulier, ce besoin est primordial. Ces dernières années notamment, les jeux vidéo ont bénéficié d'une croissance de popularité spectaculaire, non seulement comme forme de divertissement mais aussi comme un des plus puissants canaux éducatifs, domestiques comme institutionnels. En effet, les jeux vidéo constituent maintenant une partie de la culture de notre société et leur impact pour former et influencer les générations futures ne peut être ignoré. Avec toutes ces technologies florissantes et tous ces modélisations théoriques, il est urgent de penser à de nouveaux paradigmes pour optimiser les expériences des utilisateurs durant leurs interactions avec des ordinateurs. Pourtant, quantifier ce genre d'expériences est une aventure assombrie par des ambiguïtés. Dans ce contexte, parmi un vaste éventail de moyens possibles pour accéder aux réactions émotionnelles de l'utilisateur telles que l'expression faciale, la voix ou les paroles, les mesures physiologiques ont un avantage clé parce qu'elles permettent un accès à des processus inconscients. En fait, il est intéressant de voir que les signaux physiologiques fournissent une compréhension des sentiments humains que les sujets eux-mêmes peuvent ne pas réaliser consciemment. Pourtant, faire correspondre des motifs physiologiques à des émotions reste encore une tâche extrêmement difficile et soulève des questions cruciales sur la validité des nouveaux paradigmes comme systèmes intelligents réellement émotionnels. Dans cette thèse, nous abordons la possibilité de développer un modèle adéquat pour répondre à certaines de ces question fondamentales. Par conséquent, nous avons mené des expériences dans lesquelles les mesures physiologiques de joueurs jouant sur un jeu d'action ont été enregistrées pour découvrir des signatures physiologiques typiques de diverses expériences de jeu. Tout d'abord, pour garantir la viabilité des modèles développés dans une application réelle, nous avons concentré nos efforts sur la conception d'une expérience garantissant un contexte le plus proche possible de situations humaines normales. Ensuite, nous avons utilisé un modèle d'apprentissage automatique le plus adapté à cette tâche particulière. Tandis que certains modèles actuels ont pu montré leurs efficacité dans la classification (discrimination d'états cognitifs), ils ne semblent pas suffisamment robustes pour répondre au problème de la caractérisation psychophysiologique, c'est-à-dire à induire des connaissances facilement compréhensibles. Dans cette thèse, afin d'exploiter les résultats expérimentaux, nous avons considéré deux méthodologies : l'apprentissage automatique par des arbres de décision flous, et la construction automatique de prototypes. Chacune de ces méthodologies possède ses propres spécificités appropriées pour la mise en évidence des relations psychophysiologiques caractéristiques. En fait, ces deux approches peuvent être comparées de deux manières principales. La première en tant que outils de caractérisation: tandis que les propriétés fondamentales peuvent être résumées par des prototypes flous grâce aux calculs de typicalité, les arbres de décision représentent aussi les connaissances de manières compréhensibles grâce aux règles qu'ils induisent. La seconde, dans leur capacité à représenter des transitions continues: les deux approches partagent cette capacité puisque nous avons utilisé la version flou de ces méthodes.
Pour résumer, comme une application de la vraie vie, nous visons à améliorer les expériences de l'utilisateur de jeux vidéo à travers un renouvellement continu de l'intérêt du joueur par une adaptation à ses états cognitifs. Pour cela, deux études expérimentales ont été menées; l'une pour étudier profondément les propriétés de caractérisation de divers mesures physiologiques en relation avec les états émotionnels, l'autre, pour tester le modèle construit en évaluant les états émotionnels en relation avec diverses séquences de jeu. Grâce à ce modèle, nous avons développé un contrôleur flou psychophysiologique capable de correctement reconnaître différents niveaux de plaisir du joueur. Notre étude nous semble digne d'être appliquée dans un système affectif réel, et capable de mesurer de manière continue les émotions de l'utilisateur.

Publications 2009-2019

• 2019
  • D. Machanje, J. Orero, Ch. Marsala : “Distress Recognition from Speech Analysis: A Pairwise Association Rules-Based Approach”, IEEE Symposium Series on Computational Intelligence (SSCI) - Computational Intelligence for Engineering Solutions (CIES), Xiamen, China (2019)
• 2018
  • D. Machanje, J. Orero, Ch. Marsala : “A 2D-Approach Towards the Detection of Distress Using Fuzzy K-Nearest Neighbor”, Information Processing and Management of Uncertainty in Knowledge-Based Systems. Theory and Foundations. IPMU 2018, vol. 853, Information Processing and Management of Uncertainty in Knowledge-Based Systems. Theory and Foundations, Cadix, Spain, pp. 762-773, (Springer International Publishing) (2018)
• 2011
  • J. Orero : “Modélisation de systèmes émotionnels à partir de signaux physiologiques et application dans la conception de jeux vidéo”, thèse, soutenance 31/05/2011, direction de recherche Bouchon-meunier, Bernadette, co-encadrement : Rifqi, Maria (2011)
• 2010
  • F. Levillain, J. Orero, M. Rifqi, B. Bouchon‑Meunier : “Characterizing Player’s Experience From Physiological Signals Using Fuzzy Decision Trees”, CIG 2010 - IEEE Symposium on Computational Intelligence and Games, Copenhagen, Denmark, pp. 75-82, (IEEE) (2010)
  • J. Orero, F. Levillain, M. Damez‑Fontaine, M. Rifqi, B. Bouchon‑Meunier : “ASSESSING GAMEPLAY EMOTIONS FROM PHYSIOLOGICAL SIGNALS: A FUZZY DECISION TREES BASED MODEL”, INTERNATIONAL CONFERENCE ON KANSEI ENGINEERING AND EMOTION RESEARCH 2010, Paris, France, pp. 1684-1693 (2010)
• 2009
  • Th. Baccino, Ch. Tijus, F. Jouen, F. Levillain, F. Lallemand, M. Damez, B. Bouchon‑Meunier, M.‑J. Lesot, J. Orero, M. Rifqi : “Couplage de données multisources à l’oculomotricité”, Journée de l’oculomotricité, Paris, France (2009)