FENG Haifeng

Docteur
Équipe : MALIRE
Date de départ : 30/09/2012
https://lip6.fr/Haifeng.Feng

Direction de recherche : Bernadette BOUCHON-MEUNIER

Co-encadrement : LESOT Marie-Jeanne, DETYNIECKI Marcin

Etudes des liens entre couleurs et émotions à partir des annotations spontanées d'images

Cette thèse a pour objectif l'identification et la caractérisation de relations entre couleurs et émotions sur une base constituée d'images annotées. Plus précisément nous nous intéressons à la découverte automatique de relations entre trois concepts : les « couleurs objectives » données par le contenu chromatique des images, les « couleurs subjectives » présentes dans des étiquettes fournies lors de l'annotation spontanée des images, et les « émotions » également exprimées par le biais d'étiquettes associées spontanément aux images. Pour réaliser cette étude, nous construisons un corpus d'expérimentation basé sur le site web FlickR. Cette interface de gestion et partage d'images en ligne s'appuie sur un service d'indexation basé sur le « social tagging », qui permet aux créateurs des images d'étiqueter leurs ressources en leur laissant le libre choix des étiquettes. Nous avons collecté environ 22000 images annotées à la fois par des étiquettes chromatiques et émotionnelles, c'est-à-dire pour lesquelles les contenus chromatique et émotionnel ont été jugés importants par les utilisateurs. Dans un premier temps, nous étudions les relations entre les couleurs objectives et les émotions, en utilisant un algorithme d'arbre de décision. Ensuite, nous caractérisons les émotions à partir de couleurs subjectives, à nouveau à l'aide d'un algorithme d'arbre de décision, afin de pouvoir comparer les résultats avec ceux de l'étude précédente. De plus, pour approfondir cette dernière caractérisation nous utilisons une approche par règles d'association. Enfin, pour compléter ces deux études nous analysons les relations entre couleurs objectives et couleurs subjectives. Les caractérisations des 3 concepts sont établies sur diverses représentations chromatiques, incluant un codage objectif classique, un codage subjectif, et un niveau intermédiaire constitué d'un codage objectif interprété. Pour ce dernier, nous avons proposé, construit et analysé un dictionnaire visuel basé, non sur des hyperplans frontières discriminants entre couleurs, mais sur des points de référence représentatifs de chaque couleur. En ce qui concerne la caractérisation des émotions, notre approche révèle non seulement que les couleurs subjectives permettent de retrouver des relations connues dans la littérature psychologique (p. ex. entre noir et peur), mais aussi des relations moins attendues, par exemple entre rose et surprise. Si on se limite à un objectif de prédiction des émotions, qui reste difficile dans tous les cas, les codages subjectif et objectif interprété donnent des résultats similaires. Ceci signifie que tous deux sont également importants – d'un point de vue applicatif – pour la détection des émotions dans les images à partir des couleurs. Toutefois, d'un point de vue analytique, le codage subjectif semble plus proche des émotions ; en effet, il est défavorisé dans les expérimentations réalisées : d'une part la méthode de prédiction utilisée est plus favorable au codage objectif (codage numérique vs binaire), d'autre part, celui-ci est plus riche (contenant en effet toutes les couleurs vs une ou deux couleurs évoquées). Les relations entre les couleurs objectives et subjectives sont plus fortes que celles entre couleurs et émotions, ce qui semble attendu puisque ces relations sont plus immédiates. Les résultats expérimentaux montrent toutefois que l'identification des couleurs subjectives, ou couleurs saillantes, reste un problème difficile, indiquant que les annotations choisies spontanément ne sont pas en relation simple avec la couleur dominante des images ni des combinaisons des proportions des couleurs.

Soutenance : 15/12/2011

Membres du jury :

AKDAG Herman (LIASD - Université Paris 8) [Rapporteur]
BOUCHARD Carole (LCPI - Arts et Métiers ParisTech) [Rapporteur]
AIT YOUNES Amine (CResTIC - IUT de Reims-Châlons-Charleville)
BOUCHON-MEUNIER Bernadette (LIP6-UPMC)
DETYNIECKI Marcin (LIP6-UPMC)
GANASCIA Jean-Gabriel (LIP6-UPMC)
LESOT Marie-Jeanne (LIP6-UPMC)
OMHOVER Jean-François (LCPI - Arts et Métiers ParisTech)

Date de départ : 30/09/2012

Publications 2010-2011

Mentions légales
Carte du site