Direction de recherche : Hichem SAHBI

Co-encadrement : STOIAN Andrei

Apprentissage actif profond pour la reconnaissance visuelle à partir de peu d'exemples

L’analyse automatique d’images a permis d’améliorer l’exploitation des capteurs d’image, avec des données qui proviennent de différents capteurs tels que des caméras de téléphone, des caméras de surveillance, des imageurs satellites ou encore des drones. L’apprentissage profond obtient d’excellents résultats dans les applications d’analyse d’images où de grandes quantités de données annotées sont disponibles, mais apprendre un nouveau classifieur d’images à partir de zéro est une tâche difficile. La plupart des méthodes de classification d’images sont supervisées, nécessitant des annotations, ce qui représente un investissement important. Différentes solutions d’apprentissage frugal (avec peu d’exemples annotés) existent, notamment l’apprentissage par transfert, l’apprentissage actif, l’apprentissage semi-supervisé ou bien le méta-apprentissage. L’objectif de cette thèse est d’étudier ces solutions d’apprentissage frugal pour des tâches de reconnaissance visuelle, notamment la classification d’images et la détection des changements dans des images satellites. Ainsi, le classifieur est entraîné de façon itérative en commençant avec très peu de données, et en demandant à l’utilisateur d’annoter le moins possible de données pour obtenir des performances satisfaisantes. L’apprentissage actif profond a été étudié initialement avec d’autres méthodes et nous a semblé le plus adapté à notre problématique métier, nous avons donc privilégié cette solution. Nous avons développé dans cette thèse une première approche interactive, où nous posons les questions les plus informatives sur la pertinence des données à un oracle (annotateur). En fonction de ses réponses, une fonction de décision est mise à jour itérativement. Nous modélisons la probabilité que les échantillons soient pertinents, en minimisant une fonction objectif capturant la représentativité, la diversité et l’ambiguïté des données. Les données avec une probabilité élevée sont ensuite sélectionnées pour annotation. Nous avons fait évoluer cette approche, en utilisant l’apprentissage par renforcement pour pondérer dynamiquement et précisément l’importance de la représentativité, l’ambiguïté et la diversité des données à chaque cycle d’apprentissage actif. Finalement, notre dernière approche consiste en un modèle d’affichage qui sélectionne des exemples virtuels les plus représentatifs et divers, qui remettent en question le modèle appris, de sorte à obtenir un modèle très discriminatoire dans les itérations suivantes de l’apprentissage actif. Les bons résultats obtenus face aux différentes baselines et l’état de l’art, en détection de changements dans des images satellites et en classification d’images, ont permis de démontrer la pertinence des modèles d'apprentissage frugal proposés.

Publications 2021-2023