FOURNIER Louis

Doctorant
Équipe : MLIA
Date d'arrivée : 01/10/2021
    Sorbonne Université - LIP6
    Boîte courrier 169
    Couloir 26-00, Étage 5, Bureau 513
    4 place Jussieu
    75252 PARIS CEDEX 05

Tel: 01 44 27 88 07, Louis.Fournier (at) nulllip6.fr
https://lip6.fr/Louis.Fournier

Direction de recherche : Sylvain LAMPRIER

Co-encadrement : OYALLON Edouard

La Mémorisation en Apprentissage Profond

Les réseaux de neurones profonds obtiennent des performances exceptionnelles sur de nombreux benchmarks, mais l'ingrédient clé de leur succès reste inconnu. Ceci est principalement dû à la nature hautement dimensionnelle de ces objets, qui ont de nombreux paramètres et des inputs très grands. Ils ont tendance à bien se généraliser sur de nouveaux testsets, ce qui implique que ces architectures ont mémorisé des attributs importants d'un ensemble de données. Au cours de cette thèse, nous proposons d'étudier ces attributs d'un point de vue théorique et numérique: quelle est leur nature, comment sont-ils appris, comment sont-ils stockés ? Nous visons à étudier deux types de mécanismes qui peuvent être abordés indépendamment tout en étant parfaitement connectés: la mémorisation par les symétries d'une tâche supervisée ou non supervisée, et la mémorisation par les données. Notre objectif est de dériver une classe de faible complexité (dans le sens de la généralisation, parfois mesurée par le nombre de paramètres) de modèles capables d'atteindre des performances de pointe sur ImageNet: comment les réseaux de neurones profonds mémorisent-ils les bons attributs des données ? Quel est le modèle simplifié sous-jacent de ce phénomène de mémorisation ? Nos travaux théoriques se concentreront sur la notion de symétrie dans les données et les modèles, et sur le lien entre la dimensionnalité intrinsèque des structures de données et les classes de complexité des modèles d'apprentissage profond. Au-delà de ces nouvelles avancées théoriques, aborder ces questions peut être utile pour au moins 2 applications majeures de l'apprentissage automatique : le manque de données et l'interprétabilité, car elles dépendent significativement de la complexité des modèles utilisés. Une attention particulière sera accordée à l'obtention d'une théorie qui réduise l'écart entre les expériences numériques et les résultats théoriques, afin d'éviter des bornes vides