VENIAT Tom

Docteur
Équipe : MLIA
Date de départ : 01/07/2021
https://lip6.fr/Tom.Veniat

Direction de recherche : Ludovic DENOYER

Co-encadrement : RANZATO Marc'Aurelio

distributed machine learning

La récente augmentation de la puissance de calcul et de la quantité de données disponibles ont catalysé la montée en popularité des algorithmes d'apprentissage profond (deep learning). Cependant, ces 2 facteurs combinés à l'empreinte mémoire et énergétique de ces algorithmes, leur latence en inférence ainsi que l'expertise nécessaire pour les construire sont autant d'obstacles empêchant leur utilisation dans un plus grand nombre d'applications. Dans cette thèse, nous proposons plusieurs méthodes permettant de construire l'architecture des modèles de deep learning d'une manière plus efficace et plus automatisée.
Tout d'abord, nous nous concentrons sur l'apprentissage d'architectures efficaces pour le traitement d'images. Nous proposons une nouvelle méthode dans laquelle l'utilisateur peut guider la procédure d'apprentissage en spécifiant une fonction de coût ainsi qu'un budget maximal à respecter pendant l'inférence. Ce budget peut prendre des formes diverses, "moins de 200ms par image sur cet appareil mobile" par exemple. Notre méthode apprend ensuite automatiquement un modèle et son architecture en optimisant conjointement les performances prédictives et la fonction de coût spécifié par l'utilisateur. Ensuite, nous considérons le problème de la classification de séquences, dans lequel un modèle peut être rendu encore plus efficace en adaptant dynamiquement sa taille à la complexité du signal à traiter. Nous montrons que les deux approches se traduisent par des économies de budget significatives sur tout une gamme de fonctions de coût et de classes de modèles. Enfin, nous abordons le problème de l'efficacité à travers le prisme de l'apprentissage par transfert. Une procédure d'apprentissage peut être rendue encore plus efficace si, au lieu de démarrer tabula rasa, elle s'appuie sur les connaissances acquises lors d'expériences précédentes. Nous présentons un nouveau protocole d'évaluation permettant une analyse fine des différents types de transfert et montrons que notre approche par apprentissage automatique d'architectures est capable de battre les méthodes existantes sur la plupart de ces dimensions.

Soutenance : 01/07/2021

Membres du jury :

M. Francois Fleuret, Université de Genève - MLG [Rapporteur]
M. Jakob Verbeek, Facebook - FAIR [Rapporteur]
M. Patrick Gallinari, Sorbonne Université - MLIA
Mme. Raia Hasdell, DeepMind
M. Vincenzo Lomonaco, Université de Pise - PAILab
M. Ludovic Denoyer, Facebook - FAIR
M. Marc'Aurelio Ranzato, Facebook - FAIR

Date de départ : 01/07/2021

Publications 2018-2021

Mentions légales
Carte du site