BLOT Michaël
Direction de recherche : Matthieu CORD
Co-encadrement : THOME Nicolas
Problématiques de modélisation et d'apprentissage par des architectures profondes en vision par ordinateur
Étude de l'apprentissage et de la généralisation des réseaux profonds en classification d'images.
L'intelligence artificielle connaît un regain d’intérêt important ces dernières années, avec des avancées particulièrement impressionnantes en vision par ordinateur. Plus précisément, les réseaux de neurones profonds (deep learning) permettent désormais d'automatiser de nombreuses tâches en traitement de l’information visuelle. Cette famille d'algorithmes d’apprentissage statistique (machine learning) démontre une grande facilité à apprendre sur des ensembles de données de très grande taille. Malgré leurs performances remarquables, leur capacité de généralisation demeure largement incomprise. D'un point de vue recherche et application du deep learning, les demandes sont de plus en plus exigeantes en terme de performance et d'explicabilité. C'est dans cet objectif que se placent nos recherches dont les contributions sont présentées dans cette thèse.
Nous avons tout d’abord travaillé sur l’accélération de l'entraînement des réseaux via des méthodes de calcul distribué sur plusieurs GPU. Diminuer le temps d'optimisation des réseaux de neurones permet effectivement de tester plus facilement de nouvelles architectures ainsi que de nouvelles méthodes d'apprentissage. Nous avons ensuite étudié les architectures des réseaux de convolution dans le but de les améliorer, sans toutefois trop augmenter leur complexité. Nous avons proposé une nouvelle fonction d'activation, qui, filtrant moins d'information que la fonction standard ReLU, permet un meilleur traitement de l'information sémantique. Enfin, nous avons envisagé de régulariser l'entraînement des réseaux. Nous avons particulièrement étudié un critère de régularisation basé sur la théorie de l'information, que nous avons déployé de deux façons différentes. La première instanciation modélise le critère couche par couche pour plus d'efficacité. La seconde exploite une borne variationnelle pour majorer le critère et l'optimiser. Les deux méthodes ont été rigoureusement validées par comparaison avec l'état de l'art sur de nombreuses bases de données références en classification d'image, telle que ImageNet.
Soutenance : 19/11/2018
Membres du jury :
M. Liva Ralaivola, Aix-Marseille Université - LIF
Mme Elisa Fromont, INRIA de Rennes - IRISA
M. Aurelien Bellet, INRIA de Lille
M. Alain Rakotomamonjy, INSA de Rouen - LITIS [Rapporteur]
M. Christian Wolf, INSA de Lyon - LIRIS [Rapporteur]
M. Matthieu Cord, Sorbonne Université - LIP6
M. Nicolas Thome, CNAM - CEDRIC
Publications 2016-2019
-
2019
- A. Saporta, Y. Chen, M. Blot, M. Cord : “REVE: Regularizing Deep Learning with Variational Entropy Bound”, 2019 IEEE International Conference on Image Processing (ICIP), Taipei, Taiwan, Province of China, pp. 1610-1614, (IEEE) (2019)
- M. Blot, D. Picard, N. Thome, M. Cord : “Distributed Optimization for Deep Learning with Gossip Exchange”, Neurocomputing, vol. 330, pp. 287-296, (Elsevier) (2019)
-
2018
- M. Blot : “Problématiques de modélisation et d’apprentissage par des architectures profondes en vision par ordinateur”, thèse, soutenance 19/11/2018, direction de recherche Cord, Matthieu, co-encadrement : Thome, Nicolas (2018)
- M. Blot, Th. Robert, N. Thome, M. Cord : “SHADE: Information-Based Regularization for Deep Learning”, ICIP 2018 - 25th IEEE International Conference on Image Processing, Athènes, Greece, pp. 813-817, (IEEE) (2018)
-
2016
- M. Blot, M.‑J. Lesot, M. Detyniecki : “Transformation-based constraint-guided Generalised Modus Ponens”, Proc. of the IEEE WCCI International Conference, Vancouver, Canada (2016)
- M. Blot, M. Cord, N. Thome : “Max-min convolutional neural networks for image classification”, Image Processing (ICIP), 2016 IEEE International Conference on, Phoenix, United States, pp. 3678-3682, (IEEE) (2016)