Direction de recherche : Patrick GALLINARI

Nouveaux Algorithmes pour l'Apprentissage de Machines à Vecteurs Supports sur de Grandes Masses de Données

Il existe un besoin certain dans la communauté de l'apprentissage statistique pour des méthodes capables d'être entraînées sur des ensembles d'apprentissage de grande échelle, et pouvant ainsi gérer les quantités colossales d'informations générées quotidiennement. Dans cette thèse, nous proposons des solutions pour réduire le temps d'entraînement et les besoins en mémoire d'algorithmes d'apprentissage sans pour autant dégrader leur précision. Nous nous intéressons en particulier aux Machines à Vecteurs Supports (SVMs), des méthodes populaires utilisées en général pour des tâches de classification automatique mais qui peuvent être adaptées à d'autres applications. Nous étudions tout d'abord le processus d'apprentissage par descente de gradient stochastique pour les SVMs linéaires. Cela nous amène à définir et étudier le nouvel algorithme, SGD-QN. Après cela, nous introduisons une nouvelle procédure d'apprentissage: le principe du "Process/Reprocess". Nous déclinons alors trois algorithmes qui l'utilisent. Le Huller et LaSVM servent à apprendre des SVMs destinés à traiter des problèmes de classification binaire (décision entre deux classes). Pour la tâche plus complexe de prédiction de sorties structurées, nous modifions en profondeur l'algorithme LaSVM, ce qui conduit à l'algorithme LaRank. Notre dernière contribution concerne le problème récent de l'apprentissage avec une supervision ambigüe pour lequel nous proposons un nouveau cadre théorique (et un algorithme associé). Nous l'appliquons au problème de l'étiquetage sémantique du langage. Tous les algorithmes introduits dans cette thèse atteignent les performances de l'état-de l'art, en particulier en ce qui concerne les vitesses d'entraînement.

Publications 2007-2017

• 2017
  • G. Lample, N. Zeghidour, N. Usunier, A. Bordes, L. Denoyer, M. Ranzato : “Fader Networks: Generating Image Variations by Sliding Attribute Values”, 31^st Conference on Neural Information Processing Systems (NIPS 2017), Long Beach, CA, United States, pp. 5969-5978 (2017)
• 2010
  • A. Bordes : “Nouveaux Algorithmes pour l’Apprentissage de Machines à Vecteurs Supports sur de Grandes Masses de Données”, thèse, soutenance 09/02/2010, direction de recherche Gallinari, Patrick (2010)
  • A. Bordes, N. Usunier, J. Weston : “Label Ranking under Ambiguous Supervision for Learning Semantic Correspondences”, Proceedings of the 27^th International Conference on Machine Learning, Haifa, Israel, pp. 103-110, (Omnipress) (2010)
  • N. Usunier, A. Bordes, L. Bottou : “Guarantees for Approximate Incremental SVMs”, 13^th International Conference on Artificial Intelligence and Statistics, vol. 9, JMLR: Workshop and Conference Proceedings, Chia Laguna Resort, Sardinia, Italy, pp. 884-891 (2010)
  • A. Bordes, N. Usunier, R. Collobert, J. Weston : “Towards Understanding Situated Natural Language”, 13^th International Conference on Artificial Intelligence and Statistics, vol. 9, JMLR: Workshop and Conference Proceedings, Chia Laguna Resort, Sardinia, Italy, pp. 65-72 (2010)
• 2009
  • A. Bordes, L. Bottou, P. Gallinari : “SGD-QN: Careful Quasi-Newton Stochastic Gradient Descent”, Journal of Machine Learning Research, vol. 10, pp. 1737-1754, (Microtome Publishing) (2009)
• 2008
  • A. Bordes, N. Usunier, L. Bottou : “Sequence Labelling SVMs Trained in One Pass”, ECML PKDD 2008 - European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases, vol. 5211, Lecture Notes in Computer Science, Anvers, Belgium, pp. 146-161, (Springer) (2008)
• 2007
  • A. Bordes, L. Bottou, P. Gallinari, J. Weston : “Solving multiclass support vector machines with LaRank”, ICML 2007 - 24^th International Conference on Machine Learning, Corvallis, United States, pp. 89-96 (2007)