COLLOBERT Ronan

PhD graduated
Team : MALIRE
Departure date : 09/30/2004
https://lip6.fr/Ronan.Collobert

Supervision : Patrick GALLINARI

Co-supervision : BENGIO Samy

Algorithmes Pour Grandes Bases de Données

Nous nous intéressons aux algorithmes d'apprentissage, avec un intérêt tout particulier pour les grandes bases de données. Nous commençons par présenter plusieurs algorithmes d'apprentissage importants, en particulier les Multi Layer Perceptrons, les Mixture d'Experts ainsi que les Support Vector Machines. Pour accélerer l'entraînement de ces modèles nous proposons d’abord une méthode générale basée sur une stratégie de « diviser pour régner », permettant de séparer le problème d'apprentissage en sous-problèmes plus simples, tout en gardant de bonnes performances en généralisation. Malgré de très bonnes performances en pratique, cet algorithme n'en reste pas moins difficile à utiliser, à cause de son nombre important d'hyper-paramètres. Pour cette raison, nous préférons nous intéresser ensuite à l'amélioration de l'entraînement des Multi Layer Perceptrons, bien plus faciles à utiliser, et plus adaptés aux grandes bases de données que les Support Vector Machines. Enfin, nous montrons que l'idée de la marge qui fait la force des Support Vector Machines peut être appliquée à une certaine classe de Multi Layer Perceptrons, ce qui nous mène à un algorithme très rapide et ayant de très bonnes performances en généralisation.

Defence : 06/28/2004

Jury members :

GALLINARI Patrick UPMC Directeur de thèse :
BOTTOU Léon NEC-Labs - Princeton - NJ (Rapporteurs)
PAUGAM Hélène -Moisy ISC-Lyon (Rapporteurs)
BENGIO Samy IDIAP Martigny (Ch) (Examinateurs)
GRANDVALET Yves UTC Compiègne (Examinateurs)

Departure date : 09/30/2004

2004-2010 Publications

  • 2010
    • A. Bordes, N. Usunier, R. Collobert, J. Weston : “Towards Understanding Situated Natural Language”, 13th International Conference on Artificial Intelligence and Statistics, vol. 9, JMLR: Workshop and Conference Proceedings, Chia Laguna Resort, Sardinia, Italy, pp. 65-72 (2010)
  • 2004
Mentions légales
Site map