LIP6 CNRS Sorbonne Université Tremplin Carnot Interfaces
Direct Link LIP6 » News » PhD students

COLLOBERT Ronan

PhD graduated
Team : MALIRE
Departure date : 09/30/2004
Supervision : Patrick GALLINARI
Co-supervision : BENGIO Samy

Algorithmes Pour Grandes Bases de Données

Nous nous intéressons aux algorithmes d'apprentissage, avec un intérêt tout particulier pour les grandes bases de données. Nous commençons par présenter plusieurs algorithmes d'apprentissage importants, en particulier les Multi Layer Perceptrons, les Mixture d'Experts ainsi que les Support Vector Machines. Pour accélerer l'entraînement de ces modèles nous proposons d’abord une méthode générale basée sur une stratégie de « diviser pour régner », permettant de séparer le problème d'apprentissage en sous-problèmes plus simples, tout en gardant de bonnes performances en généralisation. Malgré de très bonnes performances en pratique, cet algorithme n'en reste pas moins difficile à utiliser, à cause de son nombre important d'hyper-paramètres. Pour cette raison, nous préférons nous intéresser ensuite à l'amélioration de l'entraînement des Multi Layer Perceptrons, bien plus faciles à utiliser, et plus adaptés aux grandes bases de données que les Support Vector Machines. Enfin, nous montrons que l'idée de la marge qui fait la force des Support Vector Machines peut être appliquée à une certaine classe de Multi Layer Perceptrons, ce qui nous mène à un algorithme très rapide et ayant de très bonnes performances en généralisation.
Defence : 06/28/2004 - 14h30
Jury members :
GALLINARI Patrick UPMC Directeur de thèse :
BOTTOU Léon NEC-Labs - Princeton - NJ (Rapporteurs)
PAUGAM Hélène -Moisy ISC-Lyon (Rapporteurs)
BENGIO Samy IDIAP Martigny (Ch) (Examinateurs)
GRANDVALET Yves UTC Compiègne (Examinateurs)

2004-2010 Publications

  • 2010
    • A. Bordes, N. Usunier, R. Collobert, J. Weston : “Towards Understanding Situated Natural Language”, 13th International Conference on Artificial Intelligence and Statistics, vol. 9, JMLR: Workshop and Conference Proceedings, Chia Laguna Resort, Sardinia, Italy, pp. 65-72 (2010)
  • 2004
 Mentions légales
Site map |