责任导师 : Patrick GALLINARI

助理责任导师 : BENGIO Samy

Algorithmes Pour Grandes Bases de Données

Nous nous intéressons aux algorithmes d'apprentissage, avec un intérêt tout particulier pour les grandes bases de données. Nous commençons par présenter plusieurs algorithmes d'apprentissage importants, en particulier les Multi Layer Perceptrons, les Mixture d'Experts ainsi que les Support Vector Machines. Pour accélerer l'entraînement de ces modèles nous proposons d’abord une méthode générale basée sur une stratégie de « diviser pour régner », permettant de séparer le problème d'apprentissage en sous-problèmes plus simples, tout en gardant de bonnes performances en généralisation. Malgré de très bonnes performances en pratique, cet algorithme n'en reste pas moins difficile à utiliser, à cause de son nombre important d'hyper-paramètres. Pour cette raison, nous préférons nous intéresser ensuite à l'amélioration de l'entraînement des Multi Layer Perceptrons, bien plus faciles à utiliser, et plus adaptés aux grandes bases de données que les Support Vector Machines. Enfin, nous montrons que l'idée de la marge qui fait la force des Support Vector Machines peut être appliquée à une certaine classe de Multi Layer Perceptrons, ce qui nous mène à un algorithme très rapide et ayant de très bonnes performances en généralisation.

2004-2010 刊物

• 2010
  • A. Bordes, N. Usunier, R. Collobert, J. Weston : “Towards Understanding Situated Natural Language”, 13^th International Conference on Artificial Intelligence and Statistics, vol. 9, JMLR: Workshop and Conference Proceedings, Chia Laguna Resort, Sardinia, Italy, pp. 65-72 (2010)
• 2004
  • R. Collobert : “Algorithmes Pour Grandes Bases de Données”, 博士论文, 答辩 2004-6-28, 责任导师 Gallinari, Patrick, 助理责任导师 : Bengio, Samy (2004)