Cette thèse présente une étude théorique et pratique des Support Vector Machines (SVM) et d'autres algorithmes d'apprentissage similaires. Dans une première partie, nous introduisons un nouveau principe d'induction dont les SVMs sont un cas particulier, mais d'autres et de nouveaux algorithmes en sont aussi dérivés. Dans une deuxième partie, après avoir étudié comment estimer l'erreur de généralisation d'une SVM, nous proposons de sélectionner les paramètres du noyau d'une SVM en minimisant cet estimateur. Plusieurs appliquations de ce principe, telle que la sélection de composantes sont présentées. Enfin, dans une troisième partie, nous nous intéressons à l'incorporation de connaissances à priori dans un algorithme d'apprentissage et plus particulièrement le cas de transformations invariantes connues et celui de points non étiquettés.