Advanced Machine Learning

Objectif

L'objectif de ce cours est de présenter les bases théoriques de l'apprentissage statistique en se focalisant essentiellement sur la classification binaire.

La complexité statistique (et algorithmique) de ce problème sera considérée à travers l'analyse de la Minimisation Empirique du Risque d'abord, puis par l'étude de classes générales d'algorithmes : SVM, réseaux neuronaux, Boosting et Random Forest (si le temps le permet). Leurs propriétés statistiques seront discutées et comparées.

Ces algorithmes seront appliqués à des données réelles pendant les sessions de TP.

Plan

• Le cadre et des exemples
• Minimisation du risque empirique
• Dimension VC et inégalités
• Convexification et pertes générales
• Chaining
• SVM
• Boosting
• Feed Forward Neural Nets

Références

Y. Mansour, Machine Learning: Foundations, Tel-Aviv University, 2013 
P. Rigollet, Mathematics of Machine Learning, MIT, 2015 
A. Ng, Machine Learning, Stanford, 2015 
S. Kakade and A. Tewari, Topics in Artificial Intelligence, TTIC, 2008 

L. Devroye, L. Gyorfi and G. Lugosi. A Probabilistic Theory of Pattern Recognition. Springer 1996. 
T. Hastie, R. Tibshirani and J. Friedman. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Springer 2009.