Theoretical foundations of Machine Learning

Objectif

Ce cours constitue une introduction d'ensemble aux méthodes de machine learning. Si la différence entre statistique et machine learning apparaît parfois comme floue, car certaines méthodes sont communes aux deux disciplines, l'idée de base est que la statistique est avant tout orientée vers l'estimation de paramètres, en vue de leur interprétation, alors que le machine learning est avant tout orienté vers la prédiction. Le cours présentera les bases théoriques du machine learning, suivi un certain nombre d'algorithmes de prédiction populaires pour finir sur la formulation des questions d'éthiques des datas. D'une part, on essaiera de comprendre comment analyser d'un point de vue mathématiques les performances de ces algorithmes. D'autre part, à travers des séances de TP sous Python, on verra comment utiliser ces méthodes en pratique.

This course is a global introduction to machine learning methods. If the differences between statistics and machine learning might seem tedious, as some techniques are used and developed in both fields, the basic idea is that statistics focuses on the estimation of some parameters - and their interpretation -, while maching learning focuses on prediction. The course will present the theoretical basis of machine learning, then several examples of the mots popular prediction algorithm, and we will conclude on the formal modelling of ethical questions. On one side, we shall understand how to mathematically analyse algorithm performances, and on the other hand, through practical session in Python how these methods can be used in practice.

Plan

1. Introduction, formal models of machine learning.

2. Plug-in methods

3. Selection of models/variables, cross-validation

4. Empirical Risk Minimization 

5. Decision Trees

6. Neural Nets

7. Ethics (Privacy & Fairness)