Deep Learning: Models and Optimization (MS)

Objectif

Les réseaux de neurones profonds sont aujourd'hui incontournables pour de nombreuses tâches d'apprentissage, notamment en vision (classification et détection d'objets, génération d'images photoréalistes) et en traitement du langage (reconnaissance de la parole, traduction automatique, génération de texte). Leur capacité remarquable à extraire l'information utile de très larges bases de données en font un outil de choix pour des applications industrielles en informatique, physique, chimie ou encore dans le secteur automobile. Ce cours propose une présentation approfondie des aspects pratiques et théoriques de l'apprentissage profond, et fournira aux étudiants les bases de l’implémentation Python / Pytorch de ces modèles (implémentation, débuggage, visualisation) doublé d’une analyse théorique permettant de mieux comprendre leurs forces et faiblesses.

Plan

Le cours se décompose en 4 séances de cours et 2 séances de TP.

Leçons :
1. Introduction, architectures simples (MLPs) and différentiation automatique (09/02)
2. Boucle d'entrainement, optimisation et analyse d'image (CNNs) (16/02)
3. Régression de séquences (RNNs), robustesse et stabilité de l'entrainement (08/03)
4. Modèles génératifs pour le texte et les images (Transformers, GANs) (15/03)

TPs :
1. MLPs et CNNs en Pytorch (01/03)
2. RNNs and modèles génératifs (22/03)

Références

Pour aller plus loin :

1. Dataflowr: cours sur les aspects pratique de l'implémentation en Pytorch. https://dataflowr.github.io/
2. The little book of DL: livre en accès libre sur les architectures récentes de DL. https://fleuret.org/public/lbdl.pdf
3. Deep Learning book: livre en accès libre proposant un overview du DL. www.deeplearningbook.org/
4. Distill journal: Articles avec de belles visualisations. https://distill.pub/