Introduction à la théorie de l'apprentissage statistique

Objectif du cours : quelques éléments de théorie de l’apprentissage statistique, avec un accent mis sur différentes approches pour établir des bornes d’erreur en généralisation.

• S1, 14/11/2012 (LR) : le cas d’une classe d’hypothèses finie (concepts: inégalité de Markov, d’Hoeffding, borne d’union)
• S2, 21/11/2012 (E. Morvant) : théorie PAC-Bayes (concepts: classificateur de Gibbs, vote de majorité, inégalité de Cantelli-Chebyshev, minCQ)
• S3, 28/11/2012 (LR) : théorie VC (concepts: coefficient de pulvérisation, dimension VC, Lemme de Sauer, échantillon fantôme)
• S4, 12/12/2012 (LR) : complexité de Rademacher (concepts: inégalité de McDiarmid, complexité de Rademacher empirique, complexité de Rademacher pour classifieurs linéaires)
• S5, 19/12/2012 (LR) : schémas de compression (concepts: schéma de compression, dénombrement, perceptron, marge)
• S6, 9/1/2012 (LR) : stabilité (concepts: stabilité d’algorithme, régression ridge, limites)
• S7, 16/1/2012 (LR) : estimation efficace de l’erreur leave-one-out pour la régression au moindres carrés régularisée à noyau (concepts: kernel ridge regression, solution analytique, inversion de matrice par bloc, erreur leave-one-out)

• rendu le 21/02/2012
• rédaction en latex
• maximum 6 pages
• contenu : les résultats principaux de chaque cours, les concepts importants, les preuves et les points de détail des preuves, des références bibliographiques et, éventuellement, un petit paragraphe d’ouverture vers des problématiques suscitées par le sujet du cours (questions ouvertes, originales, ...)

Après tirage au sort, l’affectation des sujets est la suivante.