Informations administratives
| Titre | Apprentissage semi-supervisé et non supervisé |
| Durée | 45-60 |
| Module | C |
| Type de leçon | Conférence |
| Focus | Technique — IA future |
| Sujet | Progrès dans les modèles ML à travers une lentille HC — Une étude axée sur les résultats |
Mots-clés
l’apprentissage supervisé, non supervisé, semi-supervisé, autosupervisé,
Objectifs d’apprentissage
- Comprendre les méthodes d’apprentissage supervisées et non supervisées
- Être capable de distinguer entre l’apprentissage semi-supervisé et l’apprentissage autosupervisé
Préparation prévue
Événements d’apprentissage à compléter avant
Obligatoire pour les étudiants
- Introduction aux concepts d’apprentissage automatique et d’apprentissage profond donnés dans les conférences précédentes
Optionnel pour les étudiants
Références et antécédents pour les étudiants
- Méthodes d’apprentissage automatique — Computerphile
- Apprentissage semi-supervisé expliqué
- FixMatch: Simplifier l’apprentissage semi-supervisé avec cohérence et confiance
- Wav2vec: Reconnaissance vocale à la pointe de la technologie grâce à l’autosurveillance
- Classificateur de texte SALNET
- De la vision à la langue: Apprentissage semi-supervisé en action à l’échelle
- Autoformation pour la reconnaissance vocale de bout en bout
- Qu’est-ce que l’apprentissage autonome?
- Yann LeCun: Dark Matter of Intelligence and Self-Supervised Learning — Lex Fridman Podcast
- Jure Žbontar — Barlow Twins: Apprentissage autosupervisé par la réduction de la redondance
- Apprentissage autosupervisé: Autoprédiction et apprentissage contradictoire — Tutoriel, NeurIPS 2021
Recommandé pour les enseignants
Aucun.
Matériel de leçon
Instructions pour les enseignants
L’objectif de cette conférence est de se concentrer sur les techniques d’apprentissage qui nous permettent de construire des modèles en l’absence de données de formation étiquetées. En d’autres termes, construire des systèmes qui apprennent plus comme les humains. La conférence devrait se concentrer sur de nouvelles approches dans les techniques d’apprentissage semi-supervisées et autosupervisées qui réduisent ou suppriment l’exigence d’ensembles de données étiquetés. La conférence devrait:
- Résumer les modèles d’apprentissage automatique supervisés et non supervisés et leurs limites
- Expliquer les concepts derrière l’apprentissage semi-supervisé et donner quelques exemples
- Expliquer les concepts qui sous-tendent l’apprentissage autosupervisé et donner quelques exemples
- Identifier et décrire les domaines d’application appropriés et les types de problèmes pour l’apprentissage semi-supervisé et autosupervisé
Esquisse
| Durée | Description | Concepts | Activité | Matériel |
|---|---|---|---|---|
| 10 min | Examen de l’apprentissage supervisé et non supervisé | Données étiquetées, données non étiquetées, classificaiton, regroupement, réduction de la dimensionnalité, limites et problèmes (coût des données d’étiquetage) | Session enseignée et exemples | Matériel de conférence |
| 10 min | Apprentissage semi-supervisé | Définition de l’apprentissage semi-supervisé (apprentissage avec des données étiquetées limitées), modèle d’autoformation, pseudo-étiquetage, niveaux de confiance, co-entraînement, propagation de l’étiquette basée sur des graphiques | Session enseignée et exemples | Matériel de conférence |
| 10 min | Apprentissage autosupervisé | Définition de l’apprentissage autosupervisé (apprentissage sans données étiquetées), tâche sous prétexte, tâche en aval, apprentissage contrasté | Session enseignée et exemples | Matériel de conférence |
| 10 min | Cas d’utilisation et domaines d’application | Apprentissage semi-supervisé (étiquetage audio, classification du contenu Web, classification des documents texte), apprentissage autosupervisé (localisation de patch, prédication de pixels consciente du contenu, prédication de phrase suivante, modélisation du langage autorégressif, détection de discours de haine) | Session enseignée et exemples | Matériel de conférence |
| 5 min | Conclusion, questions et réponses | Résumé | Conclusions | Matériel de conférence |
Remerciements
Le programme de master IA centré sur l’humain a été cofinancé par le mécanisme pour l’interconnexion en Europe de l’Union européenne dans le cadre de la subvention CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.