Informations administratives
| Titre | Réseaux de transformateurs |
| Durée | 60 minutes |
| Module | B |
| Type de leçon | Conférence |
| Focus | Technique — Deep Learning |
| Sujet | Transformateur |
Mots-clés
apprentissage séquence-séquence, seq2seq, mécanisme d’attention, mécanisme d’autoattention, réseau de transformateurs,
Objectifs d’apprentissage
- Apprendre les bases des modèles séquence-séquence (seq2seq)
- Apprendre les bases du mécanisme d’attention
- Se familiariser avec les transformateurs
Préparation prévue
Événements d’apprentissage à compléter avant
Obligatoire pour les étudiants
Optionnel pour les étudiants
Aucun.
Références et antécédents pour les étudiants
Aucun.
Recommandé pour les enseignants
Aucun.
Matériel de leçon
Instructions pour les enseignants
Dans la conférence d’abord, nous répétons brièvement ce que nous avons appris sur les données séquentielles précédemment (par exemple dans la conférence RNN). Ensuite, nous discutons, que nous allons apprendre sur trois concepts principaux aujourd’hui: modèles séquence-séquence, mécanisme d’attention et transformateur. Les deux premiers sont nécessaires pour comprendre le concept du transformateur. Vous pouvez préparer les papiers originaux et les montrer aux participants.
Seq2seq: nous venons de discuter brièvement des principaux concepts. La différence entre le forçage de l’enseignant (formation) et l’instance par instance (inférieure) doit être soulignée.
Les codes sources doivent être discutés en détail, ligne par ligne, de sorte que le concept peut être compris par les élèves dans un niveau de code.
Dans la seconde moitié de la conférence, l’architecture du transformateur est introduite. Les éléments de base sont discutés séparément.
S’il vous reste du temps à la fin de la conférence, vous pouvez ouvrir le tutoriel TensorFlow sur transformateur (lien sur cette page et dans les diapositives aussi).
Esquisse
- Modèles Seq2seq
- Mécanisme d’attention
- Transformateurs
| Durée (min) | Description |
|---|---|
| 5 | Introduction des données séquentielles |
| 7.5 | Modèles séquence-séquence |
| 7.5 | Mécanisme d’attention |
| 15 | Codes sources |
| 20 | Transformateur |
| 5 | Résumé et conclusions |
Remerciements
Balint Gyires-Tóth (Université de technologie et d’économie de Budapest)
Le programme de master IA centré sur l’humain a été cofinancé par le mécanisme pour l’interconnexion en Europe de l’Union européenne dans le cadre de la subvention CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.