Administratieve informatie
| Titel | Transformatornetwerken |
| Looptijd | 60 minuten |
| Module | B |
| Type les | Lezing |
| Focus | Technisch — diep leren |
| Onderwerp | Transformator |
Sleutelwoorden
sequentie-naar-sequentie leren, seq2seq, aandachtsmechanisme, zelf-aandachtsmechanisme, transformatornetwerk,
Leerdoelen
- Het leren van de basisprincipes van sequentie-naar-sequentiemodellen (seq2seq)
- Het leren van de basisprincipes van aandachtsmechanisme
- Kennismaken met de transformatoren
Verwachte voorbereiding
Leren van gebeurtenissen die moeten worden voltooid voordat
Verplicht voor studenten
Optioneel voor studenten
Geen.
Referenties en achtergronden voor studenten
Geen.
Aanbevolen voor docenten
Geen.
Lesmateriaal
Instructies voor docenten
In de lezing eerst herhalen we kort wat we eerder hebben geleerd over sequentiële gegevens (bijvoorbeeld in de RNN-lezing). Dan bespreken we dat we vandaag drie hoofdbegrippen zullen leren: sequentie-naar-sequentiemodellen, aandachtsmechanisme en transformator. De eerste twee zijn nodig om het concept van de transformator te begrijpen. U kunt de originele papieren voorbereiden en aan de aanwezigen laten zien.
Seq2seq: we bespreken kort de hoofdbegrippen. Het verschil tussen de leerkracht (training) en instance-by-instance (inferantie) moet worden benadrukt.
De broncodes moeten in detail worden besproken, line-by-line, zodat het concept door de studenten in een codeniveau kan worden begrepen.
In de tweede helft van de lezing wordt de transformatorarchitectuur geïntroduceerd. De kernelementen worden afzonderlijk besproken.
Als je nog wat tijd over hebt aan het einde van de lezing, kun je de TensorFlow tutorial over transformator openen (link op deze pagina en ook in de dia’s).
Omtrek
- Seq2seq modellen
- Aandachtsmechanisme
- Transformatoren
| Duur (Min) | Omschrijving |
|---|---|
| 5 | Introductie van sequentiële gegevens |
| 7.5 | Sequentie-naar-sequentiemodellen |
| 7.5 | Aandachtsmechanisme |
| 15 | Broncodes |
| 20 | Transformator |
| 5 | Samenvatting en conclusies |
Erkenningen
Balint Gyires-Tóth (Boedapest Universiteit voor Technologie en Economie)
Het Human-Centered AI Masters-programma werd mede gefinancierd door de Connecting Europe Facility van de Europese Unie in het kader van de subsidie CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.