Administrative oplysninger
| Titel | Transformernetværk |
| Varighed | 60 minutter |
| Modul | B |
| Lektionstype | Forelæsning |
| Fokus | Teknisk — Dyb læring |
| Emne | Transformer |
Nøgleord
sekvens-til-sekvens læring, seq2seq, opmærksomhedsmekanisme, selvopmærksomhedsmekanisme, transformernetværk,
Læringsmål
- Lær det grundlæggende i sekvens-til-sekvens-modeller (seq2seq)
- Lær det grundlæggende i opmærksomhedsmekanismen
- Gør dig bekendt med transformatorerne
Forventet forberedelse
Læringsbegivenheder, der skal fuldføres før
Obligatorisk for studerende
Valgfrit for studerende
Ingen.
Referencer og baggrund for studerende
Ingen.
Anbefalet til lærerne
Ingen.
Undervisningsmaterialer
Instruktioner til lærerne
I foredraget først gentager vi kort, hvad vi lærte om sekventielle data tidligere (f.eks. i RNN-forelæsningen). Så diskuterer vi, at vi vil lære om tre hovedbegreber i dag: sekvens-til-sekvens modeller, opmærksomhed mekanisme og transformer. De to første er nødvendige for at forstå begrebet transformer. Du kan forberede de originale papirer og vise dem til deltagerne.
Seq2seq: vi diskuterer kort de vigtigste begreber. Forskellen mellem lærer tvinger (uddannelse) og instans-for-instance (inferance) bør fremhæves.
Kildekoderne skal diskuteres i detaljer, linje for linje, så konceptet kan forstås af de studerende i et kodeniveau.
I anden halvdel af foredraget introduceres transformerarkitekturen. De centrale elementer diskuteres særskilt.
Hvis du har lidt tid tilbage i slutningen af forelæsningen, kan du åbne TensorFlow tutorial om transformer (link på denne side og i slides også).
Omrids
- Seq2seq modeller
- Opmærksomhedsmekanisme
- Transformere
| Varighed (min.) | Beskrivelse |
|---|---|
| 5 | Indførelse af sekventielle data |
| 7.5 | Sekvens-til-sekvens-modeller |
| 7.5 | Opmærksomhedsmekanisme |
| 15 | Kildekoder |
| 20 | Transformer |
| 5 | Resumé og konklusioner |
Anerkendelser
Balint Gyires-Tóth (Budapest University of Technology and Economics)
Programmet Human-Centered AI Masters blev samfinansieret af Connecting Europe-faciliteten i Den Europæiske Union under tilskud CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.