Adminisztratív információk
| Cím | Transzformátorhálózatok |
| Időtartam | 60 perc |
| Modul | B |
| Lecke típusa | Előadás |
| Fókusz | Technikai – Mély tanulás |
| Téma | Transzformátor |
Kulcsszó
szekvencia-szekvenciák tanulása, seq2seq, figyelemmechanizmus, önfigyelés mechanizmus, transzformátor hálózat,
Tanulási célok
- A szekvencia-szekvenc (seq2seq) modellek alapjainak megismerése
- A figyelemfelkeltő mechanizmus alapjainak megismerése
- Megismerni a transzformátorokat
Várható előkészítés
Az előtt befejezendő tanulási események
Kötelező a diákok számára
Választható diákok számára
Egy sem.
Referenciák és háttér a diákok számára
Egy sem.
Ajánlott tanároknak
Egy sem.
Leckeanyagok
Utasítások tanároknak
Az előadásban először röviden megismételjük azt, amit a szekvenciális adatokról korábban megtudtunk (pl. az RNN előadásban). Ezután megbeszéljük, hogy ma három fő fogalomról fogunk megismerkedni: szekvencia-szekvenciák, figyelemfelhívó mechanizmus és transzformátor. Az első kettő szükséges ahhoz, hogy megértsük a transzformátor fogalmát. Elkészítheti az eredeti papírokat, és megmutathatja a résztvevőknek.
Seq2seq: csak röviden tárgyaljuk a főbb fogalmakat. Ki kell emelni a különbséget a tanár kényszerítése (képzés) és a példa-in-in-instance (inferance) között.
A forráskódokat részletesen, soronként kell megvitatni, hogy a koncepciót a diákok kódszinten érthessék meg.
Az előadás második felében bemutatjuk a transzformátor architektúrát. Az alapelemeket külön-külön tárgyaljuk.
Ha van némi időd az előadás végén, megnyithatod a TensorFlow bemutatót transzformátoron (link ezen az oldalon és a diákon is).
Vázlat
- Seq2seq modellek
- Figyelemfelhívó mechanizmus
- Transzformátorok
| Időtartam (min) | Leírás |
|---|---|
| 5 | Szekvenciális adatok bevezetése |
| 7.5 | Szekvencia-szekvenciák |
| 7.5 | Figyelemfelhívó mechanizmus |
| 15 | Forráskódok |
| 20 | Transzformátor |
| 5 | Összefoglaló és következtetések |
Visszaigazolások
Gyires-Tóth Balint (Budapesti Műszaki és Gazdaságtudományi Egyetem)
A Human-Centered AI Masters programot az Európai Unió Európai Hálózatfinanszírozási Eszköze (CEF-TC-2020–1 Digitális készségek 2020 EU-IA-0068) társfinanszírozta.