Administratívne informácie
| Názov | Transformátorové siete |
| Trvanie | 60 minút |
| Modul | B |
| Druh lekcie | Prednáška |
| Zameranie | Technické – hĺbkové učenie |
| Téma | Transformátor |
Kľúčové slová
sekvenčné učenie, sekvenčné učenie, mechanizmus pozornosti, mechanizmus sebapozornosti, sieť transformátorov,
Vzdelávacie ciele
- Učenie základov sekvenčných modelov (seq2seq)
- Učenie základov mechanizmu pozornosti
- Zoznámiť sa s transformátormi
Očakávaná príprava
Naučte sa udalosti, ktoré treba dokončiť predtým
Povinné pre študentov
Voliteľné pre študentov
Žiadne.
Referencie a zázemie pre študentov
Žiadne.
Odporúčané pre učiteľov
Žiadne.
Učebné materiály
Pokyny pre učiteľov
V prvej prednáške len stručne zopakujeme to, čo sme sa predtým dozvedeli o sekvenčných údajoch (napr. v prednáške RNN). Potom diskutujeme o tom, že sa dnes dozvieme o troch hlavných koncepciách: modely sekvencií po sekvenciu, mechanizmus pozornosti a transformátor. Prvé dve sú potrebné na pochopenie konceptu transformátora. Môžete pripraviť originálne dokumenty a ukázať ich účastníkom.
Seq2seq: stručne rozoberáme hlavné pojmy. Mal by sa zdôrazniť rozdiel medzi učiteľom, ktorý núti (odborná príprava) a inštanciou (inference).
Zdrojové kódy by mali byť diskutované v detailoch, riadok po riadku, takže koncept môže byť zrozumiteľný pre študentov v úrovni kódu.
V druhej polovici prednášky je predstavená architektúra transformátora. O základných prvkoch sa diskutuje samostatne.
Ak máte nejaký čas na konci prednášky, môžete otvoriť výukový program TensorFlow na transformátore (odkaz na túto stránku a tiež na snímkach).
Obrysy
- Modely Seq2seq
- Mechanizmus pozornosti
- Transformátorov
| Trvanie (Min) | Popis |
|---|---|
| 5 | Úvod sekvenčných údajov |
| 7.5 | Modely postupnosti po sekvenciu |
| 7.5 | Mechanizmus pozornosti |
| 15 | Zdrojové kódy |
| 20 | Transformátor |
| 5 | Zhrnutie a závery |
Uznania
Balint Gyires-Tóth (Budapestská technická a ekonomická univerzita)
Program Masters umelej inteligencie zameraný na človeka bol spolufinancovaný z Nástroja Európskej únie na prepájanie Európy v rámci grantu CEF-TC-2020 – 1 Digitálne zručnosti 2020-EU-IA-0068.