Upravne informacije
| Naslov | Omrežja transformatorjev |
| Trajanje | 60 minut |
| Modul | B |
| Vrsta lekcije | Predavanje |
| Osredotočenost | Tehnično – poglobljeno učenje |
| Tema | Transformator |
Ključne besede
učenje zaporedja do zaporedja, seq2seq, mehanizem pozornosti, mehanizem samopozornosti, mreža transformatorja,
Učni cilji
- Učenje osnov sekvenciranja (seq2seq) modelov
- Učenje osnov mehanizma pozornosti
- Spoznavanje transformatorjev
Pričakovana priprava
Učenje Dogodki, ki jih je treba dokončati pred
Obvezno za študente
Neobvezno za študente
Nobenega.
Reference in ozadje za študente
Nobenega.
Priporočeno za učitelje
Nobenega.
Gradivo za učne ure
Navodila za učitelje
V predavanju najprej na kratko ponovimo, kaj smo se prej naučili o zaporednih podatkih (npr. v predavanju RNN). Nato bomo razpravljali, da bomo danes spoznali tri glavne koncepte: modeli zaporedja do zaporedja, mehanizem pozornosti in transformator. Prvi dve sta potrebni za razumevanje koncepta transformatorja. Lahko pripravite izvirne dokumente in jih predstavite udeležencem.
Seq2seq: na kratko razpravljamo o glavnih konceptih. Poudariti je treba razliko med prisilo učitelja (usposabljanje) in posameznim primerom (inferenca).
O izvornih kodah je treba podrobno razpravljati, po posameznih vrsticah, tako da lahko študenti razumejo koncept na ravni kode.
V drugi polovici predavanja je predstavljena transformatorska arhitektura. O ključnih elementih se razpravlja ločeno.
Če imate na koncu predavanja še nekaj časa, lahko odprete vadnico TensorFlow na transformatorju (povezava na tej strani in tudi v diapozitivih).
Obris
- Seq2seq modeli
- Mehanizem pozornosti
- Transformatorji
| Trajanje (mini) | Opis |
|---|---|
| 5 | Zaporedni vnos podatkov |
| 7.5 | Modeli zaporedja do zaporedja |
| 7.5 | Mehanizem pozornosti |
| 15 | Izvorne kode |
| 20 | Transformator |
| 5 | Povzetek in sklepi |
Priznanja
Balint Gyires-Tóth (Budimpeška univerza za tehnologijo in ekonomijo)
Program Masters umetne inteligence, ki je bil vključen v človeka, je bil sofinanciran z instrumentom za povezovanje Evrope Evropske unije v okviru nepovratnih sredstev (CEF-TC-2020–1 Digital Skills 2020-EU-IA-0068).