Administrativní informace
| Název | Transformační sítě |
| Trvání | 60 minut |
| Modul | B |
| Typ lekce | Přednáška |
| Soustředění | Technické – hluboké učení |
| Téma | Transformátor |
Klíčová slova
sekvenční učení, seq2seq, mechanismus pozornosti, mechanismus sebepozornosti, síť transformátorů,
Vzdělávací cíle
- Učení základů sekvence k sekvenci (seq2seq) modelů
- Osvojení si základů mechanismu pozornosti
- Seznámení s transformátory
Očekávaná příprava
Vzdělávací akce, které mají být dokončeny před
Povinné pro studenty
Volitelné pro studenty
Žádné.
Reference a zázemí pro studenty
Žádné.
Doporučeno pro učitele
Žádné.
Materiály pro výuku
Pokyny pro učitele
V přednášce nejprve stručně opakujeme to, co jsme se dozvěděli o sekvenčních datech dříve (např. v přednášce RNN). Pak probereme, že se dnes dozvíme o třech hlavních konceptech: modely sekvence do sekvence, mechanismus pozornosti a transformátor. První dvě jsou potřebné k pochopení konceptu transformátoru. Můžete připravit originální dokumenty a ukázat je účastníkům.
Seq2seq: jen krátce diskutujeme o hlavních konceptech. Je třeba zdůraznit rozdíl mezi vyučujícím (školením) a instancí po instanci (inferance).
Zdrojové kódy by měly být diskutovány v detailech, line-by-line, takže koncept může být chápán studenty na úrovni kódu.
Ve druhé polovině přednášky je představena architektura transformátoru. Základní prvky jsou diskutovány odděleně.
Pokud máte na konci přednášky ještě nějaký čas, můžete otevřít tutoriál TensorFlow na transformátoru (odkaz na této stránce a také ve snímcích).
Obrys
- Modely Seq2seq
- Mechanismus pozornosti
- Transformátory
| Doba trvání (Min) | Popis |
|---|---|
| 5 | Zavedení sekvenčních dat |
| 7.5 | Modely sekvence do sekvence |
| 7.5 | Mechanismus pozornosti |
| 15 | Zdrojové kódy |
| 20 | Transformátor |
| 5 | Shrnutí a závěry |
Potvrzení
Balint Gyires-Tóth (Budapešťská technologická a ekonomická univerzita)
Program Human-Centered AI Masters byl spolufinancován Nástrojem Evropské unie pro propojení Evropy v rámci grantu CEF-TC-2020–1 Digitální dovednosti 2020-EU-IA-0068.