Administrativne informacije
| Naslov | Transformatorske mreže |
| Trajanje | 60 minuta |
| Modul | B |
| Vrsta lekcija | Predavanje |
| Fokus | Tehničko – dubinsko učenje |
| Tema | Transformator |
Ključne riječi
učenje slijeda, seq2seq, mehanizam pažnje, mehanizam samopažnje, mreža transformatora,
Ciljevi učenja
- Učenje osnove modela slijeda (seq2seq)
- Učenje osnove mehanizma pažnje
- Upoznajte transformatore
Očekivana priprema
Edukativni događaji koji će biti završeni prije
Obvezno za studente
Neobvezno za studente
Nijedan.
Preporuke i pozadina za studente
Nijedan.
Preporučeno nastavnicima
Nijedan.
Nastavni materijali
Upute za učitelje
U predavanju prvo nakratko ponavljamo ono što smo ranije naučili o sekvencijalnim podacima (npr. u predavanju RNN-a). Tada ćemo raspravljati, da ćemo naučiti o tri glavna koncepta danas: modeli slijeda, mehanizam pažnje i transformator. Prve dvije su potrebne za razumijevanje koncepta transformatora. Možete pripremiti originalne radove i pokazati ih sudionicima.
Seq2seq: ukratko razgovaramo o glavnim konceptima. Potrebno je naglasiti razliku između prisiljavanja nastavnika (osposobljavanja) i indukcije po instanci (inferencija).
Izvorni kodovi trebali bi se detaljno raspraviti, redom po redak, kako bi koncept mogli razumjeti učenici na razini koda.
U drugoj polovici predavanja uvodi se transformatorska arhitektura. O ključnim elementima raspravlja se odvojeno.
Ako vam je ostalo neko vrijeme na kraju predavanja, možete otvoriti TensorFlow tutorial o transformatoru (poveznica na ovoj stranici i u slajdovima također).
Nacrt
- Seq2seq modeli
- Mehanizam pažnje
- Transformatora
| Trajanje (min) | Opis |
|---|---|
| 5 | Uvod u sekvencijalne podatke |
| 7.5 | Modeli slijeda prema redoslijedu |
| 7.5 | Mehanizam pažnje |
| 15 | Izvorni kodovi |
| 20 | Transformator |
| 5 | Sažetak i zaključci |
Priznanja
Balint Gyires-Tóth (Budimpeštansko sveučilište za tehnologiju i ekonomiju)
Diplomski studij umjetne inteligencije usmjeren na čovjeka sufinanciran je Instrumentom za povezivanje Europe Europske unije u okviru bespovratnih sredstava CEF-TC-2020 – 1 Digital Skills 2020-EU-IA-0068.