Hallinnolliset tiedot
| Otsikko | Muuntajaverkot |
| Kesto | 60 minuuttia |
| Moduuli | B |
| Oppitunnin tyyppi | Luento |
| Keskittyminen | Tekninen – syväoppiminen |
| Aihe | Muuntaja |
Avainsanoja
sekvenssi-to-sekvenssioppiminen, seq2seq, tarkkaavaisuusmekanismi, itsetarkkailumekanismi, muuntajaverkko,
Oppimistavoitteet
- Sekvenssi-to-sekvenssimallien (seq2seq) perusteiden oppiminen
- Tarkkaavaisuuden mekanismin perusteiden oppiminen
- Tutustuminen muuntajiin
Odotettu valmistelu
Oppimistapahtumat valmistuvat ennen
Pakollinen opiskelijoille
Valinnainen opiskelijoille
Ei mitään.
Referenssejä ja taustaa opiskelijoille
Ei mitään.
Suositellaan opettajille
Ei mitään.
Oppituntimateriaalit
Ohjeita opettajille
Ensimmäisessä luennossa toistetaan vain lyhyesti, mitä olemme oppineet peräkkäisistä tiedoista aiemmin (esim. RNN-luennolla). Sitten keskustelemme siitä, että opimme tänään kolmesta pääkäsitteestä: Sekvenssi-to-sekvenssimallit, tarkkaavaisuusmekanismi ja muuntaja. Kaksi ensimmäistä tarvitaan muuntajan käsitteen ymmärtämiseen. Voit valmistella alkuperäiset paperit ja näyttää ne osallistujille.
Seq2seq: keskustelemme lyhyesti tärkeimmistä käsitteistä. On syytä korostaa opettajan pakottamisen (koulutus) ja instance-instance (johdanto) välistä eroa.
Lähdekoodeista tulee keskustella yksityiskohtaisesti, rivittäin, jotta oppilaat voivat ymmärtää konseptin kooditasolla.
Luennon toisella puoliskolla esitellään muuntajaarkkitehtuuri. Ydinelementeistä keskustellaan erikseen.
Jos luennon lopussa on aikaa jäljellä, voit avata muuntajan TensorFlow-opetusohjelman (linkki myös tällä sivulla ja dioissa).
Hahmotella
- Seq2seq mallit
- Tarkkaavaisuusmekanismi
- Transformers
| Kesto (Min) | Kuvaus |
|---|---|
| 5 | Peräkkäisten tietojen käyttöönotto |
| 7.5 | Sekvenssi-to-sekvenssimallit |
| 7.5 | Tarkkaavaisuusmekanismi |
| 15 | Lähdekoodit |
| 20 | Muuntaja |
| 5 | Yhteenveto ja päätelmät |
Tunnustukset
Balint Gyires-Tóth (Budapestin teknillinen ja taloudellinen yliopisto)
Human-Centered AI Masters -ohjelmaa rahoitettiin Euroopan unionin Verkkojen Eurooppa -välineestä (CEF-TC-2020–1 Digital Skills 2020-EU-IA-0068).