Haldusteave
| Ametinimetus | Tagasipropageerimise tuletamine ja rakendamine |
| Kestus | 60 |
| Moodul | B |
| Õppetunni liik | Loeng |
| Keskendumine | Tehniline – sügav õpe |
| Teema | Tagapaljundamise tuletamine ja rakendamine |
Võtmesõnad
Backpropagatsioon, aktiveerimisfunktsioonid, dievatsioon,
Õpieesmärgid
- Arendada arusaamist gradient ja õppimise määr
- Varjatud ja välimiste kihtide tagaosa tuletamine
- Backpropagation lahtiühendatud ja ühendatud, kasutades erinevaid aktiveerimisfunktsioone
Eeldatav ettevalmistamine
Õppeüritused, mis tuleb lõpetada enne
Kohustuslik õpilastele
- Arvutuslik läbivaatamine (tuletisinstrumendid, osalised tuletisinstrumendid, ahelreegel)
Valikuline õpilastele
Puudub.
Viited ja taust õpilastele
- John D Kelleher ja Brain McNamee. (2018), Machine Learning for Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning, 1. Meelekindluse ajakirjandus, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neural Networks and Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Süvaõpe Keras, Packt, [ISBN: 9781787128422].
Soovitatav õpetajatele
Puudub.
Õppematerjalid
Juhised õpetajatele
See loeng tutvustab õpilastele backpropagation algoritmi põhialuseid. See loeng algab dimensiooni needuse mõistega, mis toob kaasa vajaduse heuristilise lähenemise järele, millele järgneb ülevaade sellest, kuidas gradienti saab kasutada kaalude kohandamiseks. Seejärel tutvustatakse backpropagation algoritmi. Seejärel tutvustame ka õppekiiruse hüperparameetrit ja lühikest ülevaadet suurte ja väikeste väärtuste mõjust (seda laiendatakse 3. loengus). Seejärel, kasutades sama sissejuhatavat võrku loengust 1, tuletame välise kihi tagasilevi valemi ja lõpuks tuletame sisemise kihi backpropagation algoritmi. See loeng lõpeb näidetega erinevatest aktiveerimisfunktsioonidest ja sellest, kuidas algoritmi saab rakendada. Vastav õpetus sisaldab täiendavaid pliiatsi ja paberi tuletusi, praktilisi näiteid ja koodi (lihtsalt Numpy ja KERAS) kasutamist backpropagation algoritmi rakendamiseks.
- Brutaalse jõu kaalu valimise esialgne kontseptsioon ja dimensioonilisuse needus
- Sissejuhatus gradiendisse ja kuidas see lahendab iteratiivsete, heuristiliste kaalumuutuste probleemi
- Miks on vaja õppimiskiirust ja väikeste ja suurte väärtuste valimise mõju
- Väljundkihi gradiendi (seega tagasipropageerimisalgoritm) tuletamine välimise aktiveerimisfunktsioonina Sigmoidiga
- Peidukihi gradient (seega tagasipropagatsioonialgoritm) Sigmoidiga välimise aktiveerimisfunktsioonina
- Lõpliku tagavara paljundamise valemi esitamine
- Erinevate aktiveerimisfunktsioonide kasutamine (Outer Layer: Lineaarne, Sigmoid ja Softmax; Peidetud kiht: ReLU, sigmoid ja TanH) backpropagation algoritmis
Kontuur
| Kestus (Min) | Kirjeldus |
|---|---|
| 5 | Sissejuhatus õppesse, lõpetamisse ja õppesse |
| 20 | Väliskihi (Sigmoid) tagavara algoritmi tuletamine |
| 20 | Peidetud kihi tagapropageerimisalgoritmi tuletamine (Sigmoid) |
| 10 | Backpropagation algoritmi rakendamine ja erinevate aktiveerimisfunktsioonide kasutamine iga kihi puhul |
| 5 | Recap backpropagation algoritm |
Tunnustused
Inimkeskse tehisintellekti magistriprogrammi kaasfinantseeris Euroopa Liidu Ühendamise Rahastu toetusega CEF-TC-2020–1 „Digioskused 2020“-EU-IA-0068.