Haldusteave
| Ametinimetus | Edasilevitamine |
| Kestus | 60 |
| Moodul | B |
| Õppetunni liik | Loeng |
| Keskendumine | Tehniline – sügav õpe |
| Teema | Edasiliikumine |
Võtmesõnad
Edasiliikumine, kaotus,
Õpieesmärgid
- Mõistke edasiliikumise protsessi
- Mõistke, kuidas arvutada edasi-tagasi ennustust, samuti kahjumit, mis on välja lülitatud
- Arendada edasi-tagasi läbipääsu, kasutades Pythonis ühtegi moodulit (v.a Numpy)
- Arendada edasi pass kasutades Keras
Eeldatav ettevalmistamine
Õppeüritused, mis tuleb lõpetada enne
Puudub.
Kohustuslik õpilastele
Puudub.
Valikuline õpilastele
- Maatriksite korrutus
- Alustan Numpyga
- Teadmised lineaarsest ja logistilisest regressioonist (alates A-perioodi masinõppest) Loeng: Lineaarne regressioon, GLR, GAD)
Viited ja taust õpilastele
- John D Kelleher ja Brain McNamee. (2018), Machine Learning for Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning, 1. Meelekindluse ajakirjandus, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neural Networks and Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Süvaõpe Keras, Packt, [ISBN: 9781787128422].
Soovitatav õpetajatele
Puudub.
Õppematerjalid
Juhised õpetajatele
See loeng tutvustab õpilastele kunstliku närvivõrgu edasilevimise põhialuseid. See tutvustab õpilastele topoloogiat (kaalud, sünapsid, aktiveerimisfunktsioonid ja kahjumifunktsioonid). Õpilased saavad seejärel teha edasi-tagasi, kasutades pliiatsit ja paberit, kasutades Pythoni ainult Numpy raamatukoguga (maatriksite manipuleerimiseks) ja seejärel kasutades KERAS selle LE-ga seotud juhendaja osana. See loob fundamentaalse arusaama sellest, millised aktiveerimisfunktsioonid kehtivad konkreetsetes probleemsetes kontekstides ja kuidas aktiveerimisfunktsioonid erinevad arvutusliku keerukuse poolest. Loengus uuritakse välimise kihi aktiveerimisfunktsiooni ja vastavaid kaofunktsioone selliste kasutusjuhtude jaoks nagu binomiaalne klassifikatsioon, regressioon ja mitme klassi klassifikatsioon.
- Ülevaade närvivõrgust
- Mõistete/komponentide määratlus
- Kaalud ja aktiveerimisfunktsioonid
- Kaotusfunktsioonid, mille puhul probleemne kontekst
- Maatriksite kasutamine edasisuunamiseks
Märkus:
- Sigmoidi kasutamine välimises kihis ja mikro-, väike- ja keskmise suurusega ettevõtete (MSE) kasutamine kadumisfunktsioonina.
- Piikide piirangutega valiti ainsuslik lähenemine/topoloogia/probleemikontekst. Tavaliselt alustatakse regressiooniga edasiliikumise jaoks (kus MSE on kaotusfunktsioon) ja tagasipropageerimise tuletamiseks (seega lineaarse aktiveerimise funktsioon väljundkihis, kus see vähendab tagasipropageerimisfunktsiooni tuletamise keerukust), siis liikus tavaliselt binaarne klassifitseerimisfunktsioon, kus sigmoid väljundkihis ja binaarne rist-entropy kadu funktsioon. Ajapiirangutega kasutab see loengute komplekt kolme erinevat varjatud aktiveerimisfunktsiooni, kuid kasutab regressiooniprobleemi konteksti. Et lisada sigmoidi aktiveerimisfunktsiooni keerukus väljundkihis, regressiooniprobleem, mida kasutati selle komplekti kahes esimeses loengus, põhineb probleeminäidis normaliseeritud sihtväärtusel (0–1, mis põhineb protsentuaalsel probleemil 0–100 %), seega kasutatakse sigmoid aktiveerimisfunktsioonina väljundkihis. See lähenemine võimaldab õpilastel kergesti migreeruda regressiooni ja binaarse klassifitseerimise probleemide vahel, muutes lihtsalt kaotuse funktsiooni, kui tegemist on binaarse klassifitseerimisprobleemiga või kui kasutatakse normaliseerimata regressiooniprobleemi, eemaldab õpilane lihtsalt välimise kihi aktiveerimise funktsiooni.
- Põhikomponendid on rakendus, kasutades kõrgetasemelist raamatukogu, antud juhul KERAS TensorFlow 2.X teegi kaudu.
- Pliiats ja paber on valikulised ja neid kasutatakse ainult edasi- ja tagasiliikumise tuletamise ja rakendamise näitamiseks (kasutades loengu slaidide näiteid).
- Pythoni koodi ilma kõrgetasemelisi teeke kasutamata kasutatakse selleks, et näidata, kui lihtne on närvivõrk (kasutades loengu slaidide näiteid). See võimaldab ka arutleda numbriliste/maatriksite kiire korrutamise üle ja tutvustada, miks me kasutame GPU-sid/TPU-sid valikulise elemendina.
- Keras ja TensorFlow 2.X kasutatakse ja kasutatakse kõigi tulevaste näidete puhul.
Kontuur
| Kestus (Min) | Kirjeldus |
|---|---|
| 10 | Närvivõrgu komponentide määratlus |
| 15 | Kaalud ja aktiveerimisfunktsioonid (Sigmoid, TanH ja ReLu) |
| 15 | Kaotusfunktsioonid (regressioon, binomiaalne klassifikatsioon ja mitme klassi aktiveerimine) |
| 15 | Maatriksite kasutamine edasisuunamiseks |
| 5 | Lühiülevaade edasiliikumise kohta |
Tunnustused
Inimkeskse tehisintellekti magistriprogrammi kaasfinantseeris Euroopa Liidu Ühendamise Rahastu toetusega CEF-TC-2020–1 „Digioskused 2020“-EU-IA-0068.