Haldusteave
| Ametinimetus | Tagasipropageerimise tuletamine ja rakendamine |
| Kestus | 60 |
| Moodul | B |
| Õppetunni liik | Õpetus |
| Keskendumine | Tehniline – sügav õpe |
| Teema | Tagapaljundamise tuletamine ja rakendamine |
Võtmesõnad
Tagasipropageerimine, aktiveerimisfunktsioonid, kõrvalekalded,
Õpieesmärgid
- Arendada arusaamist gradient ja õppimise määr
- Varjatud ja välimiste kihtide tagaosa tuletamine
- Backpropagation lahtiühendatud ja ühendatud, kasutades erinevaid aktiveerimisfunktsioone
Eeldatav ettevalmistamine
Õppeüritused, mis tuleb lõpetada enne
Kohustuslik õpilastele
- Arvutuslik läbivaatamine (tuletisinstrumendid, osalised tuletisinstrumendid, ahelreegel)
Valikuline õpilastele
Puudub.
Viited ja taust õpilastele
- John D Kelleher ja Brain McNamee. (2018), Machine Learning for Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning, 1. Meelekindluse ajakirjandus, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neural Networks and Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Süvaõpe Keras, Packt, [ISBN: 9781787128422].
Soovitatav õpetajatele
Puudub.
Juhised õpetajatele
- See õpetus tutvustab õpilastele kunstliku närvivõrgu backpropagation õppealgoritmi põhialuseid. See õpetus koosneb tagasipropageerimisalgoritmi tuletamisest pliiatsi ja paberi abil, seejärel tagasipropageerimisalgoritmi rakendamisest kolme erineva varjatud kihi aktiveerimisfunktsiooni jaoks (Sigmoid, Tan H ja ReLu), kasutades Pythoni ainult Numpy teegiga (maatriksite manipuleerimiseks) ja seejärel KERAS.. See põhineb fundamentaalsel arusaamisel erinevatest aktiveerimisfunktsioonidest, kui närvivõrk õpib ja kuidas aktiveerimisfunktsioonid erinevad arvutusliku keerukuse ja rakenduse poolest pliiatsist ja paberist kuni nullist kodeerimiseni, kasutades Numpyt ja seejärel kasutades kõrgetasemelist moodulit -> Keras.
- Märkus: Topoloogia on sama mis loeng 1/Tutorial 1, kuid kaalud ja sisendid on erinevad, võite muidugi kasutada samu kaalusid.
- Õpilastele esitatakse neli probleemi (esimene on vabatahtlik või täiendav materjal):
- Probleem 1: Tagasipropageerimisalgoritmi tuletamisel (kasutades Sigmoidi funktsiooni sise- ja välimiseks aktiveerimisfunktsiooniks ja MSE-d kui kaotusfunktsiooni), palutakse õpilastel tuletada tagasipropageerimisvalem (20 minutit).
- Probleem 2: Õpilased rakendavad kolme aktiveerimisfunktsiooni ühe kaaluvärskenduse (SGD backpropagation) jaoks, kasutades pliiatsit ja paberit (20 minutit):
- Sigmoid (peidetud kiht), Sigmoid (Outer Layer) ja MSE
- Tan H (peidetud kiht), Sigmoid (Outer Layer) ja MSE
- ReLU (peidetud kiht), Sigmoid (Outer Layer) ja MSE
- Probleem 3: Õpilastel palutakse (sõltuvalt eelnevast kodeerimiskogemusest) arendada närvivõrk nullist, kasutades ainult Numpy moodulit, ning kaalud ja aktiveerimisfunktsioonid, kus on võimalus valida ühest varjatud kihi aktiveerimisfunktsioonist, et uuendada kaalusid SGD-ga (20 minutit).
- Probleem 4: Õpilastel palutakse (sõltuvalt eelnevast kodeerimiskogemusest) arendada närvivõrk, kasutades Tensorflow 2.X moodulit koos ehitatava Kerase mooduliga ning kaalude ja aktiveerimisfunktsioonidega ning seejärel kasutades juhuslikke kaalusid ühe või mitme kaaluvärskenduse lõpuleviimiseks. Palun mitte, kuna Keras kasutab kerget erinevat MSE kaotust, Kerase näites väheneb kadu kiiremini.
- Keras MSE = kadu = ruut(y_true – y_pred)
- Õpetus MSE = kadu = (ruut(y_true – y_pred))*0,5
- Nende kolme probleemi alameesmärgid on, et õpilased mõistaksid tagasipropageerimisalgoritmi, rakendaksid seda nii, et hüpermeetri häälestamiseks saavad õpilased paremini mõista hüperparameetrite mõju.
Kontuur
| Kestus (Min) | Kirjeldus |
|---|---|
| 20 (valikuline) | Probleem 1: Tagasipropageerimisvalemi tuletamine Sigmoidi funktsiooni abil sisemise ja välimise aktiveerimisfunktsiooni jaoks ning mikro-, väike- ja kergrelvade funktsioonina (vabatahtlik) |
| 20 | Probleem 2: Õpilased rakendavad kolme aktiveerimisfunktsiooni ühe kaaluvärskenduse (SGD backpropagation) jaoks, kasutades pliiatsit ja paberit (20 minutit): |
| 20 | Probleem 3: Õpilased arendavad närvivõrgu nullist, kasutades ainult Numpy moodulit, kus kasutaja saab valida mis tahes kolmest peidetud kihi aktiveerimisfunktsioonist, kus kood saab ette valmistada backpropagationi |
| 10 | Probleem 4: Õpilased kasutavad Tensorflow 2.X moodulit koos ehitatava Kerase mooduliga, eelvormige backpropagation, kasutades SGD-d. |
| 10 | Kokkuvõte edasiliikumise protsessist |
Tunnustused
Inimkeskse tehisintellekti magistriprogrammi kaasfinantseeris Euroopa Liidu Ühendamise Rahastu toetusega CEF-TC-2020–1 „Digioskused 2020“-EU-IA-0068.