Hallinnolliset tiedot
| Otsikko | Relevanssin johtaminen ja levittäminen |
| Kesto | 60 |
| Moduuli | B |
| Oppitunnin tyyppi | Luento |
| Keskittyminen | Tekninen – syväoppiminen |
| Aihe | Backpropagation johtaminen ja toteuttaminen |
Avainsanoja
Backpropagation, aktivointitoiminnot, dieivatointi,
Oppimistavoitteet
- Kehittää ymmärrystä kaltevuus ja oppimisaste
- Johtaa takaisinpropagaatio piilotettuja ja ulompia kerroksia varten
- Backpropagation implimentointi irrotettuna ja kytkettynä eri aktivointitoiminnoilla
Odotettu valmistelu
Oppimistapahtumat valmistuvat ennen
Pakollinen opiskelijoille
- Calculus revision (johdannaiset, osittaiset johdannaiset, ketjusääntö)
Valinnainen opiskelijoille
Ei mitään.
Referenssejä ja taustaa opiskelijoille
- John D Kelleher ja Brain McNamee. (2018), koneoppimisen perusteet ennakoivaa data-analytiikkaa varten, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning, 1. Päättäväinen lehdistö, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neural Networks and Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Syväoppiminen Keras, Packt, [ISBN: 9781787128422].
Suositellaan opettajille
Ei mitään.
Oppituntimateriaalit
Ohjeita opettajille
Tämä luento esittelee opiskelijoille backpropagation algoritmin perusteet. Tämä luento alkaa käsitteestä ulottuvuuden kirous, joka johtaa heuristisen lähestymistavan tarpeeseen – jota seuraa yleiskatsaus siitä, miten kaltevuutta voidaan käyttää painojen säätämiseen. Tämän jälkeen otetaan käyttöön backpropagation-algoritmi. Sitten esittelemme myös oppimisasteen hyperparametrin ja lyhyen kuvan suurten ja pienten arvojen vaikutuksesta (tätä laajennetaan luennossa 3). Sitten käyttämällä samaa johdantoverkkoa luvusta 1, me johdamme ulomman kerroksen takaisinlevityskaavan ja lopulta johdamme sisäisen kerroksen takaisinlevitysalgoritmin. Tämä luento päättyy esimerkkeihin eri aktivointifunktioista ja siitä, miten algoritmia voidaan soveltaa. Vastaava opetusohjelma sisältää ylimääräisiä kynä- ja paperijohdannaisia, käytännön esimerkkejä ja koodin (vain Numpy ja KERAS) käyttö takalevitysalgoritmin toteuttamiseksi.
- Alkukäsite raakavoimapainon valinnasta ja ulottuvuuden kirous
- Johdanto kaltevuuteen ja miten tämä käsittelee iteratiivisten, heurististen painon säätöjen ongelmaa
- Miksi oppimisastetta tarvitaan ja pienten ja suurten arvojen valinnan vaikutuksia
- Gradientin (eli takalisäysalgoritmin) johtaminen ulostulokerrokselle Sigmoidilla ulompana aktivointifunktiona
- Gradientin (eli takalevitysalgoritmin) johtaminen piilotettuun kerrokseen Sigmoidilla ulompana aktivointifunktiona
- Lopullisen repropagointikaavan esittäminen
- Erilaisten aktivointitoimintojen käyttäminen (Outer Layer: Lineaarinen, Sigmoid ja Softmax; Piilotettu kerros: ReLU, sigmoid ja TanH) backpropagation algoritmissa
Hahmotella
| Kesto (Min) | Kuvaus |
|---|---|
| 5 | Johdanto oppimiseen, kaltevuusasteeseen ja oppimisasteeseen |
| 20 | Ulomman kerroksen takalisäysalgoritmin johtaminen (Sigmoid) |
| 20 | Backpropagation-algoritmin johtaminen piilotettuun kerrokseen (Sigmoid) |
| 10 | Backpropagation-algoritmin käyttöönotto ja eri aktivointitoimintojen käyttö kullakin kerroksella |
| 5 | Recap backpropagation algoritmi |
Tunnustukset
Human-Centered AI Masters -ohjelmaa rahoitettiin Euroopan unionin Verkkojen Eurooppa -välineestä (CEF-TC-2020–1 Digital Skills 2020-EU-IA-0068).