Upravne informacije
| Naslov | Izpeljava in uporaba retropropagacije |
| Trajanje | 60 |
| Modul | B |
| Vrsta lekcije | Predavanje |
| Osredotočenost | Tehnično – poglobljeno učenje |
| Tema | Izpeljava in implementacija Backpropagation |
Ključne besede
Backpropagation, aktivacijske funkcije, dieivacija,
Učni cilji
- Razvoj razumevanja gradienta in stopnje učenja
- Izpeljati nazaj propagacijo za skrite in zunanje plasti
- Implimentacija Backpropagation odklopljena in priključena z različnimi aktivacijskimi funkcijami
Pričakovana priprava
Učenje Dogodki, ki jih je treba dokončati pred
Obvezno za študente
- Revizija računa (izvedenci, delni derivati, pravilo verige)
Neobvezno za študente
Nobenega.
Reference in ozadje za študente
- John D Kelleher in Brain McNamee. (2018), Osnove strojnega učenja za napovedno podatkovno analitiko, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning, 1. Odločni tisk, San Francisco CA ZDA.
- Charu C. Aggarwal. (2018), Neural Networks and Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Globoko učenje s Kerasom, Packt, [ISBN: 9781787128422].
Priporočeno za učitelje
Nobenega.
Gradivo za učne ure
Navodila za učitelje
Predavanje bo učencem predstavilo osnove algoritma backpropagation. Predavanje se bo začelo s konceptom prekletstva dimenzijalnosti, ki vodi v potrebo po hevrističnem pristopu, ki mu sledi pregled, kako se lahko gradient uporabi za prilagoditev uteži. S tem se uvaja algoritem za povratno propagacijo. Nato bomo predstavili tudi hiperparameter učne stopnje in kratek pregled vpliva velikih in majhnih vrednosti (to bomo razširili v predavanju 3). Nato z istim uvodnim omrežjem iz Predavanja 1 izpeljemo formulo za povratno propagacijo zunanjega sloja, nato pa končno izpeljemo algoritem za povratno propagacijo notranje plasti. Predavanje se zaključi s primeri različnih aktivacijskih funkcij in načinom uporabe algoritma. Ustrezna vadnica bo vključevala dodatne izpeljave peresa in papirja, praktične primere in uporabo kode (samo Numpy in KERAS) za izvajanje algoritma backpropagation.
- Začetni koncept izbire teže brutalne sile in prekletstvo dimenzionalnosti
- Uvod v gradient in kako to obravnava problem iterativne, hevristične prilagoditve teže
- Zakaj je potrebna stopnja učenja in vpliv izbire majhnih in velikih vrednot
- Izpeljava gradienta (torej algoritma za povratno propagacijo) za izhodno plast s funkcijo Sigmoid kot zunanjo aktivacijsko funkcijo
- Izpeljava gradienta (torej algoritma za povratno propagacijo) za skrito plast s funkcijo Sigmoid kot zunanjo aktivacijsko funkcijo
- Predstavitev končne formule backpropagation
- Uporaba različnih aktivacijskih funkcij (Outer Layer: Linearni, sigmoidni in Softmax; Skrita plast: ReLU, sigmoid in TanH) v algoritmu za povratno propagacijo
Obris
| Trajanje (mini) | Opis |
|---|---|
| 5 | Uvod v stopnjo učenja, gradienta in učenja |
| 20 | Izpeljava algoritma backpropagation za zunanjo plast (Sigmoid) |
| 20 | Izpeljava algoritma backpropagation za skrito plast (Sigmoid) |
| 10 | Implementacija algoritma backpropagation in uporaba različnih aktivacijskih funkcij za vsako plast |
| 5 | Recap na algoritem za povratno propagacijo |
Priznanja
Program Masters umetne inteligence, ki je bil vključen v človeka, je bil sofinanciran z instrumentom za povezovanje Evrope Evropske unije v okviru nepovratnih sredstev (CEF-TC-2020–1 Digital Skills 2020-EU-IA-0068).