Administratívne informácie
| Názov | Odvodenie a aplikácia spätného šírenia |
| Trvanie | 60 |
| Modul | B |
| Druh lekcie | Tutorial |
| Zameranie | Technické – hĺbkové učenie |
| Téma | Odvodenie a implementácia spätného šírenia |
Kľúčové slová
Spiatočná propagácia, aktivačné funkcie, odchýlka,
Vzdelávacie ciele
- Rozvíjanie pochopenia gradientu a miery vzdelania
- Odvodiť spätné šírenie pre skryté a vonkajšie vrstvy
- Implimenting Backpropagation odpojená a zapojená pomocou rôznych aktivačných funkcií
Očakávaná príprava
Naučte sa udalosti, ktoré treba dokončiť predtým
Povinné pre študentov
- Revízia výpočtu (deriváty, čiastočné deriváty, pravidlo reťazca)
Voliteľné pre študentov
Žiadne.
Referencie a zázemie pre študentov
- John D Kelleher a Brain McNamee (2018), Základy strojového učenia pre prediktívnu dátovú analytiku, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning (Neurálne siete a hlboké učenie), 1. Kľúčové slová, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neural Networks and Deep Learning (Neurálne siete a hlboké učenie), 1. Springer
- Antonio Gulli, Sujit Pal. Hlboké učenie s Keras, Packt, [ISBN: 9781787128422].
Odporúčané pre učiteľov
Žiadne.
Pokyny pre učiteľov
- Tento tutoriál predstaví študentom základy algoritmu spätného šírenia učenia pre umelú neurónovú sieť. Tento výukový program bude pozostávať z odvodenia algoritmu spätného šírenia pomocou pera a papiera, potom aplikácie algoritmu spätného šírenia pre tri rôzne funkcie aktivácie skrytých vrstiev (Sigmoid, Tan H a ReLu), pomocou Pythonu len s knižnicou Numpy (pre manipuláciu s matricami) a potom pomocou KERAS.. To bude stavať na základnom chápaní rôznych aktivačných funkcií, keď sa neurónová sieť dozvie a ako sa aktivačné funkcie líšia vo výpočtovej zložitosti a aplikácii od pera a papiera až po kód od nuly pomocou Numpy a potom pomocou modulu vysokej úrovne -> Keras.
- Poznámka: Topológia je rovnaká ako prednáška 1/Tutorial 1, ale závažia a vstupy sú odlišné, samozrejme môžete použiť rovnaké závažia.
- Študenti budú mať štyri problémy (prvý bude voliteľný alebo ako doplnkový materiál):
- Problém 1: Odvodenie algoritmu spätného šírenia (pomocou funkcie Sigmoid pre vnútorné a vonkajšie aktivačné funkcie a MSE ako funkcie straty) budú študenti požiadaní, aby odvodili vzorec spätného šírenia (20 minút na dokončenie).
- Problém 2: Študenti použijú tri aktivačné funkcie pre jednu aktualizáciu hmotnosti (SGD backpropagation) pomocou pera a papiera po dobu 20 minút:
- Sigmoid (skrytá vrstva), Sigmoid (Outer Layer) a MSE
- Tan H (skrytá vrstva), Sigmoid (Outer Layer) a MSE
- ReLU (skrytá vrstva), Sigmoid (vonkajšia vrstva) a MSE
- Problém 3: Študenti budú požiadaní (s usmernením v závislosti od predchádzajúcej skúsenosti s kódovaním), aby vyvinuli neurónovú sieť od nuly pomocou modulu Numpy a závažia a aktivačné funkcie, kde je k dispozícii možnosť vybrať si z ktorejkoľvek funkcie aktivácie skrytej vrstvy na aktualizáciu váh pomocou SGD (20 minút na dokončenie).
- Problém č. 4: Študenti budú požiadaní (s usmernením v závislosti od predchádzajúcich skúseností s kódovaním) vyvinúť neurónovú sieť pomocou modulu Tensorflow 2.X s modulom Inbuild Keras a závažiami a aktivačnými funkciami a potom pomocou náhodných závaží na dokončenie jednej alebo viacerých hmotnostných aktualizácií. Prosím, nie, pretože Keras používa mierne inú stratu MSE, strata sa znižuje rýchlejšie v príklade Keras.
- Keras MSE = strata = štvorec(y_true – y_pred)
- Tutorial MSE = strata = (štvorec(y_true – y_pred)) *0.5
- Čiastkovými cieľmi pre tieto tri problémy je prinútiť študentov, aby pochopili algoritmus spätného šírenia, aplikovali ho tak, aby pri ladení hypermetra boli študenti schopní lepšie pochopiť účinky hyperparametrov.
Obrysy
| Trvanie (Min) | Popis |
|---|---|
| 20 (voliteľné) | Problém 1: odvodenie vzorca spätného šírenia pomocou funkcie Sigmoid pre vnútorné a vonkajšie aktivačné funkcie a MSE ako funkcie straty (voliteľné) |
| 20 | Problém 2: Študenti použijú tri aktivačné funkcie pre jednu aktualizáciu hmotnosti (SGD backpropagation) pomocou pera a papiera po dobu 20 minút: |
| 20 | Problém 3: Študenti vyvinú neurónovú sieť od nuly pomocou modulu Numpy, kde si používateľ môže vybrať z ktorejkoľvek z troch skrytých funkcií aktivácie vrstvy, kde kód môže predformovať backpropagáciu |
| 10 | Problém č. 4: Študenti budú používať modul Tensorflow 2.X s modulom Inbuild Keras, predformovať backpropagáciu pomocou SGD. |
| 10 | Rekapitulácia na proces odovzdávania dopredu |
Uznania
Program Masters umelej inteligencie zameraný na človeka bol spolufinancovaný z Nástroja Európskej únie na prepájanie Európy v rámci grantu CEF-TC-2020 – 1 Digitálne zručnosti 2020-EU-IA-0068.