Administrativní informace
| Název | Odvození a aplikace zpětného šíření |
| Trvání | 60 |
| Modul | B |
| Typ lekce | Tutoriál |
| Soustředění | Technické – hluboké učení |
| Téma | Odvození a provádění zpětného šíření |
Klíčová slova
Zpětné šíření, aktivační funkce, odchylka,
Vzdělávací cíle
- Rozvíjet pochopení gradientu a míry učení
- Odvození zpětného šíření skrytých a vnějších vrstev
- Implimenting Backpropagation unplugged and plugged pomocí různých aktivačních funkcí
Očekávaná příprava
Vzdělávací akce, které mají být dokončeny před
Povinné pro studenty
- Revize počtu (deriváty, parciální deriváty, Řetězové pravidlo)
Volitelné pro studenty
Žádné.
Reference a zázemí pro studenty
- John D Kelleher a Brain McNamee. (2018), Základy strojového učení pro prediktivní datovou analýzu, MIT Press.
- Michael Nielsen. (2015), neuronové sítě a hluboké učení, 1. Determinační tisk, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neural Networks and Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Hluboké učení s Keras, Packt, [ISBN: 9781787128422].
Doporučeno pro učitele
Žádné.
Materiály pro výuku
Pokyny pro učitele
- Tento tutoriál seznámí studenty se základy algoritmu zpětného šíření učení pro umělou neuronovou síť. Tento návod se bude skládat z odvození algoritmu backpropagation pomocí pera a papíru, pak aplikace algoritmu backpropagation pro tři různé funkce aktivace skryté vrstvy (Sigmoid, Tan H a ReLu), pomocí Pythonu pouze s Numpy knihovnou (pro manipulaci s maticemi) a pak pomocí KERAS.. To bude stavět na základním pochopení různých aktivačních funkcí, když se neuronová síť dozví, jak se aktivační funkce liší výpočetní složitostí a aplikací od pera a papíru, až po kódování od nuly pomocí Numpy a pak pomocí modulu na vysoké úrovni -> Keras.
- Poznámka: Topologie je stejná jako přednáška 1/Tutorial 1, ale váhy a vstupy jsou různé, samozřejmě můžete použít stejné váhy.
- Studenti budou prezentováni se čtyřmi problémy (první je volitelný nebo jako další materiál):
- Problém 1: Odvození algoritmu zpětného šíření (pomocí funkce Sigmoid pro vnitřní a vnější aktivační funkce a MSE jako funkce ztráty) budou studenti požádáni, aby odvodili vzorec zpětného šíření (20 minut k dokončení).
- Problém č. 2: Studenti budou aplikovat tři aktivační funkce pro jednu aktualizaci hmotnosti (SGD backpropagation), pomocí pera a papíru po dobu (20 minut):
- Sigmoid (Skrytá vrstva), Sigmoid (Vnější vrstva) a MSE
- Tan H (Skrytá vrstva), Sigmoid (Vnější vrstva) a MSE
- ReLU (Skrytá vrstva), Sigmoid (Vnější vrstva) a MSE
- Problém 3: Studenti budou požádáni (s pokyny v závislosti na předchozí zkušenosti s kódováním) o vytvoření neuronové sítě od nuly pomocí modulu Numpy a závaží a aktivačních funkcí, kde je k dispozici možnost volby z libovolné funkce aktivace jedné skryté vrstvy pro aktualizaci závaží pomocí SGD (20 minut k dokončení).
- Problém č. 4: Studenti budou požádáni (s pokyny v závislosti na předchozí zkušenosti s kódováním), aby vyvinuli neuronovou síť pomocí modulu Tensorflow 2.X s vestavěným modulem Keras a váhami a aktivačními funkcemi a poté pomocí náhodných vah k dokončení jedné nebo několika aktualizací hmotnosti. Prosím, ne, protože Keras používá mírně jinou ztrátu MSE, ztráta se snižuje rychleji v příkladu Keras.
- Keras MSE = ztráta = čtverec(y_true – y_pred)
- Tutorial MSE = ztráta = (čtverec (y_true – y_pred))*0.5
- Dílčí cíle pro tyto tři problémy, je přimět studenty, aby pochopili algoritmus zpětného šíření, aplikují jej tak, aby pro ladění hypermetrů byli studenti schopni lépe porozumět efektům hyperparametru.
Obrys
| Doba trvání (Min) | Popis |
|---|---|
| 20 (volitelné) | Problém 1: odvození vzorce zpětného šíření pomocí funkce Sigmoid pro vnitřní a vnější aktivační funkce a MSE jako funkce ztráty (volitelné) |
| 20 | Problém č. 2: Studenti budou aplikovat tři aktivační funkce pro jednu aktualizaci hmotnosti (SGD backpropagation), pomocí pera a papíru po dobu (20 minut): |
| 20 | Problém 3: Studenti budou rozvíjet neuronovou síť od nuly pouze pomocí modulu Numpy, kde si uživatel může vybrat z kterékoli ze tří aktivačních funkcí skryté vrstvy, kde kód může předformulovat zpětné šíření |
| 10 | Problém č. 4: Studenti budou používat Tensorflow 2.X modul s vestavěným Keras modul, předformulovat backpropagace pomocí SGD. |
| 10 | Rekapitulace procesu předávání dopředu |
Potvrzení
Program Human-Centered AI Masters byl spolufinancován Nástrojem Evropské unie pro propojení Evropy v rámci grantu CEF-TC-2020–1 Digitální dovednosti 2020-EU-IA-0068.