Administrativní informace
| Název | Odvození a aplikace zpětného šíření |
| Trvání | 60 |
| Modul | B |
| Typ lekce | Přednáška |
| Soustředění | Technické – hluboké učení |
| Téma | Odvození a provádění zpětného šíření |
Klíčová slova
Zpětné šíření, aktivační funkce, odumírání,
Vzdělávací cíle
- Rozvíjet pochopení gradientu a míry učení
- Odvození zpětného šíření skrytých a vnějších vrstev
- Implimenting Backpropagation unplugged and plugged pomocí různých aktivačních funkcí
Očekávaná příprava
Vzdělávací akce, které mají být dokončeny před
Povinné pro studenty
- Revize počtu (deriváty, parciální deriváty, Řetězové pravidlo)
Volitelné pro studenty
Žádné.
Reference a zázemí pro studenty
- John D Kelleher a Brain McNamee. (2018), Základy strojového učení pro prediktivní datovou analýzu, MIT Press.
- Michael Nielsen. (2015), neuronové sítě a hluboké učení, 1. Determinační tisk, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neural Networks and Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Hluboké učení s Keras, Packt, [ISBN: 9781787128422].
Doporučeno pro učitele
Žádné.
Materiály pro výuku
Pokyny pro učitele
Tato přednáška seznámí studenty se základy algoritmů backpropagation. Tato přednáška začne pojmem prokletí dimenzionality vedoucí k potřebě heuristického přístupu – následovaného přehledem toho, jak lze gradient použít k úpravě závaží. Tím se seznámíme s algoritmem zpětného šíření. Dále se seznámíme s hyperparametrem míry učení a krátkým pohledem na vliv velkých a malých hodnot (to bude rozšířeno v přednášce 3). Pomocí stejné úvodní sítě z přednášky 1 odvodíme vzorec zpětného šíření vnější vrstvy a nakonec odvodíme algoritmus zpětného šíření vnitřní vrstvy. Přednáška je zakončena příklady různých aktivačních funkcí a toho, jak lze algoritmus aplikovat. Odpovídající tutoriál bude obsahovat další pero a papír odvození, praktické příklady a použití kódu (jen Numpy a KERAS) k implementaci algoritmu backpropagation.
- Počáteční koncept výběru hrubé síly a prokletí dimenzionality
- Úvod do gradientu a jak to řeší problém iterativní, heuristické úpravy hmotnosti
- Proč je potřeba míra učení a vliv výběru malých a velkých hodnot
- Odvození gradientu (tedy algoritmus zpětného šíření) pro výstupní vrstvu se Sigmoidem jako vnější aktivační funkcí
- Odvození gradientu (tedy algoritmus zpětného šíření) pro skrytou vrstvu se Sigmoidem jako vnější aktivační funkcí
- Prezentace konečného vzorce zpětného šíření
- Použití různých aktivačních funkcí (Vnější vrstva: Lineární, sigmoidní a Softmax; Skrytá vrstva: ReLU, sigmoid a TanH) v algoritmu zpětného šíření
Obrys
| Doba trvání (Min) | Popis |
|---|---|
| 5 | Úvod do učení, gradientu a míry učení |
| 20 | Odvození algoritmu zpětného šíření vnější vrstvy (Sigmoid) |
| 20 | Odvození algoritmu zpětného šíření skryté vrstvy (Sigmoid) |
| 10 | Implementace algoritmu zpětného šíření a použití různých aktivačních funkcí pro každou vrstvu |
| 5 | Rekapitulace algoritmů zpětného šíření |
Potvrzení
Program Human-Centered AI Masters byl spolufinancován Nástrojem Evropské unie pro propojení Evropy v rámci grantu CEF-TC-2020–1 Digitální dovednosti 2020-EU-IA-0068.