Administratívne informácie
| Názov | Odvodenie a aplikácia spätného šírenia |
| Trvanie | 60 |
| Modul | B |
| Druh lekcie | Prednáška |
| Zameranie | Technické – hĺbkové učenie |
| Téma | Odvodenie a implementácia spätného šírenia |
Kľúčové slová
Spiatočná propagácia, aktivačné funkcie, dieivácia,
Vzdelávacie ciele
- Rozvíjanie pochopenia gradientu a miery vzdelania
- Odvodiť spätné šírenie pre skryté a vonkajšie vrstvy
- Implimenting Backpropagation odpojená a zapojená pomocou rôznych aktivačných funkcií
Očakávaná príprava
Naučte sa udalosti, ktoré treba dokončiť predtým
Povinné pre študentov
- Revízia výpočtu (deriváty, čiastočné deriváty, pravidlo reťazca)
Voliteľné pre študentov
Žiadne.
Referencie a zázemie pre študentov
- John D Kelleher a Brain McNamee (2018), Základy strojového učenia pre prediktívnu dátovú analytiku, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning (Neurálne siete a hlboké učenie), 1. Kľúčové slová, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neural Networks and Deep Learning (Neurálne siete a hlboké učenie), 1. Springer
- Antonio Gulli, Sujit Pal. Hlboké učenie s Keras, Packt, [ISBN: 9781787128422].
Odporúčané pre učiteľov
Žiadne.
Učebné materiály
Pokyny pre učiteľov
Táto prednáška predstaví študentom základy algoritmu spätného šírenia. Táto prednáška začne predstavou kliatby dimenzionality vedúcej k potrebe heuristického prístupu – po ktorej nasleduje prehľad o tom, ako gradient môže byť použitý na úpravu váh. Tým sa zavádza algoritmus spätného šírenia. Potom zavádzame aj hyperparameter miery učenia a stručný pohľad na vplyv veľkých a malých hodnôt (to bude rozšírené v prednáške 3). Potom pomocou rovnakej úvodnej siete z prednášky 1 odvodíme vzorec spätného šírenia vonkajšej vrstvy a potom nakoniec odvodíme algoritmus spätného šírenia vnútornej vrstvy. Táto prednáška končí príkladmi rôznych aktivačných funkcií a ako možno algoritmus použiť. Príslušný výukový program bude obsahovať ďalšie deriváty pera a papiera, praktické príklady a použitie kódu (len Numpy a KERAS) na implementáciu algoritmu spätného šírenia.
- Počiatočná koncepcia výberu hrubej sily a kliatba dimenzionality
- Úvod do gradientu a ako to rieši problém iteratívnych, heuristických úprav hmotnosti
- Prečo je potrebná miera vzdelávania a vplyv výberu malých a veľkých hodnôt
- Odvodenie gradientu (teda algoritmu spätného šírenia) pre výstupnú vrstvu so Sigmoidom ako vonkajšiu aktivačnú funkciu
- Odvodenie gradientu (teda algoritmu spätného šírenia) pre ukrytú vrstvu so Sigmoidom ako vonkajšiu aktivačnú funkciu
- Predstavenie konečného vzorca spätného šírenia
- Používanie rôznych aktivačných funkcií (Outer Layer: Lineárne, Sigmoidné a Softmax; Skrytá vrstva: ReLU, sigmoid a TanH) v algoritme spätného šírenia
Obrysy
| Trvanie (Min) | Popis |
|---|---|
| 5 | Úvod do vzdelávania, gradientu a miery vzdelávania |
| 20 | Odvodenie algoritmu spätného šírenia pre vonkajšiu vrstvu (Sigmoid) |
| 20 | Odvodenie algoritmu spätného šírenia pre skrytú vrstvu (Sigmoid) |
| 10 | Implementácia algoritmu spätného šírenia a používanie rôznych aktivačných funkcií pre každú vrstvu |
| 5 | Rekapitulácia algoritmu spätného šírenia |
Uznania
Program Masters umelej inteligencie zameraný na človeka bol spolufinancovaný z Nástroja Európskej únie na prepájanie Európy v rámci grantu CEF-TC-2020 – 1 Digitálne zručnosti 2020-EU-IA-0068.