Administratívne informácie
| Názov | Šírenie dopredu |
| Trvanie | 60 |
| Modul | B |
| Druh lekcie | Prednáška |
| Zameranie | Technické – hĺbkové učenie |
| Téma | Predbežná priepustnosť |
Kľúčové slová
Predné prihrávky, strata,
Vzdelávacie ciele
- Pochopte proces predchodcu
- Pochopte, ako vypočítať predikciu prechodu dopredu, ako aj stratu odpojenú
- Vyvinúť predný priechod bez modulov v Pythone (iné ako Numpy)
- Vytvorte si prechod dopredu pomocou Keras
Očakávaná príprava
Naučte sa udalosti, ktoré treba dokončiť predtým
Žiadne.
Povinné pre študentov
Žiadne.
Voliteľné pre študentov
- Násobenie matríc
- Začať s Numpy
- Znalosť lineárnej a logistickej regresie (z obdobia strojového učenia): Prednáška: Lineárna regresia, GLR, GAD)
Referencie a zázemie pre študentov
- John D Kelleher a Brain McNamee (2018), Základy strojového učenia pre prediktívnu dátovú analytiku, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning (Neurálne siete a hlboké učenie), 1. Kľúčové slová, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neural Networks and Deep Learning (Neurálne siete a hlboké učenie), 1. Springer
- Antonio Gulli, Sujit Pal. Hlboké učenie s Keras, Packt, [ISBN: 9781787128422].
Odporúčané pre učiteľov
Žiadne.
Učebné materiály
Pokyny pre učiteľov
Táto prednáška predstaví študentom základy šírenia dopredu pre umelú neurónovú sieť. To prinesie študentom topológiu (závažia, synapsie, aktivačné funkcie a funkcie straty). Študenti potom budú môcť urobiť prechod dopredu pomocou pera a papiera pomocou Pythonu len s knižnicou Numpy (na manipuláciu s matricami) a potom používať KERAS ako súčasť tutoriálu spojeného s týmto LE. Tým sa vytvorí základné pochopenie toho, aké aktivačné funkcie sa vzťahujú na špecifické problémové súvislosti a ako sa aktivačné funkcie líšia vo výpočtovej zložitosti. V prednáške sa preskúma funkcia aktivácie vonkajšej vrstvy a zodpovedajúce stratové funkcie pre prípady použitia, ako je binomická klasifikácia, regresia a viactriedna klasifikácia.
- Prehľad neurónovej siete
- Vymedzenie pojmov/zložiek
- Závažia a aktivačné funkcie
- Stratové funkcie, ktoré sa týkajú problémového kontextu
- Použitie matríc na vykonanie prechodu dopredu
Poznámka:
- Použitie Sigmoidu vo vonkajšej vrstve a MSE ako funkcie straty.
- S obmedzeniami tine bol vybraný singulárny prístup/topológia/problémový kontext. Typicky by sme začali s regresiou pre prechod dopredu (s MSE ako funkciou straty) a pre odvodenie spätného šírenia (teda s lineárnou aktivačnou funkciou vo výstupnej vrstve, kde to znižuje zložitosť odvodenia funkcie spätného rozmnožovania), potom by sa typicky presunul na binárnu klasifikačnú funkciu, so sigmoidom vo výstupnej vrstve a binárnou funkciou straty krížovej entropie. S časovými obmedzeniami bude táto množina prednášok používať tri rôzne príklady skrytých aktivačných funkcií, ale použije regresný kontext problému. Ak chcete pridať zložitosť sigmoidnej aktivačnej funkcie vo výstupnej vrstve, regresný problém použitý v prvých dvoch prednáškach tejto množiny, príklad problému je založený na normalizovanej cieľovej hodnote (0 – 1 na základe percentuálneho problému 0 – 100 %), takže sigmoid sa používa ako aktivačná funkcia vo výstupnej vrstve. Tento prístup umožňuje študentom ľahko migrovať medzi regresiou a binárnymi klasifikačnými problémami, a to jednoducho zmenou funkcie straty, ak problém binárnej klasifikácie, alebo ak sa používa nenormalizovaný regresný problém, študent jednoducho odstráni funkciu aktivácie vonkajšej vrstvy.
- Základné komponenty sú aplikácia pomocou knižnice vysokej úrovne, v tomto prípade KERAS prostredníctvom knižnice TensorFlow 2.X.
- Pero a papier sú voliteľné a používajú sa len na zobrazenie derivácie a aplikácie prednej časti a spätného šírenia (pomocou príkladov z prednáškových snímok).
- Python kód bez použitia vysokoúrovňových knižníc sa používa na zobrazenie toho, ako jednoduchá neurónová sieť (pomocou príkladov z prednáškových snímok). To tiež umožňuje diskusiu o rýchlom násobení čísel/matrií a predstaví, prečo používame GPU/TPU ako voliteľný prvok.
- Keras a TensorFlow 2.X sa používajú a budú použité pre všetky budúce príklady.
Obrysy
| Trvanie (Min) | Popis |
|---|---|
| 10 | Definícia neurálnych sieťových komponentov |
| 15 | Závažia a aktivačné funkcie (Sigmoid, TanH a ReLu) |
| 15 | Funkcie straty (regresia, binomická klasifikácia a aktivácia viacerých tried) |
| 15 | Použitie matríc pre prechod dopredu |
| 5 | Rekapitulácia na prednej prihrávke |
Uznania
Program Masters umelej inteligencie zameraný na človeka bol spolufinancovaný z Nástroja Európskej únie na prepájanie Európy v rámci grantu CEF-TC-2020 – 1 Digitálne zručnosti 2020-EU-IA-0068.