Administrativní informace
| Název | Opakující se neuronové sítě |
| Trvání | 60 minut |
| Modul | B |
| Typ lekce | Přednáška |
| Soustředění | Technické – hluboké učení |
| Téma | Vícenásobné (rekurentní neuronové sítě (RNN), Backpropagation Through Time (BPTT), Long Short-Term Memory (LSTM)) |
Klíčová slova
Rekurentní neuronové sítě (RNN), Backpropagation Trough Time (BPTT), Dlouhá krátkodobou paměť (LSTM),
Vzdělávací cíle
- Učení základů opakujících se neuronových sítí (RNN), Backpropagation Trough Time (BPTT) a Long Short-Term Memory (LSTM)
Očekávaná příprava
Vzdělávací akce, které mají být dokončeny před
Povinné pro studenty
- Revize algoritmů zpětného šíření
- Ian Goodfellow a Yoshua Bengio a Aaron Courville: Deep Learning, MIT Press, 2016, kapitola 10
- François Chollet: Deep Learning with Python, Manning Publications, 2017, kapitola 6: Hluboké učení pro text a sekvence
Volitelné pro studenty
Žádné.
Reference a zázemí pro studenty
Žádné.
Doporučeno pro učitele
Žádné.
Materiály pro výuku
Pokyny pro učitele
Na začátku je doporučen obecný přehled sekvenčních dat. Zde můžete diskutovat o hlavních problémech modelování sekvenčních dat (včetně vnímavého pole, multidimenzionality a víceúrovňové povahy).
Později nejprve představíme RNN se základními principy a ukážeme, že výcvik RNN po rozložení je velmi podobný tréninku MLP, ale vstupní, opakující se a výstupní hmotnostní matice jsou sdíleny.
Představujeme BPTT (Backpropagation Through Time) a zkrácenou verzi.
Dále diskutujeme o tom, jak mizející problém s gradientem činí RNN nepraktické.
Abychom vyřešili mizející gradient, představujeme LSTM architekturu, která má vnitřní paměťovou část (také označovanou jako paměťová buňka), která nemá žádný aktivivatoin – takže se zde nevyskytuje mizející gradient. Prosím, ujasněte si, že mřížový mechanismus je skutečně řízen daty.
V závěrečné části přednášky ukazujeme, že LSTM (a skutečně RNN) vrstvy mohou být na sebe naskládány jedním nebo dvěma směry. (jednosměrné a obousměrné sítě)
Obrys
- Přehled sekvenčních dat
- Základy opakovaných neuronových sítí
- Zpětná propagace v čase
- Mizející gradient
- Dlouhá krátkodobá paměť
- Stohování RNN/LSTM vrstev
| Doba trvání (Min) | Popis |
|---|---|
| 10 | Zavedení sekvenčních dat |
| 15 | Opakující se neuronové sítě a zpětné šíření v čase |
| 5 | Mizející gradienty v RNN |
| 20 | LSTMs |
| 5 | Stohování RNN/LSTM vrstev |
| 5 | Závěry |
Potvrzení
Balint Gyires-Tóth (Budapešťská technologická a ekonomická univerzita)
Program Human-Centered AI Masters byl spolufinancován Nástrojem Evropské unie pro propojení Evropy v rámci grantu CEF-TC-2020–1 Digitální dovednosti 2020-EU-IA-0068.