Informazzjoni Amministrattiva
| Titlu | Netwerks newrali Rikorrenti |
| Tul ta’ żmien | 60 minuta |
| Modulu | B |
| Tip ta’ lezzjoni | Lekċer |
| Fokus | Tekniku — Tagħlim Profond |
| Suġġett | Multipli (Netwerks Neurali Rikorrenti (RNN), Backpropagation Permezz tal-Ħin (BPTT), Memorja fit-Tul għal Żmien Qasir (LSTM)) |
Kliem prinċipali
Netwerks newrali Rikurrenti (RNN), Backpropagationrough Time (BPTT), Memorja fit-Tul għal Żmien Qasir (LSTM),
Għanijiet ta’ Tagħlim
- Tagħlim tal-fundamenti tan-Netwerks Neurali Rikurrenti (RNN), Backpropagationrough Time (BPTT) u Memorja fit-Tul fuq Terminu Qasir (LSTM)
Preparazzjoni mistennija
Avvenimenti ta’ Tagħlim li għandhom jiġu Mlestija Qabel
Obbligatorju għall-Istudenti
- Reviżjoni tal-algoritmu tal-propagazzjoni b’lura
- Ian Goodfellow u Yoshua Bengio u Aaron Courville: Tagħlim fil-fond, MIT Press, 2016, Kapitolu 10
- François Chollet: Deep Learning with Python, Manning Publications, 2017, Kapitolu 6: Tagħlim fil-fond għat-test u s-sekwenzi
Fakultattiv għall-Istudenti
Xejn.
Referenzi u sfond għall-istudenti
Xejn.
Rakkomandat għall-Għalliema
Xejn.
Materjali tal-lezzjoni
Struzzjonijiet għall-Għalliema
Fil-bidu hija rrakkomandata ħarsa ġenerali lejn id-dejta sekwenzjali. Hawnhekk, inti tista ‘tiddiskuti l-kampi ewlenin ta’ immudellar data sekwenzjali (inkluż qasam riċettiv, multidimensjonalità u n-natura multiskala).
Aktar tard aħna jintroduċu RNNs ewwel, mal-prinċipji bażiċi u juru li RNNs taħriġ wara tiżvolġi huwa ferm simlar għat-taħriġ MLPs, iżda l-matriċi input, rikorrenti u l-piż output huma kondiviżi.
Aħna jintroduċu BPTT (Backpropagation permezz taż-żmien) u l-verżjoni maqtugħ.
Li jmiss, aħna niddiskutu kif il-problema gradjent vanishing jagħmel RNNs mhux prattiku.
Sabiex issolvi l-gradjent li jisparixxi, nintroduċu l-arkitettura LSTM, li għandha parti tal-memorja ta ‘ġewwa (imfakkra wkoll bħala ċellola tal-memorja), li m’għandhiex xi activatoin — hekk xaqliba li tisparixxi ma sseħħx hawn. Jekk jogħġbok jagħmluha verament ċara, li l-mekkaniżmu gating huwa verament ikkontrollat mid-data.
Fil-parti finali tal-lecture, aħna juru li LSTM (u RNN, tabilħaqq) saffi jistgħu jiġu f’munzelli fuq xulxin b’direzzjoni waħda jew tnejn. (netwerks uni- u bidirezzjonali)
Deskrizzjoni fil-qosor
- Ħarsa ġenerali lejn id-data sekwenzjali
- Elementi bażiċi rikorrenti tan-netwerks newrali
- Backpropagation maż-żmien
- Xaqliba li tisparixxi
- Memorja għal Żmien Qasir twil
- Stivar tas-saffi RNN/LSTM
| Tul ta’ żmien (Min) | Deskrizzjoni |
|---|---|
| 10 | Introduzzjoni tad-data sekwenzjali |
| 15 | Netwerks newrali rikorrenti u propogazzjoni b’lura matul iż-żmien |
| 5 | Gradjenti li jisparixxu fl-RNNs |
| 20 | LSTMs |
| 5 | Stivar tas-saffi RNN/LSTM |
| 5 | Konklużjonijiet |
Rikonoxximenti
Balint Gyires-Tóth (l-Università tat-Teknoloġija u l-Ekonomija ta’ Budapest)
Il-programm Masters tal-IA Ċentrata mill-Bniedem ġie kofinanzjat mill-Faċilità Nikkollegaw l-Ewropa tal-Unjoni Ewropea Taħt l-Għotja CEF-TC-2020–1 Ħiliet Diġitali 2020-EU-IA-0068.