Informazzjoni Amministrattiva
| Titlu | Derivazzjoni u applikazzjoni ta’ propagazzjoni b’lura |
| Tul ta’ żmien | 60 |
| Modulu | B |
| Tip ta’ lezzjoni | Lekċer |
| Fokus | Tekniku — Tagħlim Profond |
| Suġġett | Derivazzjoni u Implimentazzjoni Backpropagation |
Kliem prinċipali
Backpropagation, funzjonijiet ta’ attivazzjoni, dieivazzjoni,
Għanijiet ta’ Tagħlim
- l-iżvilupp ta’ fehim tal-gradjent u r-rata ta’ tagħlim
- Jiksbu backpropagation għal saffi moħbija u fuq barra
- Implimentazzjoni Backpropagation unplugged u pplaggjat bl-użu ta ‘funzjonijiet ta’ attivazzjoni differenti
Preparazzjoni mistennija
Avvenimenti ta’ Tagħlim li għandhom jiġu Mlestija Qabel
Obbligatorju għall-Istudenti
- Reviżjoni tal-kalkulu (derivattivi, derivattivi parzjali, ir-regola tal-katina)
Fakultattiv għall-Istudenti
Xejn.
Referenzi u sfond għall-istudenti
- John D Kelleher u Brain McNamee. (2018), Fundamentals of Machine Learning for Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Netwerks Neurali u Tagħlim Deep, 1. Stampa ta’ determinazzjoni, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Networks Neural u Tagħlim Profond, 1. Springer
- Antonio Gulli, Sujit Pal. Tagħlim fil-fond ma’ Keras, Packt, [ISBN: 9781787128422].
Rakkomandat għall-Għalliema
Xejn.
Materjali tal-lezzjoni
Struzzjonijiet għall-Għalliema
Din il-lekċer se tintroduċi lill-istudenti fl-elementi fundamentali tal-algoritmu tal-backpropagation. Din il-lezzjoni se tibda bil-kunċett tas-saħta tad-dimensjonalità li twassal għall-ħtieġa ta’ approċċ euristiku — segwita mill-ħarsa ġenerali ta’ kif il-gradjent jista’ jintuża biex jiġu aġġustati l-piżijiet. Dan imbagħad jintroduċi l-algoritmu backpropagation. Aħna mbagħad jintroduċu wkoll l-iperparametru tar-rata ta ‘tagħlim u ħarsa ġenerali fuq l-effett ta’ valuri kbar u żgħar (dan se jiġi estiż fil Lecture 3). Imbagħad bl-użu tal-istess netwerk introduttorju minn Lecture 1, aħna jiksbu l-formula backpropagation saff fuq barra, u mbagħad finalment, aħna se jiksbu l-algoritmu backpropagation saff ġewwa. Din il-lezzjoni tikkonkludi b’eżempji ta’ funzjonijiet ta’ attivazzjoni differenti, u kif l-algoritmu jista’ jiġi applikat. It-tutorja korrispondenti se tinkludi derivazzjonijiet addizzjonali fuq il-pinna u l-karti, eżempji prattiċi u l-użu tal-kodiċi (biss Numpy u l-KERAS) biex jiġi implimentat l-algoritmu tal-propagazzjoni b’lura.
- Il-kunċett inizjali tal-għażla tal-piż tal-forza brutali, u s-saħta tad-dimensjonalità
- Introduzzjoni għall-gradjent u kif dan jindirizza l-problema ta ‘aġġustamenti tal-piż iterattivi u heuristic
- Għaliex ir-rata ta’ tagħlim hija meħtieġa u l-effetti tal-għażla ta’ valuri żgħar u kbar
- Derivazzjoni tal-gradjent (għalhekk l-algoritmu backpropagation) għas-saff output b’Sigmoid bħala l-funzjoni ta ‘attivazzjoni ta’ barra
- Derivazzjoni tal-gradjent (għalhekk l-algoritmu backpropagation) għas-saff hiden b’Sigmoid bħala l-funzjoni ta ‘attivazzjoni ta’ barra
- Preżentazzjoni tal-formula finali tal-propagazzjoni b’lura
- Bl-użu ta’ funzjonijiet ta’ attivazzjoni differenti (Outer Layer: Lineari, Sigmoid u Softmax; Saff moħbi: ReLU, sigmoid u TanH) fl-algoritmu backpropagation
Deskrizzjoni fil-qosor
| Tul ta’ żmien (Min) | Deskrizzjoni |
|---|---|
| 5 | Introduzzjoni għat-tagħlim, ix-xaqliba u r-rata ta’ tagħlim |
| 20 | Derivazzjoni tal-algoritmu tal-propagazzjoni ta’ wara għas-saff ta’ barra (Sigmoid) |
| 20 | Derivazzjoni tal-algoritmu tal-propagazzjoni b’lura għas-saff moħbi (Sigmoid) |
| 10 | Implimentazzjoni tal-algoritmu backpropagation u l-użu ta ‘funzjonijiet ta’ attivazzjoni differenti għal kull saff |
| 5 | Erġa’ għatti fuq l-algoritmu tal-propagazzjoni b’lura |
Rikonoxximenti
Il-programm Masters tal-IA Ċentrata mill-Bniedem ġie kofinanzjat mill-Faċilità Nikkollegaw l-Ewropa tal-Unjoni Ewropea Taħt l-Għotja CEF-TC-2020–1 Ħiliet Diġitali 2020-EU-IA-0068.