Tutorja: Derivazzjoni u applikazzjoni ta’ propagazzjoni b’lura

Informazzjoni Amministrattiva

Kliem prinċipali

Backpropagation, funzjonijiet ta’ attivazzjoni, devjazzjoni,

Għanijiet ta’ Tagħlim

• l-iżvilupp ta’ fehim tal-gradjent u r-rata ta’ tagħlim
• Jiksbu backpropagation għal saffi moħbija u fuq barra
• Implimentazzjoni Backpropagation unplugged u pplaggjat bl-użu ta ‘funzjonijiet ta’ attivazzjoni differenti

Preparazzjoni mistennija

Materjali tal-lezzjoni

• Problema 1 (Immaġni)
• Problema 2 u problema 3 (HTML)
• Problema 2 u problema 3 (.ipynb)

Struzzjonijiet għall-Għalliema

• Din it-tutorja se tintroduċi lill-istudenti fl-elementi fundamentali tal-algoritmu tat-tagħlim tal-propagazzjoni b’lura għal netwerk newrali artifiċjali. Din it-tutorja se tikkonsisti fid-derivazzjoni tal-algoritmu tal-backpropagation bl-użu tal-pinna u l-karta, imbagħad l-applikazzjoni tal-algoritmu tal-backpropagation għal tliet funzjonijiet differenti ta’ attivazzjoni ta’ saff moħbi (Sigmoid, Tan H u ReLu), bl-użu ta’ Python bil-librerija Numpy biss (għall-manipulazzjoni tal-matriċi) u mbagħad bl-użu ta’ KERAS. Dan se jibni fuq il-fehim fundamentali li jvarjaw funzjonijiet ta ‘attivazzjoni meta netwerk newrali jitgħallem u kif il-funzjonijiet ta’ attivazzjoni jvarjaw fil-kumplessità komputazzjonali u l-applikazzjoni mill-pinna u karta, għall-kodiċi mill-bidu bl-użu Numpy u mbagħad bl-użu ta ‘modulu ta’ livell għoli -> Keras.
• Nota: It-topoloġija hija l-istess bħal Lecture 1/Tutorial 1, iżda l-piżijiet u l-inputs huma differenti, inti tista ‘kors tuża l-istess piżijiet.
• l-istudenti se jiġu ppreżentati b’erba’ problemi (l-ewwel waħda tkun fakultattiva jew bħala materjal addizzjonali):
  • Problema 1: Id-derivazzjoni tal-algoritmu tal-propagazzjoni b’lura (bl-użu tal-funzjoni Sigmoid għall-funzjonijiet ta’ attivazzjoni ta’ ġewwa u ta’ barra u l-MSE bħala l-funzjoni tat-telf), l-istudenti se jintalbu jiksbu l-formula tal-backpropagation (20 minuta biex jitlesta).
  • Problema 2: l-istudenti se japplikaw tliet funzjonijiet ta’ attivazzjoni għal aġġornament b’piż wieħed (backpropagation ta’ SGD), bl-użu ta’ pinna u karta għal (20 Minuti):
    • Sigmoid (Saffi moħbija), Sigmoid (Outer Layer) u MSE
    • Tan H (Saffi moħbija), Sigmoid (Outer Layer) u MSE
    • ReLU (Saff Hidden), Sigmoid (Outer Layer) u MSE
  • Problema 3: l-istudenti se jintalbu (bi gwida skont l-esperjenza preċedenti tal-kodifikazzjoni) biex jiżviluppaw netwerk newrali mill-bidu nett bl-użu biss tal-modulu Numpy, u l-piżijiet u l-funzjonijiet ta’ attivazzjoni fejn l-għażla li jagħżlu minn kwalunkwe funzjoni ta’ attivazzjoni ta’ saff moħbi hija pprovduta biex taġġorna l-piżijiet bl-użu ta’ SGD (20 minuta biex jitlesta).
  • Problema 4: l-istudenti se jintalbu (bi gwida skont l-esperjenza tal-kodifikazzjoni minn qabel) biex jiżviluppaw netwerk newrali bl-użu tal-modulu Tensorflow 2.X bil-modulu Keras inbuild, u l-piżijiet u l-funzjonijiet ta ‘attivazzjoni, u mbagħad bl-użu ta’ piżijiet każwali biex jitlesta aġġornament wieħed jew diversi aġġornamenti tal-piż. Jekk jogħġbok mhux kif Keras juża telf żgħir MSE differenti, it-telf inaqqas aktar malajr fl-eżempju Keras.
    • Keras MSE = telf = square(y_true — y_pred)
    • MSE tutorjali = telf = (square(y_true — y_pred))*0.5
• Il-subgoals għal dawn it-tliet Problemi, huwa li tikseb l-istudenti biex jifhmu l-algoritmu backpropagation, japplikaw sabiex għall-irfinar hypermeter, l-istudenti se jkunu jistgħu jifhmu aħjar l-effetti hyperparameter.

Deskrizzjoni fil-qosor

Rikonoxximenti

Il-programm Masters tal-IA Ċentrata mill-Bniedem ġie kofinanzjat mill-Faċilità Nikkollegaw l-Ewropa tal-Unjoni Ewropea Taħt l-Għotja CEF-TC-2020–1 Ħiliet Diġitali 2020-EU-IA-0068.

Pjan ta’ lezzjoni dwar is-SURF

Paġna tal-Wikiwijs