Tutorja: Prinċipji fundamentali ta’ tagħlim profond

Informazzjoni Amministrattiva

Titlu	Tutorja: Fundamentali tat-tagħlim profond
Tul ta’ żmien	180 min (60 min għal kull tutorja)
Modulu	B
Tip ta’ lezzjoni	Tutorja
Fokus	Tekniku — Tagħlim Profond
Suġġett	Quddiem u Backpropagation

Kliem prinċipali

il-propagazzjoni ‘l quddiem, il-propagazzjoni b’lura, l-irfinar tal-iperparametru,

Għanijiet ta’ Tagħlim

• student jifhem il-kunċett ta ‘propagazzjoni bil-quddiem
• student nikseb ħsieb dwar kif toħroġ backpropagation
• student jista ‘japplika backpropagation
• student jitgħallem il-mod ta ‘irfinar iperparametri

Preparazzjoni mistennija

Materjali tal-lezzjoni

Xejn.

Struzzjonijiet għall-Għalliema

Dan l-Avveniment ta’ Tagħlim jikkonsisti fi tliet settijiet ta’ tutorials li jkopru suġġetti fundamentali ta’ tagħlim profond. Din is-serje ta’ tutorja tikkonsisti fl-għoti ta’ ħarsa ġenerali lejn pass’il quddiem, id-derivazzjoni ta’ backpropagation u l-użu ta’ kodiċi biex tingħata ħarsa ġenerali lill-istudenti dwar x’jagħmel kull parametru, u kif dan jista’ jaffettwa t-tagħlim u l-konverġenza ta’ netwerk newrali:

1. Propagazzjoni ‘l quddiem: Eżempji tal-pinna u tal-karta, u eżempji ta’ python bl-użu ta’ Numpy (għal elementi fundamentali) u Keras li juru modulu ta’ livell għoli (li juża Tensorflow 2.X).
2. Id-derivazzjoni u l-applikazzjoni tal-propagazzjoni b’lura: Eżempji tal-pinna u tal-karta, u eżempji ta’ python bl-użu ta’ Numpy (għal elementi fundamentali) u Keras li juru modulu ta’ livell għoli (li juża Tensorflow 2.X).
3. Irfinar tal-iperparametru: Eżempji ta’ Keras li jenfasizzaw plottijiet dijanjostiċi eżemplari bbażati fuq l-effetti għat-tibdil ta’ iperparametri speċifiċi (bl-użu ta’ eżempju ta’ HCAIM Sett ta’ data Sett ta’ Data għat-tagħlim tal-IA etika (CensusDataset).

Noti għall-kunsinna (skont lekċers)

• l-użu ta’ Sigmoid fis-saff ta’ barra u l-MSE bħala l-funzjoni tat-telf.
  • B’limitazzjonijiet tat-tin, intgħażel approċċ/topoloġija/kuntest ta’ problema singulari. Tipikament, wieħed jibda b’rigressjoni għal pass’il quddiem (bl-MSE bħala l-funzjoni tat-telf), u għad-derivazzjoni tal-backpropagation (u b’hekk ikollu funzjoni ta’ attivazzjoni lineari fis-saff tal-output, fejn dan inaqqas il-kumplessità tad-derivazzjoni tal-funzjoni ta’ backpropagation), Imbagħad wieħed tipikament jimxi għal funzjoni ta’ klassifikazzjoni binarja, b’sigmoid fis-saff tal-output, u funzjoni ta’ telf inkroċjat binarju. Bil-limitazzjonijiet ta ‘żmien dan is-sett ta’ lekċers se tuża tliet funzjonijiet ta ‘attivazzjoni moħbija ta’ eżempju differenti, iżda se tuża kuntest problema ta ‘rigressjoni. Biex tiżdied il-kumplessità ta ‘funzjoni ta’ attivazzjoni sigmoid fis-saff tal-output, il-problema ta ‘rigressjoni użata fl-ewwel żewġ lekċers ta’ dan is-sett, l-eżempju tal-problema huwa bbażat fuq valur fil-mira normalizzat (0–1 ibbażat fuq problema ta ‘grad perċentwali 0–100 %), b’hekk sigmoid jintuża bħala funzjoni ta’ attivazzjoni fis-saff tal-output. Dan l-approċċ jippermetti lill-istudenti li faċilment jemigraw bejn rigressjoni u problemi ta ‘klassifikazzjoni binarja, billi sempliċiment tbiddel il-funzjoni tat-telf jekk problema ta’ klassifikazzjoni binarja, jew jekk qed tintuża problema ta ‘rigressjoni mhux normalizzata, l-istudent sempliċiment ineħħi l-funzjoni ta’ attivazzjoni tas-saff ta ‘barra.
• Il-komponenti ewlenin huma l-applikazzjoni ta’, bl-użu ta’ librerija ta’ livell għoli, f’dan il-każ KERAS permezz tal-librerija TensorFlow 2.X.
  • Il-pinna u l-karta huma fakultattivi u jintużaw biss biex juru d-derivazzjoni u l-applikazzjoni tal-pass’il quddiem u tal-propagazzjoni (bl-użu tal-eżempji mis-slajds tal-lekċers).
  • Il-kodiċi Python mingħajr l-użu ta’ libreriji ta’ livell għoli, jintuża biex juri kemm sempliċi xibka newrali (bl-użu tal-eżempji mis-slajds tal-lekċers). Dan jippermetti wkoll għal diskussjoni dwar fast numeriku/matrices multiplikazzjoni u jintroduċu għaliex nużaw GPUs/TPUs bħala element fakultattiv.
  • Keras u TensorFlow 2.X jintużaw u se jintużaw għall-eżempji futuri kollha.

Tutorja 1 — Propagazzjoni bil-quddiem

Struzzjonijiet għall-għalliema

• Din it-tutorja se tintroduċi lill-istudenti għall-elementi fundamentali tal-propagazzjoni ‘l quddiem għal netwerk newrali artifiċjali. Din it-tutorja se tikkonsisti f’pass’il quddiem bl-użu ta’ pinna u karta, bl-użu ta’ Python bil-librerija Numpy biss (għall-manipulazzjoni tal-matriċi) u mbagħad bl-użu ta’ KERAS. Dan se jibni fuq il-fehim fundamentali ta ‘liema funzjonijiet ta’ attivazzjoni japplikaw għal kuntesti problema speċifiċi u kif il-funzjonijiet ta ‘attivazzjoni jvarjaw fil-kumplessità komputazzjonali u l-applikazzjoni mill-pinna u l-karta, għall-kodiċi mill-bidu bl-użu ta’ Numpy u mbagħad bl-użu ta ‘modulu ta’ livell għoli -> Keras.
• l-istudenti se jiġu ppreżentati bi tliet problemi:
  • Problema 1: (Eżempju 1 mill-lecture -> Image fuq l-RHS ta’ dan il-WIKI) u talab li ssir pass’il quddiem bl-użu tal-parametri li ġejjin (20 minuta biex jitlestew):
    • Funzjoni ta ‘attivazzjoni ta’ sigmoid għas-saff moħbi
    • Funzjoni ta’ attivazzjoni ta’ sigmoid għas-saff ta’ barra
    • Funzjoni ta’ telf ta’ MSE
  • Problema 2: (Eżempju 1 mil-lekċer), l-istudenti se jintalbu (bi gwida skont l-esperjenza preċedenti tal-ikkowdjar) jiżviluppaw netwerk newrali mill-bidu nett bl-użu biss tal-modulu Numpy, u l-piżijiet u l-funzjonijiet ta’ attivazzjoni mill-problema 1 (li huma l-istess bħall-Eżempju 1 mil-lekċer (20 minuta biex jitlestew).
  • Problema 3: (Eżempju 1 mil-lekċer u bl-użu tal-istess eżempju iżda piżijiet każwali), l-istudenti se jintalbu (bi gwida li tiddependi fuq l-esperjenza tal-kodifikazzjoni ta’ qabel) biex jiżviluppaw netwerk newrali bl-użu tal-modulu Tensorflow 2.X bil-modulu inbuild Keras, u l-piżijiet u l-funzjonijiet ta’ attivazzjoni mill-problema 1, u mbagħad bl-użu ta’ piżijiet każwali (li huma l-istess bħall-Eżempju 1 mil-lezzjoni: 20 minuta biex jitlesta).
• Is-subgħanijiet għal dawn it-tliet Problemi, huwa li tikseb l-istudenti użati għall-istruttura u l-applikazzjoni ta ‘kunċetti fundamentali (funzjonijiet ta’ attivazzjoni, topoloġija u telf funzjonijiet) għat-tagħlim fil-fond.

Ħin: 60 minuta

Deskrizzjoni ġenerali/skeda ta’ żmien

Tul ta’ żmien (Min)	Deskrizzjoni
20	Problema 1: l-implimentazzjoni tal-Pinna u l-Karta ta’ pass’il quddiem (eżempju mil-lezzjoni)
20	Problema 2: l-iżvilupp ta’ netwerk newrali mill-bidu nett bl-użu ta’ Numpy (eżempju mil-lekċer)
10	Problema 3: l-iżvilupp ta’ netwerk newrali mill-użu ta’ Keras (eżempju mil-lezzjoni b’piżijiet stabbiliti u piżijiet każwali)
10	Erġa’ agħmel kappa fuq il-proċess tal-pass’il quddiem

Tutorja 2 — Derivazzjoni u l-applikazzjoni ta ‘backpropagation

Struzzjonijiet għall-għalliema

• Din it-tutorja se tintroduċi lill-istudenti fl-elementi fundamentali tal-algoritmu tat-tagħlim tal-propagazzjoni b’lura għal netwerk newrali artifiċjali. Din it-tutorja se tikkonsisti fid-derivazzjoni tal-algoritmu tal-backpropagation bl-użu tal-pinna u l-karta, imbagħad l-applikazzjoni tal-algoritmu tal-backpropagation għal tliet funzjonijiet differenti ta’ attivazzjoni ta’ saff moħbi (Sigmoid, Tan H u ReLu), bl-użu ta’ Python bil-librerija Numpy biss (għall-manipulazzjoni tal-matriċi) u mbagħad bl-użu ta’ KERAS. Dan se jibni fuq il-fehim fundamentali li jvarjaw funzjonijiet ta ‘attivazzjoni meta netwerk newrali jitgħallem u kif il-funzjonijiet ta’ attivazzjoni jvarjaw fil-kumplessità komputazzjonali u l-applikazzjoni mill-pinna u karta, għall-kodiċi mill-bidu bl-użu Numpy u mbagħad bl-użu ta ‘modulu ta’ livell għoli -> Keras.
• Nota: It-topoloġija hija l-istess bħal Lecture 1/Tutorial 1, iżda l-piżijiet u l-inputs huma differenti, inti tista ‘kors tuża l-istess piżijiet.
• l-istudenti se jiġu ppreżentati b’erba’ problemi (l-ewwel waħda tkun fakultattiva jew bħala materjal addizzjonali):
  • Problema 1: Id-derivazzjoni tal-algoritmu tal-propagazzjoni b’lura (bl-użu tal-funzjoni Sigmoid għall-funzjonijiet ta’ attivazzjoni ta’ ġewwa u ta’ barra u l-MSE bħala l-funzjoni tat-telf), l-istudenti se jintalbu jiksbu l-formula tal-backpropagation (20 minuta biex jitlesta).
  • Problema 2: l-istudenti se japplikaw tliet funzjonijiet ta’ attivazzjoni għal aġġornament b’piż wieħed (backpropagation ta’ SGD), bl-użu ta’ pinna u karta għal (20 Minuti):
    • Sigmoid (Saffi moħbija), Sigmoid (Outer Layer) u MSE
    • Tan H (Saffi moħbija), Sigmoid (Outer Layer) u MSE
    • ReLU (Saff Hidden), Sigmoid (Outer Layer) u MSE
  • Problema 3: l-istudenti se jintalbu (bi gwida skont l-esperjenza preċedenti tal-kodifikazzjoni) biex jiżviluppaw netwerk newrali mill-bidu nett bl-użu biss tal-modulu Numpy, u l-piżijiet u l-funzjonijiet ta’ attivazzjoni fejn l-għażla li jagħżlu minn kwalunkwe funzjoni ta’ attivazzjoni ta’ saff moħbi hija pprovduta biex taġġorna l-piżijiet bl-użu ta’ SGD (20 minuta biex jitlesta).
  • Problema 4: l-istudenti se jintalbu (bi gwida skont l-esperjenza tal-kodifikazzjoni minn qabel) biex jiżviluppaw netwerk newrali bl-użu tal-modulu Tensorflow 2.X bil-modulu Keras inbuild, u l-piżijiet u l-funzjonijiet ta ‘attivazzjoni, u mbagħad bl-użu ta’ piżijiet każwali biex jitlesta aġġornament wieħed jew diversi aġġornamenti tal-piż. Jekk jogħġbok mhux kif Keras juża telf żgħir MSE differenti, it-telf inaqqas aktar malajr fl-eżempju Keras.
    • Keras MSE = telf = square(y_true — y_pred)
    • MSE tutorjali = telf = (square(y_true — y_pred))*0.5
• Il-subgoals għal dawn it-tliet Problemi, huwa li tikseb l-istudenti biex jifhmu l-algoritmu backpropagation, japplikaw sabiex għall-irfinar hypermeter, l-istudenti se jkunu jistgħu jifhmu aħjar l-effetti hyperparameter.

Ħin: 60 minuta

Deskrizzjoni ġenerali/skeda ta’ żmien

Tul ta’ żmien (Min)	Deskrizzjoni
20 (Fakultattiv)	Problema 1: derivazzjoni tal-formula tal-propagazzjoni b’lura bl-użu tal-funzjoni Sigmoid għall-funzjonijiet ta’ attivazzjoni ta’ ġewwa u ta’ barra u MSE bħala l-funzjoni tat-telf (Fakultattiv)
20	Problema 2: l-istudenti se japplikaw tliet funzjonijiet ta’ attivazzjoni għal aġġornament b’piż wieħed (backpropagation ta’ SGD), bl-użu ta’ pinna u karta għal (20 Minuti):
20	Problema 3: l-istudenti se jiżviluppaw netwerk newrali mill-bidu nett bl-użu biss tal-modulu Numpy, fejn l-utent jista’ jagħżel minn kwalunkwe waħda mit-tliet funzjonijiet ta’ attivazzjoni ta’ saff moħbija fejn il-kodiċi jista’ jippreforma backpropagation
10	Problema 4: l-istudenti se jużaw il-modulu Tensorflow 2.X bil-modulu Keras inbuild, preforma backpropagation bl-użu SGD.
10	Erġa’ agħmel kappa fuq il-proċess tal-pass’il quddiem

Tutorja 3 — Intunar tal-iperparametru

Struzzjonijiet għall-għalliema

• Din it-tutorja se tintroduċi lill-istudenti għall-elementi fundamentali tal-irfinar tal-iperparametru għal netwerk newrali artifiċjali. Din it-tutorja se tikkonsisti fit-traċċar ta ‘iperparametri multipli u mbagħad evalwazzjoni bl-użu tal-istess mudelli konfigurazzjonijiet bħall-Lecture (Lecture 3). Din it-tutorja se tiffoka fuq il-modifika sistematika tal-iperparametri u l-evalwazzjoni tal-plottijiet dijanjostiċi (bl-użu tat-telf — iżda dan jista’ jiġi modifikat faċilment għall-preċiżjoni peress li hija problema ta’ klassifikazzjoni) bl-użu tas-Sett tad-Data taċ-Ċensiment. Fl-aħħar ta’ din it-tutorja (l-eżempji pass pass) l-istudenti se jkunu mistennija li jlestu Prattika b’evalwazzjoni addizzjonali għall-ġustizzja (ibbażata fuq evalwazzjoni tal-prestazzjoni ta’ subsett).
• Noti:
  • Hemm ipproċessar minn qabel imwettaq fuq is-sett tad-data (inkluż fin-notebook), madankollu, dan huwa l-minimu biex is-sett tad-data jkun jista’ jaħdem mal-ANN. Dan mhuwiex komprensiv u ma jinkludi l-ebda evalwazzjoni (preġudizzju/ġustizzja).
  • Se nużaw plottijiet dijanjostiċi biex nevalwaw l-effett tal-irfinar tal-iperparametru u b’mod partikolari enfasi fuq it-telf, fejn għandu jiġi nnutat li l-modulu li nużaw biex nipplottjaw it-telf huwa matplotlib.pyplot, u b’hekk l-assi huma skalati. Dan jista’ jfisser li differenzi sinifikanti jistgħu jidhru mhux sinifikanti jew viċi versa meta jitqabbel it-telf tat-taħriġ jew tad-data tat-test.
  • Jiġu ppreżentati xi libertajiet għall-iscaffolding, bħall-użu ta’ Epochs l-ewwel (kważi bħala teknika ta’ regolarizzazzjoni) filwaqt li d-daqs tal-lott jinżamm kostanti.
  • Biex jiġu pprovduti eżempji ċari (jiġifieri t-twaħħil żejjed) xi tweaks addizzjonali għal iperparametri oħra setgħu ġew inklużi biex jipprovdu plottijiet dijanjostiċi ċari għal eżempji.
  • Ladarba jkunu ġew identifikati kapaċità u fond raġonevoli, dan kif ukoll iperparametri oħra, huma msakkra għall-eżempji li ġejjin fejn possibbli.
  • Fl-aħħar nett, xi wħud miċ-ċelloli jistgħu jieħdu xi żmien biex iħarrġu, anke b’aċċess GPU.
• l-istudenti se jiġu ppreżentati b’diversi passi għat-tutorja:
  • Stadju 1: Xi proċessar minn qabel bażiku għas-sett tad-data taċ-Ċensiment għall-Adulti
  • It-tieni pass: Il-kapaċità u l-irfinar tal-fond (inklużi l-eżempji li ġejjin):
    • l-ebda konverġenza
    • Tagħmir ta’ taħt
    • Tagħmir żejjed
    • Konverġenza
  • Stadju 3: Epochs (fuq u taħt taħriġ — filwaqt li ma tintroduċihx bħala teknika ta’ regolarizzazzjoni formali)
  • Pass 4: Funzjonijiet ta’ attivazzjoni (fir-rigward tal-prestazzjoni — ħin ta’ taħriġ u f’xi każijiet telf)
  • Pass 5: Ir-rati ta’ tagħlim (inklużi l-eżempji li ġejjin):
    • SGD Vanilla
    • SGD b’degradazzjoni tar-rata ta’ tagħlim
    • SGD b’momentum
    • Rati ta’ tagħlim adattivi:
      • RMSProp
      • Ada Grad
      • Adam
• Is-subgħanijiet għal dawn il-ħames partijiet huwa li jipprovdu lill-istudenti bl-eżempji u l-esperjenza fl-hyperparameters tunning u l-evalwazzjoni tal-effetti bl-użu plots dijanjostiċi.

Ħin: 60 minuta

Deskrizzjoni ġenerali/skeda ta’ żmien

Tul ta’ żmien (Min)	Deskrizzjoni
5	Ipproċessar minn qabel tad-data
10	Irfinar tal-kapaċità u l-fond (twaħħil taħt u żejjed)
10	Epochs (taħt jew aktar mit-taħriġ)
10	Daqsijiet tal-lott (għat-trażżin tal-istorbju)
10	Funzjonijiet ta’ attivazzjoni (u l-effetti tagħhom fuq il-prestazzjoni — ħin u preċiżjoni)
10	Rati ta’ tagħlim (vanilla, LR Decay, Momentum, Adaptive)
5	Erġa’ għatu fuq xi iperparametri bażiċi (ReLu, Adam) u l-irfinar ta’ oħrajn (il-kapaċità u l-fond).

Rikonoxximenti

Keith Quille (TU Dublin, Kampus ta’ Tallaght) http://keithquille.com

Il-programm Masters tal-IA Ċentrata mill-Bniedem ġie kofinanzjat mill-Faċilità Nikkollegaw l-Ewropa tal-Unjoni Ewropea Taħt l-Għotja CEF-TC-2020–1 Ħiliet Diġitali 2020-EU-IA-0068.

Pjan ta’ lezzjoni dwar is-SURF

Paġna tal-Wikiwijs