Tutorja: Irfinar tal-iperparametru

Informazzjoni Amministrattiva

Kliem prinċipali

Irfinar tal-iperparametru, funzjonijiet ta’ attivazzjoni, telf, epoki, daqs tal-lott,

Għanijiet ta’ Tagħlim

• Investigazzjoni tal-effetti fuq il-kapaċità u l-fond
• Esperjenza b’epochs u daqsijiet tal-lott li jvarjaw
• Prova ta ‘funzjonijiet ta’ attivazzjoni differenti u r-rati ta ‘tagħlim

Preparazzjoni mistennija

Materjali tal-lezzjoni

• Hyperparameter Tuning Steps 1–5 (HTML)
• Hyperparameter Tuning Steps 1–5 (.ipynb)
• Settijiet ta’ data għat-tagħlim tal-IA etika (Census Dataset)

Struzzjonijiet għall-Għalliema

• Din it-tutorja se tintroduċi lill-istudenti għall-elementi fundamentali tal-irfinar tal-iperparametru għal netwerk newrali artifiċjali. Din it-tutorja se tikkonsisti fit-traċċar ta ‘iperparametri multipli u mbagħad evalwazzjoni bl-użu tal-istess mudelli konfigurazzjonijiet bħall-Lecture (Lecture 3). Din it-tutorja se tiffoka fuq il-modifika sistematika tal-iperparametri u l-evalwazzjoni tal-plottijiet dijanjostiċi (bl-użu tat-telf — iżda dan jista’ jiġi modifikat faċilment għall-preċiżjoni peress li hija problema ta’ klassifikazzjoni) bl-użu tas-Sett tad-Data taċ-Ċensiment. Fl-aħħar ta’ din it-tutorja (l-eżempji pass pass) l-istudenti se jkunu mistennija li jlestu Prattika b’evalwazzjoni addizzjonali għall-ġustizzja (ibbażata fuq evalwazzjoni tal-prestazzjoni ta’ subsett).
• Noti:
  • Hemm ipproċessar minn qabel imwettaq fuq is-sett tad-data (inkluż fin-notebook), madankollu, dan huwa l-minimu biex is-sett tad-data jkun jista’ jaħdem mal-ANN. Dan mhuwiex komprensiv u ma jinkludi l-ebda evalwazzjoni (preġudizzju/ġustizzja).
  • Se nużaw plottijiet dijanjostiċi biex nevalwaw l-effett tal-irfinar tal-iperparametru u b’mod partikolari enfasi fuq it-telf, fejn għandu jiġi nnutat li l-modulu li nużaw biex nipplottjaw it-telf huwa matplotlib.pyplot, u b’hekk l-assi huma skalati. Dan jista’ jfisser li differenzi sinifikanti jistgħu jidhru mhux sinifikanti jew viċi versa meta jitqabbel it-telf tat-taħriġ jew tad-data tat-test.
  • Jiġu ppreżentati xi libertajiet għall-iscaffolding, bħall-użu ta’ Epochs l-ewwel (kważi bħala teknika ta’ regolarizzazzjoni) filwaqt li d-daqs tal-lott jinżamm kostanti.
  • Biex jiġu pprovduti eżempji ċari (jiġifieri t-twaħħil żejjed) xi tweaks addizzjonali għal iperparametri oħra setgħu ġew inklużi biex jipprovdu plottijiet dijanjostiċi ċari għal eżempji.
  • Ladarba jkunu ġew identifikati kapaċità u fond raġonevoli, dan kif ukoll iperparametri oħra, huma msakkra għall-eżempji li ġejjin fejn possibbli.
  • Fl-aħħar nett, xi wħud miċ-ċelloli jistgħu jieħdu xi żmien biex iħarrġu, anke b’aċċess GPU.
• l-istudenti se jiġu ppreżentati b’diversi passi għat-tutorja:
  • Stadju 1: Xi proċessar minn qabel bażiku għas-sett tad-data taċ-Ċensiment għall-Adulti
  • It-tieni pass: Il-kapaċità u l-irfinar tal-fond (inklużi l-eżempji li ġejjin):
    • l-ebda konverġenza
    • Tagħmir ta’ taħt
    • Tagħmir żejjed
    • Konverġenza
  • Stadju 3: Epochs (fuq u taħt taħriġ — filwaqt li ma tintroduċihx bħala teknika ta’ regolarizzazzjoni formali)
  • Pass 4: Funzjonijiet ta’ attivazzjoni (fir-rigward tal-prestazzjoni — ħin ta’ taħriġ u f’xi każijiet telf)
  • Pass 5: Ir-rati ta’ tagħlim (inklużi l-eżempji li ġejjin):
    • SGD Vanilla
    • SGD b’degradazzjoni tar-rata ta’ tagħlim
    • SGD b’momentum
    • Rati ta’ tagħlim adattivi:
      • RMSProp
      • Ada Grad
      • Adam
• Is-subgħanijiet għal dawn il-ħames partijiet huwa li jipprovdu lill-istudenti bl-eżempji u l-esperjenza fl-hyperparameters tunning u l-evalwazzjoni tal-effetti bl-użu plots dijanjostiċi.

Deskrizzjoni fil-qosor

Rikonoxximenti

Il-programm Masters tal-IA Ċentrata mill-Bniedem ġie kofinanzjat mill-Faċilità Nikkollegaw l-Ewropa tal-Unjoni Ewropea Taħt l-Għotja CEF-TC-2020–1 Ħiliet Diġitali 2020-EU-IA-0068.

Pjan ta’ lezzjoni dwar is-SURF

Paġna tal-Wikiwijs