Informații administrative
| Titlu | Reglarea hiperparametrului |
| Durată | 60 |
| Modulul | B |
| Tipul lecției | Tutorial |
| Focalizare | Tehnică – Învățare profundă |
| Subiect | Reglarea hiperparametrului |
Cuvinte cheie
Tuning hiperparametru, funcții de activare, pierdere, epoci, dimensiunea lotului,
Obiective de învățare
- Investigarea efectelor asupra capacității și profunzimii
- Experiență cu diferite epoci și dimensiuni ale loturilor
- Testați diferite funcții de activare și rate de învățare
Pregătirea preconizată
Evenimente de învățare care urmează să fie finalizate înainte
Obligatoriu pentru studenți
Nici unul.
Opțional pentru studenți
Nici unul.
Referințe și context pentru studenți
- John D Kelleher și Brain McNamee. (2018), Fundamentals of Machine Learning for Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning (Rețele neuronale și învățare profundă), 1. Presa de determinare, San Francisco CA SUA.
- Charu C. Aggarwal. (2018), Neural Networks and Deep Learning (Rețele neuronale și învățare profundă), 1. Springer
- Antonio Gulli, Sujit Pal. Deep Learning cu Keras, Packt, [ISBN: 9781787128422].
Recomandat pentru profesori
Nici unul.
Materiale de lecție
Instrucțiuni pentru profesori
- Acest tutorial va introduce elevii la fundamentele de tunning hiperparametru pentru o rețea neuronală artificială. Acest tutorial va consta în urmărirea mai multor hiperparametri și apoi evaluarea folosind aceleași configurații de modele ca și Lecture (Lectura 3). Acest tutorial se va concentra pe modificarea sistematică a hiperparametrilor și evaluarea parcelelor de diagnosticare (folosind pierderi – dar aceasta ar putea fi ușor modificată pentru acuratețe, deoarece este o problemă de clasificare) utilizând Setul de date privind recensământul. La sfârșitul acestui tutorial (exemplele pas cu pas) elevii vor fi așteptați să completeze o evaluare practică cu o evaluare suplimentară pentru echitate (pe baza evaluării performanței subsetului).
- Note:
- Există preprocesare efectuată pe setul de date (inclus în notebook), cu toate acestea, acesta este minimul pentru ca setul de date să funcționeze cu ANN. Acest lucru nu este cuprinzător și nu include nicio evaluare (părtinire/corectitudine).
- Vom folosi parcele de diagnosticare pentru a evalua efectul de tunning hiperparametru și, în special, un accent pe pierdere, în cazul în care trebuie remarcat faptul că modulul pe care îl folosim pentru a parcela pierderea este matplotlib.pyplot, astfel axa sunt scalate. Acest lucru poate însemna că diferențele semnificative pot să nu apară semnificative sau invers atunci când se compară pierderea datelor de antrenament sau de testare.
- Sunt prezentate unele libertăți pentru schele, cum ar fi utilizarea Epochs în primul rând (aproape ca o tehnică de regularizare), menținând în același timp dimensiunea lotului constantă.
- Pentru a oferi exemple clare (adică supraadaptarea), este posibil să fi fost incluse unele ajustări suplimentare la alți hiperparametri pentru a oferi parcele de diagnosticare clare pentru exemple.
- Odată ce a fost identificată o capacitate rezonabilă și o adâncime rezonabilă, aceasta, precum și alți hiperparametri, sunt blocate pentru a urma exemple, acolo unde este posibil.
- În cele din urmă, unele dintre celule pot dura ceva timp pentru a se antrena, chiar și cu acces GPU.
- Elevii vor fi prezentați cu mai mulți pași pentru tutorial:
- Etapa 1: Unele pre-prelucrări de bază pentru setul de date privind recensământul adulților
- Etapa 2: Capacitatea și adâncimea de reglare (inclusiv următoarele exemple):
- Fără convergență
- Sub-echipare
- Supraadaptare
- Convergență
- Etapa 3: Epoci (de-a lungul și în curs de formare – fără a o introduce ca tehnică formală de regularizare)
- Etapa 4: Funcții de activare (în ceea ce privește performanța – timpul de formare și, în unele cazuri, pierderea)
- Etapa 5: Ratele de învățare (inclusiv următoarele exemple):
- SGD Vanilie
- SGD cu decădere a ratei de învățare
- SGD cu impuls
- Ratele de învățare adaptive:
- RMSProp
- AdaGrad
- Adam
- Subobiectivele pentru aceste cinci părți sunt de a oferi studenților exemple și experiență în tuning hiperparametri și evaluarea efectelor folosind parcele de diagnosticare.
Contur
| Durată (min) | Descriere |
|---|---|
| 5 | Pre-prelucrarea datelor |
| 10 | Capacitatea și adâncimea de reglare (sub și peste montare) |
| 10 | Epoci (sub și peste formare) |
| 10 | Dimensiuni lot (pentru suprimarea zgomotului) |
| 10 | Funcțiile de activare (și efectele lor asupra performanței – timp și precizie) |
| 10 | Ratele de învățare (vanilla, LR Decay, Momentum, Adaptive) |
| 5 | Recapitulați pe unii hiperparametri de bază (ReLu, Adam) și pe reglarea altora (capacitate și adâncime). |
Confirmări
Programul de masterat AI centrat pe om a fost cofinantat de Mecanismul pentru interconectarea Europei al Uniunii Europene sub Grantul CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.