Informații administrative
| Titlu | Reglarea hiperparametrului |
| Durată | 60 |
| Modulul | B |
| Tipul lecției | Prelegere |
| Focalizare | Tehnică – Învățare profundă |
| Subiect | Reglarea hiperparametrului |
Cuvinte cheie
Tuning hiperparametru, funcții de activare, pierdere, epoci, dimensiunea lotului,
Obiective de învățare
- Investigarea efectelor asupra capacității și profunzimii
- Experiență cu diferite epoci și dimensiuni ale loturilor
- Testați diferite funcții de activare și rate de învățare
Pregătirea preconizată
Evenimente de învățare care urmează să fie finalizate înainte
Obligatoriu pentru studenți
Nici unul.
Opțional pentru studenți
Nici unul.
Referințe și context pentru studenți
- John D Kelleher și Brain McNamee. (2018), Fundamentals of Machine Learning for Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning (Rețele neuronale și învățare profundă), 1. Presa de determinare, San Francisco CA SUA.
- Charu C. Aggarwal. (2018), Neural Networks and Deep Learning (Rețele neuronale și învățare profundă), 1. Springer
- Antonio Gulli, Sujit Pal. Deep Learning cu Keras, Packt, [ISBN: 9781787128422].
Recomandat pentru profesori
Nici unul.
Materiale de lecție
Instrucțiuni pentru profesori
Această prelegere va prezenta studenților elementele fundamentale ale tuningului hiperparametrului. Vom folosi setul de date privind recensământul ca exemple de utilizare și rezultate ale reglajului diferitelor hipermetre. Setul de date privind recensământul adulților este o problemă de clasificare binară. Mai multe despre acest set de date în tutorialul corespunzător. Scopul acestei prelegeri este de a introduce mai mulți hiperparametri cu exemple despre modul în care modificarea acestor hiperparametri poate ajuta sau împiedica învățarea. În plus, oferim exemple de câștiguri sub și suprasolicitare, nas și performanță (timp de antrenament și, în unele cazuri, precizie/pierdere) atunci când fiecare dintre hiperparametri este reglat. Vom folosi parcele de diagnosticare pentru a evalua efectul de tunning hiperparametru și, în special, un accent pe pierdere, în cazul în care trebuie remarcat faptul că modulul pe care îl folosim pentru a parcela pierderea este matplotlib.pyplot, astfel axa sunt scalate. Acest lucru poate însemna că diferențele semnificative pot să nu apară semnificative sau invers atunci când se compară pierderea datelor de antrenament sau de testare. În plus, sunt prezentate unele libertăți pentru schele, cum ar fi utilizarea Epochs în primul rând (aproape ca o tehnică de regularizare), menținând în același timp dimensiunea lotului constantă. În mod ideal, acestea ar fi reglate împreună, dar pentru această prelegere ele sunt separate.
Contur
| Durată (min) | Descriere |
|---|---|
| 5 | Prezentare generală a datelor |
| 10 | Capacitatea și adâncimea de reglare (sub și peste montare) |
| 10 | Epoci (sub și peste formare) |
| 10 | Dimensiuni lot (pentru suprimarea zgomotului) |
| 10 | Funcțiile de activare (și efectele lor asupra performanței – timp și precizie) |
| 10 | Ratele de învățare (vanilla, LR Decay, Momentum, Adaptive) |
| 5 | Recapitularea procesului de trecere înainte |
Confirmări
Programul de masterat AI centrat pe om a fost cofinantat de Mecanismul pentru interconectarea Europei al Uniunii Europene sub Grantul CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.