Administrativne informacije
| Naslov | Ugađanje hiperparametra |
| Trajanje | 60 |
| Modul | B |
| Vrsta lekcija | Predavanje |
| Fokus | Tehničko – dubinsko učenje |
| Tema | Ugađanje hiperparametra |
Ključne riječi
Ugađanje hiperparametra, aktivacijske funkcije, gubitak, epohe, veličina serije,
Ciljevi učenja
- Istražite učinke na kapacitet i dubinu
- Iskusan s različitim epohama i veličinama serija
- Isprobajte različite funkcije aktivacije i stope učenja
Očekivana priprema
Edukativni događaji koji će biti završeni prije
Obvezno za studente
Nijedan.
Neobvezno za studente
Nijedan.
Preporuke i pozadina za studente
- John D Kelleher i Brain McNamee. (2018.), Fundamentals of Machine Learning for Predictive Data Analytics (Osnove strojnog učenja za prediktivnu analizu podataka), MIT Press.
- Michael Nielsen. (2015.), Neuralne mreže i duboko učenje, 1. Resorni tisak, San Francisco CA SAD.
- Charu C. Aggarwal. (2018.), Neuralne mreže i duboko učenje, 1. Springer
- Antonio Gulli, Sujit Pal. Dubinsko učenje s Kerasom, Packtom, [ISBN: 9781787128422].
Preporučeno nastavnicima
Nijedan.
Nastavni materijali
Upute za učitelje
Ovo predavanje upoznat će studente s osnovama ugađanja hiperparametra. Upotrijebit ćemo skup podataka popisa kao primjere uporabe i ishoda ugađanja različitih hipermetara. Skup podataka popisa odraslih je binarni klasifikacijski problem. Više o ovom skupu podataka u odgovarajućem vodiču. Cilj ovog predavanja je predstaviti nekoliko hiperparametara s primjerima kako modifikacija ovih hiperparametara može pomoći ili ometati učenje. Osim toga, dajemo primjere nedovoljnih i prenamjena, dobitaka u nosu i performansama (vrijeme treniranja i u nekim slučajevima točnost/gubitak) kada se svaki od hiperparametara ugađa. Upotrijebit ćemo dijagnostičke parcele za procjenu učinka ugađanja hiperparametra, a posebno fokus na gubitak, gdje treba napomenuti da je modul koji koristimo za iscrtavanje gubitka matplotlib.pyplot, tako da je os skalirana. To može značiti da se pri usporedbi gubitka podataka o osposobljavanju ili testu mogu činiti znatne razlike ili obratno. Osim toga, predstavljene su i neke slobode za skele, kao što je prva uporaba epoha (gotovo kao tehnika regularizacije), dok se veličina serije održava konstantnom. U idealnom slučaju, oni će biti ugašeni zajedno, ali za ovo predavanje su razdvojeni.
Nacrt
| Trajanje (min) | Opis |
|---|---|
| 5 | Pregled podataka |
| 10 | Kapacitet i podešavanje dubine (pod i iznad priključka) |
| 10 | Epohe (preko osposobljavanja) |
| 10 | Veličine serije (za suzbijanje buke) |
| 10 | Aktivacijske funkcije (i njihovi učinci na performanse – vrijeme i točnost) |
| 10 | Stope učenja (vanilla, LR Decay, Momentum, Adaptive) |
| 5 | Preuzmite proces naprijed prolaza |
Priznanja
Diplomski studij umjetne inteligencije usmjeren na čovjeka sufinanciran je Instrumentom za povezivanje Europe Europske unije u okviru bespovratnih sredstava CEF-TC-2020 – 1 Digital Skills 2020-EU-IA-0068.