Administrativne informacije
| Naslov | Ugađanje hiperparametra |
| Trajanje | 60 |
| Modul | B |
| Vrsta lekcija | Udžbenik |
| Fokus | Tehničko – dubinsko učenje |
| Tema | Ugađanje hiperparametra |
Ključne riječi
Ugađanje hiperparametra, aktivacijske funkcije, gubitak, epohe, veličina serije,
Ciljevi učenja
- Istražite učinke na kapacitet i dubinu
- Iskusan s različitim epohama i veličinama serija
- Isprobajte različite funkcije aktivacije i stope učenja
Očekivana priprema
Edukativni događaji koji će biti završeni prije
Obvezno za studente
Nijedan.
Neobvezno za studente
Nijedan.
Preporuke i pozadina za studente
- John D Kelleher i Brain McNamee. (2018.), Fundamentals of Machine Learning for Predictive Data Analytics (Osnove strojnog učenja za prediktivnu analizu podataka), MIT Press.
- Michael Nielsen. (2015.), Neuralne mreže i duboko učenje, 1. Resorni tisak, San Francisco CA SAD.
- Charu C. Aggarwal. (2018.), Neuralne mreže i duboko učenje, 1. Springer
- Antonio Gulli, Sujit Pal. Dubinsko učenje s Kerasom, Packtom, [ISBN: 9781787128422].
Preporučeno nastavnicima
Nijedan.
Nastavni materijali
Upute za učitelje
- Ovaj će tutorial upoznati studente s osnovama ugađanja hiperparametra za umjetnu neuronsku mrežu. Ovaj tutorial će se sastojati od praćenja više hiperparametara, a zatim evaluacije pomoću istih konfiguracija modela kao Predavanje (predavanje 3). Ovaj će se vodič usredotočiti na sustavnu modifikaciju hiperparametara i procjenu dijagnostičkih parcela (koristeći gubitak – ali to se može lako izmijeniti radi točnosti jer je riječ o klasifikacijskom problemu) pomoću popisa podataka. Na kraju ovog vodiča (primjeri koraka po korak) od studenata će se očekivati da završe praktični s dodatnom evaluacijom za pravednost (na temelju podskupa procjene uspješnosti).
- Napomene:
- Na skupu podataka (uključeno u prijenosno računalo) provodi se prethodna obrada, no to je minimum za rad skupa podataka s ANN-om. To nije sveobuhvatno i ne uključuje evaluaciju (pristranost/pravednost).
- Upotrijebit ćemo dijagnostičke parcele za procjenu učinka ugađanja hiperparametra, a posebno fokus na gubitak, gdje treba napomenuti da je modul koji koristimo za iscrtavanje gubitka matplotlib.pyplot, tako da je os skalirana. To može značiti da se pri usporedbi gubitka podataka o osposobljavanju ili testu mogu činiti znatne razlike ili obratno.
- Predstavljene su neke slobode za skele, kao što je prva uporaba epoha (gotovo kao tehnika regularizacije), dok se veličina serije održava konstantnom.
- Kako bi se pružili jasni primjeri (npr. prenamjena), možda su uključeni neki dodatni ugađači s drugim hiperparametrima kako bi se pružile jasne dijagnostičke parcele za primjere.
- Nakon što se utvrde razumni kapacitet i dubina, ovaj, kao i drugi hiperparametri, zaključani su za sljedeće primjere ako je to moguće.
- Konačno, neke ćelije mogu potrajati neko vrijeme za treniranje, čak i uz GPU pristup.
- Učenici će biti predstavljeni s nekoliko koraka za tutorial:
- Korak 1.: Neke osnovne predobrade za skup podataka popisa odraslih
- Korak 2.: Kapacitet i podešavanje dubine (uključujući sljedeće primjere):
- Nema konvergencije
- Nedovoljna oprema
- Preupravljanje
- Konvergencije
- Treći korak: Epohe (preko i tijekom osposobljavanja – bez uvođenja kao formalne regularizacije)
- Četvrti korak: Aktivacijske funkcije (s obzirom na performanse – vrijeme treninga i u nekim slučajevima gubitak)
- Korak 5.: Stope učenja (uključujući sljedeće primjere):
- SGD Vanilla
- SGD s brzinom učenja propadanja
- SGD sa zamahom
- Prilagodljive stope učenja:
- RMSProp
- AdaGrad
- Adam
- Podcilj za ovih pet dijelova je pružiti studentima primjere i iskustvo u ugađanju hiperparametara i procjeni učinaka pomoću dijagnostičkih parcela.
Nacrt
| Trajanje (min) | Opis |
|---|---|
| 5 | Prethodna obrada podataka |
| 10 | Kapacitet i podešavanje dubine (pod i iznad priključka) |
| 10 | Epohe (preko osposobljavanja) |
| 10 | Veličine serije (za suzbijanje buke) |
| 10 | Aktivacijske funkcije (i njihovi učinci na performanse – vrijeme i točnost) |
| 10 | Stope učenja (vanilla, LR Decay, Momentum, Adaptive) |
| 5 | Vratite se na neke osnovne hiperparametre (ReLu, Adam) i podešavanje drugih (kapacitet i dubina). |
Priznanja
Diplomski studij umjetne inteligencije usmjeren na čovjeka sufinanciran je Instrumentom za povezivanje Europe Europske unije u okviru bespovratnih sredstava CEF-TC-2020 – 1 Digital Skills 2020-EU-IA-0068.