Hallinnolliset tiedot
| Otsikko | Hyperparametriviritys |
| Kesto | 60 |
| Moduuli | B |
| Oppitunnin tyyppi | Opetusohjelma |
| Keskittyminen | Tekninen – syväoppiminen |
| Aihe | Hyperparametriviritys |
Avainsanoja
Hyperparametriviritys, aktivointitoiminnot, häviäminen, aikakaudet, erän koko,
Oppimistavoitteet
- Tutkia vaikutuksia kapasiteettiin ja syvyyteen
- Kokemus vaihtelevilla aikakausilla ja eräkokoilla
- Kokeile erilaisia aktivointitoimintoja ja oppimisasteita
Odotettu valmistelu
Oppimistapahtumat valmistuvat ennen
Pakollinen opiskelijoille
Ei mitään.
Valinnainen opiskelijoille
Ei mitään.
Referenssejä ja taustaa opiskelijoille
- John D Kelleher ja Brain McNamee. (2018), koneoppimisen perusteet ennakoivaa data-analytiikkaa varten, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning, 1. Päättäväinen lehdistö, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neural Networks and Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Syväoppiminen Keras, Packt, [ISBN: 9781787128422].
Suositellaan opettajille
Ei mitään.
Oppituntimateriaalit
Ohjeita opettajille
- Tämä opetusohjelma esittelee opiskelijoille hyperparametrin tunning perusteet keinotekoiselle hermoverkolle. Tämä opetusohjelma koostuu useiden hyperparametrien seuraamisesta ja sen jälkeen arvioinnista käyttäen samoja malleja kuin luennolla (luku 3). Tämä opetusohjelma keskittyy hyperparametrien järjestelmälliseen muuttamiseen ja diagnostisten koealojen arviointiin (käyttäen häviötä – mutta tätä voidaan helposti muokata tarkkuuteen, koska se on luokitteluongelma) käyttäen laskentatietoaineistoa. Tämän opetusohjelman lopussa (askel askeleelta esimerkkejä) opiskelijoiden odotetaan suorittavan käytännön ja lisäarvioinnin oikeudenmukaisuudesta (perustuu osajoukon suorituskyvyn arviointiin).
- Huomautuksia:
- Tietoaineistolle tehdään esikäsittely (sisältyy muistikirjaan), mutta tämä on pienin, jotta tietoaineisto toimisi ANN: n kanssa. Tämä ei ole kattava eikä sisällä minkäänlaista arviointia (puolueellisuus/oikeudenmukaisuus).
- Käytämme diagnostisia havaintoja hyperparametrin tunning vaikutuksen arviointiin ja erityisesti keskittymään menetykseen, jossa on huomattava, että häviön kuvaamiseen käyttämämme moduuli on matplotlib.pyplot, joten akseli skaalataan. Tämä voi tarkoittaa sitä, että merkittävät erot eivät välttämättä vaikuta merkittäviltä tai päinvastoin, kun verrataan koulutus- tai testitietojen menetystä.
- Joitakin rakennustelineiden vapauksia esitetään, kuten Epochsin käyttö ensin (lähes normalisointimenetelmänä) samalla kun erän koko pysyy vakiona.
- Selkeiden esimerkkien antamiseksi (esim. ylisovitus) muita hyperparametreja on voitu lisätä, jotta esimerkkeinä voidaan esittää selkeitä diagnostisia havaintoja.
- Kun kohtuullinen kapasiteetti ja syvyys on tunnistettu, tämä samoin kuin muut hyperparametrit on lukittu seuraaville esimerkeille mahdollisuuksien mukaan.
- Lopuksi jotkut solut voivat kestää jonkin aikaa treenata, jopa GPU pääsy.
- Opiskelijat esitellään useita vaiheita opetusohjelma:
- Vaihe 1: Aikuislaskennan aineiston perusesikäsittely
- Vaihe 2: Kapasiteetti ja syvyys tunning (mukaan lukien seuraavat esimerkit):
- Ei lähentymistä
- Alivarustelu
- Ylisovitus
- Lähentyminen
- Vaihe 3: Aikajaksot (valmennuksen lisäksi ja sen jälkeen, kun sitä ei oteta käyttöön virallisena laillistamismenetelmänä)
- Vaihe 4: Aktivointitoiminnot (suorituksen osalta – harjoitusaika ja joissakin tapauksissa menetys)
- Vaihe 5: Oppimisasteet (mukaan lukien seuraavat esimerkit):
- SGD Vanilla
- SGD, jossa oppimisprosentti rappeutuu
- SGD vauhdilla
- Sopeutumiskykyiset oppimisasteet:
- RMSProp
- AdaGrad
- Adam
- Näiden viiden osan alatavoitteina on tarjota opiskelijoille esimerkkejä ja kokemusta tunning-hyperparametreista ja arvioida vaikutuksia diagnostisten koealojen avulla.
Hahmotella
| Kesto (Min) | Kuvaus |
|---|---|
| 5 | Tietojen esikäsittely |
| 10 | Kapasiteetti ja syvyys tunning (alle ja yli) |
| 10 | Aikakaudet (koulutus alle ja yli) |
| 10 | Eräkoot (melunvaimennus) |
| 10 | Aktivointitoiminnot (ja niiden vaikutukset suorituskykyyn – aika ja tarkkuus) |
| 10 | Oppimisasteet (vanilla, LR Decay, Momentum, Adaptive) |
| 5 | Yhteenveto joistakin niitien hyperparametreista (ReLu, Adam) ja muiden (kapasiteetti ja syvyys) tunningista. |
Tunnustukset
Human-Centered AI Masters -ohjelmaa rahoitettiin Euroopan unionin Verkkojen Eurooppa -välineestä (CEF-TC-2020–1 Digital Skills 2020-EU-IA-0068).