Administrativ information
| Titel | Hyperparameterinställning |
| Varaktighet | 60 |
| Modul | B |
| Typ av lektion | Föreläsning |
| Fokus | Tekniskt – Djupt lärande |
| Ämne | Hyperparameterinställning |
Nyckelord
Hyperparameterinställning, aktiveringsfunktioner, förlust, epoker, batchstorlek,
Lärandemål
- Undersöka effekter på kapacitet och djup
- Erfarenhet med varierande epoker och batchstorlekar
- Testa olika aktiveringsfunktioner och inlärningsfrekvenser
Förväntad förberedelse
Lärande händelser som ska slutföras innan
Obligatoriskt för studenter
Ingen.
Valfritt för studenter
Ingen.
Referenser och bakgrund för studenter
- John D Kelleher och Brain McNamee. (2018), Grundläggande maskininlärning för prediktiv dataanalys, MIT Press.
- Michael Nielsen. (2015), Neurala nätverk och djupt lärande, 1. Beslutande press, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neurala nätverk och djupt lärande, 1. Springer
- Antonio Gulli och Sujit Pal. Djupinlärning med Keras, Packt, [ISBN: 9781787128422].
Rekommenderas för lärare
Ingen.
Lektionsmaterial
Instruktioner för lärare
Denna föreläsning kommer att introducera eleverna till grunderna i hyperparameterinställningen. Vi kommer att använda Census Dataset som exempel på användning och resultat från inställning av olika hypermetrar. Adult Census Dataset är ett binärt klassificeringsproblem. Mer om denna datamängd i motsvarande handledning. Målet med denna föreläsning är att introducera flera hyperparametrar med exempel på hur modifiering av dessa hyperparametrar kan underlätta eller hindra inlärning. Dessutom ger vi exempel på under- och övermontering, nos- och prestationsvinster (träningstid och i vissa fall noggrannhet/förlust) när var och en av hyperparametrarna är tunnade. Vi kommer att använda diagnostiska tomter för att utvärdera effekten av hyperparameter tunning och i synnerhet ett fokus på förlust, där det bör noteras att den modul vi använder för att rita förlusten är matplotlib.pyplot, så axeln skalas. Detta kan innebära att betydande skillnader inte kan framstå som signifikanta eller vice versa när man jämför förlusten av tränings- eller testdata. Dessutom presenteras vissa friheter för byggnadsställningar, såsom användningen av Epochs först (nästan som en regulariseringsteknik) samtidigt som Batch-storleken hålls konstant. Helst skulle dessa vara tunned tillsammans, men för denna föreläsning är de separerade.
Konturer
| Varaktighet (min) | Beskrivning |
|---|---|
| 5 | Översikt över uppgifterna |
| 10 | Kapacitet och djup tunnning (under och över montering) |
| 10 | Epok (under och över träning) |
| 10 | Satsstorlekar (för bullerdämpning) |
| 10 | Aktiveringsfunktioner (och deras effekter på prestanda – tid och noggrannhet) |
| 10 | Inlärningsfrekvens (vanilj, LR Decay, Momentum, Adaptive) |
| 5 | Sammanfattning av processen för framåtpass |
Erkännanden
Masterprogrammet Human-Centered AI har samfinansierats av Fonden för ett sammanlänkat Europa i Europeiska unionen inom ramen för Grant CEF-TC-2020–1 Digital Skills 2020 EU-IA-0068.