Informazioni amministrative
| Titolo | Sintonizzazione dell'iperparametro |
| Durata | 60 |
| Modulo | B |
| Tipo di lezione | Esercitazione |
| Focus | Tecnico — Apprendimento profondo |
| Argomento | Sintonizzazione dell'iperparametro |
Parole chiave
Sintonizzazione dell'iperparametro, funzioni di attivazione, perdita, epoche, dimensione del lotto,
Obiettivi di apprendimento
- Studiare gli effetti sulla capacità e la profondità
- Esperto con diverse epoche e dimensioni dei lotti
- Prova diverse funzioni di attivazione e tassi di apprendimento
Preparazione prevista
Eventi di apprendimento da completare prima
Obbligatorio per gli studenti
Nessuno.
Facoltativo per gli studenti
Nessuno.
Referenze e background per gli studenti
- John D. Kelleher e Brain McNamee (2018), Fondamenti dell'apprendimento automatico per l'analisi predittiva dei dati, MIT Press.
- Michael Nielsen. (2015), Reti neurali e apprendimento profondo, 1. Pressa di determinazione, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Reti neurali e apprendimento profondo, 1. Springer
- Antonio Gulli, Sujit Pal. Apprendimento profondo con Keras, Packt, [ISBN: 9781787128422].
Consigliato per gli insegnanti
Nessuno.
Materiale didattico
Istruzioni per gli insegnanti
- Questo tutorial introdurrà gli studenti ai fondamenti dell'iperparametro tunning per una rete neurale artificiale. Questo tutorial consisterà nel trailing di più iperparametri e poi nella valutazione utilizzando le stesse configurazioni dei modelli della Lecture (Lecture 3). Questo tutorial si concentrerà sulla modifica sistematica degli iperparametri e sulla valutazione dei grafici diagnostici (utilizzando la perdita — ma questo potrebbe essere facilmente modificato per l'accuratezza in quanto si tratta di un problema di classificazione) utilizzando il Dataset Census. Alla fine di questo tutorial (l'esempio passo dopo passo) gli studenti saranno tenuti a completare una pratica con una valutazione aggiuntiva per l'equità (basata sulla valutazione delle prestazioni dei sottogruppi).
- Note:
- C'è preelaborazione condotta sul set di dati (incluso nel notebook), tuttavia, questo è il minimo per ottenere che il set di dati funzioni con l'ANN. Questo non è completo e non include alcuna valutazione (verità/equità).
- Utilizzeremo diagrammi diagnostici per valutare l'effetto dell'iperparametro tunning e in particolare un focus sulla perdita, dove va notato che il modulo che usiamo per tracciare la perdita è matplotlib.pyplot, quindi l'asse viene scalato. Ciò può significare che le differenze significative possono apparire non significative o viceversa quando si confronta la perdita dei dati di allenamento o di prova.
- Vengono presentate alcune libertà per i ponteggi, come l'uso di Epochs prima (quasi come tecnica di regolarizzazione) mantenendo costante la dimensione del Batch.
- Per fornire esempi chiari (ad esempio overfitting) potrebbero essere stati inclusi alcuni ritocchi aggiuntivi ad altri iperparametri per fornire grafici diagnostici chiari per esempi.
- Una volta identificata una capacità e una profondità ragionevoli, questo e altri iperparametri sono bloccati per seguire esempi ove possibile.
- Infine, alcune celle possono richiedere del tempo per allenarsi, anche con l'accesso alla GPU.
- Gli studenti saranno presentati con diversi passaggi per il tutorial:
- Fase 1: Alcuni pre-elaborazione di base per il set di dati del censimento degli adulti
- Fase 2: Regolazione della capacità e della profondità (compresi i seguenti esempi):
- Nessuna convergenza
- Sottofitting
- Sovrapposizione
- Convergenza
- Fase 3: Epoche (oltre e in corso di formazione — pur non introducendola come tecnica di regolarizzazione formale)
- Fase 4: Funzioni di attivazione (rispetto alle prestazioni — tempo di allenamento e in alcuni casi perdita)
- Fase 5: Tassi di apprendimento (compresi i seguenti esempi):
- SGD Vaniglia
- SGD con decadimento del tasso di apprendimento
- SGD con slancio
- Tassi di apprendimento adattivo:
- RMSProp
- AdaGrad
- Adamo
- Il sottoobiettivo di queste cinque parti è quello di fornire agli studenti esempi ed esperienza nel sintonizzare gli iperparametri e valutare gli effetti utilizzando grafici diagnostici.
Contorno
| Durata (min) | Descrizione |
|---|---|
| 5 | Pre-trattamento dei dati |
| 10 | Regolazione della capacità e della profondità (sotto e sopra il montaggio) |
| 10 | Epoche (sotto e oltre l'allenamento) |
| 10 | Dimensioni dei lotti (per la soppressione del rumore) |
| 10 | Funzioni di attivazione (e i loro effetti sulle prestazioni — tempo e precisione) |
| 10 | Tassi di apprendimento (vaniglia, LR Decay, Momentum, Adaptive) |
| 5 | Ricapitolare su alcuni iperparametri di base (ReLu, Adam) e il tunning di altri (capacità e profondità). |
Riconoscimenti
Il programma Human-Centered AI Masters è stato co-finanziato dal meccanismo per collegare l'Europa dell'Unione europea nell'ambito della sovvenzione CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.