Informazioni amministrative
| Titolo | Sintonizzazione dell'iperparametro |
| Durata | 60 |
| Modulo | B |
| Tipo di lezione | Lezione |
| Focus | Tecnico — Apprendimento profondo |
| Argomento | Sintonizzazione dell'iperparametro |
Parole chiave
Sintonizzazione dell'iperparametro, funzioni di attivazione, perdita, epoche, dimensioni dei lotti,
Obiettivi di apprendimento
- Studiare gli effetti sulla capacità e la profondità
- Esperto con diverse epoche e dimensioni dei lotti
- Prova diverse funzioni di attivazione e tassi di apprendimento
Preparazione prevista
Eventi di apprendimento da completare prima
Obbligatorio per gli studenti
Nessuno.
Facoltativo per gli studenti
Nessuno.
Referenze e background per gli studenti
- John D. Kelleher e Brain McNamee (2018), Fondamenti dell'apprendimento automatico per l'analisi predittiva dei dati, MIT Press.
- Michael Nielsen. (2015), Reti neurali e apprendimento profondo, 1. Pressa di determinazione, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Reti neurali e apprendimento profondo, 1. Springer
- Antonio Gulli, Sujit Pal. Apprendimento profondo con Keras, Packt, [ISBN: 9781787128422].
Consigliato per gli insegnanti
Nessuno.
Materiale didattico
Istruzioni per gli insegnanti
Questa lezione introdurrà gli studenti ai fondamenti della messa a punto dell'iperparametro. Useremo il set di dati del censimento come esempi di utilizzo e risultati della messa a punto di vari ipermetri. Il dataset del censimento degli adulti è un problema di classificazione binaria. Ulteriori informazioni su questo set di dati nel tutorial corrispondente. L'obiettivo di questa lezione è quello di introdurre diversi iperparametri con esempi di come modificare questi iperparametri può aiutare o ostacolare l'apprendimento. Inoltre forniamo esempi di sotto e overfitting, aumento del naso e delle prestazioni (tempo di allenamento e in alcuni casi accuratezza/perdita) quando ciascuno degli iperparametri è sintonizzato. Utilizzeremo diagrammi diagnostici per valutare l'effetto dell'iperparametro tunning e in particolare un focus sulla perdita, dove va notato che il modulo che usiamo per tracciare la perdita è matplotlib.pyplot, quindi l'asse viene scalato. Ciò può significare che le differenze significative possono apparire non significative o viceversa quando si confronta la perdita dei dati di allenamento o di prova. Inoltre vengono presentate alcune libertà per i ponteggi, come l'uso di Epochs prima (quasi come tecnica di regolarizzazione) mantenendo costante la dimensione del Batch. Idealmente questi sarebbero stati messi insieme, ma per questa lezione sono separati.
Contorno
| Durata (min) | Descrizione |
|---|---|
| 5 | Panoramica dei dati |
| 10 | Regolazione della capacità e della profondità (sotto e sopra il montaggio) |
| 10 | Epoche (sotto e oltre l'allenamento) |
| 10 | Dimensioni dei lotti (per la soppressione del rumore) |
| 10 | Funzioni di attivazione (e i loro effetti sulle prestazioni — tempo e precisione) |
| 10 | Tassi di apprendimento (vaniglia, LR Decay, Momentum, Adaptive) |
| 5 | Riepilogo sul processo forward pass |
Riconoscimenti
Il programma Human-Centered AI Masters è stato co-finanziato dal meccanismo per collegare l'Europa dell'Unione europea nell'ambito della sovvenzione CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.