Informazioni amministrative
| Titolo | Tecniche di regolarizzazione |
| Durata | 60 |
| Modulo | B |
| Tipo di lezione | Lezione |
| Focus | Tecnico — Apprendimento profondo |
| Argomento | Tecniche di regolarizzazione |
Parole chiave
Regolarizzazione, Callback, GridSearch,
Obiettivi di apprendimento
- Esaminare gli inizializzatori di peso
- Investigare i pregiudizi
- Applicare abbandono e rumore
- Richiami all'impliment
- Undertsand e implementare una GridSearch
- Applicare tecniche di overfitting non tradizionali
Preparazione prevista
Eventi di apprendimento da completare prima
Nessuno.
Obbligatorio per gli studenti
Nessuno.
Facoltativo per gli studenti
Nessuno.
Referenze e background per gli studenti
- John D. Kelleher e Brain McNamee (2018), Fondamenti dell'apprendimento automatico per l'analisi predittiva dei dati, MIT Press.
- Michael Nielsen. (2015), Reti neurali e apprendimento profondo, 1. Pressa di determinazione, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Reti neurali e apprendimento profondo, 1. Springer
- Antonio Gulli, Sujit Pal. Apprendimento profondo con Keras, Packt, [ISBN: 9781787128422].
Consigliato per gli insegnanti
Nessuno.
Materiale didattico
Istruzioni per gli insegnanti
Questa lezione introdurrà gli studenti ai fondamenti della messa a punto dell'iperparametro. Useremo il set di dati del censimento come esempi dell'uso e dei risultati delle tecniche di regolarizzazione. Il dataset del censimento degli adulti è un problema di classificazione binaria. L'obiettivo di questa lezione è quello di introdurre diverse forme di regolarizzazione, a partire da inizializzatori di peso, bias, co-adattamento, callback, una ricerca su griglia per il tunning automatico dell'iperparametro e tecniche di controllo della regolarizzazione aggiuntive. L'obiettivo è quello di identificare le tecniche per supportare lo sviluppo di modelli generalizzabili con limitata co-adattamento per imparare la funzione e non i dati. Alcune di queste tecniche migliorano anche il tempo di allenamento, quindi possono ridurre il calcolo necessario per i modelli più grandi.
Contorno
| Durata (min) | Descrizione |
|---|---|
| 10 | Inizializzatori di peso e bias |
| 10 | Coadattamento |
| 10 | Richiami |
| 20 | GridSearch |
| 10 | Controlli supplementari |
Riconoscimenti
Il programma Human-Centered AI Masters è stato co-finanziato dal meccanismo per collegare l'Europa dell'Unione europea nell'ambito della sovvenzione CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.