Informazioni amministrative
| Titolo | Tecniche di regolarizzazione |
| Durata | 60 |
| Modulo | B |
| Tipo di lezione | Esercitazione |
| Focus | Tecnico — Apprendimento profondo |
| Argomento | Tecniche di regolarizzazione |
Parole chiave
Regolarizzazione, Callback, GridSearch,
Obiettivi di apprendimento
- Esaminare gli inizializzatori di peso
- Investigare i pregiudizi
- Applicare abbandono e rumore
- Richiami all'impliment
- Undertsand e implementare una GridSearch
- Applicare tecniche di overfitting non tradizionali
Preparazione prevista
Eventi di apprendimento da completare prima
Nessuno.
Obbligatorio per gli studenti
Nessuno.
Facoltativo per gli studenti
Nessuno.
Referenze e background per gli studenti
- John D. Kelleher e Brain McNamee (2018), Fondamenti dell'apprendimento automatico per l'analisi predittiva dei dati, MIT Press.
- Michael Nielsen. (2015), Reti neurali e apprendimento profondo, 1. Pressa di determinazione, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Reti neurali e apprendimento profondo, 1. Springer
- Antonio Gulli, Sujit Pal. Apprendimento profondo con Keras, Packt, [ISBN: 9781787128422].
Consigliato per gli insegnanti
Nessuno.
Materiale didattico
Istruzioni per gli insegnanti
- Gli studenti saranno tenuti a dimostrare e applicare tecniche/algoritmi fondamentali per la previsione e la formazione delle reti neurali, comprese le indagini per il bias del modello e basate sulla regolarizzazione del modello. Confronta, contrasta e dimostra gli iperparametri appropriati per l'addestramento delle reti neurali artificiali, con particolare attenzione alla riproducibilità (generalizzabilità), alla trasparenza e all'interpretazione. Utilizzare i framework di Deep Learning per implementare modelli di Deep Learning per attività di classificazione e o regressione. Ciò include una forte attenzione alla valutazione dei modelli, per quanto riguarda le prestazioni e le considerazioni etiche, con conseguente trasparenza e intelligenza artificiale spiegabile. Questa pratica richiede di sviluppare il modello AI più adatto, dove ogni metodo adatto per lo sviluppo del modello sia impiegato per garantire la migliore generalizzazione.
- Il tutorial si basa sul seguente set di dati [[1]] dove i dettagli degli attributi sono contenuti nei materiali della lezione.
- Il tutorial richiederà le seguenti intestazioni. Dove ogni intestazione dovrebbe avere (se del caso) una logica e una descrizione che ampliano l'approccio e i suoi risultati, il codice che esegue il lavoro e, in alcuni casi, un aiuto visivo per aggravare ulteriormente i risultati. Utilizzare il markdown standard Jupyter per intestazioni e sezioni:
- Introduzione
- Apertura del set di dati, breve esplorazione dei dati e pre-elaborazione dei dati
- Esplorazione del modello per determinare la topologia di rete
- Indagine iperparametrica (parametri di apprendimento e ottimizzazione)
- Selezione del modello più appropriata
- Ricerca su griglia
- Presentazione del modello finale e valutazione delle prestazioni
- Si prega di notare che la ricerca della griglia richiederà un po 'di tempo, quindi questo può essere completato al di fuori del tempo di tutorial o il tutorial può essere condotto in una modalità di consegna aula capovolta.
Contorno
| Durata (min) | Descrizione |
|---|---|
| 10 | Fornire una panoramica dei set di dati pratici e di importazione con il pre-elaborazione di base |
| 10 | Modelli per esplorare topologie |
| 20 | Indagine iperparametrica con tecniche di regolarizzazione |
| 10 | Ricerca griglia (nota che questo dovrebbe essere fatto — sia dal docente o dagli studenti in modalità flipped in quanto può richiedere tempo significativo per eseguire dal vivo) |
| 5 | Discussione sul modello finale |
Riconoscimenti
Il programma Human-Centered AI Masters è stato co-finanziato dal meccanismo per collegare l'Europa dell'Unione europea nell'ambito della sovvenzione CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.