Informazioni amministrative
| Titolo | Derivazione e applicazione della retropropagazione |
| Durata | 60 |
| Modulo | B |
| Tipo di lezione | Lezione |
| Focus | Tecnico — Apprendimento profondo |
| Argomento | Derivare e attuare la retropropagazione |
Parole chiave
Backpropagation, funzioni di attivazione, dieivation,
Obiettivi di apprendimento
- Sviluppare una comprensione del gradiente e del tasso di apprendimento
- Derivare backpropagation per strati nascosti ed esterni
- Implimentare Backpropagation scollegato e collegato utilizzando diverse funzioni di attivazione
Preparazione prevista
Eventi di apprendimento da completare prima
Obbligatorio per gli studenti
- Revisione del calcolo (derivati, derivati parziali, regola della catena)
Facoltativo per gli studenti
Nessuno.
Referenze e background per gli studenti
- John D. Kelleher e Brain McNamee (2018), Fondamenti dell'apprendimento automatico per l'analisi predittiva dei dati, MIT Press.
- Michael Nielsen. (2015), Reti neurali e apprendimento profondo, 1. Pressa di determinazione, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Reti neurali e apprendimento profondo, 1. Springer
- Antonio Gulli, Sujit Pal. Apprendimento profondo con Keras, Packt, [ISBN: 9781787128422].
Consigliato per gli insegnanti
Nessuno.
Materiale didattico
Istruzioni per gli insegnanti
Questa lezione introdurrà gli studenti ai fondamenti dell'algoritmo di backpropagation. Questa lezione inizierà con la nozione della maledizione della dimensionalità che porta alla necessità di un approccio euristico — seguita dalla panoramica di come il gradiente può essere utilizzato per regolare i pesi. Questo introduce poi l'algoritmo di backpropagation. Introduciamo poi anche l'iperparametro del tasso di apprendimento e una breve panoramica dell'impatto di valori grandi e piccoli (questo sarà ampliato nella lezione 3). Quindi usando la stessa rete introduttiva dalla lezione 1, deriviamo la formula di backpropagation dello strato esterno, e poi, infine, deriveremo l'algoritmo di backpropagation dello strato interno. Questa lezione si conclude con esempi di diverse funzioni di attivazione e come l'algoritmo può essere applicato. Il tutorial corrispondente includerà ulteriori derivazioni di penna e carta, esempi pratici e l'uso del codice (solo Numpy e il KERAS) per implementare l'algoritmo di backpropagation.
- Il concetto iniziale di selezione del peso della forza bruta e la maledizione della dimensionalità
- Introduzione al gradiente e come questo affronta il problema degli aggiustamenti di peso iterativi ed euristici
- Perché è necessario il tasso di apprendimento e gli effetti della scelta di valori piccoli e grandi
- Derivare il gradiente (quindi l'algoritmo di backpropagation) per il livello di output con Sigmoid come funzione di attivazione esterna
- Derivare il gradiente (quindi l'algoritmo di retropropagazione) per lo strato nascosto con Sigmoid come funzione di attivazione esterna
- Presentazione della formula finale di backpropagation
- Utilizzo di diverse funzioni di attivazione (Outer Layer: Lineare, Sigmoide e Softmax; Strato nascosto: ReLU, sigmoid e TanH) nell'algoritmo di backpropagation
Contorno
| Durata (min) | Descrizione |
|---|---|
| 5 | Introduzione all'apprendimento, al gradiente e al tasso di apprendimento |
| 20 | Derivazione dell'algoritmo di retropropagazione per lo strato esterno (Sigmoid) |
| 20 | Derivazione dell'algoritmo di backpropagation per il livello nascosto (Sigmoid) |
| 10 | Implementare l'algoritmo di backpropagation e l'uso di diverse funzioni di attivazione per ogni livello |
| 5 | Riepilogo sull'algoritmo di backpropagation |
Riconoscimenti
Il programma Human-Centered AI Masters è stato co-finanziato dal meccanismo per collegare l'Europa dell'Unione europea nell'ambito della sovvenzione CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.