Informazioni amministrative
| Titolo | Reti di trasformatori |
| Durata | 60 minuti |
| Modulo | B |
| Tipo di lezione | Lezione |
| Focus | Tecnico — Apprendimento profondo |
| Argomento | Trasformatore |
Parole chiave
apprendimento sequenza-a-sequenza, seq2seq, meccanismo di attenzione, meccanismo di auto-attenzione, rete del trasformatore,
Obiettivi di apprendimento
- Imparare le basi dei modelli sequenza-sequenza (seq2seq)
- Imparare le basi del meccanismo di attenzione
- Acquisire familiarità con i trasformatori
Preparazione prevista
Eventi di apprendimento da completare prima
Obbligatorio per gli studenti
Facoltativo per gli studenti
Nessuno.
Referenze e background per gli studenti
Nessuno.
Consigliato per gli insegnanti
Nessuno.
Materiale didattico
Istruzioni per gli insegnanti
Nella lezione prima ripetiamo brevemente ciò che abbiamo imparato sui dati sequenziali in precedenza (ad esempio nella lezione RNN). Poi discutiamo, che impareremo a conoscere tre concetti principali oggi: modelli da sequenza a sequenza, meccanismo di attenzione e trasformatore. I primi due sono necessari per comprendere il concetto del trasformatore. È possibile preparare i documenti originali e mostrarli ai partecipanti.
Seq2seq: abbiamo appena discusso brevemente i concetti principali. La differenza tra l'insegnante forzante (formazione) e istanza per caso (inferenza) dovrebbe essere sottolineata.
I codici sorgente dovrebbero essere discussi in dettaglio, linea per linea, in modo che il concetto possa essere compreso dagli studenti in un livello di codice.
Nella seconda metà della lezione viene introdotta l'architettura del trasformatore. Gli elementi fondamentali sono discussi separatamente.
Se hai ancora del tempo alla fine della lezione, puoi aprire il tutorial TensorFlow sul trasformatore (link su questa pagina e anche nelle diapositive).
Contorno
- Modelli di Seq2seq
- Meccanismo di attenzione
- Trasformatori
| Durata (min) | Descrizione |
|---|---|
| 5 | Introduzione sequenziale dei dati |
| 7.5 | Modelli da sequenza a sequenza |
| 7.5 | Meccanismo di attenzione |
| 15 | Codici sorgente |
| 20 | Trasformatore |
| 5 | Sintesi e conclusioni |
Riconoscimenti
Balint Gyires-Tóth (Università di Tecnologia ed Economia di Budapest)
Il programma Human-Centered AI Masters è stato co-finanziato dal meccanismo per collegare l'Europa dell'Unione europea nell'ambito della sovvenzione CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.