Informații administrative
| Titlu | Rețele de transformatoare |
| Durată | 60 de minute |
| Modulul | B |
| Tipul lecției | Prelegere |
| Focalizare | Tehnică – Învățare profundă |
| Subiect | Transformator |
Cuvinte cheie
învățare secvențială, seq2seq, mecanism de atenție, mecanism de autoatenție, rețea de transformatoare,
Obiective de învățare
- Învățarea elementelor de bază ale modelelor secvențiale (seq2seq)
- Învățarea elementelor de bază ale mecanismului de atenție
- Familiarizarea cu transformatoarele
Pregătirea preconizată
Evenimente de învățare care urmează să fie finalizate înainte
Obligatoriu pentru studenți
Opțional pentru studenți
Nici unul.
Referințe și context pentru studenți
Nici unul.
Recomandat pentru profesori
Nici unul.
Materiale de lecție
Instrucțiuni pentru profesori
În prelegere mai întâi repetăm pe scurt ceea ce am învățat despre datele secvențiale anterior (de exemplu, în prelegerea RNN). Apoi vom discuta, că vom învăța despre trei concepte principale astăzi: modele secvențiale, mecanism de atenție și transformator. Primele două sunt necesare pentru a înțelege conceptul de transformator. Puteți pregăti documentele originale și le puteți arăta participanților.
Seq2seq: discutăm pe scurt principalele concepte. Ar trebui subliniată diferența dintre forțarea profesorului (formare) și instanță-cu-instanță (inferență).
Codurile sursă ar trebui discutate în detaliu, linie cu linie, astfel încât conceptul să poată fi înțeles de către elevi într-un nivel de cod.
În a doua jumătate a prelegerii este introdusă arhitectura transformatorului. Elementele de bază sunt discutate separat.
Dacă mai aveți ceva timp la sfârșitul prelegerii, puteți deschide tutorialul TensorFlow pe transformator (link pe această pagină și în diapozitive).
Contur
- Modele Seq2seq
- Mecanismul de atenție
- Transformatoare
| Durată (min) | Descriere |
|---|---|
| 5 | Introducerea secvențială a datelor |
| 7.5 | Modele secvențiale |
| 7.5 | Mecanismul de atenție |
| 15 | Coduri sursă |
| 20 | Transformator |
| 5 | Rezumat și concluzii |
Confirmări
Balint Gyires-Tóth (Universitatea de Tehnologie și Economie din Budapesta)
Programul de masterat AI centrat pe om a fost cofinantat de Mecanismul pentru interconectarea Europei al Uniunii Europene sub Grantul CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.