Informazzjoni Amministrattiva
| Titlu | Netwerks ta’ transformers |
| Tul ta’ żmien | 60 minuta |
| Modulu | B |
| Tip ta’ lezzjoni | Lekċer |
| Fokus | Tekniku — Tagħlim Profond |
| Suġġett | Transformer |
Kliem prinċipali
tagħlim minn sekwenza għal sekwenza, seq2seq, mekkaniżmu ta’ attenzjoni, mekkaniżmu ta’ awtoattenzjoni, netwerk ta’ transformers,
Għanijiet ta’ Tagħlim
- Tagħlim tal-baŜi ta ‘mudelli sekwenza għal sekwenza (seq2seq)
- Tagħlim tal-baŜi tal-mekkaniżmu ta ‘attenzjoni
- Niffamiljarizzaw ruħhom mat-transformers
Preparazzjoni mistennija
Avvenimenti ta’ Tagħlim li għandhom jiġu Mlestija Qabel
Obbligatorju għall-Istudenti
Fakultattiv għall-Istudenti
Xejn.
Referenzi u sfond għall-istudenti
Xejn.
Rakkomandat għall-Għalliema
Xejn.
Materjali tal-lezzjoni
Struzzjonijiet għall-Għalliema
Fl-ewwel lecture aħna biss fil-qosor jirrepetu dak li tgħallimna dwar data sekwenzjali qabel (eż. fil-lekċer RNN). Imbagħad niddiskutu, li se nitgħallmu dwar tliet kunċetti ewlenin illum: mudelli ta ‘sekwenza għal sekwenza, mekkaniżmu ta’ attenzjoni u transformer. l-ewwel tnejn huma meħtieġa biex jifhmu l-kunċett tat-transformer. Tista’ tipprepara l-karti oriġinali u turihom lill-parteċipanti.
Seq2seq: aħna biss niddiskutu fil-qosor il-kunċetti ewlenin. Għandha tiġi enfasizzata d-differenza bejn il-forza tal-għalliem (taħriġ) u istanza b’każ (inferenza).
Il-kodiċi tas-sors għandhom jiġu diskussi fid-dettalji, linja b’linja, sabiex il-kunċett ikun jista’ jinftiehem mill-istudenti f’livell ta’ kodiċi.
Fit-tieni nofs tal-lekċer l-arkitettura tat-transformer hija introdotta. l-elementi ewlenin jiġu diskussi b’mod seperat.
Jekk għandek xi żmien xellug fl-aħħar tal-lecture, inti tista ‘tiftaħ il-lezzjoni TensorFlow fuq transformer (link fuq din il-paġna u fil-slides wisq).
Deskrizzjoni fil-qosor
- Mudelli Seq2seq
- Mekkaniżmu ta’ attenzjoni
- Transformers
| Tul ta’ żmien (Min) | Deskrizzjoni |
|---|---|
| 5 | Introduzzjoni tad-data sekwenzjali |
| 7.5 | Mudelli ta’ sekwenza għal sekwenza |
| 7.5 | Mekkaniżmu ta’ attenzjoni |
| 15 | Kodiċijiet tas-sors |
| 20 | Transformer |
| 5 | Sommarju u konklużjonijiet |
Rikonoxximenti
Balint Gyires-Tóth (l-Università tat-Teknoloġija u l-Ekonomija ta’ Budapest)
Il-programm Masters tal-IA Ċentrata mill-Bniedem ġie kofinanzjat mill-Faċilità Nikkollegaw l-Ewropa tal-Unjoni Ewropea Taħt l-Għotja CEF-TC-2020–1 Ħiliet Diġitali 2020-EU-IA-0068.