Administrativ information
| Titel | Transformatornät |
| Varaktighet | 60 minuter |
| Modul | B |
| Typ av lektion | Föreläsning |
| Fokus | Tekniskt – Djupt lärande |
| Ämne | Transformator |
Nyckelord
sekvens-till-sekvensinlärning, uppföljare2seq, uppmärksamhetsmekanism, självuppmärksamhetsmekanism, transformatornätverk,
Lärandemål
- Lära sig grunderna i sekvens-till-sekvens-modeller (seq2seq)
- Lära sig grunderna i uppmärksamhetsmekanismen
- Bekanta dig med transformatorerna
Förväntad förberedelse
Lärande händelser som ska slutföras innan
Obligatoriskt för studenter
Valfritt för studenter
Ingen.
Referenser och bakgrund för studenter
Ingen.
Rekommenderas för lärare
Ingen.
Lektionsmaterial
Instruktioner för lärare
I föreläsningen upprepar vi bara kortfattat vad vi lärt oss om sekventiell data tidigare (t.ex. i RNN-föreläsningen). Sedan diskuterar vi, att vi kommer att lära oss om tre huvudbegrepp idag: sekvens-till-sekvens modeller, uppmärksamhetsmekanism och transformator. De två första behövs för att förstå begreppet transformator. Du kan förbereda originalhandlingarna och visa dem för deltagarna.
Seq2seq: vi diskuterar kortfattat de viktigaste begreppen. Skillnaden mellan läraren tvingar (utbildning) och instans-för-instance (inferance) bör betonas.
Källkoderna ska diskuteras i detalj, linje för rad, så att begreppet kan förstås av eleverna på en kodnivå.
I den andra halvan av föreläsningen introduceras transformatorarkitekturen. Kärnelementen diskuteras separat.
Om du har lite tid kvar i slutet av föreläsningen kan du öppna TensorFlow handledning om transformator (länk på denna sida och i bilderna också).
Konturer
- Seq2seq modeller
- Uppmärksamhetsmekanism
- Transformatorer
| Varaktighet (min) | Beskrivning |
|---|---|
| 5 | Inledning av sekventiella uppgifter |
| 7.5 | Sekvens-till-sekvens modeller |
| 7.5 | Uppmärksamhetsmekanism |
| 15 | Källkoder |
| 20 | Transformator |
| 5 | Sammanfattning och slutsatser |
Erkännanden
Balint Gyires-Tóth (Budapest University of Technology and Economics)
Masterprogrammet Human-Centered AI har samfinansierats av Fonden för ett sammanlänkat Europa i Europeiska unionen inom ramen för Grant CEF-TC-2020–1 Digital Skills 2020 EU-IA-0068.