Informacje administracyjne
| Tytuł | Sieci transformatorowe |
| Czas trwania | 60 minut |
| Moduł | B |
| Rodzaj lekcji | Wykład |
| Skupienie | Techniczne – głębokie uczenie się |
| Temat | Transformator |
Słowa kluczowe
uczenie się sekwencji do sekwencji, seq2seq, mechanizm uwagi, mechanizm samouwagi, sieć transformatora,
Cele w zakresie uczenia się
- Poznanie podstaw modeli sekwencji do sekwencji (seq2seq)
- Poznanie podstaw mechanizmu uwagi
- Zapoznanie się z transformatorami
Oczekiwane przygotowanie
Wydarzenia edukacyjne, które należy ukończyć przed
Obowiązkowe dla studentów
Opcjonalne dla studentów
Brak.
Referencje i tło dla studentów
Brak.
Zalecane dla nauczycieli
Brak.
Materiały do lekcji
Instrukcje dla nauczycieli
W pierwszym wykładzie pokrótce powtarzamy to, czego wcześniej dowiedzieliśmy się o danych sekwencyjnych (np. w wykładzie RNN). Następnie omówimy, że dowiemy się dzisiaj o trzech głównych pojęciach: modele sekwencji do sekwencji, mechanizm uwagi i transformator. Pierwsze dwa są potrzebne do zrozumienia koncepcji transformatora. Możesz przygotować oryginalne dokumenty i pokazać je uczestnikom.
Seq2seq: pokrótce omówimy główne pojęcia. Należy podkreślić różnicę między przymusem nauczyciela (szkoleniem) a instancją po instancji (wnioskiem).
Kody źródłowe powinny być szczegółowo omówione, linia po linii, aby koncepcja mogła być zrozumiana przez uczniów na poziomie kodu.
W drugiej połowie wykładu wprowadzana jest architektura transformatora. Podstawowe elementy są omawiane oddzielnie.
Jeśli masz trochę czasu na zakończenie wykładu, możesz otworzyć tutorial TensorFlow na transformatorze (link na tej stronie i w slajdach).
Zarys
- Modele Seq2seq
- Mechanizm uwagi
- Transformatory
| Czas trwania (min) | Opis |
|---|---|
| 5 | Sekwencyjne wprowadzenie danych |
| 7.5 | Modele sekwencji do sekwencji |
| 7.5 | Mechanizm uwagi |
| 15 | Kody źródłowe |
| 20 | Transformator |
| 5 | Podsumowanie i wnioski |
Potwierdzenia
Balint Gyires-Tóth (Uniwersytet Technologiczny i Ekonomiczny w Budapeszcie)
Program Masters zorientowany na człowieka został współfinansowany przez instrument „Łącząc Europę” Unii Europejskiej w ramach grantu CEF-TC-2020-1 Umiejętności cyfrowe 2020-EU-IA-0068.