Informacje administracyjne
| Tytuł | Strojenie hiperparametrów |
| Czas trwania | 60 |
| Moduł | B |
| Rodzaj lekcji | Wykład |
| Skupienie | Techniczne – głębokie uczenie się |
| Temat | Strojenie hiperparametrów |
Słowa kluczowe
Strojenie hiperparametrów, funkcje aktywacji, utrata, epoki, wielkość partii,
Cele w zakresie uczenia się
- Zbadanie wpływu na pojemność i głębokość
- Doświadczenie o różnych epokach i rozmiarach partii
- Testuj różne funkcje aktywacji i wskaźniki uczenia się
Oczekiwane przygotowanie
Wydarzenia edukacyjne, które należy ukończyć przed
Obowiązkowe dla studentów
Brak.
Opcjonalne dla studentów
Brak.
Referencje i tło dla studentów
- John D Kelleher i Mózg McNamee. (2018), Podstawy uczenia maszynowego dla Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Sieć neuronowa i głębokie uczenie się, 1. Prasa determinacyjna, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Sieci neuronowe i głębokie uczenie się, 1. Springer
- Antonio Gulli, Sujit Pal. Głębokie uczenie się z Keras, Packt, [ISBN: 9781787128422].
Zalecane dla nauczycieli
Brak.
Materiały do lekcji
Instrukcje dla nauczycieli
Ten wykład wprowadzi studentów do podstaw strojenia hiperparametru. Wykorzystamy zestaw danych spisu jako przykłady wykorzystania i wyników strojenia różnych hipermetrów. Zestaw danych spisu osób dorosłych jest problemem klasyfikacji binarnej. Więcej o tym zbiorze danych w odpowiednim samouczku. Celem wykładu jest wprowadzenie kilku hiperparametrów z przykładami, w jaki sposób modyfikacja tych hiperparametrów może pomóc lub utrudnić naukę. Ponadto dostarczamy przykłady niedopasowania i przeładowania, wzrostu nosa i wydajności (czas treningu, a w niektórych przypadkach dokładność/strata), gdy każdy z hiperparametrów jest tunnowany. Wykorzystamy wykresy diagnostyczne do oceny efektu strojenia hiperparametru, a w szczególności skupienia się na utracie, gdzie należy zauważyć, że modułem, którego używamy do wykreślenia straty jest matplotlib.pyplot, dzięki czemu oś jest skalowana. Może to oznaczać, że istotne różnice mogą wydawać się nieistotne lub odwrotnie przy porównywaniu utraty danych ze szkolenia lub testów. Ponadto przedstawiono kilka swobód rusztowań, takich jak pierwsze użycie Epoch (prawie jako technika regularyzacji) przy zachowaniu stałej wielkości partii. Idealnie byłoby to połączone razem, ale na ten wykład są one oddzielone.
Zarys
| Czas trwania (min) | Opis |
|---|---|
| 5 | Przegląd danych |
| 10 | Strojenie pojemności i głębokości (pod i nad montażem) |
| 10 | Epoki (pod i nad treningiem) |
| 10 | Wielkość partii (do tłumienia hałasu) |
| 10 | Funkcje aktywacji (i ich wpływ na wydajność – czas i dokładność) |
| 10 | Wskaźniki uczenia się (vanilla, LR Decay, Momentum, Adaptive) |
| 5 | Podsumowanie procesu przejścia do przodu |
Potwierdzenia
Program Masters zorientowany na człowieka został współfinansowany przez instrument „Łącząc Europę” Unii Europejskiej w ramach grantu CEF-TC-2020-1 Umiejętności cyfrowe 2020-EU-IA-0068.