Informacje administracyjne
| Tytuł | Wyprowadzenie i zastosowanie backpropagacji |
| Czas trwania | 60 |
| Moduł | B |
| Rodzaj lekcji | Wykład |
| Skupienie | Techniczne – głębokie uczenie się |
| Temat | Wyprowadzenie i wdrożenie Backpropagation |
Słowa kluczowe
Wsteczna propagacja, funkcje aktywacji, dieivation,
Cele w zakresie uczenia się
- Rozwiń zrozumienie gradientu i tempa uczenia się
- Uzyskać wsteczną propagację dla warstw ukrytych i zewnętrznych
- Implimentowanie Backpropagation odłączone i podłączone za pomocą różnych funkcji aktywacji
Oczekiwane przygotowanie
Wydarzenia edukacyjne, które należy ukończyć przed
Obowiązkowe dla studentów
- Korekta rachunku (instrumenty pochodne, pochodne częściowe, reguła łańcucha)
Opcjonalne dla studentów
Brak.
Referencje i tło dla studentów
- John D Kelleher i Mózg McNamee. (2018), Podstawy uczenia maszynowego dla Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Sieć neuronowa i głębokie uczenie się, 1. Prasa determinacyjna, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Sieci neuronowe i głębokie uczenie się, 1. Springer
- Antonio Gulli, Sujit Pal. Głębokie uczenie się z Keras, Packt, [ISBN: 9781787128422].
Zalecane dla nauczycieli
Brak.
Materiały do lekcji
Instrukcje dla nauczycieli
Ten wykład wprowadzi studentów do podstaw algorytmu backpropagation. Wykład ten rozpocznie się od pojęcia klątwy wymiarowości prowadzącej do potrzeby podejścia heurystycznego – a następnie przeglądu sposobu wykorzystania gradientu do regulacji ciężarów. Następnie wprowadza algorytm backpropagacji. Następnie wprowadzamy również hiperparametr tempa uczenia się i krótkie spojrzenie na wpływ dużych i małych wartości (zostanie on rozszerzony w Wykładzie 3). Następnie korzystając z tej samej sieci wprowadzającej z Lecture 1, otrzymujemy formułę propagacji wstecznej warstwy zewnętrznej, a następnie na koniec uzyskamy algorytm propagacji wstecznej warstwy wewnętrznej. Wykład ten kończy się przykładami różnych funkcji aktywacji oraz tego, w jaki sposób algorytm może być zastosowany. Odpowiedni poradnik będzie zawierał dodatkowe pióra i papierowe pochodne, praktyczne przykłady i wykorzystanie kodu (tylko Numpy i KERAS) do wdrożenia algorytmu backpropagation.
- Początkowa koncepcja doboru ciężaru brutalnej siły i przekleństwo wymiarowości
- Wprowadzenie do gradientu i jak to rozwiązuje problem iteracyjnych, heurystycznych korekt wagi
- Dlaczego potrzebny jest wskaźnik uczenia się i wpływ na wybór małych i dużych wartości
- Wyprowadzenie gradientu (a więc algorytmu backpropagacji) dla warstwy wyjściowej za pomocą Sigmoid jako zewnętrznej funkcji aktywacji
- Wyprowadzenie gradientu (a więc algorytmu propagacji wstecznej) dla warstwy ukrytej z Sigmoidem jako zewnętrzną funkcją aktywacji
- Przedstawienie ostatecznej formuły backpropagacji
- Korzystanie z różnych funkcji aktywacji (Outer Layer: Liniowy, Sigmoid i Softmax; Warstwa ukryta: ReLU, sigmoid i TanH) w algorytmie propagacji wstecznej
Zarys
| Czas trwania (min) | Opis |
|---|---|
| 5 | Wprowadzenie do uczenia się, gradientu i tempa uczenia się |
| 20 | Wyprowadzenie algorytmu propagacji wstecznej warstwy zewnętrznej (Sigmoid) |
| 20 | Wyprowadzenie algorytmu propagacji wstecznej dla warstwy ukrytej (Sigmoid) |
| 10 | Implementacja algorytmu backpropagacji i zastosowanie różnych funkcji aktywacji dla każdej warstwy |
| 5 | Podsumowanie algorytmu backpropagation |
Potwierdzenia
Program Masters zorientowany na człowieka został współfinansowany przez instrument „Łącząc Europę” Unii Europejskiej w ramach grantu CEF-TC-2020-1 Umiejętności cyfrowe 2020-EU-IA-0068.