Informacje administracyjne
| Tytuł | Propagacja do przodu |
| Czas trwania | 60 |
| Moduł | B |
| Rodzaj lekcji | Wykład |
| Skupienie | Techniczne – głębokie uczenie się |
| Temat | Przepustka do przodu |
Słowa kluczowe
Przepustka do przodu, strata,
Cele w zakresie uczenia się
- Zrozumieć proces przepustki do przodu
- Zrozumieć, jak obliczyć prognozę przejścia do przodu, a także odłączyć stratę
- Opracowanie przepustki do przodu przy użyciu żadnych modułów w Pythonie (innych niż Numpy)
- Opracowanie przepustki do przodu za pomocą Keras
Oczekiwane przygotowanie
Wydarzenia edukacyjne, które należy ukończyć przed
Brak.
Obowiązkowe dla studentów
Brak.
Opcjonalne dla studentów
- Mnożenie matryc
- Zacznij od Numpy
- Znajomość regresji liniowej i logistycznej (od period A Machine Learning: Wykład: Regresja liniowa, GLR, GAD)
Referencje i tło dla studentów
- John D Kelleher i Mózg McNamee. (2018), Podstawy uczenia maszynowego dla Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Sieć neuronowa i głębokie uczenie się, 1. Prasa determinacyjna, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Sieci neuronowe i głębokie uczenie się, 1. Springer
- Antonio Gulli, Sujit Pal. Głębokie uczenie się z Keras, Packt, [ISBN: 9781787128422].
Zalecane dla nauczycieli
Brak.
Materiały do lekcji
Instrukcje dla nauczycieli
Wykład ten wprowadzi studentów do podstaw propagacji do przodu dla sztucznej sieci neuronowej. Wprowadzi to uczniów do topologii (wagi, synapsy, funkcje aktywacyjne i funkcje utraty). Studenci będą mogli wykonać przepustkę do przodu za pomocą pióra i papieru, używając Pythona tylko z biblioteką Numpy (do manipulacji matrycami), a następnie używając KERAS jako części tutorialu związanego z tym LE. Pozwoli to na fundamentalne zrozumienie tego, jakie funkcje aktywacyjne mają zastosowanie do konkretnych kontekstów problemowych i w jaki sposób funkcje aktywacji różnią się złożonością obliczeniową. W wykładzie zostanie zbadana funkcja aktywacji warstwy zewnętrznej i odpowiadające jej funkcje utraty pod kątem przypadków użycia, takich jak klasyfikacja dwumianowa, regresja i klasyfikacja wieloklasowa.
- Przegląd sieci neuronowej
- Definicja terminów/składników
- Wagi i funkcje aktywacji
- Funkcje utraty, dla których kontekst problemowy
- Używanie matryc do prowadzenia przepustki do przodu
Uwaga:
- Zastosowanie Sigmoidu w warstwie zewnętrznej i MSE jako funkcji utraty.
- Z ograniczeniami tine wybrano pojedyncze podejście/topologię/problem kontekst. Zazwyczaj zaczyna się od regresji dla przejścia do przodu (z MSE jako funkcją straty) i do wywoływania wstecznego propagacji (a więc funkcja aktywacji liniowej w warstwie wyjściowej, gdzie zmniejsza to złożoność wyjściowej funkcji propagacji wstecznej), Następnie zazwyczaj przechodzi się do funkcji klasyfikacji binarnej, z sigmoidem w warstwie wyjściowej i binarną funkcją utraty entropii krzyżowej. Z ograniczeniami czasowymi ten zestaw wykładów będzie korzystać z trzech różnych funkcji aktywacji ukrytych przykładów, ale użyje kontekstu problemu regresji. Aby dodać złożoność funkcji aktywacji sigmoidów w warstwie wyjściowej, problem regresji stosowany w dwóch pierwszych wykładach tego zestawu, przykład problemu opiera się na znormalizowanej wartości docelowej (0-1 na podstawie problemu klasy procentowej 0-100 %), więc sigmoid jest używany jako funkcja aktywacji w warstwie wyjściowej. Takie podejście pozwala uczniom łatwo migrować między regresją a problemami klasyfikacji binarnej, po prostu zmieniając funkcję straty tylko wtedy, gdy problem klasyfikacji binarnej lub gdy używany jest nieznormalizowany problem regresji, uczeń po prostu usuwa funkcję aktywacji warstwy zewnętrznej.
- Podstawowe komponenty to aplikacja, przy użyciu biblioteki wysokiego poziomu, w tym przypadku KERAS za pośrednictwem biblioteki TensorFlow 2.X.
- Pióro i papier są opcjonalne i używane tylko do pokazania przepustki do przodu i wstecznej propagacji i aplikacji (przy użyciu przykładów ze slajdów wykładowych).
- Kod Pythona bez użycia bibliotek wysokiego poziomu służy do pokazania, jak prosta jest sieć neuronowa (wykorzystując przykłady ze slajdów wykładowych). Pozwala to również na dyskusję nad szybkim mnożeniem liczb/matryc i wprowadzenie powodów, dla których używamy GPU/TPU jako elementu opcjonalnego.
- Keras i TensorFlow 2.X są używane i będą używane do wszystkich przyszłych przykładów.
Zarys
| Czas trwania (min) | Opis |
|---|---|
| 10 | Definicja Neural Network Components |
| 15 | Wagi i funkcje aktywacji (Sigmoid, TanH i ReLu) |
| 15 | Funkcje utraty (regresja, klasyfikacja dwumianowa i aktywacja wielu klas) |
| 15 | Używanie matryc do przepustki do przodu |
| 5 | Podsumowanie przepustki do przodu |
Potwierdzenia
Program Masters zorientowany na człowieka został współfinansowany przez instrument „Łącząc Europę” Unii Europejskiej w ramach grantu CEF-TC-2020-1 Umiejętności cyfrowe 2020-EU-IA-0068.