Administratieve informatie
| Titel | Voorwaartse vermeerdering |
| Looptijd | 60 |
| Module | B |
| Type les | Tutorial |
| Focus | Technisch — diep leren |
| Onderwerp | Voorwaartse pas |
Sleutelwoorden
Voorwaartse pas, Verloren,
Leerdoelen
- Begrijp het proces van een forward pass
- Begrijpen hoe je een forward pass voorspelling te berekenen, evenals verlies unplugged
- Ontwikkel een forward pass zonder modules in Python (anders dan Numpy)
- Ontwikkel een forward pass met Keras
Verwachte voorbereiding
Leren van gebeurtenissen die moeten worden voltooid voordat
Verplicht voor studenten
Geen.
Optioneel voor studenten
- Vermenigvuldiging van matrices
- Aan de slag met Numpy
- Kennis van lineaire en logistieke regressie ([Lecture: Lineaire regressie]
Referenties en achtergronden voor studenten
- John D Kelleher en Brain McNamee. (2018), Fundamentals of Machine Learning voor Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Neural Networks en Deep Learning, 1. Determinatiepers, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neural Networks en Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Diep leren met Keras, Packt, [ISBN: 9781787128422].
Aanbevolen voor docenten
Geen.
Lesmateriaal
- [Probleem 1 (Afbeelding)]
- [Probleem 2 en probleem 3 (HTML)]
- Probleem 2 en probleem 3 (.ipynb)
Instructies voor docenten
- Deze tutorial zal studenten kennis laten maken met de fundamenten van forward propagation voor een kunstmatig neuraal netwerk. Deze tutorial bestaat uit een voorwaartse pas met pen en papier, met Python met alleen de Numpy-bibliotheek (voor matricesmanipulatie) en vervolgens met behulp van KERAS. Dit zal voortbouwen op het fundamentele begrip van welke activeringsfuncties van toepassing zijn op specifieke probleemcontexten en hoe de activeringsfuncties verschillen in computationele complexiteit en de toepassing van pen en papier, om vanaf nul te coderen met behulp van Numpy en vervolgens met behulp van een module op hoog niveau -> Keras.
- De studenten krijgen drie problemen:
- Probleem 1: (Voorbeeld 1 van de lezing -> Afbeelding op de RHS van deze WIKI) en gevraagd om een voorwaartse pas uit te voeren met behulp van de volgende parameters (20 minuten te voltooien):
- Sigmoïde activeringsfunctie voor de verborgen laag
- Sigmoïde activeringsfunctie voor de buitenste laag
- MSE-verliesfunctie
- Probleem 2: (Voorbeeld 1 van de lezing) worden studenten gevraagd (met begeleiding afhankelijk van de eerdere coderingservaring) om een neuraal netwerk te ontwikkelen vanaf nul met alleen de Numpy-module, en de gewichten en activeringsfuncties van probleem 1 (die hetzelfde zijn als voorbeeld 1 van de lezing (20 minuten te voltooien).
- Probleem 3: (Voorbeeld 1 uit de lezing en met behulp van hetzelfde voorbeeld maar willekeurige gewichten), zullen studenten worden gevraagd (met begeleiding afhankelijk van de eerdere coderingservaring) om een neuraal netwerk te ontwikkelen met behulp van de Tensorflow 2.X-module met de inbuild Keras-module, en de gewichten en activeringsfuncties van probleem 1, en vervolgens met behulp van willekeurige gewichten (die hetzelfde zijn als voorbeeld 1 uit de lezing: 20 minuten te voltooien).
- Probleem 1: (Voorbeeld 1 van de lezing -> Afbeelding op de RHS van deze WIKI) en gevraagd om een voorwaartse pas uit te voeren met behulp van de volgende parameters (20 minuten te voltooien):
- De subdoelen voor deze drie Problemen, is om studenten te laten wennen aan de structuur en toepassing van fundamentele concepten (activatiefuncties, topologie en verliesfuncties) voor deep learning.
- Keras en TensorFlow 2.X worden gebruikt en zullen worden gebruikt voor alle toekomstige voorbeelden.
Omtrek
| Duur (Min) | Omschrijving |
|---|---|
| 20 | Probleem 1: Pen en Paper implementatie van een forward pass (voorbeeld van de lezing) |
| 20 | Probleem 2: Het ontwikkelen van een neuraal netwerk vanaf nul met behulp van Numpy (voorbeeld uit de lezing) |
| 10 | Probleem 3: Ontwikkelen van een neuraal netwerk van het gebruik van Keras (voorbeeld uit de lezing met vaste gewichten en willekeurige gewichten) |
| 10 | Samenvatting van het forward pass-proces |
Erkenningen
Het Human-Centered AI Masters-programma werd mede gefinancierd door de Connecting Europe Facility van de Europese Unie in het kader van de subsidie CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.