Administrative oplysninger
| Titel | Afledning og anvendelse af backpropagation |
| Varighed | 60 |
| Modul | B |
| Lektionstype | Tutorial |
| Fokus | Teknisk — Dyb læring |
| Emne | Udarbejdelse og gennemførelse af backpropagation |
Nøgleord
Backpropagation, aktiveringsfunktioner,afvigelse,
Læringsmål
- Udvikle en forståelse af gradient og læringshastighed
- Udlede backpropagation for skjulte og ydre lag
- Implimentering Backpropagation unplugged og tilsluttet ved hjælp af forskellige aktiveringsfunktioner
Forventet forberedelse
Læringsbegivenheder, der skal fuldføres før
Obligatorisk for studerende
- Revision af calculus (derivater, delderivater, kædereglen)
Valgfrit for studerende
Ingen.
Referencer og baggrund for studerende
- John D. Kelleher og Brain McNamee. (2018), Fundamentals of Machine Learning for Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning, 1. Beslutsomhed presse, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neural Networks and Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Dyb læring med Keras, Packt, [ISBN: 9781787128422].
Anbefalet til lærerne
Ingen.
Undervisningsmaterialer
Instruktioner til lærerne
- Denne tutorial vil introducere eleverne til de grundlæggende elementer i backpropagation læringsalgoritme for et kunstigt neuralt netværk. Denne tutorial vil bestå af afledning af backpropagation algoritme ved hjælp af pen og papir, derefter anvendelse af backpropagation algoritme til tre forskellige skjulte lag aktivering funktioner (Sigmoid, Tan H og ReLu), ved hjælp af Python med kun Numpy bibliotek (til matricer manipulation) og derefter bruge KERAS.. Dette vil bygge på den grundlæggende forståelse af varierende aktiveringsfunktioner, når et neuralt netværk lærer, og hvordan aktiveringsfunktionerne adskiller sig i beregningsmæssig kompleksitet og applikationen fra pen og papir, til kode fra bunden ved hjælp af Numpy og derefter ved hjælp af et højt niveau modul -> Keras.
- Bemærkning: Topologien er den samme som lektion 1/Tutorial 1, men vægtene og indgangene er forskellige, du kan selvfølgelig bruge de samme vægte.
- De studerende vil blive præsenteret for fire problemer (den første er valgfri eller som ekstra materiale):
- Problem 1: Afledningen af bakpropagationsalgoritmen (ved hjælp af Sigmoid-funktionen til de indre og ydre aktiveringsfunktioner og MSE som tabsfunktion), vil eleverne blive bedt om at udlede backpropagation formel (20 minutter at fuldføre).
- Problem 2: Studerende vil anvende tre aktiveringsfunktioner til en enkelt vægtopdatering (SGD backpropagation), ved hjælp af pen og papir i (20 minutter):
- Sigmoid (skjult lag), Sigmoid (Outer Layer) og MSE
- Tan H (skjult lag), Sigmoid (Outer Layer) og MSE
- ReLU (skjult lag), Sigmoid (Outer Layer) og MSE
- Problem 3: Studerende vil blive bedt om at udvikle et neuralt netværk fra bunden ved hjælp af kun Numpy-modulet og vægte og aktiveringsfunktioner, hvor muligheden for at vælge fra en hvilken som helst skjult lagaktiveringsfunktion er tilgængelig for at opdatere vægtene ved hjælp af SGD (20 minutter at fuldføre).
- Problem 4: Studerende vil blive bedt om at udvikle et neuralt netværk ved hjælp af Tensorflow 2.X-modulet med inbuild Keras-modulet og vægte og aktiveringsfunktioner og derefter bruge tilfældige vægte til at fuldføre en eller flere vægtopdateringer. Venligst ikke da Keras bruger en lille anden MSE tab, tabet reducerer hurtigere i Keras eksempel.
- Keras MSE = tab = kvadrat(y_true — y_pred)
- Tutorial MSE = tab = (kvadrat(y_true — y_pred))*0.5
- Delmålene for disse tre Problemer, er at få eleverne til at forstå backpropagation algoritmen, anvende den, så for hypermeter tuning, de studerende vil være i stand til bedre at forstå hyperparameter effekter.
Omrids
| Varighed (min.) | Beskrivelse |
|---|---|
| 20 (valgfrit) | Problem 1: afledning af rygpropagationsformlen ved hjælp af Sigmoid-funktionen for de indre og ydre aktiveringsfunktioner og MSE som tabsfunktion (valgfri) |
| 20 | Problem 2: Studerende vil anvende tre aktiveringsfunktioner til en enkelt vægtopdatering (SGD backpropagation), ved hjælp af pen og papir i (20 minutter): |
| 20 | Problem 3: Studerende vil udvikle et neuralt netværk fra bunden ved hjælp af kun Numpy-modulet, hvor brugeren kan vælge fra en af tre skjulte lag aktiveringsfunktioner, hvor koden kan præforme backpropagation |
| 10 | Problem 4: Studerende vil bruge Tensorflow 2.X modul med inbuild Keras modul, preform backpropagation ved hjælp af SGD. |
| 10 | Opsummering af forward pass-processen |
Anerkendelser
Programmet Human-Centered AI Masters blev samfinansieret af Connecting Europe-faciliteten i Den Europæiske Union under tilskud CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.