Administrative oplysninger
| Titel | Afledning og anvendelse af backpropagation |
| Varighed | 60 |
| Modul | B |
| Lektionstype | Forelæsning |
| Fokus | Teknisk — Dyb læring |
| Emne | Udarbejdelse og gennemførelse af backpropagation |
Nøgleord
Backpropagation, aktiveringsfunktioner, dieivation,
Læringsmål
- Udvikle en forståelse af gradient og læringshastighed
- Udlede backpropagation for skjulte og ydre lag
- Implimentering Backpropagation unplugged og tilsluttet ved hjælp af forskellige aktiveringsfunktioner
Forventet forberedelse
Læringsbegivenheder, der skal fuldføres før
Obligatorisk for studerende
- Revision af calculus (derivater, delderivater, kædereglen)
Valgfrit for studerende
Ingen.
Referencer og baggrund for studerende
- John D. Kelleher og Brain McNamee. (2018), Fundamentals of Machine Learning for Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning, 1. Beslutsomhed presse, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neural Networks and Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Dyb læring med Keras, Packt, [ISBN: 9781787128422].
Anbefalet til lærerne
Ingen.
Undervisningsmaterialer
Instruktioner til lærerne
Dette foredrag vil introducere eleverne til de grundlæggende elementer i backpropagation algoritme. Dette foredrag starter med forestillingen om dimensionalitetens forbandelse, der fører til behovet for en heuristisk tilgang — efterfulgt af en oversigt over, hvordan gradienten kan bruges til at justere vægtene. Dette introducerer derefter backpropagation algoritmen. Vi introducerer derefter også hyperparameteret for læringshastighed og et kort overblik over virkningen af store og små værdier (dette vil blive udvidet i Foredrag 3). Derefter bruger vi det samme indledende netværk fra forelæsning 1, vi udleder den ydre lag backpropagation formel, og så til sidst, vil vi udlede det indre lag backpropagation algoritme. Dette foredrag afsluttes med eksempler på forskellige aktiveringsfunktioner, og hvordan algoritmen kan anvendes. Den tilsvarende tutorial vil omfatte yderligere pen og papir afledninger, praktiske eksempler og brug af kode (bare Numpy og KERAS) til at implementere backpropagation algoritme.
- Det oprindelige begreb brute force vægt udvælgelse, og forbandelsen af dimensionalitet
- Introduktion til gradient og hvordan dette løser problemet med iterative, heuristiske vægtjusteringer
- Hvorfor læringshastighed er nødvendig og virkningerne af at vælge små og store værdier
- Udlede gradienten (og dermed backpropagationsalgoritmen) for outputlaget med Sigmoid som den ydre aktiveringsfunktion
- Udlede gradienten (og dermed backpropagationsalgoritmen) for det skjulte lag med Sigmoid som den ydre aktiveringsfunktion
- Præsentation af den endelige backpropagation formel
- Brug af forskellige aktiveringsfunktioner (Outer Layer: Lineær, Sigmoid og Softmax; Skjult lag: ReLU, sigmoid og TanH) i backpropagation algoritmen
Omrids
| Varighed (min.) | Beskrivelse |
|---|---|
| 5 | Introduktion til lærings-, gradient- og læringshastighed |
| 20 | Afledning af rygpropagationsalgoritmen for det ydre lag (Sigmoid) |
| 20 | Afledning af backpropagationsalgoritmen for det skjulte lag (Sigmoid) |
| 10 | Implementering af backpropagationsalgoritmen og brugen af forskellige aktiveringsfunktioner for hvert lag |
| 5 | Recap på backpropagation algoritme |
Anerkendelser
Programmet Human-Centered AI Masters blev samfinansieret af Connecting Europe-faciliteten i Den Europæiske Union under tilskud CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.