Administrativ information
| Titel | Härledning och tillämpning av återutbredning |
| Varaktighet | 60 |
| Modul | B |
| Typ av lektion | Föreläsning |
| Fokus | Tekniskt – Djupt lärande |
| Ämne | Härledning och genomförande av Backpropagation |
Nyckelord
Backpropagation, aktiveringsfunktioner, utlösning,
Lärandemål
- Utveckla en förståelse för gradient och inlärningshastighet
- Härled backpropagation för dolda och yttre lager
- Implimenting Backpropagation urkopplad och ansluten med hjälp av olika aktiveringsfunktioner
Förväntad förberedelse
Lärande händelser som ska slutföras innan
Obligatoriskt för studenter
- Kalkylrevidering (derivat, partiella derivat, kedjeregeln)
Valfritt för studenter
Ingen.
Referenser och bakgrund för studenter
- John D Kelleher och Brain McNamee. (2018), Grundläggande maskininlärning för prediktiv dataanalys, MIT Press.
- Michael Nielsen. (2015), Neurala nätverk och djupt lärande, 1. Beslutande press, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neurala nätverk och djupt lärande, 1. Springer
- Antonio Gulli och Sujit Pal. Djupinlärning med Keras, Packt, [ISBN: 9781787128422].
Rekommenderas för lärare
Ingen.
Lektionsmaterial
Instruktioner för lärare
Denna föreläsning kommer att introducera eleverna till grunderna i backpropagation algoritmen. Denna föreläsning kommer att börja med idén om dimensionellitetens förbannelse som leder till behovet av ett heuristiskt tillvägagångssätt – följt av översikten över hur gradient kan användas för att justera vikterna. Detta introducerar sedan backpropagation algoritmen. Vi introducerar sedan också hyperparametern för inlärningshastigheten och en kort översikt över påverkan av stora och små värden (detta kommer att utökas i föreläsning 3). Sedan använder vi samma introduktionsnätverk från lektion 1, vi härleder det yttre lagret bakåtpropagationsformeln, och slutligen kommer vi att härleda det inre lagret bakåtpropagationsalgoritmen. Denna föreläsning avslutas med exempel på olika aktiveringsfunktioner och hur algoritmen kan tillämpas. Motsvarande handledning kommer att innehålla ytterligare penna och papper derivationer, praktiska exempel och användningen av kod (bara Numpy och KERAS) för att genomföra backpropagation algoritmen.
- Det ursprungliga begreppet brute force vikt val, och förbannelsen av dimensionalitet
- Introduktion till gradient och hur detta tar itu med problemet med iterativa, heuristiska viktjusteringar
- Varför inlärningshastighet behövs och effekterna av att välja små och stora värden
- Härleda gradienten (således backpropagation algoritmen) för utgångsskiktet med Sigmoid som den yttre aktiveringsfunktionen
- Härleda gradienten (således den backpropagation algoritmen) för det gömda lagret med Sigmoid som den yttre aktiveringsfunktionen
- Presentation av den slutliga backpropagation formeln
- Använda olika aktiveringsfunktioner (ytterskikt: Linjär, Sigmoid och Softmax; Dolt lager: ReLU, sigmoid och TanH) i backpropagationsalgoritmen
Konturer
| Varaktighet (min) | Beskrivning |
|---|---|
| 5 | Introduktion till lärande, gradient och inlärningshastighet |
| 20 | Härledning av bakåtpropagationsalgoritmen för det yttre skiktet (Sigmoid) |
| 20 | Härledning av bakåtpropagationsalgoritmen för det dolda lagret (Sigmoid) |
| 10 | Implementera backpropagationsalgoritmen och användningen av olika aktiveringsfunktioner för varje lager |
| 5 | Recap på bakåtpropagationsalgoritmen |
Erkännanden
Masterprogrammet Human-Centered AI har samfinansierats av Fonden för ett sammanlänkat Europa i Europeiska unionen inom ramen för Grant CEF-TC-2020–1 Digital Skills 2020 EU-IA-0068.