Faisnéis Riaracháin
| Teideal | Seisiún teagaisc: Gné bhunúsach na domhainfhoghlama |
| Fad ama | 180 min (60 nóiméad in aghaidh an teagaisc) |
| Modúl | B |
| Cineál ceachta | Seisiún teagaisc |
| Fócas | Teicniúil — Foghlaim Dhomhain |
| Ábhar | Ar Aghaidh agus Ais-iomadú |
Eochairfhocail
iomadú chun tosaigh, ais-fhorleathadh, tiúnadh hipearpharaiméadar,
Spriocanna Foghlama
- tuigeann an scoláire coincheap an fhorleata ar aghaidh
- faigheann mac léinn amharc ar conas ais-iomsú a dhíorthú
- is féidir le mac léinn ais-iomsú a dhéanamh
- foghlaimíonn an scoláire an bealach chun hipearparaiméadair a thiúnáil
An tUllmhúchán a bhfuil coinne leis
Imeachtaí Foghlama le Críochnú Roimh
Éigeantach do Mhic Léinn
- John D Kelleher agus Brain McNamee. (2018), Basics of Machine Learning for Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Líonraí Néaracha agus Dhomhainfhoghlaim, 1. Preas diongbháilteachta, San Francisco CA Stáit Aontaithe Mheiriceá.
- Charu C. Aggarwal. (2018), Neural Networks and Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Domhainfhoghlaim le Keras, Packt, [ISBN: 9781787128422].
Roghnach do Mhic Léinn
- Iolrú maitrísí
- Ag tosú le Numpy
- Eolas ar chúlchéimniú líneach agus lóistíochta
Teistiméireachtaí agus cúlra do mhic léinn
Ceann ar bith.
Molta do Mhúinteoirí
Ceann ar bith.
Ábhair cheachta
Ceann ar bith.
Treoracha do Mhúinteoirí
Tá trí shraith ranganna teagaisc sa Imeacht Foghlama seo a chlúdaíonn topaicí bunúsacha domhainfhoghlama. Is éard atá i gceist leis an tsraith teagaisc seo ná forbhreathnú a thabhairt ar phas chun tosaigh, díorthú cúl-fhorleathadh agus cód a úsáid chun forbhreathnú a thabhairt do dhaltaí ar an méid a dhéanann gach paraiméadar, agus ar an gcaoi ar féidir leis difear a dhéanamh d’fhoghlaim agus do chóineasú líonra néarach:
- Forleathadh chun tosaigh: Samplaí peann agus páipéir, agus samplaí python ag baint úsáide as Numpy (le haghaidh bunúsacha) agus Keras a léiríonn modúl ardleibhéil (a úsáideann Tensorflow 2.X).
- Ais-fhorleathadh a dhíorthú agus a chur i bhfeidhm: Samplaí peann agus páipéir, agus samplaí python ag baint úsáide as Numpy (le haghaidh bunúsacha) agus Keras a léiríonn modúl ardleibhéil (a úsáideann Tensorflow 2.X).
- Tiúnadh hipearpharaiméadar: Samplaí Keras a aibhsíonn ceapacha eiseamláireacha diagnóiseacha atá bunaithe ar na héifeachtaí a bhaineann le hipearpharaiméadair shonracha a athrú (trí thacar sonraí samplach HCAIM a úsáid chun intleacht shaorga eiticiúil a theagasc (Tacar Sonraí Daonáirimh).
Nótaí le seachadadh (de réir léachtaí)
- Úsáid Sigmoid sa chiseal seachtrach agus MSE mar an fheidhm caillteanais.
- Le teorainneacha tine, roghnaíodh cur chuige uathúil/topeolaíocht/comhthéacs fadhbanna. De ghnáth, thosódh ceann le cúlchéimniú le haghaidh pas ar aghaidh (le MSE mar an fheidhm chaillteanais), agus chun ais-fhorleathadh a dhíorthú (dá bhrí sin feidhm ghníomhachtaithe líneach sa chiseal aschuir, i gcás ina laghdaíonn sé seo castacht dhíorthú na feidhme ais-iomadaithe), Ansin bheadh duine ag bogadh go dtí feidhm aicmithe dénártha de ghnáth, le sigmoid sa chiseal aschuir, agus feidhm caillteanais dénártha tras-entropy. Le srianta ama, bainfidh an tsraith léachtaí seo úsáid as trí fheidhm eiseamláireacha éagsúla gníomhachtúcháin i bhfolach, ach bainfidh siad úsáid as comhthéacs fadhb aischéimnithe. Chun castacht feidhm ghníomhachtaithe sigmoid a chur sa chiseal aschuir, an fhadhb cúlchéimnithe a úsáidtear sa chéad dá léacht den tacar seo, tá an sampla fadhbanna bunaithe ar spriocluach normalaithe (0-1 bunaithe ar fhadhb ghrád céatadáin 0-100 %), dá bhrí sin úsáidtear sigmoid mar fheidhm gníomhachtaithe sa chiseal aschuir. Ligeann an cur chuige seo do dhaltaí dul ar imirce go héasca idir fadhbanna aischéimnithe agus rangaithe dénártha, trí fheidhm an chaillteanais a athrú ach amháin má tá fadhb aicmithe dénártha, nó má tá fadhb aischéimnithe neamh-normalaithe á húsáid, ní dhéanann an mac léinn ach an fheidhm ghníomhachtaithe ciseal seachtrach a bhaint.
- Is iad comhpháirteanna lárnacha cur i bhfeidhm, ag baint úsáide as leabharlann ardleibhéil, sa chás seo KERAS tríd an leabharlann TensorFlow 2.X.
- Tá peann agus páipéar roghnach agus ní úsáidtear iad ach amháin chun an pas chun tosaigh agus an díorthú ais-iomsaithe agus an feidhmchlár a thaispeáint (ag baint úsáide as na samplaí ó na sleamhnáin léachtaí).
- Úsáidtear cód Python gan leabharlanna ardleibhéil a úsáid chun a thaispeáint cé chomh simplí is atá líontán néarach (ag úsáid na samplaí ó na sleamhnáin léachtaí). Fágann sé sin freisin gur féidir plé a dhéanamh ar iolrú tapa uimhriúil/maitríse agus tabhair isteach an fáth a n-úsáidimid GPUanna/TPUs mar ghné roghnach.
- Úsáidtear Keras agus TensorFlow 2.X agus úsáidfear iad le haghaidh gach sampla amach anseo.
Rang teagaisc 1 — Iomadú chun tosaigh
Treoracha do mhúinteoirí
- Cuirfidh an seisiún teagaisc seo bunghnéithe an iomadaithe ar aghaidh le haghaidh líonra néarach saorga in aithne do mhic léinn. Is éard a bheidh sa rang teagaisc seo ná pas chun tosaigh ag baint úsáide as peann agus páipéar, ag baint úsáide as Python le leabharlann Numpy amháin (le haghaidh ionramháil maitrísí) agus ansin ag baint úsáide as KERAS. Cuirfidh sé sin leis an tuiscint bhunúsach ar na feidhmeanna gníomhachtaithe a bhaineann le comhthéacsanna fadhbanna sonracha agus ar an gcaoi a bhfuil difríocht idir na feidhmeanna gníomhachtúcháin i gcastacht ríomhaireachtúil agus an t-iarratas ó pheann agus páipéar, go cód ó thús ag baint úsáide as Numpy agus ansin úsáid a bhaint as modúl ardleibhéil -> Keras.
- Tabharfar trí fhadhb do na daltaí:
- Fadhb 1: (Sampla 1 ón léacht -> Íomhá ar RHS an WIKI seo) agus d’iarr sé pas ar aghaidh a dhéanamh ag baint úsáide as na paraiméadair seo a leanas (20 nóiméad le comhlánú):
- Feidhm gníomhachtaithe sigmoid don chiseal i bhfolach
- Feidhm gníomhachtaithe sigmoid don chiseal seachtrach
- Feidhm chaillteanais MSE
- Fadhb 2: (Sampla 1 ón léacht), iarrfar ar mhic léinn (le treoir ag brath ar an taithí roimhe seo) líonra néarach a fhorbairt ón tús ag baint úsáide as an modúl Numpy amháin, agus na meáchain agus feidhmeanna gníomhachtúcháin ó fhadhb 1 (atá mar an gcéanna le Sampla 1 ón léacht (20 nóiméad le críochnú).
- Fadhb 3: (Sampla 1 ón léacht agus úsáid á baint as an sampla céanna ach as ualaí randamacha), iarrfar ar dhaltaí (le treoir ag brath ar an taithí roimhe seo ar chódú) líonra néarach a fhorbairt ag baint úsáide as modúl Tensorflow 2.X leis an modúl intógála Keras, agus na meáchain agus feidhmeanna gníomhachtaithe ó fhadhb 1, agus ansin úsáid a bhaint as meáchain randamacha (atá mar an gcéanna le Sampla 1 ón léacht: 20 nóiméad le comhlánú).
- Fadhb 1: (Sampla 1 ón léacht -> Íomhá ar RHS an WIKI seo) agus d’iarr sé pas ar aghaidh a dhéanamh ag baint úsáide as na paraiméadair seo a leanas (20 nóiméad le comhlánú):
- Is iad na fospriocanna do na trí Fhadhbanna seo ná mic léinn a úsáid chun struchtúr agus cur i bhfeidhm na gcoincheap bunúsach (feidhmeanna gníomhachtúcháin, toipeolaíocht agus feidhmeanna caillteanais) a fháil don domhainfhoghlaim.
Am: 60 nóiméad
| Fad ama (Min) | Tuairisc |
|---|---|
| 20 | Fadhb 1: Cur i bhfeidhm pinn agus páipéir pas chun tosaigh (mar shampla ón léacht) |
| 20 | Fadhb 2: Líonra néarach a fhorbairt ón tús ag baint úsáide as Numpy (mar shampla ón léacht) |
| 10 | Fadhb 3: Líonra néarach a fhorbairt ó úsáid a bhaint as Keras (mar shampla ón léacht le meáchain shocraithe agus meáchain randamacha) |
| 10 | Athchaidhpeáil ar an bpróiseas chun tosaigh |
Rang teagaisc 2 — Díorthú agus cur i bhfeidhm ais-fhorleathadh
Treoracha do mhúinteoirí
- Tabharfaidh an rang teagaisc seo eolas do dhaltaí ar bhunphrionsabail an algartaim foghlama ais-iomsaithe le haghaidh líonra néarach saorga. Is éard a bheidh sa rang teagaisc seo ná díorthú an algartam ais-iomadaithe ag baint úsáide as peann agus páipéar, ansin cur i bhfeidhm an algartam ais-iomadaithe le haghaidh trí fheidhm gníomhachtaithe ciseal i bhfolach éagsúla (Sigmoid, Tan H agus ReLu), ag baint úsáide as Python leis an leabharlann Numpy amháin (le haghaidh ionramháil maitrísí) agus ansin ag baint úsáide as KERAS.. Cuirfidh sé sin leis an tuiscint bhunúsach ar fheidhmeanna éagsúla gníomhachtúcháin nuair a fhoghlaimíonn líonra néarach agus an chaoi a bhfuil difríocht idir na feidhmeanna gníomhachtúcháin ó thaobh castacht ríomhaireachtúil agus an t-iarratas ó pheann agus páipéar, go cód ón tús ag baint úsáide as Numpy agus ansin úsáid a bhaint as modúl ardleibhéil -> Keras.
- Tabhair faoi deara: Tá an toipeolaíocht mar an gcéanna le Léacht 1/Tutorial 1, ach tá na meáchain agus na hionchuir difriúil, is féidir leat na meáchain chéanna a úsáid ar ndóigh.
- Tabharfar ceithre fhadhb do na daltaí (beidh an chéad fhadhb roghnach nó mar ábhar breise):
- Fadhb 1: Díorthú an algartaim ais-fhorleata (ag baint úsáide as an bhfeidhm Sigmoid le haghaidh na bhfeidhmeanna gníomhachtaithe laistigh agus lasmuigh agus MSE mar fheidhm an chaillteanais), iarrfar ar mhic léinn an fhoirmle ais-iomsaithe a dhíorthú (20 nóiméad le comhlánú).
- Fadhb 2: Cuirfidh an scoláire trí fheidhm ghníomhachtaithe i bhfeidhm le haghaidh nuashonrú meáchain amháin (Siar-fhorleathadh SGD), ag baint úsáide as peann agus páipéar le haghaidh (20 Miontuairisc):
- Sigmoid (Ciseal hidden), Sigmoid (Sraith Outer) agus MSE
- Tan H (Ciseal hidden), Sigmoid (Sraith Outer) agus MSE
- ReLU (Ciseal hidden), Sigmoid (Sraith Outer) agus MSE
- Fadhb 3: Iarrfar ar na daltaí (le treoir ag brath ar an taithí roimhe seo ar chódú) líonra néarach a fhorbairt ón tús ag baint úsáide as an modúl Numpy amháin, agus ar na hualaí agus ar na feidhmeanna gníomhachtúcháin i gcás ina gcuirtear an rogha ar fáil chun roghnú ó fheidhm ghníomhachtaithe chiseal fholaithe ar bith chun na hualaí a nuashonrú trí úsáid a bhaint as SGD (20 nóiméad le críochnú).
- Fadhb 4: Iarrfar ar na daltaí (le treoir ag brath ar an taithí roimhe seo ar chódú) líonra néarach a fhorbairt ag baint úsáide as modúl Tensorflow 2.X leis an modúl inbuild Keras, agus na meáchain agus na feidhmeanna gníomhachtaithe, agus ansin úsáid a bhaint as ualaí randamacha chun nuashonrú meáchain amháin nó níos mó a dhéanamh. Le do thoil ní mar a úsáideann Keras caillteanas MSE beag difriúil, laghdaíonn an caillteanas níos tapúla sa sampla Keras.
- Keras MSE = caillteanas = cearnóg(y_true — y_pred)
- MSE teagaisc = caillteanas = (cearnóg(y_true — y_pred))*0.5
- Is é an subgoals do na trí Fadhbanna seo, mic léinn a fháil chun tuiscint a fháil ar an algartam ais-fhorleathadh, é a chur i bhfeidhm ionas go mbeidh na mic léinn in ann tuiscint níos fearr a fháil ar éifeachtaí hyperparameter.
Am: 60 nóiméad
| Fad ama (Min) | Tuairisc |
|---|---|
| 20 (Roghnach) | Fadhb 1: díorthú na foirmle ais-iomsaithe ag baint úsáide as an fheidhm Sigmoid do na feidhmeanna gníomhachtaithe laistigh agus lasmuigh agus MSE mar an fheidhm chaillteanais (Roghnach) |
| 20 | Fadhb 2: Cuirfidh an scoláire trí fheidhm ghníomhachtaithe i bhfeidhm le haghaidh nuashonrú meáchain amháin (Siar-fhorleathadh SGD), ag baint úsáide as peann agus páipéar le haghaidh (20 Miontuairisc): |
| 20 | Fadhb 3: Forbróidh an scoláire líonra néarach ón tús ag baint úsáide as an modúl Numpy amháin, áit ar féidir leis an úsáideoir roghnú as aon cheann de thrí fheidhm ghníomhachtaithe chiseal fholaithe, áit ar féidir leis an gcód ais-fhorleathadh a dhéanamh |
| 10 | Fadhb 4: Úsáidfidh na daltaí an modúl Tensorflow 2.X leis an modúl inbuild Keras, ais-fhorleathadh réamhfhoirmithe ag baint úsáide as SGD. |
| 10 | Athchaidhpeáil ar an bpróiseas chun tosaigh |
Teagasc 3 — Teagasc Hyperparameter
Treoracha do mhúinteoirí
- Cuirfidh an físeán teagaisc seo bunghnéithe an hipearpharaiméadair in aithne do líonra néarach saorga. Is éard a bheidh sa rang teagaisc seo ná cúlú hipearpharaiméadair iomadúla agus ansin meastóireacht ag baint úsáide as na cumraíochtaí samhlacha céanna leis an Léacht (Léacht 3). Díreoidh an seisiún teagaisc seo ar mhodhnú córasach hipearpharaiméadar agus ar mheastóireacht na ndáileachtaí diagnóiseacha (ag baint úsáide as caillteanas — ach d’fhéadfaí é seo a athrú go héasca le haghaidh cruinnis mar is fadhb aicmiúcháin é) ag baint úsáide as an Tacar Sonraí Daonáirimh. Ag deireadh an teagaisc seo (samplaí céim ar chéim) beifear ag súil go gcríochnóidh daltaí Practical le meastóireacht bhreise ar chothroime (bunaithe ar mheastóireacht feidhmíochta fothacar).
- Nótaí:
- Déantar réamhphróiseáil ar an tacar sonraí (san áireamh sa leabhar nótaí), áfach, is é seo an t-íosmhéid chun an tacar sonraí a chur ag obair leis an ANN. Níl sé sin cuimsitheach agus ní áirítear leis aon mheastóireacht (laofacht/cothromas).
- Bainfimid úsáid as ceapacha diagnóiseacha chun meastóireacht a dhéanamh ar éifeacht an tunning hyperparameter agus go háirithe fócas ar chaillteanas, áit ar chóir a thabhairt faoi deara go bhfuil an modúl a úsáidimid chun an caillteanas a bhreacadh matplotlib.pyplot, dá bhrí sin scálaítear an ais. D’fhéadfadh sé go gciallódh sé sin nach bhfuil difríochtaí suntasacha suntasach nó a mhalairt nuair a chuirtear caillteanas na sonraí oiliúna nó tástála i gcomparáid le chéile.
- Cuirtear roinnt saoirsí le haghaidh scafall i láthair, mar shampla úsáid Epochs ar dtús (beagnach mar theicníc tabhairt chun rialtachta) agus an méid baisc a choinneáil tairiseach.
- Chun samplaí soiléire a chur ar fáil (i.e. ró-fheistiú) d’fhéadfadh sé gur cuireadh roinnt tweaks breise le hipearpharaiméadair eile san áireamh chun ceapacha diagnóiseacha soiléire a chur ar fáil le haghaidh samplaí.
- A luaithe a aithníodh acmhainn agus doimhneacht réasúnta, tá sé seo chomh maith le hipearpharaiméadair eile, faoi ghlas le haghaidh samplaí seo a leanas nuair is féidir.
- Ar deireadh, is féidir le cuid de na cealla roinnt ama a ghlacadh chun oiliúint a dhéanamh, fiú le rochtain GPU.
- Cuirfear roinnt céimeanna i láthair do na daltaí don rang teagaisc:
- Céim 1: Roinnt réamhphróiseáil bhunúsach don tacar sonraí Daonáirimh d’Aosaigh
- Céim 2: Tomhas toillte agus doimhneachta (lena n-áirítear na samplaí seo a leanas):
- Gan chóineasú
- Tearcfheistiú
- Ró-fheistiú
- Cóineasú
- Céim 3: Epochs (os cionn agus faoi oiliúint — cé nach bhfuil sé á thabhairt isteach mar theicníc fhoirmiúil um thabhairt chun rialtachta)
- Céim 4: Feidhmeanna gníomhachtúcháin (maidir le feidhmíocht — am oiliúna agus i gcásanna áirithe caillteanas)
- Céim 5: Rátaí foghlama (lena n-áirítear na samplaí seo a leanas):
- SGD Vanilla
- SGD le meath ar an ráta foghlama
- SGD le móiminteam
- Rátaí foghlama oiriúnaitheacha:
- RMSProp
- AdaGrad
- Ádhamh
- Is iad na fospriocanna a bhaineann leis na cúig chuid seo ná samplaí agus taithí a thabhairt do dhaltaí ar hipearpharaiméadair a chur ar aghaidh agus meastóireacht a dhéanamh ar na héifeachtaí ag baint úsáide as ceapacha diagnóiseacha.
Am: 60 nóiméad
| Fad ama (Min) | Tuairisc |
|---|---|
| 5 | Réamhphróiseáil na sonraí |
| 10 | Toilleadh agus doimhneacht ag rith (faoi fheistiú agus rófheistiú) |
| 10 | Epochs (faoi oiliúint agus faoi oiliúint) |
| 10 | Méideanna baisce (le haghaidh sochtadh torainn) |
| 10 | Feidhmeanna gníomhachtaithe (agus a n-éifeachtaí ar fheidhmíocht — am agus cruinneas) |
| 10 | Rátaí foghlama (vanilla, LR Decay, Momentum, Oiriúnú) |
| 5 | Recap ar roinnt hyperparameters stáplacha (ReLu, Adam) agus an tunning daoine eile (acmhainn agus doimhneacht). |
Admhálacha
Keith Quille (OT Baile Átha Cliath, Campas Thamhlachta) http://keithquille.com
Rinne Saoráid um Chónascadh na hEorpa den Aontas Eorpach Faoi Dheontas CEF-TC-2020-1 Scileanna Digiteacha 2020-AE-IA-0068 comhairgeadú ar an gclár Máistreachta intleachta saorga ar Tháinig an Duine air.