Informazzjoni Amministrattiva
| Titlu | Jservu Mudelli ta ‘Produzzjoni |
| Tul ta’ żmien | 60 minuta |
| Modulu | B |
| Tip ta’ lezzjoni | Tutorja |
| Fokus | Prattiċi — IA organizzattiva |
| Suġġett | Mudell tal-produzzjoni tal-bini API |
Kliem prinċipali
operazzjoni ta’ tagħlim awtomatiku, kontejners,
Għanijiet ta’ Tagħlim
- Familjarizzazzjoni mal-containisation
- Tagħlim TFX Jservu
- Ħila li japplika li jservi fil-lokal u fuq il-Kwartieri tal-Kontejner ta’ Azure
Preparazzjoni mistennija
Avvenimenti ta’ Tagħlim li għandhom jiġu Mlestija Qabel
Xejn.
Obbligatorju għall-Istudenti
- Installa WSL 2 qabel l-installazzjoni Docker
- Tista ‘tuża l-għażla Windows Hyper-V, iżda dan ma jappoġġjax GPU’s
- Ikollok bżonn li jinstallaw Ubuntu (jew varjanti xierqa oħra), mal-WSL CLI kmand wsl --install -d ubuntu
- Għal xi magni d-WSL jeħtieġ ukoll li jiġi aġġornat bil-kmand wsl --aġġornament ( Aktar informazzjoni dwar dan l-aġġornament)
- Ikollok bżonn li jkollhom l-aħħar sewwieqa NVIDIA/CUDA installati
- Installa Docker għall-Windows: https://docs.docker.com/desktop/install/windows-install/
- Oħloq kont Azure b’aċċess għall-ħolqien ta’ Azure Container Instances (ACI)
Fakultattiv għall-Istudenti
Referenzi u sfond għall-istudenti
- Aditya Khosla, Nityananda Jayadevaprakash, Bangpeng Yao u Li Fei-Fei. Sett ta’ data ġdid għall-Kategorizzazzjoni tal-Immaġni Mnaqqxa bl-Inbid. l-Ewwel Workshop dwar il-Kategorizzazzjoni Viżiva Mnaqqsa mid-Disinn (FGVC), Konferenza IEEE dwar il-Viżjoni tal-Kompjuter u r-Rikonoxximent tad-Disinn (CVPR), 2011.
Rakkomandat għall-Għalliema
- Jagħmlu l-kompiti elenkati bħala obbligatorji u fakultattivi għall-istudenti.
Materjali tal-lezzjoni
Struzzjonijiet għall-Għalliema
Mudelli ta ‘Produzzjoni bl-użu TFX Serving
- Din it-tutorja se tintroduċi lill-istudenti biex jieħdu mudell imħarreġ żviluppat li ġie żviluppat f’notebook Jupyter (bl-użu ta’ Tensorflow 2.x u Keras) u jsalva l-mudell f’format Tensorflow. Il-tutorja se tibda billi tiżviluppa CNN bażiku biex tidentifika l-ħobż ta ‘kelb. Aħna mbagħad se jiffrankaw il-mudell bħala mudell Tensorflow. Il-tutorja mbagħad se tuża l-TFX (Tensorflow Estiżhttps://www.tensorflow.org/tfx/serving/docker ) approċċ għall MLOps fejn aħna se tiffoka f’dan tutorja fuq TRX jservu komponent, li qed tibni APIs restful għall-użu/mistoqsija f’ambjenti ta ‘produzzjoni. Biex tagħmel dan aħna se tibni Docker TFX immaġini jservu, u tiskjera din l-immaġni:
- Lokalment (lokali)
- Via Azure Container Instances (ACI), fejn l-indirizz IP pubbliku jista’ jiġi mfittex
- Hemm bżonn ta’ installi minn qabel, jekk jogħġbok ara t-tħejjijiet obbligatorji għall-istudenti hawn taħt.
- Is-sett tad-data huwa s-sett tad-data tal-klieb Stanford, li fih nużaw żewġ klassijiet ta ‘klieb, Jack Russel u Ridgeback Rhodesian, il-dataset komplut jista’ jinstab hawn, Aħna pprovdew ukoll is-subsett użat f’din it-tutorja fit-taqsima tas-sett tad-data hawn taħt.
- Aħna pprovdew ukoll kollha tal-kmandi CLI Docker fil-qiegħ ta ‘din il-paġna WIKI tutorja.
Deskrizzjoni ġenerali/skeda ta’ żmien
| Tul ta’ żmien (Min) | Deskrizzjoni |
|---|---|
| 20 | Problema 1: Bini ta ‘mudell CNN bl-użu ta’ subsett tal-klieb Stanford dataset, iffrankar dan il-mudell bħala mudell Tensorflow |
| 10 | Problema 2: l-iskjerament tal-mudell Tensorflow għal API Mistrħa lokalment (bl-użu Docker) u jistaqsi l-mudell |
| 20 | Problema 3: l-użu tal-mudell Tensorflow għal API Mistrħa bl-użu ta’ Azure Container Instances (ACI) (bl-użu ta’ Docker) u tistaqsi dwar il-mudell |
| 10 | Erġa’ agħmel kappa fuq il-proċess tal-pass’il quddiem |
Kmandi CLI Docker
Il-kmandi li ġejjin linja kmand interface huma użati f’dan tutorja biex imexxu l-mudelli.
Mexxi lokalment
Stadju 1: Pull tensorflow
Docker iġbed tensorflow/serving: l-aħħar-gpu
It-tieni pass: Mexxi l-immaġni
ġirja ta’ Docker -gpus kollha -p 8501:8501 -isem tfserving_classifier -mount type=bind,source=c:\production\,target=/models/img_classifier -e MODEL_NAME=img_classifier -t tensorflow/serving:l-aħħar gpu
jew mingħajr GPU
ġirja ta’ Docker -p 8501:8501 -isem tfserving_classifier -type=bind,source=c:\production\,target=/img_classifier -e MODEL_NAME=img_classifier -t tensorflow/serving:l-aħħar gpu
Mexxi fuq Azure bl-użu ACI
Stadju 1: Immodifika l-immaġni lokali biex ikun inkluż il-mudell
docker run -d -isem service_base tensorflow/serving: l-aħħar-gpu docker c:\production\ serving_base:/models/img_classifier DOcker ps -a” π# biex tieħu l-id Docker jimpenjaw --bidla “ENV MODEL_NAME img_classifier” &id tmur hawn tensorflow_dogs_gpu docker joqtlu serve_base
It-tieni pass: Skjera Image biex Azure ACI
Docker login azure kuntest Docker joħolqu tħassir aci tħassir tal-kuntest ta’ Docker run Docker -p 8501:8501 kquille/tensorflow_dogs_gpu:kq
Step3 Aċċessa l-logs tal-ACI, l-indirizz IP, u mbagħad waqqaf u neħħi s-servizz tal-ACI =====
Docker zkuk jolly-ride ps tad-docker Docker tieqaf jolly-rikba Docker rm jolly-rikba
Rikonoxximenti
Keith Quille (TU Dublin, Kampus ta’ Tallaght)
Il-programm Masters tal-IA Ċentrata mill-Bniedem ġie kofinanzjat mill-Faċilità Nikkollegaw l-Ewropa tal-Unjoni Ewropea Taħt l-Għotja CEF-TC-2020–1 Ħiliet Diġitali 2020-EU-IA-0068.