Haldusteave
Ametinimetus | Teenindavad tootmismudelid |
Kestus | 60 minutit |
Moodul | B |
Õppetunni liik | Õpetus |
Keskendumine | Praktiline – organisatsiooniline tehisintellekt |
Teema | Hoone tootmismudel API |
Võtmesõnad
masinõppe opereerimine, konteinerid,
Õpieesmärgid
- Konteinervedudega tutvumine
- Õppimine TFX teenindamine
- Võime rakendada kohaliku ja Azure’i konteinerite eksemplaride teenindamist
Eeldatav ettevalmistamine
Õppeüritused, mis tuleb lõpetada enne
Puudub.
Kohustuslik õpilastele
- Paigaldage WSL 2 enne Dockeri paigaldamist
- Võite kasutada Windows Hyper-V suvandit, kuid see ei toeta GPU-d
- Te peate installima Ubuntu (või muud sobivad variandid) WSL CLI käsuga wsl --install -d ubuntu
- Mõnede masinate puhul tuleb WSL-i uuendada ka käsuga wsl --update ( Rohkem teavet selle värskenduse kohta)
- Peate installima uusimad NVIDIA/CUDA draiverid
- Dockeri installimine Windowsi jaoks: https://docs.docker.com/desktop/install/windows-install/
- Azure’i konto loomine koos juurdepääsuga Azure’i konteinerite eksemplaride (ACI) loomiseks
Valikuline õpilastele
Viited ja taust õpilastele
- Aditya Khosla, Nityananda Jayadevaprakash, Bangpeng Yao ja Li Fei-Fei. Uus andmekogum Fine-Grained pildi kategoriseerimiseks. Esimene õpituba „Fine-Grained Visual Categorization“ (FGVC), IEEE konverents arvutivisiooni ja -mustri tunnustamise kohta (CVPR), 2011.
Soovitatav õpetajatele
- Tehke õpilaste jaoks kohustuslikke ja vabatahtlikke ülesandeid.
Õppematerjalid
Juhised õpetajatele
Tootmismudelid, mis kasutavad TFX-i teenindamist
- See õpetus tutvustab õpilastele välja töötatud koolitatud mudelit, mis töötati välja Jupyter sülearvutis (kasutades Tensorflow 2.x ja Keras) ja salvestades mudeli Tensorflow formaadis. Juhendaja hakkab välja töötama põhilist CNN-i koera leiva tuvastamiseks. Seejärel salvestame mudeli Tensorflow mudelina. Juhendaja kasutab seejärel TFX (Tensorflow Extended https://www.tensorflow.org/tfx/serving/docker)lähenemist MLOps, kus me keskendume selles õpetuses TRXi teeninduskomponendile, mis ehitab rahulikke API-sid, et kasutada/pärida tootmiskeskkondades. Selleks ehitame Docker TFX-i teenindava pildi ja rakendame seda pilti:
- Kohalik (kohalik)
- Azure’i konteinerite astmete (ACI) kaudu, kus saab päringu teha avalikust IP-aadressist
- On vaja eelnevalt installida, palun vaadake kohustuslikke ettevalmistusi õpilastele allpool.
- Andmekogum on Stanfordi koerte andmekogum, kus me kasutame kahte klassi koeri, Jack Russeli ja Rhodesian Ridgeback’i, täielik andmekogum leiate siit, Oleme esitanud ka alamkogumi, mida kasutatakse selles õpetuses andmekogumi jaotises allpool.
- Oleme andnud ka kõik Docker CLI käsud allosas see juhendaja WIKI leht.
Ülevaade/ajakava
Kestus (Min) | Kirjeldus |
---|---|
20 | Probleem 1: Ehitades CNN-mudeli, kasutades Stanfordi koerte andmekogumit, salvestades selle mudeli Tensorflow mudelina |
10 | Probleem 2: Tensorflow-mudeli juurutamine Rest API-sse lokaalselt (kasutades Dockeri) ja mudeli päringuid |
20 | Probleem 3: Tensorvoo mudeli juurutamine ülejäänud API-sse, kasutades Azure’i konteinerite astmeid (ACI) (kasutades Dockerit) ja küsides mudelilt päringuid |
10 | Kokkuvõte edasiliikumise protsessist |
Docker CLI käsud
Selles õpetuses kasutatakse mudelite käitamiseks järgmisi käsurea liidese käske.
Käivita lokaalselt
Etapp: Tõmbe tensorvoog
Docker tõmmake tensorflow/serving:viimane-gpu
Etapp: Käivitage pilt
Docker run --gpus all -p 8501:8501 --name tfserving_classifier --mount type=bind,source=c:\production\,target=/models/img_classifier -e MODEL_NAME=img_classifier -t tensorflow/serving: latest-gpu
või ilma GPU-ta
Docker run -p 8501:8501 --name tfserving_classifier --mount type=bind,source=c:\production\,target=/models/img_classifier -e MODEL_NAME=img_classifier -t tensorflow/serving: latest-gpu
Azure’i käivitamine ACI abil
Etapp: Muutke kohalikku pilti, et mudel oleks kaasatud
Docker run -d --name service_base tensorflow/serving: latest-gpu docker c:\production\ serving_base:/models/img_classifier Docker ps -ai-# et saada id Docker kohustus --change „ENV MODEL_NAME img_classifier“ <id läheb siia> tensorflow_dogs_gpu Docker tapab serveerimise_base
Etapp: Pildi juurutamine Azure ACI-sse
Dockeri sisselogimise asure Dockeri kontekst luua aci kustutamine Dockeri kontekst kasutab kustutamist Docker run -p 8501:8501 kquille/tensorflow_dogs_gpu:kq
Samm 3 Juurdepääs ACI logidele, IP-aadressile ja seejärel ACI teenuse peatamine ja eemaldamine =====
Docker palkide jolly-ride Docker ps Docker lõpetab jolly-ride Docker rm jolly-ride
Tunnustused
Keith Quille (TU Dublin, Tallaght Campus)
Inimkeskse tehisintellekti magistriprogrammi kaasfinantseeris Euroopa Liidu Ühendamise Rahastu toetusega CEF-TC-2020–1 „Digioskused 2020“-EU-IA-0068.