Hallinnolliset tiedot
| Otsikko | Palvelevat tuotantomallit |
| Kesto | 60 minuuttia |
| Moduuli | B |
| Oppitunnin tyyppi | Opetusohjelma |
| Keskittyminen | Käytännönläheinen – organisatorinen tekoäly |
| Aihe | Rakennustuotantomalli API |
Avainsanoja
koneoppimisen operointi, kontit,
Oppimistavoitteet
- Tutustuminen konttikäsittelyyn
- TFX:n palveleminen
- Kyky soveltaa palvelemista paikallisesti ja Azure Container instances
Odotettu valmistelu
Oppimistapahtumat valmistuvat ennen
Ei mitään.
Pakollinen opiskelijoille
- Asenna WSL 2 ennen Dockerin asentamista
- Voit käyttää Windows Hyper-V -vaihtoehtoa, mutta tämä ei tue GPU: n
- Sinun täytyy asentaa Ubuntu (tai muut sopivat vaihtoehdot), WSL CLI komento wsl --install -d ubuntu
- Joissakin koneissa WSL on myös päivitettävä komennolla wsl --päivitys ( lisätietoja tästä päivityksestä)
- Sinun on asennettava uusimmat NVIDIA/CUDA-ajurit
- Asenna Docker for Windows: https://docs.docker.com/desktop/install/windows-install/
- Azure-tilin luominen Azure Container Instancesin (ACI) luomiseen
Valinnainen opiskelijoille
Referenssejä ja taustaa opiskelijoille
- Aditya Khosla, Nityananda Jayadevaprakash, Bangpeng Yao ja Li Fei-Fei. Uusi datajoukko Fine-Grained Image Categorization. Ensimmäinen työpaja hienostuneesta visuaalisesta luokittelusta (FGVC), IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2011.
Suositellaan opettajille
- Tee tehtävät, jotka on lueteltu opiskelijoille pakollisina ja valinnaisina.
Oppituntimateriaalit
Ohjeita opettajille
Tuotantomallit, joissa käytetään TFX-palvelua
- Tämä opetusohjelma esittelee opiskelijat ottamaan kehittynyt koulutettu malli, joka on kehitetty Jupyter Notebook (käyttäen Tensorflow 2.x ja Keras) ja säästää mallin Tensorflow muodossa. Opetusohjelma alkaa kehittämällä perus CNN-koodi koiran leivän tunnistamiseksi. Tämän jälkeen tallennamme mallin Tensorflow-mallina. Opetusohjelma käyttää sitten TFX (Tensorflow Extended https://www.tensorflow.org/tfx/serving/docker) -lähestymistapaaMLOpsille, jossa keskitymme tässä opetusohjelmassa TRX-tarjoilukomponenttiin, joka on rakentaa rauhallisia API-liittymiä käytettäväksi/kyselyyn tuotantoympäristöissä. Tätä varten rakennamme Docker TFX -palvelukuvan ja otamme tämän kuvan käyttöön:
- Paikallinen (paikallinen)
- Azure Container instancesin (ACI) kautta, josta voidaan kysyä julkista IP-osoitetta
- Ennakkoasennukset ovat tarpeen, katso alla olevat pakolliset valmistelut opiskelijoille.
- Aineisto on Stanfordin koirien datajoukko, jossa käytämme kahta koiraluokkaa, Jack Russelin ja Rhodesian Ridgebackin, täydellinen tietojoukko löytyy täältä, Olemme myös toimittaneet tässä opetusohjelmassa käytetyn osajoukon alla olevassa tietoaineisto-osassa.
- Olemme myös toimittaneet kaikki Docker CLI -komennot tämän opetusohjelman WIKI-sivun alareunassa.
Pääpiirteittäin/aika-aikataulu
| Kesto (Min) | Kuvaus |
|---|---|
| 20 | Ongelma 1: CNN-mallin rakentaminen käyttäen Stanfordin koirien tietoaineistoa, säästäen tämän mallin Tensorflow-mallina |
| 10 | Ongelma 2: Tensorflow-mallin käyttöönotto leporajapintaan paikallisesti (käyttäen Dockeria) ja kyselyn tekeminen mallista |
| 20 | Ongelma 3: Tensorflow-mallin käyttöönotto leporajapintaan käyttämällä Azure Container Instances (ACI) (käyttäen Dockeria) ja kyselyiden tekeminen mallista |
| 10 | Yhteenveto eteenpäin suuntautuvasta läpäisyprosessista |
Docker CLI komennot
Seuraavia komentorivin käyttöliittymäkomentoja käytetään tässä opetusohjelmassa mallien suorittamiseen.
Aja paikallisesti
Vaihe 1: Vedä tensorflow
Docker vetää tensorflow/serving:viimeisin-gpu
Vaihe 2: Suorita kuva
Docker run --gpus all -p 8501:8501 --name tfserving_classifier --mount type=bind,source=c:\production\,target=/models/img_classifier -e MODEL_NAME=img_classifier -t tensorflow/serving:viest-gpu
tai ilman GPU:ta
Docker run -p 8501:8501 --name tfserving_classifier --mount type=bind,source=c:\production\,target=/models/img_classifier -e MODEL_NAME=img_classifier -t tensorflow/serving:viime-gpu
Aja Azuressa ACI:n avulla
Vaihe 1: Muokkaa paikallista kuvaa niin, että malli on mukana
Docker run -d --name serve_base tensorflow/serving:latest-gpu Docker cp:\production\ serve_base:/models/img_classifier Docker ps -aа а# saada id Docker commit --muutos ”ENV MODEL_NAME img_classifier” &id menee tähän> tensorflow_dogs_gpu Docker tappaa tarjoilu_base
Vaihe 2: Ota kuva käyttöön Azure ACI: lle
Docker kirjautuminen azure Docker konteksti luo aci removeme Docker kontekstin käyttö poisto Docker Run -p 8501:8501 kquille/tensorflow_dogs_gpu:kq
Step3 Käytä ACI-lokeja, IP-osoitetta ja pysäytä ja poista ACI-palvelu ====
Docker lokit jolly-ratsastus Docker ps Docker lopettaa jolly-ratsastus Docker rm jolly-ratsastus
Tunnustukset
Keith Quille (TU Dublin, Tallaghtin kampus)
Human-Centered AI Masters -ohjelmaa rahoitettiin Euroopan unionin Verkkojen Eurooppa -välineestä (CEF-TC-2020–1 Digital Skills 2020-EU-IA-0068).