Adminisztratív információk
| Cím | Termelési modellek kiszolgálása |
| Időtartam | 60 perc |
| Modul | B |
| Lecke típusa | Bemutató |
| Fókusz | Gyakorlati – Szervezeti MI |
| Téma | Épületgyártási modell API |
Kulcsszó
gépi tanulás működtetése, konténerek,
Tanulási célok
- Megismerni a konténerezést
- Tanulás TFX szolgáltatás
- A szolgáltatás helyi és Azure Container-példányokon való alkalmazásának képessége
Várható előkészítés
Az előtt befejezendő tanulási események
Egy sem.
Kötelező a diákok számára
- Telepítse a WSL 2-t a Docker telepítése előtt
- Használhatja a Windows Hyper-V opciót, de ez nem támogatja a GPU-t
- Telepítenie kell az Ubuntu-t (vagy más megfelelő változatokat), a WSL CLI paranccsal wsl --install -d ubuntu
- Egyes gépek esetében a WSL-t a wsl --update paranccsal is frissíteni kell ( további információ erről a frissítésről)
- Telepítenie kell a legújabb NVIDIA/CUDA illesztőprogramokat
- Telepítse a Docker for Windows rendszert: https://docs.docker.com/desktop/install/windows-install/
- Azure-fiók létrehozása az Azure Container Instances (ACI) létrehozásához
Választható diákok számára
Referenciák és háttér a diákok számára
- Aditya Khosla, Nityananda Jayadevaprakash, Bangpeng Yao és Li Fei-Fei. A Fine-Grained Image Categorization új adatkészlete. Első workshop a Fine-Grained Visual Categorization (FGVC) témában, IEEE konferencia a számítógépes látásról és mintafelismerésről (CVPR), 2011.
Ajánlott tanároknak
- Tegye a felsorolt feladatokat kötelezőnek és választhatónak a diákok számára.
Leckeanyagok
Utasítások tanároknak
TFX-t használó gyártási modellek
- Ez a bemutató bemutatja a diákokat, hogy készítsenek egy fejlett, képzett modellt, amelyet egy Jupyter Notebook-ban fejlesztettek ki (a Tensorflow 2.x és a Keras használatával), és mentse a modellt Tensorflow formátumban. A bemutató egy alapvető CNN kifejlesztésével kezdődik, amely azonosítja a kutya kenyerét. Ezt követően Tensorflow modellként mentjük el a modellt. A bemutató ezután a TFX (Tensorflow Extended https://www.tensorflow.org/tfx/serving/docker)megközelítést fogja használni az MLOps-hoz, ahol ebben a bemutatóban a TRX kiszolgáló komponensre összpontosítunk, amely nyugalmas API-kat épít a termelési környezetben való használatra/lekérdezésre. Ehhez létrehozunk egy Docker TFX-et kiszolgáló képet, és telepítjük ezt a képet:
- Helyileg (localhost)
- Az Azure Container Instances (ACI) segítségével, ahol nyilvános IP-cím lekérdezhető
- Előzetes telepítésre van szükség, kérjük, olvassa el a kötelező előkészületeket a diákok számára alább.
- Az adatkészlet a Stanford kutya adatkészlet, amelyben két kutyaosztályt, Jack Russel-t és Rhodesian Ridgeback-et használunk, a teljes adatkészlet itt található.
- Mi is biztosította az összes Docker CLI parancsok alján ez a bemutató WIKI oldal.
Vázlat/időterv
| Időtartam (min) | Leírás |
|---|---|
| 20 | Probléma: CNN modell építése a Stanford kutyaadatkészlet egy részhalmaza segítségével, ezt a modellt Tensorflow modellként mentve |
| 10 | Probléma: A Tensorflow modell telepítése egy Rest API-ra helyben (Docker használatával) és a modell lekérdezése |
| 20 | Probléma: A Tensorflow modell telepítése Rest API-ra az Azure Container Instances (ACI) használatával (Docker használatával) és a modell lekérdezése |
| 10 | Összefoglaló az előrehaladási folyamatról |
Docker CLI parancsok
A következő parancssori interfész parancsokat használják ebben a bemutatóban a modellek futtatásához.
Fuss lokálisan
1. lépés: Húzza a tenzorflow-t
Docker pull tensorflow/serving:Lest-gpu
2. lépés: A kép futtatása
Docker fut --gpus all -p 8501:8501 --name tfserving_classifier --mount type=bind,source=c:\production\,target=/models/img_classifier -e MODEL_NAME=img_classifier -t tensorflow/serving:latest-gpu
vagy GPU nélkül
Docker run -p 8501:8501 --name tfserving_classifier --mount type=bind,source=c:\production\,target=/models/img_classifier -e MODEL_NAME=img_classifier -t tensorflow/serving:latest-gpu
Futás az Azure-ban az ACI használatával
1. lépés: Módosítsa a helyi képet, hogy tartalmazza a modellt
Docker run -d --name service_base tensorflow/serving:latest-gpu Docker cp c:\production\ service_base:/modellek/img_osztályozó Docker ps -a▷ # hogy id Docker commit --change „ENV MODEL_NAME img_classifier” &id megy ide> tensorflow_dogs_gpu Docker kill service_base
2. lépés: A kép telepítése az Azure ACI-be
Docker bejelentkezési azure Docker kontextus létrehozása aci deleteme Docker kontextus használata deleteme Docker run -p 8501:8501 kquille/tensorflow_dogs_gpu:kq
Lépjen kapcsolatba az ACI-naplókkal, az IP-címmel, majd állítsa le és távolítsa el az ACI-szolgáltatást =====
Docker rönkök jolly-ride Docker ps Docker stop jolly-ride Docker rm jolly-lovaglás
Visszaigazolások
Keith Quille (TU Dublin, Tallaght Campus)
A Human-Centered AI Masters programot az Európai Unió Európai Hálózatfinanszírozási Eszköze (CEF-TC-2020–1 Digitális készségek 2020 EU-IA-0068) társfinanszírozta.