Administratívne informácie
| Názov | Servisné výrobné modely |
| Trvanie | 60 minút |
| Modul | B |
| Druh lekcie | Tutorial |
| Zameranie | Praktická – Organizačná umelá inteligencia |
| Téma | Stavebný výrobný model API |
Kľúčové slová
strojové učenie, kontajnery,
Vzdelávacie ciele
- Oboznámiť sa s kontajnerizáciou
- Učenie TFX Servovanie
- Schopnosť aplikovať servírovanie lokálne a na Azure Container inštancie
Očakávaná príprava
Naučte sa udalosti, ktoré treba dokončiť predtým
Žiadne.
Povinné pre študentov
- Inštalácia WSL 2 pred inštaláciou Docker
- Môžete použiť možnosť Windows Hyper-V, ale to nepodporuje GPU
- Budete musieť nainštalovať Ubuntu (alebo iné vhodné varianty), s príkazom WSL CLI wsl --install -d ubuntu
- Pre niektoré stroje bude tiež potrebné aktualizovať WSL pomocou príkazu wsl --update ( viac informácií o tejto aktualizácii)
- Budete musieť mať nainštalované najnovšie ovládače NVIDIA/CUDA
- Inštalácia Docker pre Windows: https://docs.docker.com/desktop/install/windows-install/
- Vytvorenie účtu Azure s prístupom na vytvorenie Azure Container Inštancie (ACI)
Voliteľné pre študentov
Referencie a zázemie pre študentov
- Aditya Khosla, Nityananda Jayadevaprakash, Bangpeng Yao a Li Fei-Fei. Nový súbor údajov pre kategóriu Fine-Grained Image Categorization. Prvý workshop o výtvarnej vizuálnej kategorizácii (FGVC), konferencia IEEE o počítačovom videní a rozpoznávaní vzorov (CVPR), 2011.
Odporúčané pre učiteľov
- Vykonajte úlohy uvedené ako povinné a nepovinné pre študentov.
Učebné materiály
Pokyny pre učiteľov
Výrobné modely využívajúce TFX Serving
- Tento tutoriál predstaví študentov, aby vzali vyvinutý vyškolený model, ktorý bol vyvinutý vo notebooku Jupyter (pomocou Tensorflow 2.x a Keras) a ušetrili model vo formáte Tensorflow. Výukový program začne vývojom základného CNN na identifikáciu chleba psa. Potom uložíme model ako Tensorflow model. Výukový program potom použije prístup TFX (Tensorflow Extended https://www.tensorflow.org/tfx/serving/docker) pre MLOps, kde sa zameriame v tomto tutoriálu na servírovaciu zložku TRX, ktorá stavia pokojné API na použitie/otázky vo výrobných prostrediach. K tomu zostavíme Docker TFX servírujúci obrázok a nasadíme tento obrázok:
- Lokálne (localhost)
- Prostredníctvom Azure Container instances (ACI), kde je možné vyhľadávať verejnú IP adresu
- Sú potrebné predchádzajúce inštalácie, pozrite si povinné prípravy pre študentov nižšie.
- Súbor údajov je súbor údajov Stanford psov, v ktorom používame dve triedy psov, Jack Russel’s a Rhodesian Ridgeback’s, kompletný súbor údajov nájdete tu, Zadali sme tiež podmnožinu použitú v tomto tutoriálu v sekcii Dataset nižšie.
- Tiež sme poskytli všetky príkazy Docker CLI v dolnej časti tohto tutoriálu WIKI stránky.
Prehľad/časový harmonogram
| Trvanie (Min) | Popis |
|---|---|
| 20 | Problém 1: Vytvorenie modelu CNN pomocou podmnožiny údajov Stanfordských psov, čím sa tento model uloží ako model Tensorflow |
| 10 | Problém 2: Nasadenie modelu Tensorflow do lokálneho rozhrania Rest API (pomocou Dockera) a dotazovanie modelu |
| 20 | Problém 3: Nasadenie modelu Tensorflow do rozhrania Rest API pomocou Azure Container Instances (ACI) (pomocou Dockera) a dotazovanie modelu |
| 10 | Rekapitulácia na proces odovzdávania dopredu |
Príkazy Docker CLI
Nasledujúce príkazy rozhrania príkazového riadku sa používajú v tomto tutoriálu na spustenie modelov.
Bežať lokálne
Krok 1: Ťahať tensorflow
Docker pull tensorflow/serving: najnovšie-gpu
Krok 2: Spustiť obrázok
Docker run --gpus all -p 8501:8501 --name tfserving_classifier --mount type=bind,source=c:\production\,target=/models/img_classifier -e MODEL_NAME=img_classifier -t tensorflow/serving:latest-gpu
alebo bez GPU
Docker run -p 8501:8501 --name tfserving_classifier --mount type=bind,source=c:\production\,target=/models/img_classifier -e MODEL_NAME=img_classifier -t tensorflow/serving:latest-gpu
Bežte na Azure pomocou ACI
Krok 1: Upraviť lokálny obrázok tak, aby bol súčasťou modelu
Docker run -d -name serving_base tensorflow/serving: Posledný-gpu Docker cp c:\production\ service_base:/models/img_classifier Docker ps & nb + # dostať id Docker sa zaväzuje --change „ENV MODEL_NAME img_classifier“ &id ide tu> tensorflow_dogs_gpu Docker zabiť serving_base
Krok 2: Nasadenie obrazu na Azure ACI
Docker Prihlásiť sa azure Docker kontext vytvoriť aci odstrániť kontext Dockera použiť odstránenie Docker run -p 8501:8501 kquille/tensorflow_dogs_gpu:kq
Step3 Prístup k protokolom ACI, IP adresa a potom zastaviť a odstrániť službu ACI =====
Docker logs jolly-ride Docker ps Docker stop jolly-ride Docker rm jolly-ride
Uznania
Keith Quille (TU Dublin, Tallaght Campus)
Program Masters umelej inteligencie zameraný na človeka bol spolufinancovaný z Nástroja Európskej únie na prepájanie Európy v rámci grantu CEF-TC-2020 – 1 Digitálne zručnosti 2020-EU-IA-0068.