Administrativní informace
| Název | Servírování výrobních modelů |
| Trvání | 60 minut |
| Modul | B |
| Typ lekce | Tutoriál |
| Soustředění | Praktické – Organizační AI |
| Téma | Konstrukční výrobní model API |
Klíčová slova
provoz strojového učení, kontejnery,
Vzdělávací cíle
- Seznámení se s kontejnerizací
- Učení TFX sloužící
- Možnost aplikovat službu lokálně a na instancích Azure Container
Očekávaná příprava
Vzdělávací akce, které mají být dokončeny před
Žádné.
Povinné pro studenty
- Nainstalujte WSL 2 před instalací Dockeru
- Můžete použít možnost Windows Hyper-V, ale to nepodporuje GPU
- Budete muset nainstalovat Ubuntu (nebo jiné vhodné varianty), pomocí příkazu WSL CLI wsl --install -d ubuntu
- U některých strojů bude muset být WSL také aktualizován příkazem wsl --update ( Další informace o této aktualizaci)
- Budete muset mít nainstalované nejnovější ovladače NVIDIA/CUDA
- Nainstalujte Docker pro Windows: https://docs.docker.com/desktop/install/windows-install/
- Vytvoření účtu Azure s přístupem k vytvoření Azure Container Instances (ACI)
Volitelné pro studenty
Reference a zázemí pro studenty
- Aditya Khosla, Nityananda Jayadevaprakash, Bangpeng Yao a Li Fei-Fei. Nová datová sada pro kategorizaci obrázků s jemným leskem. První workshop na téma Fine-Grained Visual Categorization (FGVC), IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2011.
Doporučeno pro učitele
- Proveďte úkoly uvedené jako povinné a volitelné pro studenty.
Materiály pro výuku
Pokyny pro učitele
Výrobní modely využívající TFX Serving
- Tento tutoriál seznámí studenty s vyvinutým vyškoleným modelem, který byl vyvinut v poznámkovém bloku Jupyter (pomocí Tensorflow 2.x a Keras) a uložit model ve formátu Tensorflow. Tutoriál začne vytvořením základní CNN pro identifikaci chleba psa. Model pak uložíme jako model Tensorflow. Tutoriál pak použije TFX (Tensorflow Extended https://www.tensorflow.org/tfx/serving/docker ) přístuppro MLOps, kde se zaměříme v tomto tutoriálu na TRX sloužící komponentu, která je budování klidných API pro použití/dotaz ve výrobních prostředích. Za tímto účelem vytvoříme Docker TFX sloužící obrázek a nasadíme tento obrázek:
- Místní (místní hostitel)
- Prostřednictvím Azure Container Instances (ACI), kde lze dotazovat veřejnou IP adresu
- K dispozici jsou předchozí instalace potřebné, viz povinné přípravy pro studenty níže.
- Datový soubor je Stanford Dog Dataset, ve kterém používáme dvě třídy psů, Jack Russel’s a Rhodesian Ridgeback’s, kompletní datový soubor lze nalézt zde, Zadali jsme také podmnožinu použitou v tomto tutoriálu v sekci Dataset níže.
- Také jsme poskytli všechny Docker CLI příkazy v dolní části této výukové WIKI stránky.
Osnova/časový rozvrh
| Doba trvání (Min) | Popis |
|---|---|
| 20 | Problém 1: Vytvoření modelu CNN s podmnožinou souboru dat pro psy Stanfordu, který tento model uloží jako model Tensorflow |
| 10 | Problém č. 2: Nasazení modelu Tensorflow do Rest API lokálně (pomocí Dockeru) a dotazování modelu |
| 20 | Problém 3: Nasazení modelu Tensorflow do rozhraní API Rest pomocí Azure Container Instances (ACI) (pomocí Dockeru) a dotazování na model |
| 10 | Rekapitulace procesu předávání dopředu |
Docker CLI příkazy
Následující příkazy rozhraní příkazového řádku se používají v tomto tutoriálu ke spuštění modelů.
Běžet lokálně
Krok 1: Tah tensorflow
Docker tah tensorflow/serving:latest-gpu
Krok 2: Spusťte obrázek
Docker run --gpus all -p 8501:8501 --name tfserving_classifier --mount type=bind,source=c:\production\,target=/models/img_classifier -e MODEL_NAME=img_classifier -t tensorflow/serving:latest-gpu
nebo bez GPU
Docker run -p 8501:8501 --name tfserving_classifier --mount type=bind,source=c:\production\,target=/models/img_classifier -e MODEL_NAME=img_classifier -t tensorflow/serving:latest-gpu
Běh na Azure pomocí ACI
Krok 1: Upravte místní obrázek tak, aby byl součástí modelu
Docker run -d --name service_base tensorflow/serving:latest-gpu Docker cp c:\production\ service_base:/models/img_classifier Docker ps -aа а# dostat id Docker commit --change „ENV MODEL_NAME img_classifier“ &id jde zde> tensorflow_dogs_gpu Docker kill service_base
Krok 2: Nasazení obrazu do Azure ACI
Docker přihlášení azurové Docker kontext vytvořit aci deleteme Docker kontextové použití deleteme Docker run -p 8501:8501 kquille/tensorflow_dogs_gpu:kq
Krok 3 Přístup k protokolům ACI, IP adresa, a pak zastavit a odebrat službu ACI =====
Docker logs veselé jízdy Docker ps Docker stop veselé jízdy Docker rm veselé jízdy
Potvrzení
Keith Quille (TU Dublin, Tallaght Campus)
Program Human-Centered AI Masters byl spolufinancován Nástrojem Evropské unie pro propojení Evropy v rámci grantu CEF-TC-2020–1 Digitální dovednosti 2020-EU-IA-0068.