Administrativne informacije
| Naslov | Posluživanje modela proizvodnje |
| Trajanje | 60 minuta |
| Modul | B |
| Vrsta lekcija | Udžbenik |
| Fokus | Praktična – Organizacijska umjetna inteligencija |
| Tema | Model proizvodnje zgrada API |
Ključne riječi
strojno učenje operacija, kontejneri,
Ciljevi učenja
- Upoznajte se s kontejnerizacijom
- Učenje TFX Serving
- Sposobnost primjene posluživanja lokalno i na azure kontejnerskim instancama
Očekivana priprema
Edukativni događaji koji će biti završeni prije
Nijedan.
Obvezno za studente
- Instalirajte WSL 2 prije instalacije Dockera
- Možete koristiti opciju Windows Hyper-V, ali to ne podržava GPU-ove
- Morat ćete instalirati Ubuntu (ili druge prikladne varijante), s WSL CLI naredbom wsl --instalirati -d ubuntu
- Za neke strojeve WSL će također trebati ažurirati naredbu wsl --update (više informacija o ovom ažuriranju)
- Morat ćete imati instalirane najnovije NVIDIA/CUDA upravljačke programe
- Instalirajte Docker za Windows: https://docs.docker.com/desktop/install/windows-install/
- Stvaranje Azure računa s pristupom za stvaranje Azure Container Instances (ACI)
Neobvezno za studente
Preporuke i pozadina za studente
- Aditya Khosla, Nityananda Jayadevaprakash, Bangpeng Yao i Li Fei-Fei. Novi skup podataka za Fine-Grained Image kategorizaciju. Prva radionica o dobroj vizualnoj kategorizaciji (FGVC), IEEE konferencija o računalnoj viziji i prepoznavanju uzoraka (CVPR), 2011.
Preporučeno nastavnicima
- Učinite zadatke navedene kao obavezne i neobavezne za studente.
Nastavni materijali
Upute za učitelje
Proizvodni modeli pomoću TFX Servinga
- Ovaj tutorial će predstaviti studente uzeti razvijeni obučeni model koji je razvijen u Jupyter Notebook (koristeći Tensorflow 2.x i Keras) i spremanje modela u Tensorflow formatu. Udžbenik će započeti razvojem osnovnog CNN-a za identifikaciju kruha psa. Tada ćemo sačuvati model kao model Tensorflowa. Udžbenik će zatim koristiti TFX (Tensorflow Extended https://www.tensorflow.org/tfx/serving/docker ) pristupza MLOps gdje ćemo se usredotočiti u ovom vodiču na TRX komponenti za posluživanje, to je izgradnja mirnih API-ja za korištenje/upiti u proizvodnim okruženjima. Da bismo to učinili, izgradit ćemo Docker TFX posluživanje slike i implementirati ovu sliku:
- Lokalno (lokalno)
- Putem Azure Container Instances (ACI), gdje se može pretražiti javna IP adresa
- Potrebne su prethodne instalacije, molimo pogledajte obavezne pripreme za studente u nastavku.
- Skup podataka je skup podataka o psima Stanford, u kojem koristimo dvije klase pasa, Jack Russel’s i Rhodesian Ridgeback, kompletan skup podataka možete pronaći ovdje, Također smo dali podskup koji se koristi u ovom vodiču u odjeljku skupa podataka u nastavku.
- Također smo osigurali sve Docker CLI naredbe na dnu ovog udžbenik WIKI stranice.
Nacrt/vremenski raspored
| Trajanje (min) | Opis |
|---|---|
| 20 | Problem 1.: Izgradnja CNN modela pomoću podskupa podataka o psima Stanforda, čuvajući ovaj model kao model Tensorflowa |
| 10 | Drugi problem: Implementacija modela Tensorflow u Ostali API lokalno (koristeći Docker) i pretraživanje modela |
| 20 | Treći problem: Implementacija modela Tensorflow u Ostali API pomoću Azure Container Instances (ACI) (koristeći Docker) i upite modela |
| 10 | Preuzmite proces naprijed prolaza |
Docker CLI naredbe
Sljedeće naredbe sučelja naredbenog retka koriste se u ovom vodiču za pokretanje modela.
Trčanje lokalno
Korak 1.: Povucite tensorflow
Docker povući tensorflow/posluživanje: Najnoviji-gpu
Korak 2.: Pokrenite sliku
Docker run --gpus all -p 8501:8501 --name tfserving_classifier --mount type=bind,source=c:\ Production\,target=/models/img_classifier -e MODEL_NAME=img_classifier -t tensorflow/serving:posljednji-gpu
ili bez GPU-a
Docker run -p 8501:8501 --name tfserving_classifier --mount type=bind,source=c:\ Production\,target=/models/img_classifier -e MODEL_NAME=img_classifier -t tensorflow/serving:latest-gpu
Trčanje na Azure pomoću ACI
Korak 1.: Izmijenite lokalnu sliku kako biste uključili model
Docker trčanje -d --ime posluživanje_base tensorflow/posluživanje: Najnoviji-gpu Docker cp c:\produkcija\ posluživanje_base:/modeli/img_klasifikator Docker ps -abs # da biste dobili id Docker obvezati --promjena „ENV MODEL_NAME img_klasifikator” &id ide ovdje> tensorflow_dogs_gpu Docker ubio posluživanje_base
Korak 2.: Rasporedite sliku na Azure ACI
Docker login azura Docker kontekst stvoriti aci brisanje kontekst Dockera koristi brisač Docker trčanje -p 8501:8501 kquille/tensorflow_dogs_gpu:kq
Step3 Pristup ACI zapisima, IP adresa, a zatim zaustaviti i ukloniti ACI uslugu =======
Docker logovi vesela vožnja Docker ps Docker stop vesela vožnja Docker rm vesela vožnja
Priznanja
Keith Quille (TU Dublin, Tallaght Campus)
Diplomski studij umjetne inteligencije usmjeren na čovjeka sufinanciran je Instrumentom za povezivanje Europe Europske unije u okviru bespovratnih sredstava CEF-TC-2020 – 1 Digital Skills 2020-EU-IA-0068.