Verwaltungsinformationen
| Titel | Serving-Produktionsmodelle |
| Dauer | 60 Minuten |
| Modulen | B |
| Unterrichtstyp | Vortrag |
| Fokussierung | Praktisch – Organisationelle KI |
| Themenbereich | Bereitstellung eines Produktionsmodells |
Suchbegriffe
Containmentrisierung,
Lernziele
- Überblick über Containerisierung
- Einführung in TFX Serving
- Lokales Servieren und Servieren von Azure-Container-Instanzen
Erwartete Vorbereitung
Lernveranstaltungen, die vorab abgeschlossen werden müssen
Keine.
Obligatorisch für Studenten
Optional für Studenten
Keine.
Referenzen und Hintergründe für Studierende
Keine.
Empfohlen für Lehrer
Keine.
Unterrichtsmaterialien
Anleitung für Lehrer
Diese Vorlesung bietet eine Übersicht/Stiftung für Serving Tensorflow-Modelle. Der Vortrag wird einige Grundlagen und Hintergründe (einschließlich einiger Code-Snippets) liefern, die für das folgende Tutorial erforderlich sind, das den MLOps-Prozess des Servierens eines Modells für Produktionszwecke in die Praxis umsetzen wird. Der Vortrag umfasst insbesondere:
- Entwicklung eines Beispielmodells unter Verwendung des Stanford Dogs-Datensatzes
- Speichern des Modells und des Formats des gespeicherten Modells
- TensorFlow TFX Serviceübersicht
- Die APIs TFX Serving verwendet (gRPC und Restful)
- Containerisierung
- Docker Container im Überblick
- TensorFlow Serving Docker Bild
- Bereitstellung eines Modells an eine lokale IP-Adresse
- Aufnahme eines Docker-Images und Erstellen und Ausführen eines Docker-Containers, der das Tensorflow-Modell im Transit bindet
- Bereitstellen eines Modells mit Azure Container Instances (ACI)
- Aufnahme eines Docker-Images und Erstellen und Ausführen eines Docker-Containers sowie Bindung eines Tensorflow-Modells.
- Übertragen des Docker-Containers mit dem Modell, das als neues Docker-Image gespeichert ist.
- Ausführen des neuen Bildes als Docker Container in ACI – mit dem Docker CLI.
Gliederung
| Dauer (Min.) | Beschreibung |
|---|---|
| 10 | Einführung in das Beispielmodell, das in der Vorlesung und im Tutorial verwendet wird |
| 15 | Speichern des Modells und Überblick über das TFX Serving Toolkit und die APIs, die TFX Serving verwendet |
| 10 | Ein Überblick über Containerisierung |
| 10 | Das Modell lokal bedienen |
| 15 | Das Modell auf ACI bedienen |
Danksagung
Das Human-Centered AI Masters-Programm wurde von der Fazilität „Connecting Europe“ der Europäischen Union im Rahmen des Zuschusses „CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068“ kofinanziert.