Schulungsübersicht
Vorbereitung von Machine-Learning-Modellen für das Deployment
- Verpackung der Modelle mit Docker
- Exportieren von Modellen aus TensorFlow und PyTorch
- Aspekte der Versionierung und Speicherung
Bereitstellung (Serving) von Modellen auf Kubernetes
- Übersicht über Inference-Server
- Deployment von TensorFlow Serving und TorchServe
- Einrichtung von Model-Endpoints
Inferenz-Optimierungstechniken
- Batching-Strategien
- Verarbeitung paralleler Anfragen
- Optimierung von Latenz und Durchsatz
Autoscaling von ML-Workloads
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
GPU-Bereitstellung und Ressourcenmanagement
- Konfiguration von GPU-Knoten
- Übersicht über das NVIDIA Device Plugin
- Ressourcen-Anforderungen und -Limits für ML-Workloads
Modell-Rollout- und Release-Strategien
- Blue/Green-Deployments
- Canary-Rollout-Muster
- A/B-Testing zur Modellauswertung
Monitoring und Observability für ML in der Produktion
- Metriken für Inference-Workloads
- Logging- und Tracing-Praktiken
- Dashboards und Alerting
Sicherheit und Zuverlässigkeit
- Sicherung der Model-Endpoints
- Netzwerkrichtlinien und Zugriffskontrolle
- Sicherstellung der hohen Verfügbarkeit (High Availability)
Zusammenfassung und nächste Schritte
Voraussetzungen
- Grundlegendes Verständnis von containerisierten Anwendungs-Workflows
- Erfahrung mit Python-basierten Machine-Learning-Modellen
- Vertrautheit mit den Grundlagen von Kubernetes
Zielgruppe
- ML-Ingenieure (ML Engineers)
- DevOps-Ingenieure
- Platform-Engineering-Teams
Erfahrungsberichte (4)
Gute und machbare Übungen.
Jannes Wykhoff - Landesamt fur Geoinformation und Landesvermessung Niedersachsen (LGLN)
Kurs - Certified Kubernetes Application Developer (CKAD) - exam preparation
About the microservices and how to maintenance kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Kurs - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Wie Trainer Wissen effektiv vermitteln
Vu Thoai Le - Reply Polska sp. z o. o.
Kurs - Certified Kubernetes Administrator (CKA) - exam preparation
Maschinelle Übersetzung
Das Wissen und die Austausche mit Augustin
Laurent - L'Office national des vacances annuelles (ONVA)
Kurs - Docker and Kubernetes
Maschinelle Übersetzung