Schulungsübersicht
Vorbereitung von Machine Learning Modellen für das Deployment
- Verpacken von Modellen mit Docker
- Exportieren von Modellen aus TensorFlow und PyTorch
- Überlegungen zur Versionierung und Speicherung
Bereitstellung von Modellen auf Kubernetes
- Übersicht über Inferenz-Server
- Deployment von TensorFlow Serving und TorchServe
- Einrichten von Modellendpunkten
Optimierungstechniken für Inferenz
- Batching-Strategien
- Behandlung von gleichzeitigen Anfragen
- Latenz- und Durchsatzoptimierung
Autoscaling von ML Workloads
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
GPU Bereitstellung und Ressourcenmanagement
- Konfigurieren von GPU-Nodes
- Übersicht über den NVIDIA Device Plugin
- Ressourcenanforderungen und -limits für ML Workloads
Modell-Rollout- und Release-Strategien
- Blue/Green Deployments
- Canary Rollout Patterns
- A/B-Tests für Modellbewertung
Monitoring und Observabilität von ML in der Produktion
- Metriken für Inferenzworkloads
- Logging- und Tracing-Praktiken
- Dashboards und Alarmierung
Sicherheits- und Zuverlässigkeitsaspekte
- Sichere Modellendpunkte
- Netzwerkrichtlinien und Zugangskontrolle
- Sicherstellung hoher Verfügbarkeit
Zusammenfassung und weitere Schritte
Voraussetzungen
- Verständnis von containerisierten Applikationsworkflows
- Erfahrung mit Python-basierten Machine Learning Modellen
- Kenntnisse der Kubernetes-Grundlagen
Zielgruppe
- ML-Ingenieure
- DevOps-Ingenieure
- Plattform-Engineering-Teams
Erfahrungsberichte (5)
Interaktivität, kein ganztägiges Lesen von Folien
Emilien Bavay - IRIS SA
Kurs - Kubernetes Advanced
Maschinelle Übersetzung
Er war geduldig und verstand, dass wir zurückfielen.
Albertina - REGNOLOGY ROMANIA S.R.L.
Kurs - Deploying Kubernetes Applications with Helm
Maschinelle Übersetzung
Die Ausbildung war praktischer.
Siphokazi Biyana - Vodacom SA
Kurs - Kubernetes on AWS
Maschinelle Übersetzung
Über Kubernetes lernen.
Felix Bautista - SGS GULF LIMITED ROHQ
Kurs - Kubernetes on Azure (AKS)
Maschinelle Übersetzung
Es vermittelte eine gute Grundlage für Docker und Kubernetes.
Stephen Dowdeswell - Global Knowledge Networks UK
Kurs - Docker (introducing Kubernetes)
Maschinelle Übersetzung