Kontakt aufnehmen

Schulungsübersicht

Vorbereitung von Machine-Learning-Modellen für das Deployment

  • Verpackung der Modelle mit Docker
  • Exportieren von Modellen aus TensorFlow und PyTorch
  • Aspekte der Versionierung und Speicherung

Bereitstellung (Serving) von Modellen auf Kubernetes

  • Übersicht über Inference-Server
  • Deployment von TensorFlow Serving und TorchServe
  • Einrichtung von Model-Endpoints

Inferenz-Optimierungstechniken

  • Batching-Strategien
  • Verarbeitung paralleler Anfragen
  • Optimierung von Latenz und Durchsatz

Autoscaling von ML-Workloads

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

GPU-Bereitstellung und Ressourcenmanagement

  • Konfiguration von GPU-Knoten
  • Übersicht über das NVIDIA Device Plugin
  • Ressourcen-Anforderungen und -Limits für ML-Workloads

Modell-Rollout- und Release-Strategien

  • Blue/Green-Deployments
  • Canary-Rollout-Muster
  • A/B-Testing zur Modellauswertung

Monitoring und Observability für ML in der Produktion

  • Metriken für Inference-Workloads
  • Logging- und Tracing-Praktiken
  • Dashboards und Alerting

Sicherheit und Zuverlässigkeit

  • Sicherung der Model-Endpoints
  • Netzwerkrichtlinien und Zugriffskontrolle
  • Sicherstellung der hohen Verfügbarkeit (High Availability)

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Grundlegendes Verständnis von containerisierten Anwendungs-Workflows
  • Erfahrung mit Python-basierten Machine-Learning-Modellen
  • Vertrautheit mit den Grundlagen von Kubernetes

Zielgruppe

  • ML-Ingenieure (ML Engineers)
  • DevOps-Ingenieure
  • Platform-Engineering-Teams
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Erfahrungsberichte (4)

Kommende Kurse

Verwandte Kategorien