Kontakt aufnehmen

Schulungsübersicht

Machine-Learning-Modelle auf das Deployment vorbereiten

  • Verpackung von Modellen mit Docker
  • Export von Modellen aus TensorFlow und PyTorch
  • Überlegungen zur Versionierung und Speicherung

Inference von Modellen auf Kubernetes

  • Überblick über Inference-Server
  • Deployment von TensorFlow Serving und TorchServe
  • Einrichtung von Modell-Endpunkten

Techniken zur Optimierung der Inference

  • Batching-Strategien
  • Bewältigung gleichzeitiger Anfragen
  • Tuning von Latenz und Durchsatz

Auto-Scaling von ML-Arbeitslasten

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

GPU-Bereitstellung und Ressourcenmanagement

  • Konfiguration von GPU-Knoten
  • Überblick über NVIDIA Device Plugin
  • Ressourcenanforderungen und -limits für ML-Arbeitslasten

Modell-Release und Deployment-Strategien

  • Blue/Green-Deployments
  • Canary-Release-Muster
  • A/B-Testing zur Modellbewertung

Monitoring und Observability für ML in der Produktion

  • Metriken für Inference-Arbeitslasten
  • Best Practices für Logging und Tracing
  • Dashboards und Alarmierung

Sicherheit und Zuverlässigkeit

  • Sichern von Modell-Endpunkten
  • Netzwerkrichtlinien und Zugriffskontrolle
  • Sicherstellung der Hochverfügbarkeit

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Grundlegendes Verständnis für Containerized-Application-Workflows
  • Erfahrung mit Python-basierten Machine-Learning-Modellen
  • Vertrautheit mit den Grundlagen von Kubernetes

Zielgruppe

  • ML-Ingenieure (ML Engineers)
  • DevOps-Ingenieure
  • Platform-Engineering-Teams
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Erfahrungsberichte (3)

Kommende Kurse

Verwandte Kategorien