Schulungsübersicht
Einführung in die Produktionsbereitstellung
- Wichtige Herausforderungen beim Bereitstellen von Fine-Tuned-Modellen
- Unterschiede zwischen Entwicklungs- und Produktionsumgebungen
- Tools und Plattformen für die Modellbereitstellung
Vorbereitung der Modelle auf die Bereitstellung
- Exportieren von Modellen in Standardformaten (ONNX, TensorFlow SavedModel usw.)
- Optimierung der Modelle für Latenz und Durchsatz
- Testen der Modelle mit Randfällen und realen Daten
Containerisierung für die Modellbereitstellung
- Einführung in Docker
- Erstellen von Docker-Images für ML-Modelle
- Best Practices für Containersicherheit und -effizienz
Skalierung von Bereitstellungen mit Kubernetes
- Einführung in Kubernetes für KI-Arbeitslasten
- Einrichtung von Kubernetes-Clustern zur Modellhosting
- Lastenausgleich und horizontale Skalierung
Modellüberwachung und -wartung
- Implementierung der Überwachung mit Prometheus und Grafana
- Automatisierte Protokollierung zur Fehlerverfolgung und Leistungsanalyse
- Retraining-Pipelines für Modellverschiebungen und Updates
Sicherstellung der Sicherheit in der Produktion
- Sicherung von APIs für die Modellanfrage
- Authentifizierungs- und Autorisierungsmechanismen
- Bewältigung von Datenschutzbedenken
Studienszenarien und praktische Labore
- Bereitstellung eines Sentiment-Analyse-Modells
- Skalierung eines Maschinellen Übersetzungsdienstes
- Implementierung der Überwachung für Bildklassifizierungsmodelle
Zusammenfassung und nächste Schritte
Voraussetzungen
- Umfassendes Verständnis von Machine-Learning-Arbeitsabläufen
- Erfahrung im Fine-Tuning von ML-Modellen
- Vertrautheit mit DevOps- oder MLOps-Prinzipien
Zielgruppe
- DevOps-Ingenieure
- MLOps-Praktiker
- Spezialisten für KI-Bereitstellung
Erfahrungsberichte (2)
Craig war extrem engagiert im Training und hat stets darauf geachtet, dass wir aufmerksam sind. Er passte die Beispiele an unsere täglichen Aktivitäten an und gab immer eine Antwort, wenn danach gefragt wurde, auch wenn die Information nicht im Präsentationsmaterial enthalten war.
Ecaterina Ioana Nicoale - BOOKING HOLDINGS ROMANIA SRL
Kurs - DevOps Foundation®
Maschinelle Übersetzung
Hoher Einsatz und Fachwissen des Trainers
Jacek - Softsystem
Kurs - DevOps Engineering Foundation (DOEF)®
Maschinelle Übersetzung