Schulungsübersicht
Einführung in die GPU-beschleunigte Containerisierung
- Verständnis der GPU-Nutzung in Deep-Learning-Arbeitsabläufen
- Wie Docker GPU-basierte Workloads unterstützt
- Wichtige Leistungsaspekte
Installation und Konfiguration des NVIDIA Container Toolkits
- Einrichten von Treibern und CUDA-Kompatibilität
- Validieren des GPU-Zugriffs innerhalb von Containern
- Konfigurieren der Laufzeitumgebung
Erstellen GPU-fähiger Docker-Images
- Verwendung von CUDA-Basis-Images
- Packen von KI-Frameworks in GPU-ready Containern
- Verwalten von Abhängigkeiten für Training und Inferenz
Ausführen von GPU-beschleunigten KI-Workloads
- Ausführen von Trainingsjobs unter Nutzung von GPUs
- Verwalten von Multi-GPU-Workloads
- Überwachen der GPU-Auslastung
Optimierung der Leistung und Ressourcenallokation
- Einschränken und Isolieren von GPU-Ressourcen
- Optimieren von Speicher, Batch-Größen und Geräteplatzierung
- Performance-Tuning und Diagnosen
Containerisierte Inferenz und Modellbereitstellung
- Erstellen von inference-ready Containern
- Bereitstellen von High-Load-Workloads auf GPUs
- Integrieren von Modell-Läufern und APIs
Skalieren von GPU-Workloads mit Docker
- Strategien für verteiltes GPU-Training
- Skalieren von Inferenz-Mikrodiensten
- Koordinieren von Multi-Container-KI-Systemen
Sicherheit und Zuverlässigkeit für GPU-fähige Container
- Sicherstellen des sicheren GPU-Zugriffs in gemeinsam genutzten Umgebungen
- Härten von Container-Images
- Verwalten von Updates, Versionen und Kompatibilität
Zusammenfassung und nächste Schritte
Voraussetzungen
- Grundkenntnisse in Deep Learning
- Erfahrung mit Python und gängigen KI-Frameworks
- Vertrautheit mit grundlegenden Containerisierungskonzepten
Zielgruppe
- Deep-Learning-Ingenieure
- Forschungs- und Entwicklungsteams
- KI-Modelltrainer
Erfahrungsberichte (3)
Gute und machbare Übungen.
Jannes Wykhoff - Landesamt fur Geoinformation und Landesvermessung Niedersachsen (LGLN)
Kurs - Certified Kubernetes Application Developer (CKAD) - exam preparation
Wie Trainer Wissen effektiv vermitteln
Vu Thoai Le - Reply Polska sp. z o. o.
Kurs - Certified Kubernetes Administrator (CKA) - exam preparation
Maschinelle Übersetzung
Der Trainer hatte viel Wissen und Geduld, die er mit uns teilen konnte.
Bogdan Olaru
Kurs - Introduction to Docker
Maschinelle Übersetzung