Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Einführung
- Überblick über die Herausforderungen bei der Skalierung von Deep Learning
- Überblick über DeepSpeed und seine Funktionen
- DeepSpeed im Vergleich zu anderen verteilten Deep-Learning-Bibliotheken
Erste Schritte
- Einrichten der Entwicklungsumgebung
- Installation von PyTorch und DeepSpeed
- Konfigurieren von DeepSpeed für verteiltes Training
DeepSpeed-Optimierungsfunktionen
- DeepSpeed-Trainings-Pipeline
- ZeRO (Speicheroptimierung)
- Aktivierungs-Checkpointing
- Gradient Checkpointing
- Pipeline-Parallelität
Skalierung von Modellen mit DeepSpeed
- Grundlegende Skalierung mit DeepSpeed
- Fortgeschrittene Skalierungstechniken
- Leistungsüberlegungen und bewährte Verfahren
- Debugging und Techniken zur Fehlerbehebung
Fortgeschrittene DeepSpeed-Themen
- Fortgeschrittene Optimierungstechniken
- Verwendung von DeepSpeed mit gemischtem Präzisionstraining
- DeepSpeed auf unterschiedlicher Hardware (z. B. GPUs, TPUs)
- DeepSpeed mit mehreren Trainingsknoten
Integration von DeepSpeed mit PyTorch
- Integration von DeepSpeed in PyTorch-Workflows
- Verwendung von DeepSpeed mit PyTorch Lightning
Fehlersuche
- Fehlersuche bei allgemeinen DeepSpeed-Problemen
- Überwachung und Protokollierung
Zusammenfassung und nächste Schritte
- Rekapitulation der wichtigsten Konzepte und Funktionen
- Bewährte Verfahren für die Verwendung von DeepSpeed in der Produktion
- Weitere Ressourcen, um mehr über DeepSpeed zu erfahren
Voraussetzungen
- Mittlere Kenntnisse der Grundsätze des Deep Learning
- Erfahrung mit PyTorch oder ähnlichen Deep-Learning-Frameworks
- Vertrautheit mit der Python-Programmierung
Zielgruppe
- Datenwissenschaftler
- Ingenieure für maschinelles Lernen
- Entwickler
21 Stunden
Erfahrungsberichte (2)
Organisation, gemäß dem vorgeschlagenen Agenda, das umfassende Wissen des Trainers zu diesem Thema
Ali Kattan - TWPI
Kurs - Natural Language Processing with TensorFlow
Maschinelle Übersetzung
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.
Paul Lee
Kurs - TensorFlow for Image Recognition
Maschinelle Übersetzung