Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Einführung
- Überblick über die Herausforderungen bei der Skalierung von Deep Learning
- Überblick über DeepSpeed und seine Funktionen
- DeepSpeed im Vergleich zu anderen verteilten Deep-Learning-Bibliotheken
Erste Schritte
- Einrichten der Entwicklungsumgebung
- Installation von PyTorch und DeepSpeed
- Konfigurieren von DeepSpeed für verteiltes Training
DeepSpeed-Optimierungsfunktionen
- DeepSpeed-Trainingspipeline
- ZeRO (Speicheroptimierung)
- Aktivierungs-Checkpointing
- Gradient Checkpointing
- Pipeline-Parallelität
Skalierung von Modellen mit DeepSpeed
- Grundlegende Skalierung mit DeepSpeed
- Fortgeschrittene Skalierungstechniken
- Leistungsüberlegungen und bewährte Verfahren
- Techniken zur Fehlersuche und -behebung
Erweiterte DeepSpeed-Themen
- Fortgeschrittene Optimierungstechniken
- Verwendung von DeepSpeed mit gemischtem Präzisionstraining
- DeepSpeed auf unterschiedlicher Hardware (z. B. GPUs, TPUs)
- DeepSpeed mit mehreren Trainingsknoten
Integration von DeepSpeed mit PyTorch
- Integration von DeepSpeed in PyTorch-Workflows
- Verwendung von DeepSpeed mit PyTorch Lightning
Fehlersuche
- Fehlersuche bei allgemeinen DeepSpeed-Problemen
- Überwachung und Protokollierung
Zusammenfassung und nächste Schritte
- Zusammenfassung der wichtigsten Konzepte und Funktionen
- Bewährte Verfahren für den Einsatz von DeepSpeed in der Produktion
- Weitere Ressourcen, um mehr über DeepSpeed zu erfahren
Voraussetzungen
- Mittlere Kenntnisse der Prinzipien des Deep Learning
- Erfahrung mit PyTorch oder ähnlichen Deep-Learning-Frameworks
- Vertrautheit mit der Python-Programmierung
Publikum
- Datenwissenschaftler
- Ingenieure für maschinelles Lernen
- Entwickler
21 Stunden