Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Performance-Grundkonzepte und Metriken
- Latenz, Durchsatz, Stromverbrauch, Ressourcennutzung
- Bottlenecks auf System- vs. Modellebene
- Profilierung für Inferenz vs. Training
Profilierung auf Huawei Ascend
- Nutzung von CANN Profiler und MindInsight
- Kernel- und Operator-Diagnostik
- Offload-Muster und Speicherabbildung
Profilierung auf Biren GPU
- Performance-Monitoring-Funktionen der Biren SDK
- Kernel-Fusion, Speicheranpassung und Ausführungs-Warteschlangen
- Profilierung mit Berücksichtigung von Leistung und Temperatur
Profilierung auf Cambricon MLU
- BANGPy und Neuware-Performance-Tools
- Einblick auf Kernel-Ebene und Log-Auswertung
- Integration des MLU-Profiler in Deployment-Frameworks
Graphen- und Modell-Level-Optimierung
- Strategien für Graph-Pruning und Quantisierung
- Operator-Fusion und Neustrukturierung des Berechnungsgraphen
- Standardisierung der Eingabegröße und Batch-Tuning
Speicher- und Kernel-Optimierung
- Optimierung der Speicherausrichtung und -wiederverwendung
- Effizientes Puffermanagement über Chipsätze hinweg
- Tuning-Techniken auf Kernel-Ebene pro Plattform
Best Practices für Multi-Plattform-Umgebungen
- Performance-Portabilität: Abstraktionsstrategien
- Aufbau gemeinsamer Tuning-Pipelines für Multi-Chip-Umgebungen
- Beispiel: Tuning eines Objekterkennungsmodells auf Ascend, Biren und MLU
Zusammenfassung und nächste Schritte
Voraussetzungen
- Erfahrung in der Arbeit mit KI-Modelltrainings- oder Deployment-Pipelines
- Verständnis der Rechenprinzipien von GPU/MLU und der Modelloptimierung
- Grundkenntnisse in Performance-Profilierungstools und Metriken
Zielgruppe
- Performance-Ingenieure
- Teams für ML-Infrastruktur
- KI-Systemarchitekten
21 Stunden
