Kontakt aufnehmen

Schulungsübersicht

Konzepte und Metriken der Leistung

  • Latency, Durchsatz, Stromverbrauch, Ressourcenauslastung
  • Engpässe auf System- versus Modellebene
  • Profiling für Inferencing versus Training

Profiling auf Huawei Ascend

  • Nutzung von CANN Profiler und MindInsight
  • Diagnose von Kernels und Operatoren
  • Muster des Offloadings und Speicherkartierung

Profiling auf Biren-GPUs

  • Leistungsüberwachungsfunktionen des Biren SDK
  • Kernel-Fusion, Speicheralignment und Ausführungs-Warteschlangen
  • Leistungsbezogenes Profiling unter Berücksichtigung von Stromverbrauch und Temperatur

Profiling auf Cambricon MLU

  • BANGPy- und Neuware-Leistungstools
  • Kerntechnische Einblicke und Interpretation von Logs
  • Integration des MLU-Profilers in Bereitstellungs-Frameworks

Optimierung auf Graph- und Modellebene

  • Strategien zum Entfernen unnötiger Knoten (Graph Pruning) und zur Quantisierung
  • Fusion von Operatoren und Neustrukturierung des Berechnungsgraphs
  • Standardisierung der Eingabegröße und Batch-Abstimmung

Optimierung von Speicher und Kernels

  • Optimierung der Speicherauslegung und Wiederverwendung
  • Effizientes Puffermanagement über verschiedene Chipsätze hinweg
  • Kerntechnische Abstimmungstechniken pro Plattform

Best Practices plattformübergreifend

  • Leistungsportabilität: Abstraktionsstrategien
  • Aufbau gemeinsamer Abstimmungs-Pipelines für Multi-Chip-Umgebungen
  • Beispiel: Abstimmung eines Object-Detection-Modells über Ascend, Biren und MLU hinweg

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Erfahrung mit dem Training oder der Bereitstellung von KI-Modellen
  • Verständnis der Prinzipien von GPU-/MLU-Rechenleistung und Modelloptimierung
  • Grundkenntnisse im Umgang mit Tools zur Leistungsmessung (Profiling) und den zugehörigen Metriken

Zielgruppe

  • Performance-Ingenieurinnen und -Ingenieure
  • Teams für Machine-Learning-Infrastruktur
  • Architektinnen und Architekten von KI-Systemen
 21 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien