Schulungsübersicht

Übersicht der Optimierungsfähigkeiten von CANN

  • Wie die Inferenzleistung in CANN behandelt wird
  • Optimierungsziele für Edge- und eingebaute AI-Systeme
  • Verständnis der Nutzung von AI Core und Speicherzuweisung

Nutzung des Graph Engines zur Analyse

  • Einführung in die Graph Engine und den Ausführungsprozess
  • Visualisierung von Operator-Graphen und Laufzeitmetriken
  • Anpassung von Berechnungsgraphen für Optimierungen

Profiling-Werkzeuge und Leistungsindikatoren

  • Nutzung des CANN Profiler Tools zur Analyse der Workloads
  • Auswertung von Kernel-Ausführungszeit und -flaschenhals
  • Profiling des Speicherzugriffs und Tiling-Strategien

Selbstgebaute Operatorentwicklung mit TIK

  • Übersicht über TIK und das Operatorschreibmodell
  • Implementierung eines benutzerdefinierten Operators mit TIK DSL
  • Testen und Benchmarking der Operatorleistung

Erweiterte Operatoroptimierung mit TVM

  • Einführung in die Integration von TVM mit CANN
  • Autotuning-Strategien für Berechnungsgraphen
  • Wann und wie man zwischen TVM und TIK wechseln sollte

Speicheroptimierungstechniken

  • Verwaltung der Speicherstruktur und Pufferplatzierung
  • Techniken zur Reduzierung des Speicherverbrauchs auf dem Chip
  • Bester Umgang mit asynchroner Ausführung und Wiederverwendung

Echtzeitbereitstellung und Fallstudien

  • Fallstudie: Leistungsverbesserung für die Kamerapipeline einer smarten Stadt
  • Fallstudie: Optimierung des Inferenzstapels für autonome Fahrzeuge
  • Richtlinien zur iterativen Profiling und kontinuierlichen Verbesserung

Zusammenfassung und Nächste Schritte

Voraussetzungen

  • Festes Verständnis der Architekturen von Deep-Learning-Modellen und Trainingsworkflows
  • Erfahrung mit dem Moduldeployement unter Verwendung von CANN, TensorFlow oder PyTorch
  • Bekanntschaft mit der Linux CLI, Shell-Skripting und Python-Programmierung

Zielgruppe

  • AI-Performance-Ingenieure
  • Spezialisten für Inferenzoptimierung
  • Entwickler, die mit Edge AI oder Echtzeitsystemen arbeiten
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien