Kontakt aufnehmen

Schulungsübersicht

Einführung in die Entwicklung benutzerdefinierter Operatoren

  • Warum benutzerdefinierte Operatoren erstellen? Anwendungsfälle und Einschränkungen
  • Struktur der CANN-Laufzeitumgebung und Integrationspunkte für Operatoren
  • Überblick über TBE, TIK und TVM im Huawei-KI-Ökosystem

Nutzung von TIK für die Low-Level-Operatorenpprogrammierung

  • Verständnis des TIK-Programmierungsmodells und der unterstützten APIs
  • Speichermanagement und Tiling-Strategie in TIK
  • Erstellen, Kompilieren und Registrieren eines benutzerdefinierten Operatorkerns mit CANN

Testen und Validieren benutzerdefinierter Operatoren

  • Unit-Tests und Integrations Tests von Operatoren im Graphen
  • Debugging von Performanzproblemen auf Kernel-Ebene
  • Visualisierung der Op-Ausführung und des Buffer-Verhaltens

TVM-basiertes Scheduling und Optimierung

  • Überblick über TVM als Compiler für Tensor-Operatoren
  • Schreiben eines Schedules für einen benutzerdefinierten Operator in TVM
  • TVM-Tuning, Benchmarking und Code-Generierung für Ascend

Integration mit Frameworks und Modellen

  • Registrierung benutzerdefinierter Operatoren für MindSpore und ONNX
  • Überprüfung der Modellintegrität und des Fallback-Verhaltens
  • Unterstützung von Multi-Operator-Graphen mit gemischter Präzision

Fallstudien und spezialisierte Optimierungen

  • Fallstudie: hocheffiziente Konvolution für kleine Eingabeformen
  • Fallstudie: Speicherbewusste Optimierung von Attention-Operatoren
  • Best Practices im Bereich des Deployments benutzerdefinierter Operatoren auf Geräten

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Fundierte Kenntnisse der Interna von KI-Modellen und auf Operatorebene durchgeführter Berechnungen
  • Erfahrung mit Python- und Linux-Entwicklungsumgebungen
  • Vertrautheit mit neuronalen Netzwerk-Compilern oder graphbasierten Optimierern

Zielgruppe

  • Compiler-Ingenieure, die an KI-Werkzeugsuiten arbeiten
  • Systementwickler, die sich auf Low-Level-Optimierung von KI konzentrieren
  • Entwickler, die benutzerdefinierte Operatoren erstellen oder auf neue KI-Anwendungsfälle abzielen
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien