Schulungsübersicht

Einführung in die Entwicklung benutzerdefinierter Operatoren

  • Warum benutzerdefinierte Operatoren erstellen? Anwendungsfälle und Einschränkungen
  • CANN Laufzeitstruktur und Integrationspunkte für Operatoren
  • Übersicht über TBE, TIK und TVM im Huawei AI Ökosystem

TIK zur Entwicklung niedrigleveliger Operatoren Programming

  • Verständnis des TIK-Programmiermodells und der unterstützten APIs
  • Speicherverwaltung und Tilingsstrategie in TIK
  • Erstellen, Kompilieren und Registrieren eines benutzerdefinierten Operators mit CANN

Testen und Validierung von benutzerdefinierten Operatoren

  • Unit-Tests und Integrations-Tests der Operatoren im Graphen
  • Debugging von Kernel-Level-Leistungsschwächen
  • Visualisierung des Operator-Ausführungsverhaltens und des Pufferverhaltens

TVM-basierte Planung und Optimierung

  • Übersicht über TVM als Compiler für Tensor-Operatoren
  • Schreiben einer Planung für einen benutzerdefinierten Operator in TVM
  • TVM-Tuning, Benchmarking und Codegenerierung für Ascend

Integration mit Frameworks und Modellen

  • Registrierung benutzerdefinierter Operatoren für MindSpore und ONNX
  • Überprüfung der Modellintegrität und des Fallback-Verhaltens
  • Unterstützung von Multi-Operator-Graphen mit gemischter Genauigkeit

Fallstudien und spezialisierte Optimierungen

  • Fallstudie: Hochleistungs-Konvolution für kleine Eingabegrößen
  • Fallstudie: Speicherbewusste Optimierung des Attention-Operators
  • Beste Praktiken zur Bereitstellung benutzerdefinierter Operatoren über Geräte hinweg

Zusammenfassung und Nächste Schritte

Voraussetzungen

  • Solides Kenntnisse der Interna von AI-Modellen und der Operator-Ebene-Berechnung
  • Erfahrung mit den Entwicklungsumgebungen Python und Linux
  • Vertrautheit mit neuronalen Netzwerk-Kompilierern oder Graph-Level-Optimizern

Zielgruppe

  • Kompiler-Ingenieure, die an AI-Werkzeugketten arbeiten
  • Systementwickler mit Fokus auf niedrigstufige AI-Optimierung
  • Entwickler von benutzerdefinierten Operationen oder die sich neuen AI-Aufgaben widmen
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien