Kontakt aufnehmen

Schulungsübersicht

Grundlagen des Produktivbetriebs mit Tencent Hunyuan

  • Überblick über Anwendungsszenarien für den Serving von Tencent-Hunyuan-Modellen
  • Charakteristika großer Modelle und MoE-Modelle im Produktivbetrieb
  • Häufige Engpässe bei Latenz, Durchsatz und Kosten
  • Definition von Service-Level-Zielen (SLOs) für Inferenz-Workloads

Bereitstellungsarchitektur und Serving-Flow

  • Kernkomponenten eines Produktions-Inferenzstacks
  • Wahl zwischen containerisierter, On-Premise- und Cloud-Bereitstellung
  • Grundlagen des Laden von Modellen, Request-Routing und GPU-Zuweisung
  • Auslegen auf Zuverlässigkeit und operative Einfachheit

Latenzoptimierung in der Praxis

  • Einsatz optimierter Inferenz-Engines wie TensorRT (falls geeignet)
  • Konzepte des KV-Caches und praktische Feinabstimmung des Caches
  • Reduzierung von Startzeit, Warmup-Phase und Antwort-Overhead
  • Messung der Time-to-First-Token (TTF) und der Token-Generierungsgeschwindigkeit

Durchsatz, Batching und GPU-Effizienz

  • Strategien für Continuous Batching und Request-Batching
  • Verwaltung von Parallelität und Warteschlangenverhalten
  • Verbesserung der GPU-Auslastung ohne Beeinträchtigung der User Experience
  • Umgang mit Long-Context-Anfragen und gemischten Workloads

Quantisierung und Kostenkontrolle

  • Warum Quantisierung für den Produktivbetrieb wichtig ist
  • Praktische Zielkonflikte zwischen FP16, INT8 und anderen gängigen Präzisionsoptionen
  • Abwägen von Modellqualität, Latenz und Infrastrukturkosten
  • Erstellen einer einfachen Checkliste zur Kostenoptimierung

Betrieb, Monitoring und Readiness-Review

  • Auslöser für das Autoscaling von Inferenzdiensten
  • Überwachen von Latenz, Durchsatz, Cache-Nutzung und GPU-Gesundheit
  • Grundlagen von Logging, Alerting und Incident Response
  • Überprüfung einer Referenzbereitstellung und Erstellen eines Verbesserungsplans

Voraussetzungen

  • Grundlegendes Verständnis der Bereitstellung und Inferenzworkflows von Large Language Models (LLMs)
  • Erfahrung mit Containern, Cloud- oder On-Premise-Infrastrukturen sowie API-basierten Diensten
  • Praktische Kenntnisse in Python oder systemtechnischen Aufgaben

Zielgruppe

  • ML-Ingenieurinnen und ML-Ingenieure, die LLMs in Produktivumgebungen bereitstellen
  • Platform-Ingenieurinnen und Platform-Ingenieure, die für GPU-basierte Inferenzzuständig sind
  • Solution-Architekten, die skalierbare AI-Serving-Plattformen entwerfen
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien