Kontakt aufnehmen

Schulungsübersicht

Einführung in LLMOps

  • LLMOps vs. MLOps: einzigartige Herausforderungen des Betriebs von LLMs
  • Der Lebenszyklus der LLM-Anwendung: Prompt, Bewertung, Bereitstellung, Überwachung
  • Checkliste für die Produktionsreife von GenAI-Anwendungen

Prompt-Management und Versionierung

  • Prompt-Templating-Systeme und Variable-Injection
  • Semantische Versionierung für Prompts mit automatisiertem Regressionstesting
  • Prompt-Registries und Zusammenarbeitarbeitsabläufe

LLM-Bewertung im großen Maßstab

  • Bewertungsdimensionen: Genauigkeit, Relevanz, Sicherheit, Fundierung (Groundedness)
  • LLM-as-judge-Metriken und menschliche Bewertungs-Pipelines
  • Automatisierte Evaluierungs-Frameworks: RAGAS, DeepEval und benutzerdefinierte Evaluatoren
  • Qualitätskontrollen in CI/CD für LLM-Deployment

Sicherheitsvorkehrungen und Inhalts-Governance

  • Eingabe- und Ausgabe-Schutzschranken: NeMo Guardrails und Guardrails AI
  • PII-Erkennung, Filterung von Toxizität und Themenbegrenzungen
  • Strategien zur Abwehr von Jailbreaks und Prompt-Injection
  • Red-Teaming von LLM-Anwendungen zur Sicherheitsgewährleistung

LLM-Beobachtbarkeit und Überwachung

  • Telemetrie: Token-Nutzung, Latenzzeit, Kosten und Qualitätsmetriken
  • Drift-Erkennung in LLM-Ausgaben und Embedding-Räumen
  • Session-level-Tracing für mehrstufige Agenten-Konversationen
  • Dashboards und Alarmierung mit LangSmith, Arize und OpenTelemetry

KI-Gateway und Model-Orchestrierung

  • Multi-Provider-Routing mit LiteLLM und Portkey
  • Fallback-Strategien, Retry-Logik und Circuit Breakers
  • Kostenbewusste Modellauswahl und Lastverteilung
  • Rate Limiting, Quota-Management und API-Key-Governance

Leistungsoptimierung

  • Semantisches Caching mit Vector Stores und Exact-Match-Strategien
  • Durchsetzung strukturierter Ausgabe mit constrained decoding
  • Batching, Streaming und Parallelitätsmuster
  • Latenzzeit-Optimierung über Model-Anbieter hinweg

Governance, Konformität und Audit

  • LLM-Audit-Trails: Prompt-Logs, Response-Logs und Entscheidungs-Herkunftsnachweis
  • Daten-Souveränität und Datenschutzaspekte für LLM-APIs
  • Policy-as-Code für die LLM-Nutzung innerhalb von Organisationen
  • Erstellung eines internen Spielbuchs für LLM-Betrieb

Voraussetzungen

  • Erfahrung im Aufbau oder der Integration von LLM-gestützten Anwendungen.
  • Vertrautheit mit Python und REST-APIs.
  • Grundlegendes Verständnis von Prompt-Engineering-Konzepten.

Zielgruppe

  • ML-Ingenieure und MLOps-Praktiker, die auf LLM-Betrieb umsteigen.
  • Plattform-Ingenieure, die für LLM-Infrastrukturen verantwortlich sind.
  • Technische Leiter, die Produktions-Deployments von Generativ-KI (GenAI) verwalten.
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Erfahrungsberichte (2)

Kommende Kurse

Verwandte Kategorien