Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Einführung in LLMOps
- LLMOps vs. MLOps: einzigartige Herausforderungen des Betriebs von LLMs
- Der Lebenszyklus der LLM-Anwendung: Prompt, Bewertung, Bereitstellung, Überwachung
- Checkliste für die Produktionsreife von GenAI-Anwendungen
Prompt-Management und Versionierung
- Prompt-Templating-Systeme und Variable-Injection
- Semantische Versionierung für Prompts mit automatisiertem Regressionstesting
- Prompt-Registries und Zusammenarbeitarbeitsabläufe
LLM-Bewertung im großen Maßstab
- Bewertungsdimensionen: Genauigkeit, Relevanz, Sicherheit, Fundierung (Groundedness)
- LLM-as-judge-Metriken und menschliche Bewertungs-Pipelines
- Automatisierte Evaluierungs-Frameworks: RAGAS, DeepEval und benutzerdefinierte Evaluatoren
- Qualitätskontrollen in CI/CD für LLM-Deployment
Sicherheitsvorkehrungen und Inhalts-Governance
- Eingabe- und Ausgabe-Schutzschranken: NeMo Guardrails und Guardrails AI
- PII-Erkennung, Filterung von Toxizität und Themenbegrenzungen
- Strategien zur Abwehr von Jailbreaks und Prompt-Injection
- Red-Teaming von LLM-Anwendungen zur Sicherheitsgewährleistung
LLM-Beobachtbarkeit und Überwachung
- Telemetrie: Token-Nutzung, Latenzzeit, Kosten und Qualitätsmetriken
- Drift-Erkennung in LLM-Ausgaben und Embedding-Räumen
- Session-level-Tracing für mehrstufige Agenten-Konversationen
- Dashboards und Alarmierung mit LangSmith, Arize und OpenTelemetry
KI-Gateway und Model-Orchestrierung
- Multi-Provider-Routing mit LiteLLM und Portkey
- Fallback-Strategien, Retry-Logik und Circuit Breakers
- Kostenbewusste Modellauswahl und Lastverteilung
- Rate Limiting, Quota-Management und API-Key-Governance
Leistungsoptimierung
- Semantisches Caching mit Vector Stores und Exact-Match-Strategien
- Durchsetzung strukturierter Ausgabe mit constrained decoding
- Batching, Streaming und Parallelitätsmuster
- Latenzzeit-Optimierung über Model-Anbieter hinweg
Governance, Konformität und Audit
- LLM-Audit-Trails: Prompt-Logs, Response-Logs und Entscheidungs-Herkunftsnachweis
- Daten-Souveränität und Datenschutzaspekte für LLM-APIs
- Policy-as-Code für die LLM-Nutzung innerhalb von Organisationen
- Erstellung eines internen Spielbuchs für LLM-Betrieb
Voraussetzungen
- Erfahrung im Aufbau oder der Integration von LLM-gestützten Anwendungen.
- Vertrautheit mit Python und REST-APIs.
- Grundlegendes Verständnis von Prompt-Engineering-Konzepten.
Zielgruppe
- ML-Ingenieure und MLOps-Praktiker, die auf LLM-Betrieb umsteigen.
- Plattform-Ingenieure, die für LLM-Infrastrukturen verantwortlich sind.
- Technische Leiter, die Produktions-Deployments von Generativ-KI (GenAI) verwalten.
14 Stunden
Erfahrungsberichte (2)
Einsatz von angemessenen und wirksamen Prompts
Marses Pacaldo
Kurs - Generative AI and Prompt Engineering for Corporate Professionals
Maschinelle Übersetzung
Der interaktive Stil, die Übungen
Tamas Tutuntzisz
Kurs - Introduction to Prompt Engineering
Maschinelle Übersetzung