Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Dauer 35 Stunden
Schulungsübersicht
Einführung und diagnostische Grundlagen
- Überblick über Fehlermuster in LLM-Systemen und gängige Ollama-spezifische Probleme
- Erstellung reproduzierbarer Experimente und kontrollierter Umgebungen
- Fehlerdiagnose-Werkzeugkasten: lokale Logs, Erfassung von Anfragen/Antworten und Sandbox-Umgebungen
Reproduktion und Isolierung von Fehlern
- Techniken zur Erstellung minimaler Fehlfälle und Seeds
- Zustandsbehaftete vs. zustandslose Interaktionen: Isolierung von kontextbezogenen Fehlern
- Determinismus, Zufälligkeit und Kontrolle nicht-deterministischen Verhaltens
Verhaltensbasierte Evaluierung und Metriken
- Quantitative Metriken: Genauigkeit, ROUGE/BLEU-Varianten, Kalibrierung und Perplexity-Annäherungen
- Qualitative Evaluierungen: Human-in-the-Loop-Bewertung und Rubrik-Design
- Aufgabenspezifische Fidelity-Prüfungen und Akzeptanzkriterien
Automatisiertes Testen und Regression
- Unit-Tests für Prompts und Komponenten, Szenario- und End-to-End-Tests
- Erstellung von Regressionssuiten und Golden-Example-Baselines
- CI/CD-Integration für Ollama-Modellupdates und automatisierte Validierungsgates
Observability und Überwachung
- Strukturierte Protokollierung, verteilte Traces und Korrelations-IDs
- Wichtige operative Metriken: Latenz, Token-Nutzung, Fehlerraten und Qualitätssignale
- Alerts, Dashboards und SLIs/SLOs für modellgestützte Dienste
Erweiterte Ursachenanalyse
- Verfolgung durch grafisch dargestellte Prompts, Tool-Aufrufe und Mehr-Turn-Flows
- Vergleichende A/B-Diagnose und Ablationsstudien
- Datenherkunft, Dataset-Debugging und Behandlung von dataset-induzierten Fehlern
Sicherheit, Robustheit und Remediierungsstrategien
- Minderungsmaßnahmen: Filterung, Grounding, Retrieval-Augmentation und Prompt-Scaffolding
- Rollback-, Canary- und gestaffelte Rollout-Muster für Modellupdates
- Post-mortems, gelebte Lektionen und kontinuierliche Verbesserungsschleifen
Zusammenfassung und nächste Schritte
Voraussetzungen
- Umfassende Erfahrung im Aufbau und Deployment von LLM-Anwendungen
- Vertrautheit mit Ollama-Workflows und Modell-Hosting
- Beherrschung von Python, Docker und grundlegenden Observability-Tools
Zielgruppe
- KI-Engineer
- MLOps-Professionals
- QA-Teams, die für Produktions-LLM-Systeme verantwortlich sind