Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Dauer 35 Stunden
Schulungsübersicht
Einführung und Grundlagen der Diagnose
- Überblick über Fehlerszenarien in LLM-Systemen und typische, Ollama-spezifische Probleme
- Einrichtung reproduzierbarer Experimente und kontrollierter Umgebungen
- Werkzeuge zur Fehlersuche: lokale Logs, Erfassung von Anfragen/Antworten und Sandbox-Techniken
Nachvollziehen und Isolieren von Fehlern
- Techniken zur Erstellung minimaler Fehlerbeispiele und Initialwerte
- Interaktionen mit Zustand (stateful) und ohne Zustand (stateless): Isolierung kontextbezogener Fehler
- Determinismus, Zufälligkeit und Kontrolle nicht-deterministischen Verhaltens
Verhaltensauswertung und Metriken
- Quantitative Metriken: Genauigkeit, ROUGE/BLEU-Varianten, Kalibrierung und Perplexity-Proxy-Maße
- Qualitative Auswertungen: Scoring durch menschliche Prüfer und Entwicklung von Bewertungsrubriken
- Aufgabenbezogene Qualitätsprüfungen und Akzeptanzkriterien
Automatisiertes Testen und Regressionsprüfung
- Unittests für Prompts und Komponenten, Szenario- und End-to-End-Tests
- Erstellung von Regressions-Suites und Baselines mit Golden-Beispielen
- CI/CD-Integration für Ollama-Modellupdates und automatische Validierungsgates
Observability und Überwachung
- Strukturierte Protokollierung, verteilte Traces und Korrelations-IDs
- Wichtige operative Metriken: Latenz, Token-Nutzung, Fehlerquoten und Qualitätsindikatoren
- Alerting, Dashboards und SLIs/SLOs für modellgestützte Dienste
Erweiterte Ursachenanalyse
- Nachverfolgung über graphische Prompts, Tool-Aufrufe und Multi-Turn-Flows
- Vergleichende A/B-Diagnose und Ablationsstudien
- Datenherkunft, Debugging von Datensätzen und Behandlung datenbedingter Fehler
Sicherheit, Robustheit und Remediation-Strategien
- Minderungsmaßnahmen: Filterung, Grounding, Retrieval-Augmentation und Prompt-Gerüstbau
- Rollback-, Canary- und gestaffelte Rollout-Muster für Modellupdates
- Post-Mortems, Lernergebnisse und kontinuierliche Verbesserungsschleifen
Zusammenfassung und nächste Schritte
Voraussetzungen
- Erfahrung in der Entwicklung und Bereitstellung von LLM-Anwendungen
- Kenntnisse in Ollama-Workflows und Modell-Hosting
- Sicherer Umgang mit Python, Docker und grundlegenden Observability-Tools
Zielgruppe
- KI-Ingenieure
- ML-Ops-Profis
- QA-Teams, die für produktionsreife LLM-Systeme verantwortlich sind