Kontakt aufnehmen
 Dauer 35 Stunden

Schulungsübersicht

Einführung und Grundlagen der Diagnose

  • Überblick über Fehlerszenarien in LLM-Systemen und typische, Ollama-spezifische Probleme
  • Einrichtung reproduzierbarer Experimente und kontrollierter Umgebungen
  • Werkzeuge zur Fehlersuche: lokale Logs, Erfassung von Anfragen/Antworten und Sandbox-Techniken

Nachvollziehen und Isolieren von Fehlern

  • Techniken zur Erstellung minimaler Fehlerbeispiele und Initialwerte
  • Interaktionen mit Zustand (stateful) und ohne Zustand (stateless): Isolierung kontextbezogener Fehler
  • Determinismus, Zufälligkeit und Kontrolle nicht-deterministischen Verhaltens

Verhaltensauswertung und Metriken

  • Quantitative Metriken: Genauigkeit, ROUGE/BLEU-Varianten, Kalibrierung und Perplexity-Proxy-Maße
  • Qualitative Auswertungen: Scoring durch menschliche Prüfer und Entwicklung von Bewertungsrubriken
  • Aufgabenbezogene Qualitätsprüfungen und Akzeptanzkriterien

Automatisiertes Testen und Regressionsprüfung

  • Unittests für Prompts und Komponenten, Szenario- und End-to-End-Tests
  • Erstellung von Regressions-Suites und Baselines mit Golden-Beispielen
  • CI/CD-Integration für Ollama-Modellupdates und automatische Validierungsgates

Observability und Überwachung

  • Strukturierte Protokollierung, verteilte Traces und Korrelations-IDs
  • Wichtige operative Metriken: Latenz, Token-Nutzung, Fehlerquoten und Qualitätsindikatoren
  • Alerting, Dashboards und SLIs/SLOs für modellgestützte Dienste

Erweiterte Ursachenanalyse

  • Nachverfolgung über graphische Prompts, Tool-Aufrufe und Multi-Turn-Flows
  • Vergleichende A/B-Diagnose und Ablationsstudien
  • Datenherkunft, Debugging von Datensätzen und Behandlung datenbedingter Fehler

Sicherheit, Robustheit und Remediation-Strategien

  • Minderungsmaßnahmen: Filterung, Grounding, Retrieval-Augmentation und Prompt-Gerüstbau
  • Rollback-, Canary- und gestaffelte Rollout-Muster für Modellupdates
  • Post-Mortems, Lernergebnisse und kontinuierliche Verbesserungsschleifen

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Erfahrung in der Entwicklung und Bereitstellung von LLM-Anwendungen
  • Kenntnisse in Ollama-Workflows und Modell-Hosting
  • Sicherer Umgang mit Python, Docker und grundlegenden Observability-Tools

Zielgruppe

  • KI-Ingenieure
  • ML-Ops-Profis
  • QA-Teams, die für produktionsreife LLM-Systeme verantwortlich sind

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien