Kontakt aufnehmen

Schulungsübersicht

Einführung und diagnostische Grundlagen

  • Übersicht über Fehlermoden in LLM-Systemen und häufige Ollama-spezifische Probleme
  • Etablierung reproduzierbarer Experimente und kontrollierter Umgebungen
  • Debugging-Toolset: lokale Logs, Request/Response-Captures und Sandboxing

Reproduktion und Isolierung von Fehlern

  • Techniken zur Erstellung minimaler Fehlerbeispiele und Seeds
  • Stateful vs. Stateless-Interaktionen: Isolierung kontextbezogener Bugs
  • Determinismus, Randomität und Kontrolle nicht-deterministischen Verhaltens

Verhaltensbewertung und Metriken

  • Quantitative Metriken: Genauigkeit, ROUGE/BLEU-Varianten, Kalibrierung und Perplexität-Proxys
  • Qualitative Bewertungen: Human-in-the-Loop-Bewertung und Rubrikdesign
  • Aufgaben-spezifische Treueprüfungen und Akzeptanzkriterien

Automatisiertes Testing und Regression

  • Unit-Tests für Prompts und Komponenten, Szenario- und End-to-End-Tests
  • Erstellung von Regressionssuiten und Golden-Example-Baselines
  • CI/CD-Integration für Ollama-Modellupdates und automatisierte Validierungstüren

Beobachtbarkeit und Überwachung

  • Gestruckturelles Logging, verteilte Traces und Korrelations-IDs
  • Wichtige operative Metriken: Latenz, Token-Nutzung, Fehlerraten und Qualitätssignale
  • Alerting, Dashboards und SLIs/SLOs für modellgestützte Dienste

Fortgeschrittene Root-Cause-Analyse

  • Tracing durch grafisierte Prompts, Tool-Aufrufe und Multi-Turn-Flows
  • Vergleichende A/B-Diagnose und Abdomen-Studien
  • Daten-Provenienz, Dataset-Debugging und Behebung dateninduzierter Fehler

Sicherheit, Robustheit und Remediation-Strategien

  • Minderungsmaßnahmen: Filtering, Grounding, Retrieval-Augmentation und Prompt-Scaffolding
  • Rollback-, Canary- und Phasen-Rollout-Muster für Modellupdates
  • Post-Mortems, Lessons Learned und kontinuierliche Verbesserungszyklen

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Umfangreiche Erfahrung im Aufbau und der Bereitstellung von LLM-Anwendungen
  • Vertrautheit mit Ollama-Workflows und Modellhosting
  • Sicherheit im Umgang mit Python, Docker und grundlegenden Beobachtbarkeits-Tools

Zielgruppe

  • KI-Ingenieure
  • MLOps-Experten
  • QA-Teams, die für Produktions-LLM-Systeme verantwortlich sind
 35 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien