Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Einführung und diagnostische Grundlagen
- Übersicht über Fehlermoden in LLM-Systemen und häufige Ollama-spezifische Probleme
- Etablierung reproduzierbarer Experimente und kontrollierter Umgebungen
- Debugging-Toolset: lokale Logs, Request/Response-Captures und Sandboxing
Reproduktion und Isolierung von Fehlern
- Techniken zur Erstellung minimaler Fehlerbeispiele und Seeds
- Stateful vs. Stateless-Interaktionen: Isolierung kontextbezogener Bugs
- Determinismus, Randomität und Kontrolle nicht-deterministischen Verhaltens
Verhaltensbewertung und Metriken
- Quantitative Metriken: Genauigkeit, ROUGE/BLEU-Varianten, Kalibrierung und Perplexität-Proxys
- Qualitative Bewertungen: Human-in-the-Loop-Bewertung und Rubrikdesign
- Aufgaben-spezifische Treueprüfungen und Akzeptanzkriterien
Automatisiertes Testing und Regression
- Unit-Tests für Prompts und Komponenten, Szenario- und End-to-End-Tests
- Erstellung von Regressionssuiten und Golden-Example-Baselines
- CI/CD-Integration für Ollama-Modellupdates und automatisierte Validierungstüren
Beobachtbarkeit und Überwachung
- Gestruckturelles Logging, verteilte Traces und Korrelations-IDs
- Wichtige operative Metriken: Latenz, Token-Nutzung, Fehlerraten und Qualitätssignale
- Alerting, Dashboards und SLIs/SLOs für modellgestützte Dienste
Fortgeschrittene Root-Cause-Analyse
- Tracing durch grafisierte Prompts, Tool-Aufrufe und Multi-Turn-Flows
- Vergleichende A/B-Diagnose und Abdomen-Studien
- Daten-Provenienz, Dataset-Debugging und Behebung dateninduzierter Fehler
Sicherheit, Robustheit und Remediation-Strategien
- Minderungsmaßnahmen: Filtering, Grounding, Retrieval-Augmentation und Prompt-Scaffolding
- Rollback-, Canary- und Phasen-Rollout-Muster für Modellupdates
- Post-Mortems, Lessons Learned und kontinuierliche Verbesserungszyklen
Zusammenfassung und nächste Schritte
Voraussetzungen
- Umfangreiche Erfahrung im Aufbau und der Bereitstellung von LLM-Anwendungen
- Vertrautheit mit Ollama-Workflows und Modellhosting
- Sicherheit im Umgang mit Python, Docker und grundlegenden Beobachtbarkeits-Tools
Zielgruppe
- KI-Ingenieure
- MLOps-Experten
- QA-Teams, die für Produktions-LLM-Systeme verantwortlich sind
35 Stunden