Kontakt aufnehmen

Schulungsübersicht

Grundlagen des Mastra-Debuggings und der Bewertung

  • Verstehen von Agentenverhaltensmodellen und Fehlermodi
  • Kernprinzipien des Debugging innerhalb von Mastra
  • Bewerten deterministischer und nicht-deterministischer Agentenaktionen

Einrichten von Umgebungen für den Agententest

  • Konfigurieren von Test-Sandboxes und isolierten Bewertungsräumen
  • Erfassen von Logs, Traces und Telemetrie für detaillierte Analysen
  • Vorbereiten von Datensätzen und Prompts für strukturiertes Testing

Debugging des KI-Agentenverhaltens

  • Nachverfolgen von Entscheidungspfaden und internen Reasoning-Signalen
  • Identifizieren von Halluzinationen, Fehlern und ungewolltem Verhalten
  • Verwenden von Observability-Dashboards zur Ursachenermittlung

Bewertungsmetriken und Benchmarking-Frameworks

  • Definieren quantitativer und qualitativer Bewertungsmetriken
  • Messen von Genauigkeit, Konsistenz und kontextueller Compliance
  • Anwenden von Benchmark-Datensätzen für wiederholbare Bewertungen

Zuverlässigkeitsingenieurwesen für KI-Agents

  • Entwerfen von Zuverlässigkeitstests für langlaufende Agents
  • Erkennen von Drift und Leistungseinbußen bei Agenten
  • Implementieren von Schutzmaßnahmen für kritische Workflows

Qualitätssicherungsprozesse und Automatisierung

  • Aufbauen von QA-Pipelines für kontinuierliche Bewertung
  • Automatisieren von Regressionstests für Agenten-Updates
  • Integrieren von QA in CI/CD und Unternehmensworkflows

Fortgeschrittene Techniken zur Reduzierung von Halluzinationen

  • Prompting-Strategien zur Verringerung unerwünschter Ausgaben
  • Validierungsschleifen und Self-Check-Mechanismen
  • Experimentieren mit Modellkombinationen zur Verbesserung der Zuverlässigkeit

Berichterstattung, Monitoring und kontinuierliche Verbesserung

  • Erstellen von QA-Berichten und Agenten-Scorecards
  • Überwachen des langfristigen Verhaltens und von Fehlermustern
  • Iterieren an Bewertungsramps für sich entwickelnde Systeme

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Verständnis für das Verhalten von KI-Agents und Modellinteraktionen
  • Erfahrung im Debugging oder Testen komplexer Softwaresysteme
  • Kenntnisse in Observability- oder Logging-Tools

Zielgruppe

  • QA-Ingenieure
  • Ingenieure für KI-Zuverlässigkeit
  • Entwickler, die für die Qualität und Leistung von Agents verantwortlich sind
 21 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien