Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Dauer 21 Stunden
Schulungsübersicht
Grundlagen von Mastra-Debugging und -Evaluierung
- Verständnis von Agentenverhaltensmodellen und Fehlerquellen
- Zentrale Prinzipien des Debuggings in Mastra
- Bewertung deterministischer und nicht-deterministischer Agentenaktionen
Einrichtung von Umgebungen für Agenten-Tests
- Konfiguration von Test-Sandboxes und isolierten Evaluierungsräumen
- Erfassung von Logs, Traces und Telemetrie für detaillierte Analysen
- Vorbereitung von Datensätzen und Prompts für strukturierte Tests
Debugging des Verhaltens von KI-Agenten
- Verfolgung von Entscheidungspfaden und internen Signalen der Schlussfolgerung
- Identifizierung von Halluzinationen, Fehlern und unbeabsichtigten Verhaltensweisen
- Nutzung von Observability-Dashboards für die Ursachenanalyse
Evaluierungsmetriken und Benchmarking-Frameworks
- Definition quantitativer und qualitativer Evaluierungsmetriken
- Messung von Genauigkeit, Konsistenz und Kontextkonformität
- Anwendung von Benchmark-Datensätzen für wiederholbare Bewertungen
Zuverlässigkeitsengineering für KI-Agenten
- Gestaltung von Zuverlässigkeitstests für langfristig laufende Agenten
- Erkennung von Drift und Leistungsbegradung bei Agenten
- Implementierung von Schutzmechanismen für kritische Workflows
Prozesse der Qualitätssicherung und Automatisierung
- Aufbau von QA-Pipelines für kontinuierliche Evaluierung
- Automatisierung von Regressionstests für Agenten-Updates
- Integration der QA in CI/CD- und Unternehmensworkflows
Fortgeschrittene Techniken zur Reduzierung von Halluzinationen
- Prompting-Strategien zur Verringerung unerwünschter Ausgaben
- Validierungsschleifen und Selbstprüfungsmechanismen
- Experimentieren mit Modellkombinationen zur Verbesserung der Zuverlässigkeit
Berichterstattung, Überwachung und kontinuierliche Verbesserung
- Erstellung von QA-Berichten und Agenten-Scorecards
- Überwachung des langfristigen Verhaltens und von Fehlermustern
- Iterative Weiterentwicklung von Evaluierungsframeworks für sich entwickelnde Systeme
Zusammenfassung und nächste Schritte
Voraussetzungen
- Verständnis des Verhaltens von KI-Agenten und der Modellinteraktionen
- Erfahrung im Debugging oder Testen komplexer Softwaresysteme
- Vertrautheit mit Observability- oder Logging-Tools
Zielgruppe
- QA-Ingenieure
- KI-Zuverlässigkeitsingenieure
- Entwickler, die für Qualität und Leistungsfähigkeit von Agenten verantwortlich sind
