Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Grundlagen des Mastra-Debuggings und der Bewertung
- Verstehen von Agentenverhaltensmodellen und Fehlermodi
- Kernprinzipien des Debugging innerhalb von Mastra
- Bewerten deterministischer und nicht-deterministischer Agentenaktionen
Einrichten von Umgebungen für den Agententest
- Konfigurieren von Test-Sandboxes und isolierten Bewertungsräumen
- Erfassen von Logs, Traces und Telemetrie für detaillierte Analysen
- Vorbereiten von Datensätzen und Prompts für strukturiertes Testing
Debugging des KI-Agentenverhaltens
- Nachverfolgen von Entscheidungspfaden und internen Reasoning-Signalen
- Identifizieren von Halluzinationen, Fehlern und ungewolltem Verhalten
- Verwenden von Observability-Dashboards zur Ursachenermittlung
Bewertungsmetriken und Benchmarking-Frameworks
- Definieren quantitativer und qualitativer Bewertungsmetriken
- Messen von Genauigkeit, Konsistenz und kontextueller Compliance
- Anwenden von Benchmark-Datensätzen für wiederholbare Bewertungen
Zuverlässigkeitsingenieurwesen für KI-Agents
- Entwerfen von Zuverlässigkeitstests für langlaufende Agents
- Erkennen von Drift und Leistungseinbußen bei Agenten
- Implementieren von Schutzmaßnahmen für kritische Workflows
Qualitätssicherungsprozesse und Automatisierung
- Aufbauen von QA-Pipelines für kontinuierliche Bewertung
- Automatisieren von Regressionstests für Agenten-Updates
- Integrieren von QA in CI/CD und Unternehmensworkflows
Fortgeschrittene Techniken zur Reduzierung von Halluzinationen
- Prompting-Strategien zur Verringerung unerwünschter Ausgaben
- Validierungsschleifen und Self-Check-Mechanismen
- Experimentieren mit Modellkombinationen zur Verbesserung der Zuverlässigkeit
Berichterstattung, Monitoring und kontinuierliche Verbesserung
- Erstellen von QA-Berichten und Agenten-Scorecards
- Überwachen des langfristigen Verhaltens und von Fehlermustern
- Iterieren an Bewertungsramps für sich entwickelnde Systeme
Zusammenfassung und nächste Schritte
Voraussetzungen
- Verständnis für das Verhalten von KI-Agents und Modellinteraktionen
- Erfahrung im Debugging oder Testen komplexer Softwaresysteme
- Kenntnisse in Observability- oder Logging-Tools
Zielgruppe
- QA-Ingenieure
- Ingenieure für KI-Zuverlässigkeit
- Entwickler, die für die Qualität und Leistung von Agents verantwortlich sind
21 Stunden