Schulungsübersicht

Grundlagen der Mastra-Fehlersuche und -Bewertung

  • Verständnis von Agentenverhaltensmodellen und Fehlern
  • Kernprinzipien der Fehlersuche in Mastra
  • Bewertung deterministischer und nicht-deterministischer Agentenaktionen

Einrichtung von Testumgebungen für Agententests

  • Konfigurieren von Testsandboxes und isolierten Evaluationsräumen
  • Erfassen von Logs, Traces und Telemetriedaten für detaillierte Analysen
  • Vorbereiten von Datensätzen und Prompts für strukturierte Tests

Fehlersuche beim AI-Agentenverhalten

  • Verfolgen von Entscheidungspfaden und internen Rechenoperationen
  • Identifizieren von Halluzinationen, Fehlern und unerwünschten Verhaltensweisen
  • Verwenden von Observabilität-Dashboards für die Ursachenermittlung

Bewertungsmetriken und Benchmarking-Frameworks

  • Definieren quantitativer und qualitativer Bewertungsmetriken
  • Messen von Genauigkeit, Konsistenz und kontextbezogener Einhaltung
  • Anwenden von Benchmark-Datensätzen für wiederverwendbare Bewertungen

Zuverlässigkeitsingenieurwesen für AI-Agenten

  • Entwickeln von Zuverlässigkeits-Tests für langlebige Agenten
  • Erkennen von Drift und Verschlechterungen in der Agentenleistung
  • Implementieren von Schutzmechanismen für kritische Workflows

Qualitätskontrollprozesse und Automatisierung

  • Erstellen von QA-Pipelines für kontinuierliche Bewertungen
  • Automatisieren von Regressionstests für Agentenaktualisierungen
  • Integrieren von QA in CI/CD- und Unternehmensworkflows

Fortgeschrittene Techniken zur Reduzierung von Halluzinationen

  • Prompting-Strategien zur Verringerung unerwünschter Ausgaben
  • Validierungsschleifen und Selbstprüfungsmechanismen
  • Experimentieren mit Modellkombinationen zur Verbesserung der Zuverlässigkeit

Berichterstellung, Überwachung und kontinuierlicher Verbesserungsprozess

  • Erstellen von QA-Berichten und Agentenbewertungen
  • Langfristiges Verhalten und Fehlermuster überwachen
  • Verbesserung der Bewertungsrahmen für sich entwickelnde Systeme

Zusammenfassung und Nächste Schritte

Voraussetzungen

  • Ein Verständnis für das Agentenverhalten und die Modellinteraktionen
  • Erfahrung mit der Fehlersuche oder dem Testen komplexer Software-Systeme
  • Vertrautheit mit Observabilitätswerkzeugen oder Log-Werkzeugen

Zielgruppe

  • QA-Ingenieure
  • AI-Zuverlässigkeitsingenieure
  • Entwickler, die für Agentenqualität und -Leistung verantwortlich sind
 21 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien