Support Agent Reliability Lab

Werkbank, die zeigt, warum eine plausible Agent-Antwort kein Beweis dafür ist, dass der richtige Tool-Call passiert ist.

Status
stabil
Art
Demo
Zuletzt bewegt
KI-Hinweis
Mit KI erstellt

Ein Support-Agent sagt „Ihre Erstattung ist veranlasst.“ Aber wurde refund_order wirklich aufgerufen? Genau diese Lücke macht das Reliability Lab sichtbar.

Ein zentraler Router delegiert an spezialisierte Agenten. Jeder Agent hat seine Tools mit expliziten Schemas, also echte Tool-Contracts. Destruktive Aktionen wie eine Erstattung brauchen eine menschliche Freigabe. Und behauptet die Antwort einen Erfolg, obwohl der Tool-Call nie stattgefunden hat, schlägt ein Alarm an.

Prompts und Tool-Beschreibungen kann man im Lab bearbeiten. So sieht man, wie schon kleine Änderungen das Routing brechen. Dazu gibt es 20 deterministische Evals, bewertet nach Route, Tools, Freigabe, Seiteneffekten und erkannter Abweichung.

Das Lab läuft absichtlich nur lokal. Es ist das Begleitprojekt zu mehreren Blogposts.

Stack

Darüber geschrieben