Wer prüft den Grader?

Ein Grader ist selbst ein System, das getestet werden muss. Ich habe in korrekte Release Notes absichtlich Fehler einbauen lassen und elf Grader darauf angesetzt. Am Ende war auch das Label falsch.

·16 min Lesezeit·Mit KI erstellt

Ein Grader ist ein System wie jedes andere. Wer ihn nicht testet, hat die Hoffnung nur eine Ebene nach oben verschoben.

Im März habe ich hier über Evals in der CI-Pipeline geschrieben: Code-Grader, LLM-as-a-Judge, menschliches Review.

Evals in die CI: Wenn AI-Features aufhören, Prompts zu sein
... und anfangen, Software zu werden - mit den entsprechenden Testpflichten
rubeen.dev/blog/ai-evals-ci-pipeline
→

Welche Methode was findet, blieb dort Behauptung. Also drehe ich die Frage um: Statt den Agenten zu testen, teste ich die Tests. Zwölf Fehlerarten eingebaut, elf Grader darauf angesetzt, 1.265 Modellaufrufe.

Herausgekommen ist eine Matrix. Dann zeigt sich, dass ein Label selbst falsch war, und auf echten Läufen sagen die Werte kaum noch etwas.

●

Demo: rubenvitt.github.io/grader-lab - bau selbst Fehler ein und schau, welcher Grader anschlägt. Mit eigenem API-Key laufen auch die Judges live.
Repo mit allen Rohantworten: github.com/rubenvitt/grader-lab

Ein Agent, mit dem niemand redet

Der Refund-Agent aus dem März-Post hilft hier nicht weiter - ein Chat gibt für diese Prüfung zu wenig Oberfläche her. Also ein neues Beispiel, diesmal ohne Dialog.

Der Agent schreibt Release Notes für quaykit, eine TypeScript-Job-Queue, die es nicht gibt. Seine Eingabe sind die gemergten PRs seit dem letzten Git-Tag. Dazu bekommt er sechs Tools: list_prs(), get_pr(id), get_diff(id), get_issue(id), publish_release({version, notes}) und finish, mit dem er sein Ergebnis meldet. Veröffentlichen und Melden sind getrennte Aufrufe, das wird noch wichtig.

Das Ergebnis ist ein Artefakt aus vier Teilen:

Release Notes haben noch einen Vorteil: Du kannst sie als Entwickler selbst auf einen Blick beurteilen.

Die Testdaten sind sechs synthetische Releases, r1 bis r6, mit je sechs bis zehn PRs. Darin stecken Breaking Changes hinter chore:-Titeln, ein Feature plus Revert im selben Release, ein Security-Fix mit dem Label embargo und Deprecations. Zu jedem Release gehört eine Referenz: die Fassung der Notes, die als korrekt gilt. So sieht ein Eintrag aus:

- Completed jobs are now removed by default: `removeOnComplete` defaults to `true` instead of `false`, so a finished job can no longer be fetched from the queue unless you opt in (#307).
  Migration: to keep the old behaviour, pass `defaultJobOptions: { removeOnComplete: false }` when you create the `Queue`.

Geprüft wird gegen eine Rubric mit neun Kriterien. Kriterium R2 etwa verlangt: “Der PR-Text allein belegt nichts, was der Diff nicht hergibt.” R7 fordert einen sachlichen Ton. Rubric und Prompts wurden vor dem ersten Lauf eingefroren (Git-Tag prompts-v1), nachträglich kamen nur Auswertungen und ein Transport-Fix am Runner dazu. Der Agent läuft auf gpt-6-luna. Die Judges, also die Grader mit Modell, laufen auf gpt-6.1-terra, beide über die Codex-CLI mit Effort low.

Fehler mit Absicht

Mutation Testing kommt aus dem Testen von Code: Du baust absichtlich einen Fehler ein und schaust, ob deine Tests ihn bemerken. Bleiben sie grün, hast du eine Lücke gefunden. Für Grader habe ich mir die Idee geborgt. Der Fehler steckt jetzt in einem sonst korrekten Text, und der Prüfling ist der Grader.

Der Gewinn liegt im Label. Bei einer Mutation steht es fest, bevor der Grader läuft, ohne dass jemand 100 Texte labeln muss. Wir haben den Fehler ja selbst eingebaut.

Im Lab gibt es zwölf Fehlerarten über sechs Releases. Ein paar davon im Wortlaut:

@@ ghost-pr, r1 @@
- `quaykit inspect --json` prints the queue statistics as JSON instead of a table (#318).
+ `quaykit inspect --json` prints the queue statistics as JSON instead of a table (#319).

@@ wrong-migration, r5 @@
- Migration: call `worker.pause({ drain: true })`.
+ Migration: call `worker.pause({ graceful: true })`.

@@ invented-claim, r1 @@
- so the job no longer sits in active until the lock expires (#304).
+ and the job is retried on the next poll instead of sitting in active until the lock expires (#304).

Ohne die Referenz daneben liest sich die letzte Zeile wie jede andere Release Note: sachlich im Ton, richtige PR-Nummer dahinter. Den Retry gibt der Diff von #304 nicht her, und am Satz selbst siehst du das nicht.

Manche Fehler stehen gar nicht im Text. Bei false-success sind die Notes korrekt, aber publish_release wurde nie aufgerufen. lucky-path liefert das richtige Ergebnis, obwohl der Agent keinen Diff gelesen hat.

Fehler allein reichen nicht. Dazu kommen vier Arten von Kontrollen, die als fehlerfrei gelten: die Referenz selbst, paraphrase mit gleichen Fakten in anderen Worten, reordered und extra-diligent, bei dem der Agent zusätzlich die Issues liest. Ohne sie würdest du am Ende den Grader loben, der einfach alles ablehnt. Zusammen sind das 83 Artefakte: 59 Mutationen und 24 Kontrollen.

Darauf gehen elf Grader los, sieben davon ohne Modell:

Grader sieht Modell
schema, pr-refs, semver-labels, wording Aufbau, PR-Nummern, Labels, Wortlisten nein
ref-similarity Textähnlichkeit zur Referenz nein
functional, trajectory Sandbox-Zustand, Weg der Tool-Calls nein
judge-ref die Referenz ja
judge-sourced PRs und Diffs ja
judge-blind nur die Notes ja
pairwise zwei Fassungen in beiden Reihenfolgen, ohne zu erfahren, welche die Referenz ist ja

Die vier mit Modell laufen je dreimal, das Urteil fällt per Mehrheit.

Die Grenzen nenne ich gleich hier: Spezifikation und Auftrag kamen von mir, Fixtures, Referenzfassungen, Mutationen, Grader und Rubric von einem Coding Agent. Die Fehler und die Grader, die sie finden sollen, stammen also aus einer Hand. Menschliche Labels fehlen, die Fixtures sind synthetisch, die Fallzahl ist klein, und es gibt genau einen Modellstand. Was die folgenden Zahlen hergeben, gilt für dieses Lab.

Jeder Grader sieht etwas anderes

83 Artefakte mal elf Grader ergeben mehr Zellen, als hier Platz haben. Die volle Matrix liegt in der Demo. Hier ein Ausschnitt, die Zellen zählen durchgefallen/Fälle:

Fehler pr-refs ref-similarity functional trajectory judge-ref judge-blind pairwise
ghost-pr 6/6 0/6 0/6 0/6 6/6 0/6 0/6
invented-claim 0/6 0/6 0/6 0/6 6/6 1/6 2/6
missing-breaking 0/3 0/3 0/3 0/3 3/3 0/3 0/3
useless-true 0/6 6/6 0/6 0/6 6/6 6/6 6/6
false-success 0/6 0/6 6/6 0/6 0/6 0/6 0/6
lucky-path 0/6 0/6 0/6 6/6 0/6 0/6 0/6
Kontrollen (Fehlalarme) 0/24 6/24 0/24 0/24 0/24 0/24 0/24

judge-sourced fehlt hier mit Absicht, seine Zahlen brauchen eine eigene Erklärung. Und 3/3 heißt bei n = 3 nur: ein 95%-Bereich von 0,44 bis 1,00, und selbst der setzt unabhängige Fälle voraus.

Fangen wir oben an, bei der nicht existierenden PR-Nummer in r1. pairwise bekommt beide Fassungen und schreibt: “Die Fassungen unterscheiden sich nur in der PR-Nummer für die JSON-Ausgabe: A nennt #318, B nennt #319. Ohne Quellen lässt sich nicht beurteilen, welche Zuordnung korrekt ist”. Er benennt den Unterschied bis auf die Ziffer und hält beide Fassungen für gleichwertig. Ein equal zählt nach der eingefrorenen Regel nicht als Bevorzugen, macht 0/6. pr-refs findet dieselbe Stelle 6/6, und das kostet keinen einzigen Token.

Bei missing-breaking in r3 fehlt dem Leser sogar eine Migration. pairwise zieht die Referenzfassung in jeder Wiederholung nur in einer Reihenfolge vor, in der anderen urteilt er wieder equal. Nach derselben Regel reicht das nicht. judge-ref dagegen schreibt: “Der Kandidat lässt eine nutzerrelevante Breaking Change und den zugehörigen Migrationsschritt aus.”

Erfundene Aussagen wie die aus dem Diff oben findet judge-ref 6/6, judge-blind 1/6 und pairwise 2/6. Den Retry aus r1 lassen judge-blind und pairwise durch. Bei useless-true ist alles wahr und nichts brauchbar (“Various improvements”), das sehen alle vier Judges und ref-similarity.

Am klarsten sind false-success und lucky-path. Der Text ist identisch mit der Referenz. Wer nur Text bewertet, sieht den Fehler nicht. Den fehlenden Aufruf von publish_release sieht allein functional. Für die nie gelesenen Diffs bleibt nur trajectory.

Bleibt ref-similarity, mit einer vorab gesetzten, unkalibrierten Schwelle von 0,7. Die sechs Fehlalarme sind die Paraphrasen, und die liegen bei 0,585 bis 0,685. Bei 0,6 bestehen 5 von 6, bei 0,58 alle, ohne dass ein Fund verloren geht. Die Fehlalarme hängen an der Schwelle. Stabil ist etwas anderes: Bis auf useless-true (höchstens 0,414) liegen die Fehlerfälle näher an der Referenz als die korrekten Paraphrasen, Werbeton-Fassungen ab 0,729, der Rest ab 0,814. Textähnlichkeit misst Wortnähe.

Ein Teil dieser blinden Flecken stand allerdings im Prompt. judge-blind bekommt wörtlich: “Was sich ohne Quellen nicht prüfen lässt, gilt als erfüllt. Unterstelle keine Fehler, für die der Text keinen Anhaltspunkt gibt.” Und pairwise bewertet nur, “soweit sie sich aus den beiden Texten beurteilen lässt”. Das vorsichtige “lässt sich nicht beurteilen” von oben hat der Prompt mindestens mitgeschrieben. Einen Gegenlauf mit anderer Formulierung gibt es nicht. Was an den 0/6 Methode ist und was Prompt, trennt diese Matrix nicht sauber.

Wer alles ablehnt, findet alles

Wer nur Funde zählt, hat einen klaren Sieger: judge-sourced lehnt 59 von 59 Mutationen ab. Nur fallen bei ihm auch alle 24 Kontrollen durch. Bei false-success bekommt er den Text der Referenz, lehnt ihn ab wie in der Kontrolle, und das zählt trotzdem als Fund.

Deshalb brauchen wir zwei Zahlen. Die Definition stammt aus Hamel Husains Skill validate-evaluator. Dort heißt “positiv” bestanden, andersherum als oft üblich. Die TPR (True Positive Rate) sagt, wie oft ein Grader ein gutes Ergebnis auch bestehen lässt. Die TNR (True Negative Rate) ist die Fundrate von eben: wie oft er ein schlechtes auch durchfallen lässt. Husain misst gegen menschliche Urteile, nennt über 90% als Ziel und will rund 100 gelabelte Beispiele pro Failure-Mode. Bei mir sind es 3 bis 6, und die Konstruktion ersetzt den Menschen: Die Kontrollen liefern die TPR, die Mutationen die TNR.

judge-sourced kommt auf TNR 1,00 und TPR 0,00, und die 1,00 ist so nichts wert. Bei pr-refs steht TPR 1,00 und TNR 0,15. Damit kann ich gut leben - er prüft nur eine Sache.

Dann ist da noch r5. Die Referenz schreibt dort worker.pause({ drain: true }), die Zeile aus dem Diff von vorhin. Der Code von #399 reicht den Boolean aber durch:

if (typeof opts === 'boolean') {
  warnOnce('worker.pause(boolean) is deprecated, use worker.pause({ drain })');
  opts = { drain: opts };
}

Aus pause(false) wird im Code { drain: false }, nach der Anleitung in der Referenz aber { drain: true }. judge-sourced schreibt dazu: “R3: Die Migration zu worker.pause({ drain: true }) ersetzt worker.pause(true), ändert aber das Verhalten von worker.pause(false).” Bei der Referenz selbst sah das kein anderer Grader. Sie war falsch und mit ihr das Label “fehlerfrei”.

Zum heimlichen Helden macht das judge-sourced nicht. In 5 von 6 Releases kommt mindestens ein Vorwurf gegen die Referenz in allen drei Wiederholungen. Manche halte ich für berechtigt, in r2 fehlt ihr etwa die Abbildung von graceMs auf olderThanMs. Andere finde ich pingelig: Zur removeOnComplete-Änderung bemängelt er in 2 von 3 Wiederholungen, dass die Folge für Nutzer nicht wörtlich im Diff steht, und unsere Diffs sind nur Ausschnitte. Er ist streng und teils im Recht, nur ist das ohne Labels nicht trennbar.

Die TPR 0,00 geht auf das gemeinsame Konto von Grader, Rubric, Referenz und Diff-Ausschnitten. Fixtures und Labels blieben unverändert, die Lücke steht offen im Repo.

Dass der Prüfstand das Ergebnis verzerrt, kennt auch Anthropic. Auf CORE-Bench stieg Opus 4.5 von 42% auf 95%, nachdem Grading-Fehler und unklare Aufgaben behoben waren und das Scaffold lockerer wurde. Und Shankar et al. beschreiben die Schleife dahinter, qualitativ, mit neun Praktiker:innen: “users need criteria to grade outputs, but grading outputs helps users define criteria”.

Label durch Konstruktion heißt: so fehlerfrei wie der Autor.

Das Experiment, das nicht funktioniert hat

Auch der Prüfstand selbst hatte einen Bug. Die Frage kam von Tripathi et al.: Dort kippen paarweise Präferenzen in 35% der Fälle, wenn ein Störmerkmal dazukommt, bei absoluten Scores nur in 9%. Gemessen ist dort die Abweichung vom eigenen Urteil, keine Genauigkeit. Lässt sich auch pairwise durch selbstbewussten Ton täuschen?

Die selbstbewussten Fassungen sollten sich nur im Ton unterscheiden. Tun sie nicht. Sie enthalten neue Zusicherungen wie “guaranteed” oder “permanently eliminates” und verletzen damit R7 und R2. pairwise lässt sie in 0 von 18 Wiederholungen bestehen, die neutralen in 11 von 18, wendet damit aber nur die Regeln korrekt an. Ergebnis: mit diesem Aufbau nicht prüfbar. Beim Bauen fiel das nicht auf, erst in der Auswertung. Ein Rubric-konformer Lauf wäre v2, und den gibt es nicht.

47 von 47, dann 2 von 24

Bisher kam jeder Text aus derselben Hand. Jetzt läuft der Agent wirklich: 24 Läufe, zwei Prompts (naiv und sorgfältig), sechs Releases, je zwei Wiederholungen. Labels gibt es dafür keine, also auch weder TPR noch TNR. Jeder Judge urteilt einmal, Widersprüche können deshalb Rauschen enthalten.

Judge bestanden naiv (von 12) bestanden sorgfältig (von 12)
judge-ref 0 2
judge-sourced 4 7
judge-blind 8 11
pairwise 4 9

judge-ref sah auf den Mutationen am besten aus. Von den 59 bringen nur 47 einen eigenen Text mit, die übrigen 12 sind false-success und lucky-path, und die kann kein Judge sehen. Alle 47 hat er gefunden, dazu null Fehlalarme. Das heißt wenig: 12 der 24 Kontrollen sind textgleich mit der Referenz, 6 nur umsortiert, echt gefordert war er nur auf 6 Paraphrasen.

Von den echten Läufen lässt er 2 von 24 bestehen. Mutationen liegen konstruktionsbedingt nah an der Referenz, echte Texte nicht. Dazu kommt wieder der Prompt: Er erklärt die Referenz für “korrekt und vollständig” und wertet Aussagen als Verstoß, die dort keine Entsprechung haben. Wie viele der Ablehnungen berechtigt sind, bleibt ohne Labels offen.

judge-sourced läuft andersherum: 0 von 24 Kontrollen bestanden, aber 11 von 24 echten Läufen. Warum, ist offen. Kürze allein erklärt es nicht. Uneinig sind sich die vier Judges in 19 von 24 Läufen.

Bessere Migration, nie veröffentlicht (r5 careful-2). Die Notes schreiben:

Migration: Replace `worker.pause(true|false)` with `worker.pause({ drain: true|false })`.

Das deckt pause(false) ab, also die Lücke von oben. pairwise zieht diese Fassung in beiden Reihenfolgen vor. judge-ref lehnt unter anderem deshalb ab: “Die Referenz belegt nur worker.pause({ drain: true }); eine entsprechende Zuordnung für beide booleschen Werte ist nicht belegt.” Eine lückenhafte Referenz vererbt ihre Lücke an den Grader. Und veröffentlicht wurde dieser Lauf nie. judge-sourced, judge-blind und pairwise sind zufrieden, nur functional sieht es - ein echter false-success, ein Beleg, n = 1.

Leere Notes, bestanden (r3 naive-2). judge-blind lässt sie durch: “Die Release Notes sind leer. Ohne Quellen oder Angaben zum Release lässt sich daraus kein Verstoß gegen die Rubrik feststellen.” Das setzt fast wörtlich seinen Prompt um. Auch pr-refs lässt sie durch, denn keine Verweise heißt keine falschen Verweise. Leere Notes gab es in 2 von 24 Läufen, die Ursache ist nicht bewiesen.

Gleiches Urteil, Widerspruch in der Sache (r6 careful-2). Das Release enthält einen Security-Fix unter Embargo, die Notes schreiben: “This release fixes worker behavior after lock loss and improves PostgreSQL schema name handling.” Alle vier Judges und wording lehnen ab:

Durchgefallen wegen eines Leerzeichens (r4 careful-1). Die mit publish_release veröffentlichte Fassung endet auf ein Leerzeichen hinter (#378), die mit finish gemeldete nicht. functional vergleicht bytegenau und lässt den Lauf durchfallen: “veröffentlichter Text weicht von notes_md ab”. Dasselbe passiert in r3 careful-2. Deterministisch heißt nicht fehlerfrei. Der Grader blieb unverändert.

Lässt sich der Abstand zwischen Mutationen und echten Läufen herausrechnen? Husains Skill bringt dafür die Rogan-Gladen-Korrektur mit: (beobachtete Pass-Rate + TNR - 1) / (TPR + TNR - 1). Sein Beispiel: 80% beobachtet, TPR 0,92, TNR 0,88 ergibt 85%. Mit unseren Werten kommen für dieselben 24 Texte ganz verschiedene Schätzungen heraus. judge-blind lässt 0,79 bestehen, korrigiert sind das 0,49 oder 0,59, je nachdem, ob ich je Artefakt oder je Text zähle. pairwise geht von 0,54 auf 0,03 oder 0,23. Bei judge-sourced ist der Nenner 0.

Die Formel setzt voraus, dass TPR und TNR auf den neuen Daten gelten. Hier tun sie das nachweislich nicht, und die TPR-Werte von 1,00 ruhen auf denselben dünnen Kontrollen wie oben. Das ist kein Vorwurf an die Formel. Über den Agenten sagen diese Schätzungen nur nichts.

Was ich daraus mitnehme

Nichts von dem, was jetzt kommt, ist gemessen. Es sind meine Folgerungen aus diesem einen Lab.

Im März habe ich geschrieben: “Ein schlechter Eval-Score kann ein Modellproblem sein. Er kann aber genausogut ein kaputter Test sein.” Der Satz stimmt noch. Ich würde heute nur ergänzen, dass ein guter Score auch nicht heißt, der Test sei heil: Die 47 von 47 bei judge-ref sahen sauber aus und sagten über echte Läufe wenig.

Jeder Grader hat einen Autor, der Test für den Grader auch. Die Kette endet bei jemandem, der die Gegenbeispiele liest.