Wer prüft den Grader?
Ein Grader ist selbst ein System, das getestet werden muss. Ich habe in korrekte Release Notes absichtlich Fehler einbauen lassen und elf Grader darauf angesetzt. Am Ende war auch das Label falsch.
Ein Grader ist selbst ein System, das getestet werden muss. Ich habe in korrekte Release Notes absichtlich Fehler einbauen lassen und elf Grader darauf angesetzt. Am Ende war auch das Label falsch.
Ein LLM-Feature hängt an fünf Dingen: Output-Schema, Prompt, Modell, Tools und Eval-Set. Wer nur den Prompt versioniert, weiß nicht, was er deployt hat.
Ein Eval-Score, der nur Qualität misst, belohnt Brute Force - mehr Sampling, größeres Modell, mehr Retries. Warum die richtige Entscheidungsgrundlage eine Cost-Quality-Latency-Frontier ist, eine Kurve statt eines Punkts, und wie man den Operating-Point in Dollar wählt statt in Prozent.
... und anfangen, Software zu werden - mit den entsprechenden Testpflichten
Wie ich aus einem GitHub Issue einen testbaren, beobachtbaren Umsetzungsplan mache