Wer guckt dem Grader auffe Finger?
Ein Grader is auch nur 'ne Maschine, die getestet werden will. Ich hab in korrekte Release Notes extra Fehler reinbauen lassen und elf Grader drauf losgelassen. Am Ende war sogar dat Label verkehrt.
Ein Grader is auch nur 'ne Maschine, die getestet werden will. Ich hab in korrekte Release Notes extra Fehler reinbauen lassen und elf Grader drauf losgelassen. Am Ende war sogar dat Label verkehrt.
Ein LLM-Feature hängt an fünf Dingern: Output-Schema, Prompt, Modell, Tools und Eval-Set. Wer nur den Prompt versioniert, weiß nich, wat er da eigentlich deployt hat.
Wenn dein Eval-Score nur auf Qualität kuckt, kricht Brute Force den Pokal - mehr Sampling, größeres Modell, noch'n Retry. Warum die richtige Entscheidungsgrundlage 'ne Cost-Quality-Latency-Frontier is, 'ne Kurve statt'n Punkt, und wie man den Operating-Point in Dollar wählt statt in Prozent.
... und anfangen, Software zu werden - mit allem, wat da an Testpflichten dranhängt
Wie ich aus 'nem GitHub Issue 'n Umsetzungsplan mach, den de testen und beobachten kannst