Vem testar gradern?
En grader är själv ett system som måste testas. Jag lät bygga in avsiktliga fel i korrekta release notes och satte elva graders på dem. Till slut visade sig även facit vara fel.
En grader är själv ett system som måste testas. Jag lät bygga in avsiktliga fel i korrekta release notes och satte elva graders på dem. Till slut visade sig även facit vara fel.
En LLM-funktion hänger på fem saker: output-schema, prompt, modell, tools och eval-set. Den som bara versionerar prompten vet inte vad den har deployat.
En eval-score som bara mäter kvalitet belönar brute force – mer sampling, större modell, fler retries. Varför rätt beslutsunderlag är en cost-quality-latency-frontier, en kurva i stället för en punkt, och hur du väljer din operating point i dollar i stället för procent.
... och börjar bli mjukvara – med de testkrav som hör till
Hur jag gör en GitHub-issue till en testbar och observerbar implementationsplan