Hvem tester graderen?
En grader er selv et system som må testes. Jeg lot noen bygge inn feil med vilje i korrekte release notes og satte elleve gradere på dem. Til slutt viste det seg at også fasiten var feil.
En grader er selv et system som må testes. Jeg lot noen bygge inn feil med vilje i korrekte release notes og satte elleve gradere på dem. Til slutt viste det seg at også fasiten var feil.
En LLM-funksjon henger på fem ting: output-skjema, prompt, modell, tools og eval-sett. Versjonerer du bare prompten, vet du ikke hva du har deployet.
En eval-score som bare måler kvalitet, belønner brute force - mer sampling, større modell, flere retries. Hvorfor det riktige beslutningsgrunnlaget er en cost-quality-latency-frontier, en kurve i stedet for et punkt, og hvordan du velger operating point i dollar i stedet for i prosent.
... og begynner å bli programvare - med de testforpliktelsene det fører med seg
Hvordan jeg gjør et GitHub-issue om til en testbar, observerbar implementeringsplan