Wie controleert de grader?
Een grader is zelf een systeem dat getest moet worden. Ik heb in correcte release notes bewust fouten laten aanbrengen en er elf graders op losgelaten. Uiteindelijk bleek ook het label fout.
Een grader is zelf een systeem dat getest moet worden. Ik heb in correcte release notes bewust fouten laten aanbrengen en er elf graders op losgelaten. Uiteindelijk bleek ook het label fout.
Een LLM-feature hangt af van vijf dingen: output-schema, prompt, model, tools en eval-set. Wie alleen de prompt versioneert, weet niet wat hij heeft gedeployd.
Een eval-score die alleen kwaliteit meet, beloont brute force: meer sampling, een groter model, meer retries. Waarom de juiste beslisbasis een cost-quality-latency-frontier is, een curve in plaats van een punt, en hoe je het operating point kiest in dollars in plaats van in procenten.
... en software beginnen te worden - met de bijbehorende testplicht
Hoe ik van een GitHub-issue een testbaar, observeerbaar implementatieplan maak