Qui vérifie le Grader ?
Un Grader est lui-même un système qu'il faut tester. J'ai fait glisser des erreurs exprès dans des release notes correctes et lancé onze Graders dessus. À la fin, même le label était faux.
Un Grader est lui-même un système qu'il faut tester. J'ai fait glisser des erreurs exprès dans des release notes correctes et lancé onze Graders dessus. À la fin, même le label était faux.
Une feature LLM dépend de cinq choses : Output Schema, prompt, modèle, tools et Eval-Set. Qui ne versionne que le prompt ne sait pas ce qu'il a déployé.
Un score d'eval qui ne mesure que la qualité récompense la force brute - plus de sampling, un plus gros modèle, plus de retries. Pourquoi la bonne base de décision est une frontière coût-qualité-latence, une courbe plutôt qu'un point, et comment choisir le point de fonctionnement en dollars plutôt qu'en pourcentage.
... et commencent à devenir du logiciel - avec les obligations de test qui vont avec
Comment je transforme une issue GitHub en plan de mise en œuvre testable et observable