Le cofondateur de Vals AI explique pourquoi un score unique de benchmark masque une frontière en dents de scie, et comment un modèle moins cher sur le papier peut coûter plus en consommant davantage de tokens.
Vals AI conçoit des benchmarks repris par les grands laboratoires dans leurs fiches de modèles. Dans cette intervention au AI Engineer, Rayan Krishnan montre que sur des tâches financières, de la fiscalité à la modélisation de LBO sous Excel, le meilleur modèle change d'une tâche à l'autre, et qu'un modèle annoncé comme moins cher peut finir plus coûteux et moins bon parce qu'il brûle davantage de tokens pour arriver au résultat.
Il revient sur les leçons tirées de la construction de benchmarks (choisir la bonne mesure d'exactitude, se méfier des agents qui optimisent le test plutôt que le problème, évaluer le travail en plusieurs tours) et présente le cas d'une équipe qui avait dépensé 1,5 million de dollars de tokens en un mois avant de réduire la facture d'environ 90 % grâce à ses propres évaluations internes. Son conseil : l'historique de travail d'une entreprise constitue sa meilleure base d'évaluation.
Watch this video directly on YouTube
Open on YouTube →