Excellents sur les benchmarks, les agents flanchent face aux vrais clients. Felipe Blanes tire les leçons de Nova Act : une boucle d'évaluation centrée client et un seuil de confiance autour de 92 %.
Felipe Blanes, du laboratoire AGI d'Amazon, a accompagné les clients de Nova Act, le service d'AWS pour construire des agents qui naviguent sur le Web, de la préversion de recherche à la disponibilité générale. Il en retient ce qu'il appelle « l'illusion du benchmark » : des évaluations statiques flatteuses, jusqu'au jour où les utilisateurs font ce que personne n'avait prévu — et il ne reste alors plus qu'à espérer que l'agent tienne.
Le « mur de la confiance »
Sa réponse est un cycle d'évaluation en quatre temps construit autour du client : définir la réussite selon ses critères, recueillir des signaux (notamment en lui parlant directement), diagnostiquer si le problème vient du modèle, du harnais ou du produit, puis en tirer des décisions. Autre leçon : à 80 % de fiabilité, un agent donne l'impression de créer plus de travail qu'il n'en épargne ; c'est vers 92 % qu'il commence à inspirer confiance. Reconnaître ouvertement ses limites rassure d'ailleurs davantage que de meilleurs scores. Il évoque aussi des usages inattendus chez Amazon Leo, Hertz et Sola, et quatre principes pour que les évaluations progressent chaque semaine. Conférence enregistrée à l'AI Engineer World's Fair 2026 de San Francisco.
Watch this video directly on YouTube
Open on YouTube →