Atelier complet sur l'évaluation d'agents : traces, évaluations par code et par LLM juge, expériences pour valider un correctif, puis passage de Claude Haiku 4.5 à 5.5 preuves à l'appui.
Point de départ de cet atelier : un agent d'analyse financière propulsé par Claude rédige un rapport boursier sûr de lui, affirmant que 116 % des analystes sont d'accord, et aucun contrôle ne s'en aperçoit. Laurie Voss, responsable des relations développeurs chez Arize AI et cofondateur de npm, montre comment bâtir pas à pas une boucle d'évaluation qui attrape ce genre d'erreur.
Au programme : instrumenter l'agent avec Arize Phoenix pour en suivre les traces, lire ces traces, écrire des évaluations en code puis des évaluations confiées à un LLM « juge », vérifier qu'on peut faire confiance à ce juge, démontrer par des expériences qu'une modification du prompt améliore vraiment les résultats, justifier la migration de Claude Haiku 4.5 vers la version 5.5, et enfin intégrer le tout à l'intégration continue avec un simple npm test.
Watch this video directly on YouTube
Open on YouTube →