Workshop pratique : passer des « vibe checks » à de vraies évaluations, des critères pass/fail à la construction d'un juge LLM à partir des traces d'un agent.
Responsable produit chez Arize AI, SallyAnn DeLucia anime un atelier destiné à ceux qui évaluent encore leurs applications d'IA « au feeling ». Elle explique en quoi une évaluation diffère d'un test unitaire, pourquoi les agents compliquent l'exercice, et passe en revue les grandes familles : LLM juge, modèles de décision, évaluations par code, annotations humaines et agent juge.
La partie pratique s'appuie sur les traces d'un agent de voyage : apprendre à lire une trace, définir ce qu'est une bonne réponse, formuler des critères pass/fail concrets, constituer un jeu de données à partir des traces, puis construire et itérer un juge LLM dans le playground de prompts d'Arize. L'atelier se conclut sur l'alignement du juge et les évaluations en ligne.
Watch this video directly on YouTube
Open on YouTube →