Fuad Ali (Arize AI) construit une boucle où un agent lit les traces, ouvre des tickets et transforme chaque échec en évaluation, pendant que les humains gardent la main sur l'essentiel.
Dans cet atelier de l'AI Engineer, Fuad Ali (Arize AI) montre comment mettre en place une boucle d'amélioration continue pour des agents IA : tout tracer, confier à Signal, un agent toujours actif, la lecture périodique des traces pour ouvrir des tickets dédoublonnés, puis transformer chaque échec en évaluation et en jeu de données de régression vivant.
Il enchaîne ensuite sur les expériences qui prouvent qu'un correctif fonctionne, et insiste sur la place des humains aux endroits où ils pèsent le plus : conception des évaluations, curation des données et relecture des correctifs. La démonstration s'appuie sur un agent de boutique de jouets dans lequel un bug a été volontairement glissé ; la session se termine par des questions sur l'évaluation des réponses qualitatives, les modèles de décision et les coûts.
Watch this video directly on YouTube
Open on YouTube →