Xander Song (Arize AI) présente Harbor, un framework open source pour évaluer des agents sur des tâches réalistes, avec de vraies données, dans des bacs à sable isolés.
Ingénieur chez Arize AI, où il travaille sur Phoenix, Xander Song présente Harbor, un framework open source qui permet de tester des agents IA sur des tâches concrètes, dans des environnements Docker isolés. Il en détaille les briques : les tâches et leurs environnements, les vérificateurs qui attribuent une récompense comme le feraient des tests d'intégration en boîte noire, les essais regroupés en jobs, les « oracles » qui valident la configuration avant de dépenser des tokens, et le format de trajectoires ATIF.
La seconde partie montre Harbor en production : exécution massive en parallèle sur Daytona, couplage avec Phoenix pour comparer des jobs tâche par tâche, et une étude de cas où l'équipe a mesuré l'effet d'une modification de prompt incitant les agents à utiliser un nouvel outil SQL, qui a réduit le nombre d'appels d'outils sans dégrader la justesse des réponses.
Watch this video directly on YouTube
Open on YouTube →