Une ligne de prompt modifiée a rendu un agent de support 17 points plus sûr… et 17 points moins efficace. Sofia Jakovcevic (Arize AI) détaille une boucle de non-régression construite sur les traces de production.
Sofia Jakovcevic, ingénieure « forward deployed » chez Arize AI, part d'un cas concret : un simple changement d'une ligne dans le prompt d'un agent de support l'a rendu 17 points plus sûr, mais lui a fait perdre 17 points sur la réussite des tâches. Son argument : les agents échouent à l'exécution, face aux situations réelles, bien plus que dans leur code, et chaque correctif risque d'en casser un autre.
Une boucle en cinq étapes
Elle propose une boucle de non-régression bâtie à partir des traces de production : constituer des jeux de données à partir de ces traces, les noter avec des évaluateurs, lancer des expériences de référence, comparer les variantes, puis bloquer la fusion des changements dans la CI tant que les scores ne tiennent pas. La démonstration se termine sur des agents de code qui lisent eux-mêmes les traces pour corriger l'agent, afin de boucler le cycle à la vitesse des agents.
Watch this video directly on YouTube
Open on YouTube →