Chez Upstart, des milliers d'appels de prêt par jour : comment l'équipe a fait passer l'accord entre juge LLM et évaluateurs humains de 33 % à 92 %.
Le prêteur en ligne Upstart traite chaque jour des milliers d'appels liés à des crédits, et une question mal posée par un agent vocal peut suffire à créer un problème réglementaire. Shiv Indap, responsable de l'IA vocale chez Upstart, et Brooke Hopkins, fondatrice de Coval et ancienne responsable de l'infrastructure d'évaluation chez Waymo, racontent l'automatisation des appels de vérification de prêts : les pièges de conformité, puis l'abandon du tableur Google qui servait aux revues humaines devenu trop limité.
De la surveillance aux agents qui se réparent
Le cœur de l'intervention porte sur les métriques et les juges LLM : l'équipe a fait grimper l'accord entre le juge automatique et les évaluateurs humains de 33 % à 92 %. Les intervenants décrivent ensuite la boucle complète d'amélioration continue — surveillance des appels en direct, files de revue humaine, re-simulation des correctifs avant la mise en production et agents capables de se corriger eux-mêmes —, chaque modification restant validée par un humain.
Watch this video directly on YouTube
Open on YouTube →