En 2020, Citibank a versé par erreur 900 millions de dollars aux créanciers de Revlon malgré trois validations. John Feminella (Two Sigma) en tire cinq garde-fous pour donner de l'autonomie aux agents IA.
En 2020, Citibank devait verser environ 8 millions de dollars d'intérêts aux prêteurs de Revlon ; elle leur a envoyé près de 900 millions. Pourtant, la procédure avait été suivie, l'avertissement s'était affiché et trois personnes avaient validé l'opération. John Feminella, qui travaille sur l'architecture et l'ingénierie IA chez Two Sigma, part de cet incident pour montrer que les contrôles empilés ne suffisent pas, et que les humains ne sont pas plus déterministes que les agents.
Plutôt que de tout verrouiller, il propose cinq mécanismes combinables pour accorder une vraie autonomie aux agents IA : un registre des agents, une revue proportionnée au risque, un accès aux outils limité à la mission déclarée de chaque agent, des évaluations partagées à l'échelle de l'entreprise, et des classifieurs qui ne soumettent aux humains que les validations qui comptent vraiment, pour en finir avec la lassitude des approbations. L'intervenant précise s'exprimer à titre personnel.
Watch this video directly on YouTube
Open on YouTube →