A Bank Trained Its Own Foundation Model to Catch Fraud — Freddy Lecue, Wells Fargo

Wells Fargo a préentraîné son propre Transformer sur des milliards de transactions bancaires plutôt que sur du texte. Sur la fraude, il fait mieux que le modèle XGBoost en production, avec moins de fausses alertes.

Freddy Lecue raconte comment Wells Fargo a entraîné de zéro un modèle de fondation dont les « mots » sont des transactions de clients. Comme un modèle de langage prédit le mot suivant, celui-ci apprend à prédire la prochaine transaction ; la même base peut ensuite être spécialisée pour la détection de fraude, les décisions de plafond de crédit, la lutte anti-blanchiment ou le marketing.

Transformer des tableaux en tokens

La partie la plus délicate, explique-t-il, consiste à convertir des données tabulaires (montants, horaires, commerçants, codes postaux) en tokens exploitables, en répondant aux questions qui, quoi, comment, quand et où. Il détaille ensuite la taille du modèle, son architecture et sa mise à l'échelle, ainsi que la configuration d'entraînement. Sur la fraude, le modèle repère davantage de transactions frauduleuses que le XGBoost en service tout en déclenchant moins de fausses alertes, et reste assez rapide pour valider les paiements par carte en temps réel.