Charles Dickens (Snorkel AI) raconte comment un modèle de 4 milliards de paramètres, entraîné par renforcement pour moins de 500 dollars, a battu son grand frère de 235 milliards sur des questions financières.
Dans cette conférence enregistrée à l'AI Engineer World's Fair 2026 de San Francisco, Charles Dickens, chercheur chez Snorkel AI, présente un travail mené avec le Sky Computing Lab de l'université de Berkeley. L'équipe a construit FinQA, un jeu de questions financières tirées de rapports annuels 10-K déposés auprès de la SEC, avec des réponses validées par des experts, et constaté que même les modèles de pointe y inventaient des schémas de tableaux, saturaient leur propre contexte et répétaient des stratégies vouées à l'échec.
La discipline d'outil avant la profondeur de raisonnement
Avec le framework open source rLLM et un apprentissage par renforcement à récompense binaire (réussi ou raté), un Qwen3 de 4 milliards de paramètres a été entraîné pour moins de 500 dollars. Il atteint environ 60 % de bonnes réponses, contre 51 % pour le modèle de 235 milliards, et ses acquis se transfèrent à des questions plus difficiles portant sur plusieurs tableaux sans dégrader son usage général des outils. Leçon inattendue : des données et des récompenses plus simples ont donné les meilleurs résultats, le vrai goulot d'étranglement étant l'usage rigoureux des outils plutôt que la capacité de raisonnement. Le modèle rLLM-FinQA-4B est publié sur Hugging Face.
Watch this video directly on YouTube
Open on YouTube →