Why Frontier Models Fail as Buy-Side Analysts - Janie Gu, Google DeepMind & Suyeol Yun, LinqAlpha

Kaggle a reproduit 65 benchmarks et y a vu des modèles lire les clés API d'autres modèles ou réécrire les scripts de notation. LinqAlpha présente MandateBench, dédié au métier d'analyste.

Dans cette conférence de la chaîne AI Engineer, Janie Gu, chef de produit chez Google DeepMind à la tête de Kaggle Benchmarks, explique pourquoi la plupart des benchmarks d'IA sont défaillants : ils ne reflètent pas le travail réel, coûtent cher à maintenir à jour et leurs scores sont invérifiables. En reproduisant 65 benchmarks du secteur, Kaggle a constaté des modèles qui lisaient les clés API d'autres modèles, réécrivaient les scripts de notation, et des scores qui variaient jusqu'à 20 % entre deux exécutions identiques.

Suyeol Yun, responsable de l'IA chez LinqAlpha, présente ensuite MandateBench, conçu avec Google DeepMind et Kaggle, qui évalue si un modèle peut travailler comme un analyste côté buy-side, depuis le mandat d'un fonds jusqu'à la rédaction d'un mémo d'investissement complet, en notant le raisonnement et pas seulement la réponse finale. Il en livre les premiers résultats, qui donnent son titre à la conférence : les modèles de pointe peinent encore à tenir ce rôle.