How to Write Your First AI Eval - SallyAnn DeLucia, Arize AI
Workshop pratique : passer des « vibe checks » à de vraies évaluations, des critères pass/fail à la construction d'un juge LLM à partir des traces d'un agent.
AM-IA brings together news, research papers and applications relating to artificial intelligence published around the world into a single feed — and makes them available in your European language at the click of a button.
Scroll to browse · Click to filter
Workshop pratique : passer des « vibe checks » à de vraies évaluations, des critères pass/fail à la construction d'un juge LLM à partir des traces d'un agent.
Comment Bridgewater a dû revoir la recherche de son analyste IA pour respecter les droits d'accès de 100 millions de documents, avec l'aide de turbopuffer.
Le PDG de Kepler explique comment son assistant financier laisse le modèle citer les chiffres sans jamais les écrire, et supprime tout nombre invérifiable.
Kaggle a reproduit 65 benchmarks et y a vu des modèles lire les clés API d'autres modèles ou réécrire les scripts de notation. LinqAlpha présente MandateBench, dédié au métier d'analyste.
Le cofondateur de npm explique que les agents de code ont rendu l'écriture de code presque gratuite et déplacé le goulet d'étranglement vers la revue, l'exploitation et la sécurité.
Une ligne de prompt modifiée a rendu un agent de support 17 points plus sûr… et 17 points moins efficace. Sofia Jakovcevic (Arize AI) détaille une boucle de non-régression construite sur les traces de production.
Le fonds Bridgewater raconte la construction du « Vault », un corpus de plus de 100 millions de documents interrogeable par ses analystes comme par ses agents IA.
Une ancienne investisseuse en dette en difficulté soumet le cas iHeartMedia à deux modèles de pointe : leurs pronostics divergent, jusqu'à ce qu'un raisonnement découpé en couches vérifiées les fasse converger.
Chez Arca, société de services financiers « native IA », des agents prennent en charge des objectifs clients de bout en bout sur plusieurs jours et sollicitent les humains au bon moment.
Andrey Rybka (Bloomberg) passe en revue de vraies attaques visant des agents IA, de l'évasion de bac à sable à l'exfiltration par DNS, et la défense en couches qui les aurait bloquées.
Ancienne teneuse de marché sur les options d'énergie, Carmen Li défend une bourse neutre pour le calcul et montre que les courbes à terme des H100 et B200 annoncent des prix en hausse.
Wells Fargo a préentraîné son propre Transformer sur des milliards de transactions bancaires plutôt que sur du texte. Sur la fraude, il fait mieux que le modèle XGBoost en production, avec moins de fausses alertes.
À partir des données de 50 000 ingénieurs dans 447 entreprises, Jellyfish montre que l'outil d'IA pèse moins de 1 % dans la productivité, loin derrière l'usage des skills, les tokens consommés et surtout l'ingénieur lui-même.
Deux spécialistes de New York Life ont analysé 1 368 incidents d'IA publics pour en tirer une méthode d'évaluation : les contrôles de déploiement défaillants sont les plus liés aux dommages.
Sarah Chieng (Cerebras) et Cova Lee (OpenAI) détaillent la chaîne d'agents qu'ils utilisent pour produire leurs contenus, de l'idée à la publication, en laissant à l'IA les tâches fastidieuses.
Pour Max Kanat-Alexander (Capital One), l'IA rend courants les logiciels jetables, où la qualité compte peu, alors qu'elle devient plus cruciale que jamais pour les logiciels durables.
Chez Vanguard, Gareth Yoder modernise un registre de trésorerie sollicité jusqu'à 30 millions de fois par jour. Brancher l'ancien code sur l'IA via MCP a tout changé.
Chez l'assureur GEICO, Ford Prior a réuni décideurs et flottes d'agents dans une « salle de crise » d'une journée pour cartographier un domaine de sinistres hérité et livrer une vraie modification.
Sur une même puce B200, la seule pile logicielle de service peut produire environ 50 % de calcul utile en plus : Oliver Kennon (SemiAnalysis) explique pourquoi l'opérateur compte autant que le GPU.
Chez Monzo, un agent né comme simple réaction emoji dans Slack signe désormais plus de 10 % des pull requests fusionnées et exécute plus de 1 800 tâches par jour.