When Running Your Own AI Models Beats Paying for APIs - Steven Latré, imec

Le responsable IA d'imec détaille des milliers de tests d'agents de code sur SWE-Bench Pro : quand faire tourner ses propres GPU devient plus rentable que payer une API.

Steven Latré dirige les activités d'IA d'imec, le centre de recherche belge en semi-conducteurs. Son équipe a lancé des milliers de tests pour mesurer ce que coûte réellement le passage des API à ses propres GPU pour des agents de code qui travaillent longtemps, avec des modèles à poids ouverts et trois environnements d'exécution d'agents évalués sur SWE-Bench Pro.

Ce qu'ils ont trouvé

Le coût matériel progresse par paliers et non de façon continue ; le nombre d'utilisateurs simultanés pèse plus lourd que la précision des modèles ; le taux d'utilisation des GPU au-delà duquel l'auto-hébergement devient rentable va de 89 % pour les petites configurations à environ 15 % sur des machines à huit B200 ; et le bon environnement d'agent peut diviser par deux le temps GPU pour un même résultat. La présentation compare aussi l'API, la location et l'achat de GPU.