Eugene Cheah (Featherless AI) détaille quatre étapes pour faire baisser la facture d'inférence : mesurer, dimensionner au plus juste, bien acheter sa capacité et revoir ses processus.
Lors d'une intervention à AI Engineer, Eugene Cheah, de Featherless AI, s'adresse aux équipes dont la consommation de tokens grimpe plus vite que les gains de productivité. Il propose une démarche en quatre temps : mesurer finement les dépenses, choisir le modèle adapté à chaque tâche, acheter la capacité de calcul au bon format, puis remettre en question les processus eux-mêmes.
Il aborde des leviers concrets : des clés d'API distinctes par équipe pour savoir qui consomme quoi, la distinction entre charges agentiques et charges de traitement en série, les modèles ouverts qui égalent les modèles de pointe sur des tâches précises, les classifieurs et le fine-tuning, ainsi que l'arbitrage entre vitesse de réponse et coût.
Watch this video directly on YouTube
Open on YouTube →