Better AI Models Won't Fix Your Engineering Team — Nicholas Arcolano, Jellyfish

À partir des données de 50 000 ingénieurs dans 447 entreprises, Jellyfish montre que l'outil d'IA pèse moins de 1 % dans la productivité, loin derrière l'usage des skills, les tokens consommés et surtout l'ingénieur lui-même.

Nicholas Arcolano, responsable de l'IA et de la recherche chez Jellyfish, s'appuie sur l'activité d'environ 50 000 ingénieurs répartis dans 447 entreprises pour mesurer ce que change vraiment le modèle utilisé dans le code assisté par IA. Une expérience naturelle lui sert de point de départ : lorsque Cursor a basculé une partie de ses utilisateurs vers Grok, le nombre de pull requests fusionnées n'a presque pas bougé.

Ce qui fait la différence

Sa décomposition attribue moins de 1 % de la production à l'outil, environ 3 % à l'usage des skills (les plus gros utilisateurs gagnant près de 30 %), 9 % au volume de tokens consommés et 12 % à l'entreprise et à l'équipe ; l'essentiel du reste tient à l'individu. Les meilleurs ingénieurs d'avant l'IA restent en grande majorité les meilleurs aujourd'hui. Son conseil aux dirigeants : investir dans les personnes, les compétences et l'environnement de travail plutôt que d'attendre le prochain modèle.