Sur une même puce B200, la seule pile logicielle de service peut produire environ 50 % de calcul utile en plus : Oliver Kennon (SemiAnalysis) explique pourquoi l'opérateur compte autant que le GPU.
Dans cette intervention d'une quinzaine de minutes à la conférence AI Engineer, Oliver Kennon, de SemiAnalysis, aborde la puissance de calcul comme un marché de matières premières : les heures de GPU sont l'intrant, l'« intelligence » produite est le résultat. Or entre les deux, l'opérateur fait une énorme différence — sur le même GPU B200, la seule pile de service peut délivrer environ 50 % de sortie supplémentaire.
Il présente ClusterMAX, le système de notation des opérateurs de clusters de SemiAnalysis, qui intègre aussi la sécurité, rappelle que prix de location et coût de production sont deux chiffres distincts, et souligne que la position d'une entreprise sur la courbe des coûts dépend de ses concurrents autant que d'elle-même. Il conclut sur les conditions nécessaires pour établir des grades de calcul comparables et des contrats à terme permettant de se couvrir.
Watch this video directly on YouTube
Open on YouTube →