Le directeur scientifique de Modular explique pourquoi la multiplication des puces IA a désorganisé la pile logicielle, et comment Mojo et MAX veulent faire tourner l'inférence sur tous les matériels.
Lors d'une conférence AI Engineer, Abdul Dakkak, directeur scientifique de Modular, part d'un constat : le calcul est réservé pour des années et de nouvelles puces arrivent sans cesse, mais le logiciel ne suit pas. vLLM, SGLang, TensorRT-LLM ou llama.cpp contournent chacun à leur façon les particularités de tel ou tel matériel.
Il présente la réponse de Modular, qui a reconstruit la pile de zéro : Mojo, un langage système à la syntaxe proche de Python visant les performances de CUDA sur CPU, GPU et accélérateurs (avec des noyaux open source de multiplication matricielle et d'attention qu'il dit plus rapides que les bibliothèques des fabricants et que FlashAttention 4), MAX, un moteur d'inférence compatible avec les API d'OpenAI qui s'étend sur plusieurs GPU, nœuds et même matériels hétérogènes, et Modular Cloud. La présentation inclut des comparaisons avec vLLM et torch.compile (Kimi K2.5, FLUX.2, AMD MI355, Gemma 4) et de la génération d'images en moins d'une seconde.
Watch this video directly on YouTube
Open on YouTube →