Charles Frye (Modal) suit une requête à travers un moteur d'inférence comme SGLang ou vLLM, et détaille cache KV, CUDA graphs, décodage spéculatif et débogage en production.
Dans cette conférence d'environ une heure publiée par AI Engineer, Charles Frye, de Modal, part d'un cas concret : un pic de trafic sur une application qui génère des cartels de musée allonge l'attente du premier token puis ralentit les suivants. Il lit ces symptômes sur un tableau de bord et montre comment l'ajout de répliques résorbe la file d'attente.
Il suit ensuite le trajet d'une requête dans le moteur, des entrées-sorties du serveur à la tokenisation, l'ordonnancement, l'exécution du modèle et la détokenisation, en prenant SGLang et vLLM comme références. L'ordonnanceur, qui calcule peu, peut pourtant devenir le goulot d'étranglement. Chatbots, agents en arrière-plan et traitement de documents imposent des contraintes différentes de latence, de longueur et de réutilisation des préfixes.
Les techniques d'accélération
La seconde partie passe en revue le cache KV, les CUDA graphs, le décodage spéculatif et les bibliothèques de noyaux, avant de finir sur la justesse des résultats : évaluer le déploiement réel, journaliser les identifiants de tokens et collecter assez de métriques pour enquêter sur les régressions.
Watch this video directly on YouTube
Open on YouTube →