How MiniMax M3 Was Built: Sparse Attention and Native Multimodality — Olive Song

La responsable RL de MiniMax détaille l'attention clairsemée MSA de M3 et explique pourquoi entraîner texte et vision dès la première étape donne de meilleurs résultats que greffer la vision ensuite.

Lors d'une conférence AI Engineer, Olive Song, qui dirige la recherche en apprentissage par renforcement chez MiniMax, revient sur la conception de MiniMax M3, un modèle à poids ouverts orienté code et agents, doté d'une fenêtre de contexte d'un million de jetons et nativement multimodal.

Elle décrit MSA, l'attention clairsemée maison : une branche d'indexation sélectionne les blocs pertinents et une seconde branche ne calcule l'attention que sur ceux-ci, pour un pré-remplissage environ 9 fois plus rapide et un décodage environ 15 fois plus rapide qu'avec une attention complète. Elle explique aussi pourquoi l'approche DSA de DeepSeek ne convenait pas à l'attention par groupes de requêtes ni aux accès mémoire des GPU, et pourquoi l'ajout tardif de la vision donnait des entraînements instables, d'où le choix d'un apprentissage conjoint texte-image dès le départ.