Out of 1,322 questions from 1,005 extracts of online tutoring, the best of the 11 models tested is 61.3%, compared to 91% for humans.
Comprendre une séance de tutorat ne se résume pas à reconnaître ce qui s'y passe : il faut relier une intervention de l'enseignant à la réaction de l'élève, puis à l'ajustement qui suit. Les bancs d'essai vidéo et éducatifs existants mesurent rarement cette chaîne action-réponse-adaptation. VIRA-Bench vise précisément ce point.
Un écart de 30 points avec l'humain
Le benchmark réunit 1 005 extraits de tutorat individuel en ligne et 1 322 questions à choix multiples, vérifiées par des experts, réparties en trois niveaux : ancrage dans les indices observables, raisonnement sur l'enchaînement des interactions et modélisation du soutien apporté. Sur 11 modèles testés, le meilleur atteint 61,3 %, loin des 91 % obtenus par des humains sur un sous-ensemble. C'est le raisonnement sur l'enchaînement qui pose le plus de difficultés.
Des manipulations contrôlées montrent que retirer la vidéo pénalise surtout l'ancrage dans les indices visibles, tandis que mélanger l'ordre temporel dégrade surtout le raisonnement sur les interactions. De quoi tempérer les espoirs d'une IA capable d'évaluer finement la qualité pédagogique d'un cours.
Read the full article on the original source
Go to the source →