Jesse Hall (LiveKit) explique pourquoi un agent vocal rapide sur le papier peut sembler robotique, et pourquoi viser environ 600 ms de bout en bout pour paraître humain.
Dans cette conférence AI Engineer, Jesse Hall, developer advocate chez LiveKit, s'attaque à un paradoxe des agents vocaux : les tableaux de bord affichent de bonnes latences alors que les appelants trouvent l'échange mécanique. Selon lui, les classements de modèles ne suffisent pas à choisir ses briques, car on déploie une chaîne complète (reconnaissance vocale, LLM, synthèse) où les erreurs s'additionnent, et la latence mesurée diffère de celle perçue.
Il présente une démonstration de réceptionniste d'hôtel qui gère les interruptions et un client qui change d'avis, montre comment « gagner du temps » comme le ferait une personne pendant l'appel d'outils, et détaille la détection de fin de tour à partir de l'audio : 4,5 % d'utilisateurs coupés, contre 9,9 % pour la meilleure alternative selon LiveKit. Repère avancé : un délai d'une seconde et demie reste acceptable, et c'est vers 600 millisecondes que la conversation commence à sembler naturelle. Il termine avec un benchmark open source, un aperçu d'un modèle Gemma adapté à la voix et une liste de vérifications.
Watch this video directly on YouTube
Open on YouTube →