Deux minutes de démonstration du premier modèle d'action de Runway, qui transforme son savoir-faire en génération vidéo en politique de contrôle pour robots.
Runway, connu pour ses modèles de génération vidéo, présente Praxis-1, un « modèle d'action-monde » à poids ouverts destiné à piloter des robots réels. Le pari exposé dans la vidéo est simple : les démonstrations robotiques sont rares, alors que la vidéo est disponible en quantité presque illimitée. Praxis-1 s'appuie donc sur le pré-entraînement vidéo massif de l'entreprise pour servir de politique de contrôle générique, transposable d'un robot et d'un environnement à l'autre.
Selon Runway, la vidéo issue du web se montre aussi efficace que des enregistrements robotiques en téléopération, et les performances progressent avec le nombre d'heures de pré-entraînement. Le modèle est en test chez Noble Machines (manipulation à deux bras), Standard Bots (bras RO1 à six axes) et Ultra (base mobile), et ses poids doivent être publiés dans les prochains mois ; un accès anticipé est ouvert sur demande.
Watch this video directly on YouTube
Open on YouTube →