La responsable produit de Bumble tire cinq leçons d'un test A/B sur une fonction IA de conseils photo : forte demande déclarée, faible usage réel, coûts et régulation.
Supriya Subudhi, chef de produit chez Bumble, revient sur l'expérimentation d'une fonction d'IA qui commente les photos de profil, testée auprès d'une application de rencontre comptant plus de 20 millions d'utilisateurs mensuels. Dans les sondages, 78 % des utilisateurs disaient vouloir ces conseils ; en pratique, seuls 10 à 15 % s'en sont servis.
Elle détaille cinq enseignements : un gain moyen peut masquer des sorties absurdes, comme conseiller de sourire à quelqu'un qui sourit déjà ; le meilleur modèle coûtait environ dix fois plus cher ; passer à un modèle moins coûteux réduisait aussi les résultats ; et la réglementation a empêché de déployer la fonction hors des États-Unis. La conférence se conclut sur cinq questions à se poser avant de déclarer un test d'IA réussi.
Watch this video directly on YouTube
Open on YouTube →