Si tu as utilisé Duolingo, Memrise ou l'une des applications linguistiques basées sur les séries, tu as ressenti l'attrait de l'XP. Ouvre l'application, fais la leçon, vois le chiffre monter, sens-toi bien. C'est une boucle nette et efficace pour une chose spécifique : te faire revenir demain.
Nous avons réfléchi à la possibilité d'intégrer quelque chose de similaire dans SmartWords. Nous avons décidé de ne pas le faire. Voici notre raisonnement.
Ce que l'XP optimise
Un objectif quotidien d'XP est une métrique d'engagement presque parfaite. Il est lisible, il se réinitialise, il est visible depuis l'écran d'accueil, et il est facile d'y associer des notifications. Du point de vue des métriques produit, il est presque imbattable pour la rétention à court terme.
Le problème est que « l'utilisateur a-t-il atteint son objectif d'XP aujourd'hui » et « l'utilisateur a-t-il réellement progressé dans sa langue » sont des questions différentes, et cette différence grandit avec le temps. Un apprenant qui poursuit l'XP va systématiquement :
- Choisir les exercices les plus faciles (l'XP par minute y est maximum).
- Refaire des exercices sur des sujets qu'il connaît déjà parfaitement.
- Éviter la partie de l'application où il pourrait rencontrer une grammaire inconnue, car cela rapporte moins d'XP par minute.
Après trois mois, le score d'XP et le gain de compétence réelle se décorrèlent fortement. Nous l'avons constaté dans nos propres données et dans la littérature.
Ce que nous faisons à la place
SmartWords met en avant deux métriques, toutes deux délibérément plus discrètes qu'un compteur d'XP :
- Vocabulaire actif — mots que tu as réussi à produire (et pas seulement reconnus) au moins trois fois au cours des 30 derniers jours.
- Progression du cours — le programme aligné sur le CEFR, avec chaque unité complétée uniquement lorsque les vérifications du côté de la production sont validées.
Aucune des deux ne se réinitialise. Aucune n'a d'objectif quotidien. Tu ne peux pas les perdre en sautant un jour. L'inconvénient est qu'elles sont de moins bonnes métriques d'engagement pour les deux premières semaines ; l'avantage est qu'elles continuent de signifier quelque chose au sixième mois, ce qui n'est pas le cas de l'XP.
Est-ce le bon choix pour tout le monde ?
Non. Il y a un réel groupe d'apprenants pour qui l'XP est la seule chose qui les fait revenir à l'application, et ces apprenants sont mieux servis par un produit basé sur les séries. Nous ne cherchons pas à capturer ce groupe. Nous optimisons pour les apprenants qui veulent une mesure crédible de « est-ce que je progresse vraiment dans cette langue » — et c'est un produit différent.