Als je Duolingo, Memrise, of een van de op streaks gebaseerde taalapps hebt gebruikt, ken je de aantrekkingskracht van XP. Open de app, doe de les, zie het getal stijgen, voel je goed. Het is een duidelijke cyclus en het is effectief voor één specifiek doel: ervoor zorgen dat je morgen weer terugkomt.
We hebben goed nagedacht over of we iets soortgelijks in SmartWords wilden implementeren. We hebben besloten het niet te doen. Hier is de redenatie.
Waar XP voor optimaliseert
Een dagelijks XP-doel is een bijna perfect betrokkenheidsmetric. Het is duidelijk, het reset, het is zichtbaar vanaf het startscherm, en het is gemakkelijk om meldingen omheen te sturen. Vanuit het productmetriekperspectief is het bijna onverslaanbaar voor kortetermijnretentie.
Het probleem is dat "heeft de gebruiker zijn XP-doel vandaag gehaald" en "heeft de gebruiker daadwerkelijk vooruitgang geboekt in hun taalvaardigheid" verschillende vragen zijn, en het verschil groeit over tijd. Een leerling die XP najagt zal consequent:
- De makkelijkste beschikbare oefeningen kiezen (XP per minuut is daar het hoogst).
- Oefeningen herhalen over materiaal dat ze al door en door kennen.
- Dat deel van de app vermijden waar ze onbekende grammatica tegenkomen, omdat dat slechtere XP-per-minuut heeft.
Na drie maanden ontkoppelen de XP-score en de werkelijke vaardigheidswinst sterk. We hebben dit gezien in onze eigen data en in de literatuur.
Wat we in plaats daarvan doen
SmartWords biedt twee metrics, beide bewust stiller dan een XP-teller:
- Actieve woordenschat — woorden die je succesvol hebt geproduceerd (niet alleen herkend) minstens drie keer in de laatste 30 dagen.
- Cursusvoortgang — het CEFR-gealigneerde curriculum, waarbij elke eenheid pas als voltooid wordt gemarkeerd wanneer de productiezijdecontroles slagen.
Geen van beide reset. Geen van beide heeft een dagelijks doel. Je kunt ze niet verliezen door een dag over te slaan. Het nadeel is dat ze slechtere betrokkenheidsmetrics zijn voor de eerste twee weken; het voordeel is dat ze na zes maanden nog steeds iets betekenen, wat XP niet doet.
Is dit de juiste keuze voor iedereen?
Nee. Er is een echte groep leerlingen voor wie XP het enige is dat hen terug naar de app haalt, en die leerlingen zijn beter af met een streak-gedreven product. We proberen die groep niet aan te trekken. We optimaliseren voor leerlingen die een geloofwaardige maatstaf willen van "word ik daadwerkelijk beter in deze taal" — en dat is een ander product.