Comment ça marche ?

Kwyk est un site d'entraînement en maths. Nous avons aujourd'hui accumulé plus de 30 millions d'exercices faits par des élèves de tous niveaux partout en France et dans des lycées français à l'étranger. Kwyk utilise ces données, pour mieux comprendre où en est chaque élève. Kwyk signifie d'ailleurs « Know What You Know ».

Ce test utilise notre cartographie du savoir mathématiques entre la 6e et la Terminale et vous positionne sur cette carte en 5 questions. Plus le nombre de questions est important, plus la précision que nous obtenons sur votre niveau est précise. Cinq questions ne permettent pas d'avoir un profil complet, mais permette de savoir à peu près où vous en êtes dans votre scolarité.

Qu'est-ce que la difficulté d'un exercice ?

Contrairement à ce qu'on pourrait penser, déterminer si un exercice est plus difficile qu'un autre n'est pas si trivial que ça. Il y a bien évidemment des cas où c'est simple. Regardez les cas suivants :

Cas trivial

---

Cas non trivial

---

Dans le premier cas, le deuxième exercice est évidemment plus dur que le premier: on ne peut pas le résoudre sans savoir faire le premier, il est donc logiquement "plus difficile".

Dans le dernier cas, il n'y a pas de raisons de penser que l'un est plus dur que l'autre. Les 2 notions sont vues en classe de 5e et posent régulièrement des problèmes aux élèves. Néanmoins on peut apprendre à résoudre l'un sans savoir faire l'autre.

Le Deep Learning à la rescousse

Pour résoudre ce problème, Kwyk utilise le Machine Learning et plus spécifiquement le Deep Learning. Ce sont des techniques pour apprendre automatiquement grâce à une base de données. Dans notre cas, nous tentons d'apprendre ce que sait ou ne sait pas un élève.

En utilisant ces techniques sur les devoirs faits par nos élèves nous sommes parvenus à reconstruire, la progression logique des exercices dans le programme scolaire :

Ce qui est très intéressant c'est que cette image est obtenue grâce à des données qui n'ont aucune notion des classes de 6e, 5e etc... Notre algorithme a uniquement cherché à trouver des relations entre exercices, et il se trouve qu'une des relations les plus flagrantes qu'il a trouvée est la progression scolaire des exercices qu'on peut voir ici.

Le graphique précédent est en 3 dimensions, mais il se trouve que nous capturons 50 dimensions sur nos exercices, ce qui nous permet d'obtenir une description beaucoup plus détaillée de nos exercices.

Nous arrivons par exemple à retrouver les liens logiques entre exercices.

Ce qu'il faut comprendre sur cette image c'est que chaque flèche représente une relation entre 2 exercices. En applicant cette même flèche à un 3e exercice, on trouve un 4ème exercice qui a la même relation logique. Ceci est très utile puisque cela nous permet de repérer des zones dans ce qu'il faut apprendre où il nous manque des exercices, de repérer des exercices mal annotés et aussi d'évaluer de façon plus complète un élève.

Comment un profil d'élève est créé ?

Comme dit précédemment, un élève n'est pas réductible à un nombre. Un score dans les chapitres de l'année en cours, n'est pas encore assez au regard de nos évaluations internes. De la même façon, l'approche par compétence est assez incomplète et ne capture pas assez de subtilités dans le niveau des élèves. Ce qui nous permet d'obtenir les meilleurs résultats dans nos analyses est de définir chaque exercice comme une unité d'apprentissage. Et pour obtenir le meilleur résultat nos exercices sont représentés grâce à la représentation que nous avons montré dans le paragraphe précédent.

Donc chacun de nos élèves possède un profil qui nous permet d'anticiper ses résultats sur chacun de nos exercices. Plus un élève travaille sur la plateforme, plus nous en savons sur lui, et meilleure sera notre prédiction. Voici par exemple, nos prédictions sur l'année scolaire 2016-2017.

Ici on peut voir 3 groupes d'élèves :

• Les élèves ayant très peu de chances de réussir un exercice (< 50%)
• Les élèves en situations d'apprentissage ou avec peu de données (~ 66%)
• Les élèves ayant compris (> 90%)

Il faut bien comprendre plusieurs choses.

Premièrement notre système n'évalue jamais un élève avec 0% de chances de réussir, le minimum se situe aux environs de 10%. En effet, des élèves en situations d'échec vont souvent demander de l'aide pour réussir les exercices qu'ils sont en train de rater.

Deuxièment, les élèves n'ont jamais 100% de chances de réussir non plus, le maximum se situe vers 95%. Il y a toujours une possibilité de faire une faute de frappe, d'oublier quelque chose, ou bien tout simplement de ne pas avoir envie de mettre la bonne réponse.

Troisièmement ce qui est intéressant, c'est le continuum qu'il y a entre toutes nos estimations. Notre algorithme ne catégorise pas "un élève sait" où un élève "ne sait pas", il affecte n'importe quel nombre entre les 2 possibilités.

Enfin, et ceci n'est pas visible sur notre graphique, notre estimation est en permanence en train de fluctuer selon vos résultats passés, notre estimation de votre niveau aujourd'hui peut fluctuer rapidement pour s'adapter à un nouveau niveau si vous avez un "déblocage". Evidemment si vous avez fait beaucoup de fautes dans le passé, l'algorithme va être plus dur à convaincre que vous avez compris une notion, néanmoins il y arrivera toujours. Tout cela dépend de la notion en question, et de ce qu'on pu faire d'autres élèves avant vous.

Travaux futurs

Aujourd'hui notre intérêt sur porte sur 2 notions:

Nous n'utilisons que très peu les données textuelles de questions posées aux élèves ainsi que les réponses textuelles des élèves. En effet, il est difficile pour un algorithme d'avoir une compréhension aussi bonne qu'un être humain de textes. Toutefois nous travaillons activement sur le sujet, certaines avancées en matière de traductions de langages et interprétations de textes pourraient être adaptés pour faire comprendre le langage mathématiques à nos algorithmes.

Enfin, nous cherchons à travailler toujours plus sur les liens entre exercices. La représentation actuelle de nos exercices est très précieuse et utile. Toutefois, les liens entre les exercices et l'impact de votre apprentissage d'un exercice sur un autre, n'est pas assez explicite. Nous cherchons donc à mieux comprendre comment fonctionne l'algorithme actuel pour tenter de remonter des insights qui puissent être directement utilisables par les enseignants. Notre but est de permettre aux enseignants et aux élèves de toujours plus progresser.