Des chercheurs de Dartmouth ont mis au point une méthode permettant de transformer de courts questionnaires à choix multiples en cartes détaillées des connaissances réelles des élèves. Ce système, basé sur l'intelligence artificielle, pourrait aider les enseignants et les futurs systèmes de tutorat à personnaliser l'apprentissage à grande échelle.
Un nouvel outil du Dartmouth College promet de transformer le simple questionnaire en quelque chose de bien plus puissant : une carte détaillée de ce qu’un étudiant comprend réellement et des points sur lesquels il se perd.
Au lieu de considérer la note d'un quiz comme un simple pourcentage, le cadre de Dartmouth utilise l'intelligence artificielle pour construire une sorte de paysage de connaissances pour chaque apprenant. Les sommets de la carte représentent les concepts maîtrisés par un étudiant ; les creux indiquent les domaines où il rencontre des difficultés. Ce travail, publié dans la revue Communications NatureCela pourrait aider les enseignants à adapter leur enseignement et alimenter une nouvelle génération de tuteurs IA personnalisés.
Légende: Une carte 3D issue d'une nouvelle étude présentant un cadre pour la capture des connaissances conceptuelles des élèves.
Crédit: Avec l'aimable autorisation de Jeremy Manning et Paxton Fitzpatrick
Ce travail part d'un problème fondamental de l'éducation : les tests traditionnels sont des outils peu précis.
« Lorsqu'un étudiant obtient 50 % à un quiz, ce chiffre ne renseigne que très peu sur sa compréhension réelle », a déclaré Jeremy Manning, professeur associé de psychologie et de neurosciences à Dartmouth et auteur principal de l'étude, dans un communiqué de presse. « Il se peut qu'il ait parfaitement compris la moitié de la matière, ou seulement partiellement, ou n'importe quel niveau intermédiaire. »
Ce nouveau cadre vise à révéler ces différences cachées en modélisant la façon dont les idées s'articulent entre elles.
Pour ce faire, les chercheurs ont utilisé un outil de l'intelligence artificielle moderne : l'intégration de texte. Ces modèles, qui sous-tendent également de nombreux grands systèmes de langage, permettent de représenter les mots ou les concepts par des coordonnées dans un espace multidimensionnel. Dans cet espace, les idées apparentées sont proches les unes des autres, tandis que les idées sans lien sont éloignées.
Par exemple, la gravité et le magnétisme apparaîtraient proches l'un de l'autre, tandis que la génétique et l'histoire de l'art seraient éloignées. En attribuant à chaque question du quiz une position dans cet espace conceptuel, l'équipe de Dartmouth a pu déduire comment les connaissances d'un étudiant dans un domaine donné pouvaient s'étendre à des sujets connexes.
Paxton Fitzpatrick, auteur principal et doctorant au sein du groupe de Manning, explique que cela ressemble à ce que font déjà les bons enseignants lorsqu'ils corrigent un examen avec un élève.
« Lorsqu'un élève demande de l'aide après avoir rencontré des difficultés lors d'un examen, lui fournir un retour ou un accompagnement personnalisé nécessite d'analyser ses résultats à différentes questions afin de mieux comprendre les concepts qu'il maîtrise et ceux qu'il ne maîtrise pas encore », a déclaré Fitzpatrick dans le communiqué de presse. « Bien que ce soit traditionnellement le rôle d'un enseignant ou d'un tuteur, le développement de l'apprentissage en ligne et à distance fait que ce type d'enseignement personnalisé n'est pas toujours accessible à tous les élèves. »
Le cadre de Dartmouth vise à automatiser ce type de jugement d'expert. Il part du principe que la connaissance n'est pas aléatoire, mais qu'elle tend à varier de manière continue entre les idées connexes.
« Notre approche s'appuie sur l'intuition que les connaissances des individus tendent à varier progressivement d'une idée à l'autre – que bien connaître un concept suggère qu'il est plus probable, sans toutefois que ce soit garanti, que l'on connaisse également des concepts connexes », a ajouté Manning.
Partant de ce principe, le système peut, à partir d'un nombre relativement restreint de réponses à un questionnaire, estimer la compréhension d'un étudiant sur un éventail de concepts beaucoup plus large. Autrement dit, il peut compléter les parties du référentiel qui n'ont jamais été directement évaluées.
Les chercheurs ont testé leur méthode auprès de 50 étudiants de premier cycle de Dartmouth qui ont suivi des cours de physique en ligne sur la Khan Academy, une plateforme éducative à but non lucratif. Les étudiants ont répondu à de courts questionnaires à choix multiples avant et après les cours. À partir de ces réponses, l'équipe a construit des profils de connaissances individuels, puis a utilisé ces profils pour prédire les réponses correctes de chaque étudiant.
D'après l'étude, les cartes conceptuelles ont non seulement permis de suivre l'évolution de la compréhension des étudiants après les cours, mais aussi de prédire avec fiabilité leurs résultats à des questions spécifiques. Cela suggère que la structure sous-jacente capturée par les modèles d'intégration de texte correspond étroitement à la manière dont les étudiants organisent réellement les concepts dans leur esprit.
Manning a souligné que le projet était motivé par une question scientifique plus profonde sur la façon dont la connaissance est structurée.
« Notre objectif n'était pas seulement de créer de meilleurs questionnaires ou méthodes de notation », a-t-il déclaré. « Nous voulions tester une hypothèse théorique : la connaissance est structurée d'une manière particulière, comme le suggèrent les modèles d'intégration de texte, et cette structure influence ce que les individus sont susceptibles de savoir et la manière dont ils acquièrent de nouvelles connaissances. »
Andrew Heusser, co-auteur du projet et chercheur postdoctoral au sein du laboratoire de Manning, le perçoit comme une version mathématique d'une pratique intuitive courante chez les enseignants expérimentés. Face à la difficulté d'un étudiant à appréhender une nouvelle notion, un enseignant compétent la reformule souvent à l'aide d'exemples ou de concepts déjà maîtrisés par l'étudiant. Le cadre conceptuel de Dartmouth formalise ce processus en cartographiant explicitement les liens entre les concepts et leur rapport à la compréhension actuelle de l'étudiant.
En pratique, de telles cartes permettraient aux enseignants d'identifier rapidement et visuellement les points forts et les points faibles de la classe. Au lieu de simplement constater que de nombreux étudiants ont échoué à la question 7, l'enseignant pourrait voir que le problème sous-jacent réside, par exemple, dans un ensemble de notions liées à la mécanique ou à l'énergie.
L'équipe entrevoit également un potentiel au-delà de la salle de classe. Des cartographies des connaissances détaillées pourraient alimenter des systèmes de tutorat par IA capables de s'adapter en temps réel, en sélectionnant des explications, des exemples ou des exercices qui relient les nouvelles notions aux connaissances déjà acquises par l'étudiant. Ce type de personnalisation est difficile à mettre en œuvre à grande échelle par les seuls enseignants humains.
Dans le même temps, les chercheurs insistent sur le fait que l'IA doit être considérée comme un complément, et non un substitut, aux enseignants humains. Ils affirment que, dans les classes à effectifs réduits ou lors de cours particuliers, les enseignants peuvent comprendre et motiver les élèves d'une manière que les machines ne peuvent pas. Selon eux, la promesse de tels outils est d'étendre les avantages de l'enseignement personnalisé à un plus grand nombre d'apprenants.
Pour permettre au public d'expérimenter cette idée, l'équipe a publié un démo en ligne de leur cadre de référence. Les utilisateurs peuvent répondre à des questions pour générer une carte interactive de leurs propres connaissances, voir leurs forces et faiblesses prévues et explorer des ressources d'apprentissage recommandées pour combler leurs lacunes ou approfondir leurs connaissances.
Avec la digitalisation croissante de l'enseignement et la généralisation des systèmes d'IA dans les environnements d'apprentissage, les outils capables d'analyser la structure des connaissances d'un élève au-delà des simples notes pourraient devenir de plus en plus importants. Les travaux de Dartmouth esquissent un avenir où même un court questionnaire permettra de mieux comprendre le raisonnement de chaque élève et d'identifier les meilleures façons de l'accompagner dans sa progression.
Source: Dartmouth College