Projet Dune-Eole : Focus sur l'action Learning Analytics (ou analytique des apprentissages numériques)

 
Publié le 5/03/2020

Les Learning Analytics (ou « analytique des apprentissages numériques ») peuvent se définir comme la collecte, l'analyse et l'exploitation intelligente de données produites par l'apprenant en situation d'apprentissage.  Les Learning Analytics sont apparues avec la généralisation du numérique éducatif (espace numérique de travail, ressources pédagogiques, services numériques en ligne…) et, par conséquent, la disponibilité de données digitales massives sur l’apprentissage. Leur exploitation permet différents types de retours d'expérience, vers l’apprenant, le tuteur ou le formateur, les pairs, le concepteur de la ressource ou l’institution, le plus souvent sous la forme synthétique d’indicateurs, de prédicteurs, d'outils de visualisation (notamment de tableaux de bords) ou de systèmes d'intervention comme les systèmes de recommandations personnalisées.

L'action 2.2 du projet Dune-Eole, portée par l'Université de Lorraine, s'intéresse à la conception et la mise en œuvre de tableaux de bord à destination des étudiants. Des enseignants du collégium Lorraine Management Innovation (intervenant en Licence MIASHS et Licence AES) et d'ERUDI ont accepté de participer à l'expérimentation, permettant ainsi d'explorer l'apport potentiel des Learning Analytics à la motivation des étudiants, à la fois dans le contexte de la formation présentielle et de l'enseignement à distance.  Par ailleurs, une équipe multi-profils réunit des personnels de la Direction du Numérique et des chercheurs de l'équipe KIWI du Loria.

Le projet est structuré en quatre étapes principales :

1) Cartographie des données et développement d'une infrastructure de données pour stocker les informations collectées. Le projet a débuté par le recensement et la sélection des données éducatives disponibles et utilisables dans le cadre du RGPD. Pour l'instant, sont exploitées les traces d’activités des étudiants sur la plateforme de cours en ligne de l'Université de Lorraine ARCHE (Moodle) et les métadonnées sur les ressources éducatives lorsqu’elles sont disponibles. Il a ensuite fallu concevoir, développer et mettre en œuvre des outils de consolidation des données sélectionnées pour permettre leur exploitation automatique par des algorithmes d'intelligence artificielle.   

2) Développement des algorithmes de détermination d'indicateurs d’activité d'un étudiant dans un cours. Rappelons tout d'abord que les données éducatives ont des caractéristiques qui rendent leur exploitation automatique complexe : elles sont hétérogènes (notes, clics, logs, votes…), éventuellement ambiguës (par exemple, une absence d'activité constatée dans les données peut correspondre à une inactivité réelle de l'apprenant ou au travail sur la version imprimée des supports de cours), avec des temporalités différentes (résultats de jury chaque semestre ou traces d'activités en continu sur une plateforme). L’analyse automatique des données collectées requiert donc des techniques d’exploration et de modélisation complexes, issues notamment de la fouille de données ou du machine learning.

3) Conception d’un tableau de bord pour les étudiants. La conception du tableau de bord a été faite en concertation avec les enseignants volontaires (lors de focus groupes, ils ont par exemple discuté la pertinence d'indicateurs) et des étudiants (lors d'ateliers, ils ont par exemple exprimé ce qu'ils souhaiteraient avoir comme tableau de bord). Ainsi, les échanges avec les étudiants de L1 MIASHS ont montré l'importance qu'ils accordent à ce que l'on peut résumer en "bienveillance algorithmique", c'est-à-dire une approche qui valorise les efforts et l'engagement de l'étudiant au travers d'un score numérique. De même, il est apparu que l'étudiant veut être le seul destinataire du tableau de bord : il doit rester libre de le consulter ou non, de le partager ou non avec certains de ses pairs, l'enseignant du cours ou son enseignant référent. Une interface visuelle permettant de restituer aux étudiants les résultats des algorithmes qui analysent leurs traces d’apprentissage a été conçue et développée. Cette interface est le fruit d’une co-conception avec au total plus de 300 étudiants impliqués.

Exemple de tableau de bord pour le cours Algorithmique 1 en L1 S1 MIASHS

Le tableau de bord étudiant se divise en deux colonnes représentant deux types d’informations. La partie de gauche concerne l’activité de l’étudiant, les actions qu’il a effectuées au cours de son apprentissage. Ce rendu visuel de l’activité de l’étudiant lui permet d’identifier rapidement les actions qu’il pourrait effectuer pour progresser davantage. La partie de droite représente l’évolution des scores de l’étudiant au cours du temps. L’étudiant peut également, s’il le souhaite, afficher l’évolution du score moyen des étudiants de sa promotion. Enfin, quelques conseils sont promulgués aux étudiant pour les aider à interpréter les informations du tableau de bord et à se l’approprier.

4) Mise en place d’une expérimentation. La constitution du tableau de bord étudiant repose sur l'hypothèse d'interactions numériques entre l'étudiant et la plateforme ARCHE. Il est donc essentiel que l'étudiant accède régulièrement à son espace de cours, ce qui peut être favorisé par la mise en ligne de quizz, des supports accessibles régulièrement, …. De même, les commentaires comme "l'année dernière, 60% des étudiants aussi actifs que vous ont atteint votre objectif personnel" imposent de disposer d'au moins une année de référence. Les tableaux de bord sont calculés pour les cours "expérimentateurs" du projet et vont être présentés aux étudiants concernés. Les étudiants seront alors questionnés afin de recueillir leurs commentaires et évaluer leur perception de l'apport de ce nouvel outil.

En savoir plus : www.dune-eole.fr

Ref. ANR-16-DUNE-0001-EOLE