Suivre les apprenants à distance sur Librecours
L'analyse des données est de plus en plus mobilisée pour améliorer le suivi des apprenants dans un contexte de formation à distance (Learning analytics). L'enjeu est de retrouver des indicateurs tels que ceux qui permettent de suivre la progression des étudiants dans un contexte présentiel (évaluations formatives, indicateurs participation, de régularité...).
État d'avancement
La chaîne Scenari s'est dotée en 2017 d'une brique qui permet d'enregistrer des données et traces produites par les apprenants lors de la manipulation des documents pédagogiques (ScenariDistrib). Nous présentons ici les outils de suivi actuellement opérationnels dans Librecours, ainsi que des réflexions pour la conception des outils à venir.
Les outils actuels - et en particulier les interfaces - sont pour le moment minimalistes et destinés à l'étude expérimentale.
Modules
Les modules ne sont pas suivis, on utilise les devoirs et les quiz pour évaluer la progression des apprenants dans le cours.
Ne pas suivre les modules est un acte volontaire
L'accès au contenu peut se faire en dehors de la plate-forme : version imprimée par exemple, ou accès non authentifié aux modules. La remontée d'information serait donc ici biaisée.
L'alternative, que recherche certains concepteurs de MOOC, de contraindre les utilisateurs à des accès authentifiés ne nous parait pas souhaitable :
on subordonne artificiellement la qualité pédagogique au suivi en obligeant les apprenants à suivre un canal qui n'est pas forcément le meilleur pour eux ;
on limite les accès ouverts au contenu.
Devoirs
Les résultats de l'autoévaluation sont enregistrés et reportés dans l'application de suivi de l'enseignant. On peut imaginer les états suivants :
État synthétique : chaque étudiant est classé dans une catégorie et on dispose pour chacun d'une note moyenne de ses auto-évaluations.
État détaillé : on dispose pour un étudiant de ses évaluations à chaque devoir, ce qui permet de visualiser où sont les difficultés.
Exemple de catégories pour marquer le suivi des devoirs
"OK" : l'étudiant s'évalue régulièrement et positivement
"En difficulté" : l'étudiant s'évalue régulièrement mais négativement
"Défaut de rendus" : l'étudiant ne s'évalue pas régulièrement
Exemple d'état synthétique
Dans cet exemple, il y avait 7 devoirs à faire. On retrouve sur l'état pour chaque étudiant le nombre de devoirs consultés (qui ont été accédés), le nombre de devoirs pour lesquels l'auto-évaluation a été renseignée, le note moyenne obtenue par consolidation des autoévaluations de tous les devoirs qui ont été auto-évalués (les notes sont ici sur 4) et un état qui permet de catégoriser l'étudiant.
Exemple d'état détaillé
On retrouve pour l'étudiant f3ea97d2cd1f5619f570c06a10a041b5 les sept modules accédés (proj, test, gen1...) et pour chacun une moyenne de l'auto-évaluation. On peut affiner cet état en détaillant la note obtenue à chaque réponse pour un module donné.
Exercices P2P
Suivi
L'interface de suivi actuelle ne permet que de traiter les étapes indépendamment les une des autres.
On souhaitera une vision plus synthétique de l'exercice, et la possibilité d'accéder à une page unique permettant de lire, commenter, évaluer et corriger l'ensemble de ce qui a été produit dans le cadre de chaque exercice.
Exemple de maquette d'interface de suivi
Projets
Le suivi des projets permet aujourd'hui d'associer un commentaire et une note à chaque livrable.
On pourra intégrer la gestion des étapes dans le suivi, afin de disposer facilement des livrables précédents lors de l'évaluation d'une étape N. On pourra aussi intégrer la gestion des versions de livrables. Lorsqu'un groupe dépose une Vn d'un livrable on souhaiterait :
que le groupe puisse insérer une note de révision qui exprime le différentiel avec la version Vn-1 ;
que l'enseignant puisse disposer facilement de ses notes et commentaires précédents concernant ce livrable.
Exemple de maquette d'interface de suivi
Discussion
En terme de suivi on peut tracer pour chaque apprenant sa participation :
nombre de questions posées ;
nombre de réponses proposées.
Quiz
Les quiz comme les devoirs peuvent donner un indicateur de participation et de niveau de suivi.
Le quiz n'est pas déclaratif, comme le devoir, mais sa validité reste du même ordre (si l'on a pas de contrôle des conditions de résolution).
Suivi "manuel"
On peut ajouter pour chaque apprenant un suivi "manuel" qui permet à l'enseignant de rendre compte de la participation de l'apprenant (rencontre, échange par mail...).
Tests contrôlés
Les tests individuels contrôlés (surveillés) sont les seules évaluations sommatives.
Synthèse : analyse de l'apprentissage
L'objectif de ces outils de suivi est de compenser l'absence de relation directe pour tenter d'évaluer l'accrochage ou le décrochage d'un apprenant au sein de la formation.
On peut poser deux dimensions :
participation (taux de rendu des quiz, devoirs, exercices P2P, projets, participation aux discussions, participation manuelle) ;
évaluation informative (résultats aux quiz, devoirs, exercices P2P et projets) ;
évaluation contrôlée (résultats aux tests).
On peut poser des catégories sur les bases de ces dimensions.
Notons qu'il ne s'agit ici que d'indicateurs de suivi qui ne préjugent pas des critères retenus pour valider une certification.
Exemple de catégorisation
OK : Étudiants qui suivent le programme prescrit et réussissent aux examens
Autonome (AU) : Étudiants qui ne suivent pas rigoureusement le programme prescrit et réussissent aux examens
Insuffisant (IN) : Étudiants qui ne suivent pas rigoureusement le programme prescrit et réussissent insuffisamment aux examens
En décalage (D2) : Étudiants qui suivent le programme prescrit, s'auto-évaluent positivement et réussissent insuffisamment aux examens
En difficulté (D1) : Étudiants qui suivent le programme prescrit, s'auto-évaluent moyennement ou négativement et réussissent insuffisamment aux examens
En décrochage (D0) : Étudiants qui ne suivent pas le programme prescrit et réussissent mal aux examens
Annexe : évaluation de la formation par les apprenants
Pour chaque partie du cours, les apprenants sont invités à renseigner une évaluation qui mesure le temps réel passé, le niveau de difficulté ressenti et le niveau d'intérêt perçu.
Ces indicateurs ne servent pas au suivi de l'apprenant, mais à l'amélioration continue des contenus.
