TL;DR
Problématique
Peut-on continuer à faire faire des exercices rédactionnels « à la maison » comme avant ?
Hypothèse
L'automatisation permise par les LLM rend raisonnable une triche automatisée dont le rapport coût/bénéfice est beaucoup plus avantageux qu'une triche manuelle.
Les LLM sont utilisés par les étudiants
Lors de mes cours du semestre dernier (mars à juillet 2023), j'ai rencontré plusieurs cas d'usage de LLM.
Ces cas s'apparentent à de la triche.
Les étudiants n'ont pas facilement admis leur usage (allant dans certains cas jusqu'à nier des évidences).
Ce sont des cas d'usages stupides de la part des étudiants, car non nécessaires pour la validation du cours, sans intérêt du point de vue pédagogique, et facilement détectables.
On peut retenir les arguments principaux revendiqués par les étudiants :
Le gain de temps (même si je sais faire, « flemme » ou « retard »).
La nécessité de ne pas échouer et la peur d'être pénalisé sur le niveau d'expression écrite.
Le fait de ne pas être « sûr » de tricher (ce n'est pas explicitement interdit).
Des étudiants qui n'utilisent pas encore les LLM pour les exercices rédactionnels les utilisent plus facilement pour la traduction automatique.
À quoi sert la rédaction à l'école ?
L'exercice rédactionnel est un moyen pour faire travailler un contenu, mais c'est surtout un moyen pour les étudiants d'apprendre à travailler leur raisonnement.
On peut penser que la généralisation de l'usage de LLM conduise à la perte de compétences à l'écrit, mais surtout à la perte de capacités de raisonnement, pour lesquelles l'écrit est un mode d'entraînement
À quoi servent les évaluations à l'école ?
L'évaluation joue un double rôle : l'évaluation formative sert à guider l'apprenant (elle a vocation à lui rendre service), tandis que l'évaluation sommative joue un rôle de certification (elle a vocation à rendre service à un tiers).
Or on est souvent en situation de confusion de ces deux fonctions et cela conduit l'apprenant à se comporter comme s'il était en situation d'évaluation sommative et à chercher à maximiser ses résultats.
On note en particulier :
la fonction de classement entre les élèves des notes ;
la confusion entre l'exercice rédactionnel comme moyen (c'est le processus qui compte) ou comme fin (c'est le résultat qui compte).
Qu'est-ce qu'on peut faire maintenant ?
Interdire l'usage des LLM par défaut dans le règlement des études (en sachant que ça va devenir difficile d'identifier quand ils sont mobilisés) ?
Utiliser des moyens techniques de détection de fraude (et entrer dans une « course à l'armement ») ?
Améliorer nos exercices rédactionnel pour « échapper aux LLM » tout en restant en veille sur ce qu'ils savent adresser de nouveau ?
Renoncer aux travaux rédactionnels évalués à la maison ?
Évaluer uniquement en fin de module, voire en dehors des modules et/ou procéder à des évaluations de compétence individuelles ?
Organiser des évaluations certifiantes en dehors des cours (évaluation de compétences, examens transversaux...) ?
Diminuer la pression sur les étudiants et modifier le contrat pédagogique passé avec eux ?
Simplifier la notation, ne conserver que les résultats admis ou non admis, pour évacuer toute idée de classement ?
Passer d'une obligation de résultat à une obligation de moyen, c'est à dire valider les cours sur la base de la présence ?
Ne plus du tout évaluer certains cours (en réfléchissant contextuellement à la fonction de l'évaluation sommative) ?