Devoirs et IA
J'ai reçu plus tôt cette semaine les textes réflexifs hebdomadaires de mes élèves; ils portaient sur leur lecture active des deux premières Méditations métaphysiques de Descartes (un un petit extrait de la troisième, où il présente un argument prouvant l'existence de Dieu). Je me suis « amusé » à soumettre la totalité des textes reçus au logiciel de détection d'IA Pangram. Grâce à l'essai gratuit, j'avais suffisamment de jetons pour effectuer le test; autrement, la version gratuite m'aurait permis de vérifier probablement au plus une dizaine de textes par jour, probablement un peu moins.
Première information pertinente : en date de vendredi matin (la date de remise étant jeudi soir), j'ai reçu 45 textes alors que 74 élèves sont toujours officiellement inscrits dans mes cours. Il y a donc 39% des élèves qui n'avaient pas rendu leur travail à temps.1
Sur les 45 textes reçus, 14 ont été détectés comme 100% IA par Pangram, alors qu'un autre revenait à 83% car une phrase était considérée comme humaine; je le considère comme un quinzième cas. Fait fascinant : une copie manuscrite très détaillée (3 pages assez aérées, mais tout de même plusieurs paragraphes!) a été détectée comme 100% IA.2 Cela signifie donc que selon Pangram, 31% des textes reçus sont à toute fin pratique générés par IA plutôt que rédigés par mes élèves.
Si on additionne le tout, ça m'indique donc que 58% de mes élèves n'ont pas vraiment rédigé le texte réflexif. L'exercice de réflexion personnelle construit pour être rapide et facile à faire, le tout sans pression de performance (les points sont accordés pour sa réalisation, indépendamment de sa qualité) est donc effectué, littéralement, par une minorité de mes élèves.
Évidemment, il faut prendre tout cela avec un grain de sel, mais malgré tout, ce petit exercice me porte à réfléchir (et c'est un euphémisme). Mon but n'est pas de jeter la pierre à mes élèves (après tout, ils ont beaucoup de travaux à faire) ni de me torturer de ne pas en faire plus (après tout, je n'offre pas de rétroaction systématique sur ces rédactions, ce qui n'est pas très motivant pour mes élèves). Ma conclusion est plus simple et plus limitée, en phase avec ce dont j'ai déjà parlé : la valeur du travail fait à la maison est sévèrement affecté par l'existence de l'IA.
Je pense qu'il ne faut pas tomber dans le désespoir et le cynisme, mais qu'il ne faut pas non plus s'aveugler à la réalité. Fondamentalement, il faut reconnaitre que du point de vue de l'évaluation (et de la certification) de la compétence des élèves, la valeur de ce qu'ils font alors qu'ils ne sont pas sous surveillance doit être considérée comme étant nulle. Craig Barton le dit très bien :
Assessment expert Daisy Christodoulou wrote a great piece arguing that the time has come to eliminate non-examined written assessments because students can easily use ChatGPT to generate responses indistinguishable from those generated by a human. So, we can go further: the reliability of assessing understanding outside of the classroom, whether homework, assignment, or past exam paper, is now zero.
Le temps est venu de modifier un peu notre façon de concevoir le rôle des activités hors-classe, notamment en modifiant les incitatifs. Craig Barton le dit encore très bien, plus loin dans le même article :
The idea is that instead of assessing students’ understanding of classwork, homework should prepare students for assessment in class.
So, a teacher can set a homework on a topic students have just been taught, and then give them an in-class paper-based quiz on that topic in the next lesson, where the teacher can be sure AI is not being used. If students do not perform well on that quiz, it is taken as a signal that they have not put adequate effort into their homework and are held accountable for that. So long as all students can access help if they are stuck on their homework - either a video, AI tutor, or dedicated time when they can ask the teacher - the quiz is carefully designed to assess the appropriate knowledge, and the incentives are strong enough, then students should see the purpose of putting the kind of effort into their homework that helps them learn.
C'est définitivement quelque chose sur lequel je vais travailler dans les prochains mois. Je pense que ma manière de faire est déjà relativement robuste, mais des ajustements concernant les évaluations sont à faire.
Notes
Cela dit, je reçois toujours quelques travaux en retard (j'accepte leurs travaux jusqu'à lundi ou mardi matin pour le rendre, selon leur groupe). De plus, bien qu'il y ait officiellement 74 personnes inscrites à mes cours, deux élèves l'ont à peu près assurément abandonné (ils ne se sont pas présentés lors de la rédaction de mi-session), et peut-être que quelques autres ont décidé d'abandonner après avoir reçu leur note, alors le taux de soumission effectif est probablement un peu plus élevé.
Comme le but de mon petit exercice est purement illustratif, je vais considérer les chiffres que j'ai actuellement. Si j'y pense, je ferai une mise à jour mercredi prochain avec les chiffres « finaux » : tous les travaux en retard seront arrivés et la date d'abandon sera passée.↩
Fait à noter : j'ai utilisé une IA pour effectuer la transcription du texte manuscrit vers des caractères informatiques. Je ne sais pas trop comment Pangram procède pour détecter l'IA, mais s'il détecte une forme de watermark qui serait laissée par le logiciel de transcription, ce serait peut-être un faux positif. J'en doute, mais ce serait à vérifier.↩