A L uneACTUALITESinternationalPEOPLE

ChatGPT : Comment les Universités et les Grandes écoles Revoient les Modalités d’évaluation des étudiants

L’apparition du robot conversationnel américain mi-novembre oblige notamment à repenser les devoirs à la maison, les examens à distance et les mémoires de master.

  • ChatGPT est un robot conversationnel gratuit et rapide, qui produit des textes bien construits à partir d’une simple question.
  • Une innovation qui est déjà très utilisée par les étudiants, avec notamment des cas de triche aux examens et à des devoirs maison déjà révélés.
  • Ce qui incite les universités et les grandes écoles à repenser le type de devoirs qu’ils demandent à leurs étudiants.

Vent d’inquiétude sur l’enseignement supérieur. Depuis le lancement de ChatGPT en novembre dernier par la start-up californienne OpenAI, les universités et les écoles naviguent en eaux troubles. Car à partir d’une simple question et en quelques minutes, ce robot conversationnel est capable de faire la synthèse d’un livre, de formuler un plan de dissertation, de traduire un texte, de produire un texte efficace… A 20 Minutes, nous l’avons soumis à un test : « Pouvez-vous faire une étude comparative entre La Chartreuse de Parme et Madame Bovary ? ». Le résultat est bluffant, mais le texte manque de citations pour étayer le propos. Nous avons donc fait une nouvelle demande et le robot s’est exécuté.

ChatGPT : notre guide pour créer les meilleurs prompts | Flipboard

L’efficacité de cette intelligence artificielle générative de contenus n’a pas échappé aux étudiants. « Dès janvier, 95 % de nos étudiants connaissaient l’existence de ChatGPT et la majorité d’entre eux l’avait déjà utilisé », relate Stéphane Justeau, professeur et directeur de l’institut de pédagogie avancée à l’Essca, une école de commerce. « C’est une pratique désormais très majoritaire chez les étudiants. On est face à une révolution technologique », confirme Daniel Courivaud, enseignant chercheur à l’école d’ingénieurs Esiee.

Des cas de triche commencent à remonter

Comme on pouvait le craindre, l’utilisation de ChatGPT par les étudiants n’est pas toujours vertueuse. Exemple à l’université de Strasbourg, où une vingtaine d’étudiants qui avaient utilisé le chatbot pour obtenir les réponses à un QCM à distance, se sont fait démasquer et ont dû repasser leur examen en présentiel. Pour les devoirs maison, le risque est aussi grand d’autant que si l’on effectue la même requête plusieurs fois, le robot livre des versions un peu différentes.

Redoubler de vigilance à la correction

Face à ce phénomène, de nombreux établissements ont organisé des groupes de travail. Mais ils tâtonnent encore et peinent à édicter des consignes pour leurs équipes pédagogiques. Interrogé par 20 Minutes, l’entourage de la ministre de l’Enseignement supérieur indique que « la position de Sylvie Retailleau n’est pas d’interdire ce type de logiciel, mais d’accompagner ses usages ». Et que la ministre ne donnera pas de mot d’ordre aux établissements sur la manière d’évaluer les étudiants à l’aune de l’IA. Autonomie oblige.

Plusieurs start-up ont déjà conçu des détecteurs de contenus ChatGP, mais rares sont les établissements du supérieur à s’être déjà équipés. « Par ailleurs, les détecteurs ne sont pas fiables à 100 % », constate Stéphane Justeau. Pour l’heure, les enseignants qui corrigent des devoirs susceptibles d’avoir été faits avec l’aide de ChatGPT, se fient donc à leur seule vigilance. Ils scrutent le changement de style dans un même devoir, l’absence de citations, les sources, les répétitions, l’absence de fautes d’orthographe, les réponses trop plates, la ponctuation particulière, l’absence de profondeur de certaines approches, les contradictions… Des indices pouvant leur laisser penser que le robot a été utilisé.  « L’IA ne donne pas forcément une réponse juste, mais plausible. Les textes qu’elle fournit nécessitent la relecture d’un expert pour être corrigés », souligne Stéphane Justeau. « Lorsqu’on lui soumet une requête en sciences, la forme est bluffante, mais certaines affirmations sont des bêtises », constate aussi Daniel Courivaud.

Changer la nature des devoirs maison

« Mais cette course à la détection est un peu vaine, car ChatGPT a déjà beaucoup évolué ces derniers mois », observe l’enseignant. Conscients qu’ils ne pourront pas combattre l’IA à armes égales, certains établissements estiment que la seule solution vraiment efficace est de revoir les modalités d’évaluation des étudiants. En limitant par exemple les devoirs réalisés à la maison. « On va devoir multiplier les devoirs sur table ou les évaluations orales, quitte à un peu moins enseigner », estime ainsi Daniel Courivaud. Et en cas de travaux à faire à la maison, il semble nécessaire d’en revoir les sujets, souligne Julien Pillot, enseignant-chercheur en économie à l’Inseec, une école de commerce : « Il faut bannir les contrôles de connaissance et les dissertations descriptives au profit d’études de cas ou d’exercices visant à stimuler la réflexion et l’esprit critique. ChatGPT ne peut pas répondre aux exercices qui appellent à trouver des solutions originales, cela laisse encore beaucoup d’options. »

Stéphane Justeau abonde : « Il ne faut plus évaluer les étudiants sur la simple restitution de contenu, mais sur des compétences. L’utilisation d’un concept dans le cadre d’une situation fictive par exemple. » Virginie Tahar, elle aussi, continue à donner des devoirs maison, mais en mettant des garde-fous : « Je demande à mes étudiants de produire des textes créatifs avec des contraintes très formelles. Or, pour l’instant, les réponses de ChatGPT manque de précision avec ce type de directives. Et auparavant, par sécurité, je lance un test pour voir comment le robot réagit à mes consignes d’écriture. »

Donner plus de place à la soutenance des mémoires

Mais c’est sur les mémoires de master que l’inquiétude des enseignants est la plus vive, car si certains abordent des sujets qui n’ont jamais été défrichés, ce n’est pas le cas de tous. Et si ChatGPT n’est pour l’heure, pas capable de produire un mémoire de 100 pages, il peut en fournir certaines parties. « Il faut accorder une plus grande place à la soutenance de mémoire qui permet de poser des questions précises à l’étudiant, lui demander de justifier ses choix de recherches… S’il est incapable d’argumenter, on comprendra vite d’où vient le problème », estime Stéphane Justeau. « Par ailleurs, nous rencontrons l’étudiant plusieurs fois au cours de l’année pour faire le point sur son travail de recherche. S’il n’est pas animé par son sujet, si la finesse d’analyse n’est pas manifeste, on se rendra compte du décalage », complète Virginie Tahar.

Beaucoup d’établissements ont aussi compris qu’il était plus efficace de dompter l’outil, plutôt que de le diaboliser. Sciences po a donc interdit l’utilisation de ChatGPT sans mention explicite dans les contenus produits par ses élèves. L’école a aussi décidé d’intégrer un cours sur l’IA dans tous ces M1 au printemps 2024 et de former les enseignants sur le sujet. Une démarche qu’approuve Stéphane Justeau : « Il faut former les étudiants à l’utilisation du logiciel, aussi bien d’un point de vue technique qu’éthique. Et les faire travailler sur des textes produits par l’IA en leur demandant d’apporter un regard critique sur eux afin de les améliorer. » Dans cette mesure, l’IA pourrait même devenir une composante intéressante de l’enseignement, poussant les étudiants à se surpasser. « Tant que l’on demandera à nos étudiants d’être plus intelligents d’un robot, il n’y aura pas de problème. Après tout, le but de l’Enseignement supérieur n’est-il pas de former des individus à résoudre des problèmes complexes ? », interroge Julien Pillot.