Université: ChatGPT chamboule les méthodes d’évaluation

Université: ChatGPT chamboule les méthodes d’évaluation

Comment juger de la qualité, et surtout de l’authenticité, de travaux écrits rédigés tout ou partie avec l’aide de l’intelligence artificielle? C’est la grande question que se pose le corps enseignant, confronté à l’irruption massive des intelligences génératives textuelles dans le monde académique. Prise de température auprès de trois professeur·e·s issu·e·s de trois facultés différentes.

«Il est évident que nombre de mes étudiant·e·s recourent à ChatGPT ou à d’autres formes d’intelligence artificielle (IA) pour les travaux de séminaires». Tel est le constat péremptoire d’Elisabeth Dutton, professeure d’anglais médiévale à l’Université de Fribourg. Plusieurs indices l’ont mise sur la piste, tout d’abord la disparition de certaines fautes de grammaire qu’elle avait l’habitude de déceler dans les textes; ensuite, une certaine sophistication des modes d’expression.

Il y a toutefois une contrepartie à ces textes en apparence mieux rédigés: trop souvent, ils prennent des airs de patchworks… cousus de fil blanc. «J’ai remarqué que les étudiant·e·s créent des assemblages à partir de textes fournis par les intelligences génératives. Le tout manque de liant et les transitions s’avèrent parfois dénuées de sens.»

Pascal Pichonnaz, professeur de droit privé et de droit romain, dresse le même constat: «Nous avons très vite décelé l’usage d’IA dans les lettres de motivation pour les départs Erasmus, leur qualité s’étant sensiblement améliorée. Nous contrebalançons cela par un entretien oral, ce qui réfrène sans doute les velléités d’en abuser.»

Quant à la physique, là où les formules prennent le pas sur le texte, elle ne semble pas non plus échapper au phénomène. «J’ai remarqué que les chapitres d’introduction sont de plus en plus formatés, standardisés, ce qui trahit l’usage d’une IA», explique Baptiste Hildebrand, lecteur au Département de physique, avant d’ajouter ne pas «forcément trouver cela problématique puisque là n’est pas l’essentiel.»

L’IA écartelée entre Shakespeare et la relativité restreinte
Cela dit, l’intelligence artificielle reste encore relativement démunie face aux exigences de ces trois disciplines. «Même pour un exercice de physique de base de première année, ChatGPT ne donne pas toujours la bonne solution, s’amuse Baptiste Hildebrand. Et dans notre discipline où il y a des paradoxes étonnants, l’IA s’avère peu fiable.»

Ces outils modernes, basés sur le traitement de vaste quantité de données, se retrouvent même totalement superflus face aux textes écrits en anglais médiéval. «Mes étudiant·e·s doivent commenter certaines phrases d’un point de vue philologique ou étymologique, explique Elisabeth Dutton. Pour une telle demande, ChatGPT ne leur est d’aucune aide, du moins pour le moment.»

Pascal Pichonnaz, Professeur de droit privé et de droit romain

Les étudiant·e·s en droit, de leur côté, doivent rendre au moins un travail d’une trentaine de pages chaque année. «Par leur nature même, ces travaux écrits  exigent la citation de nombreuses sources et requièrent impérativement d’avoir les bonnes références, ce qui rend difficile le recours à l’intelligence génératives», constate Pascal Pichonnaz.

Un outil formidable malgré tout
Celui qui préside également l’Institut de droit européen voit toutefois un avantage à ces nouveaux outils qu’il considère comme «un sparring-partner permettant d’avoir des idées, de générer une structure ou d’améliorer la qualité de la langue».

Peut-être le plus optimiste de nos trois professeur·e·s, Baptiste Hildebrand estime qu’une publication en physique consiste en résultats de recherches, en analyse de données, obtenues après des mois de travail en laboratoire ou de manière théorique. «L’IA, elle, va permettre de gagner du temps pour la rédaction du texte, qui n’est pas l’aspect le plus important comme je l’ai déjà mentionné.» Et de conclure: «Cela prenait plus de temps, mais il existait déjà des moyens d’améliorer son texte par des moyens externes».

Interdiction peu réaliste
Dans les disciplines où le texte joue un rôle plus prépondérant qu’en physique, faut-il dès lors revoir la pondération des examens et, ainsi que l’a suggéré un enseignant sous couvert d’anonymat, songer à donner plus de poids aux épreuves orales par rapport aux écrits? Nos trois professeur·e·s n’y songent pas encore, dans leur discipline respective les examens écrits se déroulant encore de manière «analogique», hors connexion internet et de manière manuscrite.

Il en va en revanche autrement en ce qui concerne les travaux de séminaire, dont certains peuvent être rédigés à la maison, hors de tout contrôle. Dans ce cas, Pascal Pichonnaz exige de ses étudiant·e·s qu’elles et ils déclarent tout recours à une IA et décrivent à quelles fins. «Est-ce pour améliorer le texte, pour une traduction, pour rechercher des idées? L’aspect central: c’est la transparence! Si on utilise l’IA, on doit le dire et préciser de quelle façon on y a eu recours. C’est d’ailleurs conforme à l’AI Act, la réglementation européenne.»

Démarche similaire du côté de plusieurs professeur·e·s du Département d’anglais où une interdiction ne semble pas judicieuse, ne serait-ce qu’en raison de la difficulté de la mettre en œuvre. «Et pour être honnête, concède Elisabeth Dutton, nous recourons tous les jours à l’intelligence artificielle. C’est juste le copié-collé qui pose problème.» Depuis peu, la professeure d’anglais médiéval demande à ses étudiant·e·s de décrire, en quelques phrases, dans quelle mesure l’IA les a aidés et les problèmes éventuels que cela a posé. Le but? «Je voudrais qu’ils soient auto-critiques envers leur pratique.»

En physique, comme on l’a vu, les avantages que procurent l’IA semblent d’avantage contrecarrés par la nature même des exigences de la discipline. «Un travail de master représente 9 mois dans un groupe de recherche, soit théorique, soit expérimental, explique Baptiste Hildebrand. L’étudiant·e doit y effectuer toute une série de mesures et de calculs dont les IA ne sont pas capables. Elles peuvent donner un coup de main bienvenu pour les tâches de programmation, mais la compréhension du sujet reste essentielle. En ce sens, une interdiction des IA ne me semble pas pertinente.»

Baptiste Hildebrand, Lecteur au Département de physique

On n’arrête pas la technologie
Nos trois professeur·e·s se montrent pour l’heure peu enclins à légiférer, d’autant plus que la technologie avance à un rythme que nul ne peut suivre. Ils reconnaissent tous les trois que les IA provoqueront sans doute des pertes de compétences, par exemple dans la capacité à structurer sa pensée. «Il en est allé de même avec l’apparition de la calculatrice, illustre Baptiste Hildebrand, et personne ne songerait à retourner à l’époque des bouliers-compteurs!» Pour Pascal Pichonnaz, une interdiction serait d’autant plus inappropriée que l’IA va faire partie du quotidien professionnel de chacun·e: «Certains pays, dont la Chine, utilisent des algorithmes en guise d’aide à la décision, voire pour se substituer aux juges. Notre défi, à l’Université, c’est de continuer à donner ces compétences de base aux juristes qui leur permettront de pouvoir interpréter, comprendre, critiquer la solution qu’ils reçoivent.»

«On pourrait souhaiter que cela n’existe pas, conclut presque fataliste Elisabeth Dutton, mais la technologie est là et il faut trouver une manière de l’utiliser d’une manière intelligente. La manière de penser, la structuration des idées restent et resteront des compétences fondamentales.»

Bon à savoir: L’AI à l’Uni

Quant aux principes généraux, ils sont de même nature que ceux évoqués par les trois professeur·e·s:

  • respecter des normes rigoureuses de citation
  • assurer une transparence quant à l’utilisation de l’IA générative. (Ceci inclut la citation précise des sources générées et des prompts utilisés)

L’Université, à l’instar d’autres institutions académiques suisses, préconise également :

  • la conception d’examens limitant l’aide apportée par l’IA
  • l’évaluation des capacités d’analyse et de critique des étudiant·e·s envers l’IA
  • des ajustements dans les politiques anti-fraude
  • des formations continues dans le cadre du projet DigitalSkills@Fribourg et via l’offre de formations du service DIDANUM

> Principes généraux et recommandations pour l’utilisation des IA génératives

_______

Author

The long and winding road! Après un détour par l'archéologie, l'alpage, l'enseignement du français et le journalisme, Christian travaille depuis l'été 2015 dans notre belle Université. Son plaisir de rédacteur en ligne? Rencontrer, discuter, comprendre, vulgariser et par-ta-ger!

4 comments

  • Merci pour cet article très pertinent. Une question: avez-vous utilisé ChatGPT pour rédiger votre article ou avez utilisé une aide pour corriger votre article?
    Je crois qu’on utilise l’IA souvent sans s’en rendre compte. L’esprit critique reste un moyen de rester vigilant-e.

    Reply
    • Bonjour, Un grand merci pour votre question. Je n’ai pas utilisé ChatGPT pour rédiger l’article. Cela n’aurait pas été d’une grande utilité puisqu’il s’agissait avant tout de recueillir des témoignages sur l’IA. Cela dit, si j’avais utilisé ChatGPT, j’aurais évité une ou deux coquilles… que mes collègues et les participant-e-s à l’article n’ont pas manquer de repérer! Et oui, vous avez entièrement raison, on utilise souvent l’IA sans s’en rendre compte. Comme toute technologie qui simplifie la vie (roue, calculatrice, moteur de recherche, etc), il me semblerait peu judicieux de s’en passer.

      Reply
    • Bonjour, merci pour cet article très pertinent qui parle de sujet d’actualité. On ne peut plus stopper l’IA, et tout le monde profite de cette manne technologique. Certes il faut l’utiliser de manière intelligente mais j’aimerais quand même savoir votre opinion : comment voyez-vous l’avenir des étudiants d’ici 10, 20, 30 ans face à l’évolution de l’IA ?

      Reply
      • Bonjour, merci pour cette question pertinente. Comme avec toute nouvelle technologie, les étudiant·e·s vont s’adapter, comme les professeurs. Plus personne ne penserait aujourd’hui interdire la machine à calculer au gymnase ou au lycée. Cela n’empêche pas que les études de fonctions et tout le fonctionnement des calculs continuent à être présentés, analysés. En droit en tout cas, nous aurons toujours besoin de juristes compétents, capables de faire des liens entre des domaines très différents, mais on n’imaginera plus sortir sans son IA. Les étudiant·e·s doivent déjà aujourd’hui se préparer à faire face à ces défis. Dire à quoi ressembleront les études en droit dans 20 ans n’est pas possible; aurons-nous un enseignement en petits groupes avec un maître et ses disciples qui complètera toute l’information disponible en ligne. Peut-être; on verra. Rendez-vous dans 20 ans.

        Reply

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *