IA vs étudiants : qui rend les meilleures dissertations ?

Spread the love
  • Yum

Le modèle de langage GPT-3, développé par la société Open AI et ouvert aux utilisateurs en juillet dernier, laisse place à des expérimentations très stimulantes. La dernière en date a été menée par le site américain EduRef. Les auteurs ont tenté de comparer les compétences de rédaction de l’intelligence artificielle avec celles d’élèves humains.

Pour cela, un panel de professeurs a été recruté afin de créer des sujets consacrés à l’histoire des États-Unis, au droit, et à l’écriture créative. Ces énoncés ont ensuite été transmis au système GPT-3 ainsi qu’à un groupe d’étudiants récemment diplômés ou actuellement en premier cycle universitaire.

GPT-3 est à la peine en matière d’écriture créative

Les copies anonymisées laissent apparaître quelques surprises et des résultats contrastés. Ainsi, l’IA a obtenu un B moins en histoire et pour sa composition consacrée à la politique et au droit. De leur côté, les étudiants ont obtenu entre B et un C+ en histoire, mais un seul d’entre eux a fait mieux que GPT-3.

La machine a en revanche montré de sérieuses limites dans l’exercice d’écriture créative. Si sa grammaire et sa syntaxe sont jugées impressionnantes, aucun récit fort n’a pu être rédigé selon nos confrères de TheNextWeb. À contrario, certains élèves ont pu faire preuve d’un vrai talent en la matière en obtenant un A, tandis que d’autres avaient un peu plus de difficultés.

En résumé, GPT-3 est en mesure de rechercher des informations et de les ordonner, ce qui marche assez bien avec des matières comme l’histoire ou le droit. Il a bien plus de mal à créer et à synthétiser des pensées et des idées.

EduRef a également insisté sur le fait que l’expérience n’était qu’une étude exploratoire. Les productions de l’IA ont en effet été quelque peu modifiées, notamment en ce qui concerne les longueurs et les répétitions, mais sans toucher à la grammaire ou aux informations qu’elle avait choisi de développer.

Par le passé, d’autres initiatives intéressantes ont été menées avec cette API. Nous vous parlions par exemple de cette IA philosophe qui tente de répondre aux questions existentielles que se pose l’humanité. Un outil développé à partir de GPT-3 se révèle également être un précieux atout pour la curation de contenu.

Leave a Reply

%d bloggers like this: