GPTZero
Écrit en | Python |
---|---|
Environnement | Informatique nuagique |
Type | Détection de contenu généré par intelligence artificielle |
Site web | https://gptzero.me/ |
GPTZero est un logiciel de détection d'intelligence artificielle développé pour identifier les textes générés artificiellement, tels que ceux produits par de grands modèles de langage[1],[2],[3],[4].
Bien que GPTZero soit salué pour ses efforts visant à prévenir la malhonnêteté académique, de nombreux médias critiquent le taux de faux positifs de l'outil, qui peut être particulièrement néfaste dans les milieux universitaires[5].
Histoire
[modifier | modifier le code]GPTZero est développé par Edward Tian, un étudiant de premier cycle de l'Université de Princeton, et lancé en ligne en janvier 2023 en réponse aux préoccupations concernant l'utilisation générée par l'IA dans le plagiat académique[6],[7]. GPTZero déclare en mai 2023 avoir levé plus de 3,5 millions de dollars de financement de démarrage[8],[9].
Au cours de la première semaine de sa sortie, GPTZero connait 30 000 utilisations, ce qui a conduit à un crash. Elle est soutenue par la société d'applications Web Streamlit, qui a alloué davantage de ressources serveur en réponse[10]. En juillet 2024, GPTZero compte 4 millions d'utilisateurs, contre 1 million un an plus tôt[11].
À l'été 2024, GPTZero lève 10 millions de dollars lors d'une levé de fond de série A[12].
En septembre 2024, GPTZero a annoncé un logiciel de suivi de paternité qui permet de « compiler et de partager des données sur leur processus d'écriture telles que leur historique de copier/coller, le nombre d'éditeurs dont ils ont fait appel et le temps d'édition », dans le but de « s'éloigner d'un paradigme du tout ou rien autour de l'écriture de l'IA vers un paradigme plus nuancé[12]. »
Mécanisme
[modifier | modifier le code]GPTZero utilise des qualités qu'il appelle perplexité et sporadicité pour tenter de déterminer si un passage a été écrit par une IA[13]. Selon l'entreprise, la perplexité réside dans le caractère aléatoire du texte de la phrase et dans le fait que la manière dont la phrase est construite soit inhabituelle ou « surprenante » pour l'application. Elle s'appuie sur des modèles linguistiques, et plus il y a de modèles, plus il y a de chances qu'une personne n'ait pas écrit le texte[14]. En revanche, la sporadicité compare les phrases entre elles, déterminant leur similarité. Le texte humain est plus discontinu, ce qui signifie que les humains ont tendance à écrire avec plus de variations de phrases que l'IA[7].
Cas d'utilisation
[modifier | modifier le code]La communauté universitaire a tenté d'utiliser GPTZero pour répondre aux préoccupations concernant le contenu généré par l'IA à des fins de plagiat[15],[14],[13]. Les établissements d'enseignement, dont l'Université de Princeton, ont discuté de l'utilisation de GPTZero pour lutter contre le contenu généré par l'IA dans les milieux universitaires, avec des opinions mitigées[7],[16]. En octobre 2023, GPTZero s'est associé à la Fédération américaine des enseignants[17].
D'ici 2024, Tian signale que GPTZero « a également été largement adopté par les responsables du recrutement, avec le recrutement [et] l'analyse des lettres de motivation »[12].
Efficacité
[modifier | modifier le code]Dans un article de mars 2023 intitulé « Le texte généré par l'IA peut-il être détecté de manière fiable ? », les informaticiens Vinu Sankar Sadasivan, Aounon Kumar, Sriram Balasubramanian, Wenxiao Wang et Soheil Feizi de l'Université du Maryland démontrent empiriquement et théoriquement que plusieurs détecteurs de texte IA ne sont pas fiables dans des scénarios pratiques[18],[19].
Le site Internet Futurism a testé l'outil et a déclaré que même si les « résultats sont impressionnants », compte tenu de son taux d'erreur, les enseignants qui s'appuient sur l'outil finiraient par « accuser à tort près de 20 % des "étudiants innocents" de mauvaise conduite académique »[20].
Le Washington Post a noté en août 2023 que GPTZero souffre de faux positifs, soulignant que « même un faible taux d'erreur de « faux positif » signifie que certains étudiants pourraient être accusés à tort de "mauvaise conduite académique" »[5].
Le site d'information Ars Technica a commenté que les humains peuvent toujours écrire des phrases de manière très régulière, ce qui conduit à des faux positifs. L'auteur, Benj Edwards, poursuit en affirmant que le score de perplexité ne s'intéresse qu'à ce qui est « surprenant » pour l'IA, ce qui conduit à des cas où des textes très courants, tels que la Constitution américaine, sont étiquetés comme probablement générés par l'IA[21].
Notes et références
[modifier | modifier le code]- (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « GPTZero » (voir la liste des auteurs).
- (en) « GPTZERO: A New Tool to Detect AI-Generated Content in ChatGPT », The Washington Post, (lire en ligne [archive du ])
- « How apps like GPTZero detect content written by A.I. », CNBC, (consulté le )
- (en) « GPTZero App Seeks to Thwart AI Plagiarism in Schools, Online Media », Bloomberg.com, (lire en ligne, consulté le )
- (en-US) « American Federation of Teachers partners with AI identification platform, GPTZero », CBS News, (consulté le )
- Geoffrey Fowler, « What to do when you're accused of AI cheating », The Washington Post, (lire en ligne, consulté le )
- « How a 23-year-old college student built one of the leading AI detection tools », Business Insider (consulté le )
- « Edward Tian's GPTZERO Software Aims to Detect AI-Generated Plagiarism », The Daily Princetonian
- « This AI detection tool raised $3.5 million to check the internet for computer-generated work », Fast Company,
- (en) Shrivastava, « With Seed Funding Secured, AI Detection Tool GPTZero Launches New Browser Plugin », Forbes (consulté le )
- « GPTZERO: A New AI Detector Aims to Combat ChatGPT Plagiarism », NPR,
- (en) « AI Detectors Falsely Accuse Students of Cheating—With Big Consequences », Bloomberg.com, (lire en ligne, consulté le )
- (en) « How Can You Detect AI-Generated Text? This Startup Has Some Compelling Ideas » [archive du ], (consulté le )
- « What is GPTZERO? The ChatGPT Detection Tool Explained », Tech Learning,
- « AI Detector for Educators: What is GPTZERO? », Jumpstart Magazine,
- Tribune.com.pk, « GPTZero: A ChatGPT Detection Tool », The Express Tribune,
- « GPTZero to help teachers deal with ChatGPT-generated student essays », The Indian Express, (consulté le )
- (en) « US Teachers Union Bans ChatGPT and Deploys GPTZero To Detect Cheating », MobileAppAaily (consulté le )
- (en-US) Kate Knibbs, « Researchers Tested AI Watermarks—and Broke All of Them », Wired, (ISSN 1059-1028, lire en ligne, consulté le )
- « No reliable way to detect AI-generated text, boffins sigh », The Register, (consulté le )
- « There's a Problem With That App That Detects GPT-Written Text: It's Not Very Accurate », Futurism, (consulté le )
- (en-US) Edwards, « Why AI detectors think the US Constitution was written by AI », Ars Technica, (consulté le )
Articles connexes
[modifier | modifier le code]- Détection de contenu généré par intelligence artificielle
- Éthique de l'intelligence artificielle
- Traitement automatique des langues
- ChatGPT
- Génération automatique de texte
- Test de Turing
Liens externes
[modifier | modifier le code]