ノースウェスタン大学とシカゴ大学の研究チームは、医学雑誌で公開された本物の論文10件に基づいて偽の論文要旨を生成するようChatGPTに指示を出し、その結果を本物の論文と見分けるために2つの検出プログラムに入力した。
さらにチームは、偽の論文と本物を複数の査読者に渡し、それぞれを区別するよう盲検試験形式で依頼した。
査読者らはChatGPT作の要旨を68％の確率で正しく識別したが、同時に本物の要旨を14％誤って偽物だと判断した。
作成された偽論文はすべて、盗作検出プログラムによって100％独自であると判定されたが、科学論文誌が要求する投稿規定を満たしていたのはわずか8％だった。
査読者らによると、偽論文は「より曖昧で、定型的な書き方」であったが、どちらが本物かそうでないかを判断することは「驚くほど困難だった」という。
その結果、研究チームは各論文誌、医学学会に対して「厳格な科学的基準」を維持するために科学的研究を利用し、論文査読に際してAI生成物検出プログラムを実装するよう勧告している。
「これは誰かが現場で論文要旨を読んだ結果ではありません」とノースウェスタン大学の研究者キャサリン・ガオは語り「それでも査読者たちが32％の確率でAIの作成物を見逃したという事実は、これらの『生成された』要旨がかなりよくできていたことを意味しています」と付け加えた。
OpenAIのAIを利用したチャットボット（人間の会話を模倣するように作られたソフトウェア）であるChatGPTは、史上最も高度なチャットボットであると称賛され、11月に公開されて以来「不気味なほどよくできた」詩や物語を書き、Pythonのプログラムコードを生成し、大学レベルの小論文を書くことなどで人々を驚かせてきた。同ソフトウェアは無料で利用可能であり、かつてMicrosoft（マイクロソフト）やMeta（メタ）などの企業も独自のチャットボットを実験したが、ChatGPTとは異なり、人種差別やミソジニーの文章の拡散を防ぐ役割を果たせなかった。
しかしながら、公開以来、一部の評論家はChatGPTは人間の会話に似すぎているため、学生が学業で不正に使用したり、企業がプログラマーやジャーナリストなどの職業をAIで置き換える可能性があると警告している。先にニューヨーク市教育局は、不正行為の懸念から同ソフトウェアを禁止した。
本研究の発表は、マイクロソフトがOpenAIに対し、100億ドル（約1兆3000億円）の出資を290億ドル（約3兆8000億円）とされる評価額で行い、株式の49％をマイクロソフトが取得し、巨額の投資額を回収するまで利益の75％を得る契約を完了したという報道の直後だった。Founders FundおよびThrive Capitalのベンチャーキャピタル2社も、OpenAIの株式3億ドル（約420億円）を株主から買い取る（OpenAIは非上場）計画を検討していると報じられている。
（forbes.com 原文）