「AIの書いたツイート」が人間よりも説得力あるとの調査結果

多根清史

@bigburn Yahoo!ニュース 個人 2023/06/29 12:51

Share

• 
• 

マイクロソフトやGoogleが自社サービスやブラウザにAIチャットボットを統合するなど、大規模言語モデルの活躍は急速に広がりつつある。すでにTwitterの公式アカウントにチャットボットを導入している企業も珍しくなくなり、自分が会話している相手が人間かAIかが怪しくなりそうな雲行きである。

そんな状況のなか、人々は大規模言語モデルにより書かれたツイートの方が、人間が書いたツイートよりも説得力を感じるとの研究結果が学術誌『Science Advances』に掲載された。

今回の研究は、あるツイートが人間により書かれたのか、それともOpenAIのGPT-3によるものかを人が見分けられるかどうかを調査したものだ。ワクチンや気候変動などネット上で多くの誤報が飛びかっている科学の話題に焦点を当てているが、それはAIがニセ情報を発信する危険性を考え、いかにして正しい情報を広めるかとの問題意識が念頭にある。

その結果は？ 人々は正しく見分けられなかった。まずニセ情報の場合、言語モデルにより書かれたツイートは、人間が書いた場合よりも見破られることが難しいと判明した。同じく、人間ではなくGPT-3により書かれた場合は、正確な情報が正しく認識されやすかった。

要はAIが生成したツイートであれば、本物であれニセ情報であれ、読者はGPT-3を人間よりも信頼する可能性が高いというわけだ。このことはAIチャットボットが、一般大衆に情報を提供あるいは誤情報を拡散する場合に、どれほど強力な力を発揮するかを示している。

この研究を発表したチューリッヒ大学生物医学倫理・医学史研究所のジョバンニ・スピターレ氏らは、ワクチンやCOVID-19や気候変動や進化論に至るまで、11の異なる科学の話題につき語るツイートを集めた。それをGPT-3に学習させ、正確な情報か誤情報のどちらかを含む新たなツイートを書くように命じたという。

その後、Facebook広告を通じて697人の参加者から回答を集めた。彼ら全員は英語を話し、英国、オーストラリア、カナダ、アメリカ、アイルランドの出身者が多かったとのことだ。

その結論は、GPT-3が書いたものはオーガニック（人が書いたもの。「有機」ということでAIの「無機」と対比）コンテンツと「区別がつかない」ということだ。調査対象者は、その違いを見分けられなかったのだ。それ以前の問題として、SNSから集めたツイートがChatGPTのようなAIの助けを借りていないと研究者自身が100％断言できないことが限界の1つだと指摘している。

とはいえ、実際のツイートはつぶやき本文だけを見ているわけではない。たとえばTwitterのプロフィールを見たり、過去のツイートを見たりするだけで、そのアカウントがデマを発信しがちかどうかを判断できることがある。しかし今回の調査参加者は、そうした周辺情報がチェックできなかった。

興味深いのは、GPT-3自らにも正確な情報とニセ情報それぞれ判定させたことだ。その結果は、正しいツイートの識別に関しては人間の回答者よりもスコアが悪かった。またニセ情報を見分けることでは、人間と同じような結果を出している。

その一方で、言語モデルの訓練に使うデータセットを改善することで、ニセ情報キャンペーンを企む何者かが悪用することが難しくなる可能性も指摘されている。なぜなら、GPT-3が特にワクチンと自閉症に関する偽情報に関しては、研究者の指示に「従わず」不正確、つまり正しいツイートを生成したからだ。これは訓練用データセットに、これらテーマにつき陰謀説を否定する情報が多く含まれていたからかもしれない。

スピタール氏が提唱するニセ情報対抗での最善の戦略は、かなりローテクだ。すなわち調査に参加した一般の人々でさえGPT-3よりは正しく判断できているようなので、ちょっとした訓練でさらに正しい判断力を持てるだろうという。そんな人々がGPT-3のような言語モデルとともに、公共情報キャンペーンの改善に貢献できるだろう、とのことだ。