AI活用アピール報告をAIが作っていた可能性

AI活用をアピールした大手コンサルのレポート、ハルシネーションだらけと物議

多根清史

Image:tadamichi/Shutterstock.com

KPMGは昨年10月、AIのビジネス活用を称賛するレポート「Total Experience: Redefining Excellence in the Age of Agentic AI(エージェント型AI時代における卓越性の再定義)」を公開した。同社はデロイト、PwC、EYと並ぶ世界的な監査・税務・アドバイザリーを手がける大手プロフェッショナルファームの一角である。

しかし、AIコンテンツ検出ツールを提供するGPTZeroが調査したところ、このレポートにはAIのハルシネーションが多数含まれており、存在しないAIエージェントや、実際には記載された機能を持たないAIの事例が掲載されていたと報告している。この内容は英Financial Timesも取材・検証している。

GPTZeroは調査報告の中で、このレポートにある引用・脚注45件のうち、正しく実在する出典につながっていたのはわずか5件だったと述べている。

28件は実在文献のタイトルを勝手に言い換えたり、存在しない日付や著者名、タイトルを組み合わせたりしたもので、12件は曖昧すぎて実在するかどうか判断できなかったとのことだ。同社は、AIモデルが偽の参考文献をでっち上げる現象を「バイブ・サイテーション(雰囲気引用)」と名付けている。

さらに脚注だけでなく、本文中の主張の約半数が誤り、あるいは出典の帰属先が間違っているように見えるとも指摘。それらについてGPTZeroは「現実世界に存在する『エージェント型AI』の事例を探すというプロンプトに対し、AI調査ツールが過剰に従った結果である可能性が高い」と説明している。要するに、生成AIにレポート作成を丸投げした可能性があるわけだ。

たとえば、KPMGはエミレーツ航空が「Sara」というモバイルチャットボットを導入し、乗客と会話したりフライト変更を行ったりできると主張していた。しかしSaraは2023年に導入されたモバイルアシスタントに過ぎず、AIチャットボットではなかった。また、乗客の予約内容を変更する権限も備えていなかった。

さらにKPMGは、スイスの多国籍投資銀行UBSが「投資アドバイス、リスク管理、コンプライアンス監視」全体にエージェント型AIを導入したとも記載していた。だがUBSはFinancial Timesに対し、その情報は「事実と異なる」と回答している。

KPMGのような大手企業が発表するレポートは、一般的に信頼性の高い情報源とみなされており、他の研究論文や記事でも頻繁に引用される。そのためGPTZeroは、この間違いだらけのレポートが「情報の井戸を汚染する」可能性があり、AIによる二次的なハルシネーションを引き起こしかねないと警告している。

KPMGの広報担当者はFinancial Timesに対し、同社は「公開コンテンツの正確性と完全性を重視している」とコメントした。その後、同社はこのレポートを取り下げており、現在は「公開に至った経緯を検証している」としている。

関連キーワード: