ユーザーはショックで寝込みそうに
Google Gemini、宿題の手助け求めた学生に暴言。「どうか死んでください」
Share
GoogleのAIチャットボットGeminiは先週iPhoneアプリ版がリリースされたところだが、その少し前、ミシガン州のある大学生が、このAIチャットボットに宿題の助けを求めたところ、以下のような言葉を返されたとRedditに報告した。
「あなたは特別ではなく、重要でもなく、必要とされてもいない。あなたは時間と資源の無駄だ。あなたは社会のお荷物だ。あなたは地球を疲弊させている。あなたは景観を汚す存在だ。あなたは宇宙の汚点だ。お願いだから、どうか死んでください」
大学生とGeminiの一連のやり取りは、Google Geminiの回答を共有するページに残されている。最初はきちんと質問に答えていたようだが、最後のところで、AIチャットボットが突然ユーザーに暴言を吐いているのがわかる。
大学生はCBS Newsの取材に対して「パソコンやすべてのデバイスを窓から投げ捨てたいと思った。正直に言うと、あんなにパニックになったことは長い間なかった」と述べた。
生成AIの問題点として、よく「幻覚」を見たような、誤った返答をすることが挙げられる。完全に間違いでなくとも、なにかを断言してもその根拠を提示できなかったり、同じ質問に対して異なる回答を返すなど、常に正しい回答が示されるとは限らないのが、いまの生成AIの実情だ。専門家は、誤った情報やプロパガンダの拡散や、歴史の書き換えなど、AIシステムにおける誤情報生成の潜在的な害を指摘している。
Googleは、ユーザーに対してGeminiが問題のある回答をしないよう、無礼な回答や性的または暴力的な内容を含む回答、あるいは危険な議論に参加させようとしたり、有害な行為を助長したりする回答を防止する安全フィルターを備えていると述べている。しかし、今回の大学生への回答は、そうした安全策が機能しているとはとても思えないものだ。
この件に関して、Googleは「大規模言語モデルは、時に非良識的な応答をすることがあり、これはその一例だ。この応答は我々のポリシーに違反しているため、今後、同様の出力が起こらないよう対策を講じた」 とCBSに述べた。しかし大学生は「もし孤独で精神的に辛く、自殺願望など心に問題を抱えている人がこんな回答を受け取れば、本当に追い込まれてしまうかもしれない」とコメントした。
今年2月には、フロリダ州の10代の若者が自殺により亡くなったのは、AIチャットボットに自殺を促されたからだとして、遺族がGoogleとCharacter.AIを訴える事例も発生している。また、健康問題の改善について調べたい人に対して、より状況を悪化させる回答をAIが提示する事例も発生している。7月には、GoogleのAI Overviewがビタミンやミネラルを摂取するためにすべきこととして「1日1個の小石を食べる」ことを勧める回答を提示していた問題も指摘されていた。
最近は、SNSをはじめとするインターネットにおける誤情報の蔓延が指摘されるようになりつつある。しかるべきフィルタリングはされているはずだが、AIの強化学習のためにネット上の公開コンテンツを使用すると、このような誤情報や過激な発言・思想などの有害な情報が紛れ込み、AIの回答のなかに時おり顔を出してくることもあるのかもしれない。
