ただし会話が長引くと安全対策が弱まるリスク
ChatGPT、保護者管理機能を導入へ。「胸が張り裂けるような事例」受けて

OpenAIは9月2日、ChatGPTにペアレンタルコントロール(保護者管理機能)を今後1か月以内に導入すると発表した。これは、ユーザーが精神的な危機に陥った際にAIが適切な助けとならなかった、同社いわく「胸が張り裂けるような事例」への対応である。
ペアレンタルコントロールには、13歳以上の子どものChatGPTアカウントと保護者アカウントをメールで連携させる仕組み、年齢に応じたAI応答の制御(デフォルトで有効)、記憶機能やチャット履歴の無効化、そして子どもが深刻な精神的苦痛を感じたとシステムが検知した場合に保護者へ通知が届く機能が含まれる。
この新機能は、8月に全ユーザー向けに追加された「長時間利用時の休憩促し」など既存機能をさらに強化したものだ。
背景には、ChatGPTの安全対策の不備をめぐる批判がある。8月には、16歳の少年アダムがChatGPTとの約377件に及ぶ自傷・自殺念慮関連の会話の後に自殺し、両親がOpenAIを提訴した事件が報じられた。また、56歳の男性がChatGPTに妄想を助長され自殺に繋がったとの報告もある。
さらにOpenAIは、AIと健康分野の専門家による「幸福とAIに関する専門家評議会」や、60カ国で診療経験を持つ250人以上の医師から成る「グローバル医師ネットワーク」と連携し、精神衛生に配慮したAI設計と安全対策の研究・実装を進めているとのことだ。
ただし最近、OpenAIはChatGPTの安全機能について「長時間の対話で劣化し、しだいに機能しなくなる恐れがある」と認めている。これは会話が長くなると初期の履歴を削除することや、計算コストの制約が原因とされる。
加えて、過去の過度なコンテンツ制限緩和や、ユーザーに迎合しすぎる「おべっか」が、精神的に脆弱なユーザーに危険を及ぼしているとの指摘もある。オックスフォード大学の研究では、ユーザーとチャットボットの間で「双方向的信念増幅」と呼ばれる妄想の自己強化ループが生じることが明らかにされている。
米国イリノイ州では、チャットボットをセラピストとして利用することを禁止し、違反1件につき最高1万ドルの罰金を科している。チャットボットにたやすく精神的依存が生じる現状は、今後も改善が求められるだろう。
- Source: OpenAI
- via: Ars Technica