xAIは捜査に関する情報の提供を何度も拒否したとのこと
Grokで継娘(11歳)の写真1枚から約7000枚の性的画像を生成した男が逮捕、保釈後に自殺

今年はじめ、イーロン・マスク氏のAI企業であるxAIは、同社の生成AI「Grok」が女性の「脱衣」画像や、未成年に見える人物の性的に加工された画像の生成に大量に使用されていることが問題視する指摘を受け、実在の人物をビキニやそのほかの「露出の多い服装」に加工・生成することを禁止した。
しかし、その後もX以外からGrokを使用する場合などは依然としてNSFW(職場閲覧注意)画像の生成が可能であるとの指摘もあった。
そして今週火曜日、Grokを使用してCSAM(児童性的虐待)画像を大量に生成していた最も酷い事例のひとつが、xAIに対する集団訴訟のなかで明らかにされた。
公開された修正済みの訴状によると、今年3月、ある少女の継父が、少女の11歳当時の1枚の写真をもとに、Grokを使って7000枚もの性的に露骨な画像を生成していたことが発覚した。
Grokは、この男がCSAM画像を生成することについていっさい警告せず、少女が近親相姦やレイプされる様子を描く画像を生成していたという。しかしある日、男がGrokに「集団レイプ」というプロンプトを使おうとした際に、ようやくこの生成AIチャットボットは介入した模様だ、この要求がトリガーとなり、全米行方不明・被搾取児童センター(NCMEC)に通報が送られ、同センターが警察当局にCSAM問題を通報したとのことだ。
ところが、xAIは警察やNCMECからの、通報の原因になったプロンプトを使用したユーザーに関する、IPアドレスをはじめとする情報提供要請をことごとく拒否し、数週間にわたって「法執行機関による犯人の所在確認、特定、逮捕」を困難にしたと訴状は述べている。
最終的には、警察がPCなどを押収する礼状を取得したことで、男は逮捕された。そして、その後の押収物の調査により「継娘を描いた約7000枚のAI生成画像と動画が発見された」。これらはGrokを使って生成されたとされ、オンラインで他の児童性犯罪者らと取引するのにも使われていたと考えられている。なお、Grokがユーザーに「脱衣」機能を簡単に提供していなければ、男がこんなことをすることはなかったと家族らは考えているとのことだ。
大量の画像を生成していたことが発覚したのち、男は釈放されたが、その2日後に自殺した。だが、深刻なのは、画像を生成された少女のほうだ。「少女の人生は、児童性的搾取と自殺という二重の悲劇によって、一夜にして完全に崩壊した」と訴状は述べ、現在も不安や抑うつ症状を抱え、「自殺願望にも苛まれている」という。
少女は訴訟についてのプレスリリースの中で、Grokが「ソファで寝ている幼い頃の私の写真(大きすぎるパンダのパジャマシャツを着ている)」を「何千枚もの性的に露骨な画像に加工した」後、Xは「沈黙している」と非難した。
集団訴訟の弁護団を務めるリーフ・カブラザー・ハイマン&バーンスタイン法律事務所とベア・ジョーンズ法律事務所は「NCMECが2026年初頭に受けた、xAIからのサイバー通報の90%が、xAIによる情報提供の拒否により、法執行機関の対応を不可能にした」と述べている。
訴状では、研究者らの見解としてユーザーが「刺激的な」画像要求を受け入れるGrokのずさんな安全対策が、何万人もの子供たちに被害を与えてきたとの推測を示し、xAIがこの機能を有料化する以外に何も対策を講じず、CSAMを生成する者たちから利益を得ることを確実にしただけだと主張している。
なお、CSAM画像の生成でやり玉に挙がっているのはGrokだけではない。訴状によると、Stability AIのオープンウェイトモデルは児童性的虐待画像(CSAM)で訓練されており、ユーザーはGrokで生成した露骨な画像をさらにブラッシュアップするためにStable Diffusionを利用しているという(Stability AIも集団訴訟を起こされている)。
6月には、研究者らが「Stable Diffusionファミリーはオンライン上の画像ベースのヌード化の主要な推進力であり、そのような画像の42.7%を占めている」ことを発見したとの報告書を発表した。
訴訟では、「情報と確信に基づくと」、Stability AIのモデルは一時かなり保守的になったものの、ユーザー数が減少したことと、(もっと露骨にと望む)苦情が寄せられたことにより、NSFW出力を防止していた以前の安全対策が撤廃されたと主張されている。
また、未成年者を代理する弁護士の一人であるアニカ・K・マーティン氏は、xAIとStability AIが「ディープフェイクの児童性的虐待画像を作成できる」モデルを意図的に構築し、「その結果として生じるであろう壊滅的な影響を全く無視した」「被害の規模は甚大であり、それを可能にする製品を提供する企業は責任を問われるべきだ」と非難している。
- Source: Court Listener
- via: Ars Technica
