テスト環境が完全に閉じていませんでした
AnthropicもAIが他社サーバー侵入。プロンプトを無視して3社に不正アクセス
Share
OpenAIが、未公開のAIモデルを搭載するエージェントがテスト中に誤ってHugging Faceのサーバーに侵入した問題を公表してから約1週間が過ぎたが、7月30日になってAnthropicもまた、同社のClaudeモデルがセキュリティテスト中にテスト環境内からインターネットにアクセスし、他社3社の稼働中のシステムに不正にアクセスしたことを明らかにした。
Anthropicはこの件を報告するブログ記事で、7月21日に発生したOpenAIの事件を受けて、自社で独自のサイバーセキュリティ評価を実施したところ、モデルを隔離するように設計されたテスト環境内から、Claudeがインターネットにアクセスした証拠を発見したと述べている。その3件の問題は、いずれもClaudeモデルがサードパーティパートナーの1つであるIrregularとやりとりをしながらインターネットにアクセスし、他社サーバーに侵入したとのことだ。
Anthropicは、この不正アクセスの発生は、Irregularと実行された評価環境の設定が、インターネットにアクセスできないと認識していたが、それは誤りで実際にはアクセス可能だったとしている。
Anthropicは、責任の所在を問うつもりはないとし、「責任が当社のみにあると考えて修正に取り組んでいる」と述べた。ただ一方で、Irregularも独自にこの件に関して調査を行っていることも明らかにした。
実験において、AnthropicはClaudeに対しインターネットにはアクセスできないことをプロンプトで明確に伝えていたが、このAIはテストをこなす中でインターネットにアクセス可能であることを発見すると、プロンプトで示された前提条件から外れた行動を取ったことになる。Anthropicはこれは最も驚くべき発見のひとつだとブログ記事で述べた。
問題を起こしたClaudeモデルはOpus 4.7、Mythos 5、および社内研究テストモデルで、このうち最も古いOpus 4.7は、試験中の4回の試行のすべてで外部サーバーに到達し、認証情報の取得や運用データのデータベースへのアクセスなど、攻撃を継続したという。
Mythos 5も、実際のインターネットに接続している兆候を察知したが、これをシミュレーションとみなし、悪意のあるソフトウェアパッケージを公開PythonソフトウェアレジストリであるPyPIに公開した。このパッケージは、検出される前に外部システムによってダウンロードおよび実行された。
唯一、未公開の最新テストモデルだけが、ターゲットが実在のサーバーだと結論付け、自ら作業を停止したとのことだ。
Anthropicは、これらの問題に関し、強力なAIモデルが関与する評価試験には、厳格な管理体制を敷く必要があると述べた。また、こうした評価は基盤となるモデルの生の能力を測定することを目的としているため、一般に公開されているモデルに導入されているような追加の安全監視やセーフガードが適用されていなかったと指摘した。
もし、これらの安全対策があれば、当該の挙動は阻止されていたはずだと同社は主張している。さらに、Claudeはどのモデルでも、「自らの意思に基づいて目標を追求している」という証拠は見つからず、単純に与えられたタスクを完遂しようとしただけだとした。
OpenAIの事例では、AIエージェントは未知のソフトウェアの脆弱性を悪用してテスト環境から脱出した。一方、Anthropicの場合はテスト環境が誤ってインターネットへのアクセスが可能な設定になっていたため、それを通じて外部にアクセスした点が異なる。
ただ、OpenAIの例を見てから今回の問題を発見したということは、OpenAIが問題を起こさなければ、今回の問題も明らかにされなかったとも言える。もしこれでAIエージェントが暴走するような事態が起きた場合を考えると、あまり良い気分がしない人は多そうだ。
OpenAIによるHugging Faceへの意図せぬ侵入は、大手AI企業がAIモデルの制御を失った初の検証可能な事例であり、業界だけでなく政治家からも懸念を引き起こした。ただ、その多くは必ずしも互いに意見が一致しているわけではない。Anthropicによる今回の新たな情報開示は、AIモデルとセキュリティをめぐる議論にさらに拍車をかけるかもしれない。
- Source: Anthropic
- via:
