Anthropic、AIモデル性能を『ポケットモンスター 赤』で評価。「Claude」はジムリーダー3人を撃破

Munenori Taniguchi

@mu_taniguchi 2025/02/25 12:36

Share

• 
• 

生成AIモデル「Claude 」を開発するAnthropicは、最新モデルの「Claude 3.7 Sonnet」の性能評価の一項目として任天堂ゲームボーイの名作『ポケットモンスター 赤』を使ったテスト結果を公表した。

AnthropicはAIモデルに、このゲームの操作方法一式を記述した機能コールを作成・搭載してClaudeに搭載した。これによってClaudeはゲームのメモリーを読み、画面のピクセルを認識して、ボタンを押したり移動キーを押したりしてゲームをプレイできるようになった。

Claude 3.7 Sonnetには、「拡張思考」ができるという特徴がある。わかりやすく言えば、より多くの計算、より多くの時間をかけることで、より難しい課題こなすことを可能にする機能だ。そしてこの機能が『ポケットモンスター 赤』では役に立ったようだ、

Anthropicは、Claudeの旧バージョンであるClaude 3.7 Sonnetでも同ゲームを試していたようだが、そのときは主人公キャラクターがパレットタウン（海外版ポケモンのマサラタウンの名前）から出るに至らなかった。しかし今回の最新バージョンでは、AIが操作するアッシュ（サトシ）がポケモンジムで3人のポケモンリーダーを倒し、バッジを獲得するまでになったという。

なお、Claude 3.7 Sonnetは、3人目のジムリーダーを倒すまでの間に、ゲーム中で3.5万回のアクションを実行していたという。一方で、Anthropicはここまでの結果を出すのに、Claude 3.7 Sonnetがどれほどの時間をかけて、どれほどの計算を行ったのかは明らかにしていない。

ちなみに、ビデオゲームはAIの得意分野になりつつある。過去数か月間だけでも『お絵かきロジック』のような計算パズルゲームから、『ストリートファイター』のような格闘アクションゲームまで、さまざまなタイトルがAIモデルの能力を測る試験に用いられている。

ただ、ゲームもAIもコンピュータープログラムであり、相互に通信することが可能だ。そのことを考えると、認識した画面に対応するアクションを導き出して自キャラを操作することは、いまやAIには、それほど難しいことではなくなりつつあるのかもしれない。