他社のLLMと自社の音声合成・顔アニメーション技術を組み合わせ
ソニー、PlayStationゲームにAIキャラクターを導入する実験中か
Share
ソニーが自社のゲームキャラクターにAIを搭載したプロトタイプを開発していることを裏付ける社内ビデオが流出したと報じられている。
これは匿名の情報筋が、The Vergeに提供した「PlayStationグループの内部ビデオ」とのこと。同誌の記事が公開された後、SIE（ソニー・インタラクティブエンタテインメント）を顧客とする著作権管理会社Musoが著作権侵害を申し立てたことを受け、YouTubeから削除されている。
この技術デモは、『Horizon Forbidden West』の主人公アロイとリアルタイムで会話する様子を示している。ナレーションを担当しているのは、SIEのソフトウェアエンジニアリング部門ディレクターであり、PlayStation Studios Advanced Technology Groupでビデオゲーム技術、AI、コンピュータービジョン、顔認識技術を担当しているSharwin Raghoebardajal氏だ。
デモ環境および実際のゲーム本編中で、アロイはAIによる合成音声と顔の動きつきでプレイヤーからの質問に答えていたという。Raghoebardajal氏は、これはソニー社内で技術をデモするためにゲリラゲームズと共同開発したプロトタイプに過ぎないことを明らかにしたと報じられている。
この技術デモでは、音声認識にはOpenAIのwhisper、会話と意思決定にはGPT-4とLlama 3を採用。そして音声生成にはソニー独自開発のEmotional Voice Synthesis（EVS）を、音声から顔の動きへの変換には同じく自社のMockingbird技術が使われているとのことだ。
デモはPC上で実行されているが、「わずかなオーバーヘッド」で技術の一部をPS5上で直接動かす実験も行っているという。1年前に社内で初めて公開され、11月に東京で開催されたSTEF（ソニーグループ内で毎年開催されている社内技術交換会）でより高度なバージョンを披露したと伝えられている。
こうした取り組みは、ソニーに限られたものではない。昨年NVIDIAもゲームキャラクターと会話できる技術「Ace（Avatar Cloud Engine）」のデモを数回にわたって公開しており、GDC 2024とGTC 2024ではInworld AIと協力して、プレイヤーがNPCと設定された性格や知識、背景に基づき対話ができるプレイアブルな『Covert Protocol』を公開していた。
またマイクロソフトも同じくInworld AIと提携し、Xboxゲーム開発にキャラクターやストーリー、会話を生成できるツールを導入する計画を発表済みだ。ほか開発者がプロトタイピングやアイディア出しに使うため、ゲームプレイを生成できるAIモデル「Muse」も作成している。
ゲーム業界で大規模なレイオフが相次いでいるなか、開発者やスタジオの間では、AIがゲーム制作にどのような影響を与えるかについて懸念が寄せられている。GDC 2024での調査に参加した約3000人のほぼ半数が「職場で生成AIツールを使用中」、31%が個人的に使っていると回答していた。
- Source: The Verge
