前身「GPT-3」の約3倍
Google、「ジョークを説明するAI」を訓練中。パラメータ“5400億”の最大級言語モデル
Share
人工知能は日常生活から縁遠くも思われるが、最も現実的に感じられる分野の1つが自然言語処理（NLP）、つまり人間の言葉を解析してそれに応答するよう学習する機械学習システムだろう。GoogleのAI研究チームがそうしたシステムの1つとして、リアルな（人間の書いたような）テキストを生成できるだけでなく、人間が話すジョークを解釈して説明できる能力を持つ「PaLM」という言語モデルを訓練したと主張している。
Google AI研究チームの論文では成果の一例として、人間の思考プロセスをシミュレートすることで多段階の論理問題を解析するシステムの能力を大幅に向上させる「思考連鎖プロンプト」（chain-of-thought prompting）を用いて、論理推論やその他の複雑な言語タスクを実行するモデルの能力が披露されている。
最も驚くべきは、このモデルが人間のジョークをいかに認識し、正しく解釈できるかが示されていることだ。
たとえば「シマウマと傘の違いとは何だ？ シマウマは馬に関係する縞模様の動物で、傘は雨が降ってくるのを防ぐために使う道具だ」との入力に対して「このジョークはアンチジョークである。答えは明白であり、面白い答えを期待していたというジョークだ」との出力が返されている。
ほか「私は4月6日に家族の元に航空便で行こうとしたが、母が『素晴らしい、ちょうどその夜にお父さんが自作の詩を朗読するのよ』というので7日にした」との入力に「詩を聞きたくないから1日遅らせた」との趣旨を返す、というぐあいだ。
PaLMがこうしてジョークを解析できる背景には、5,400億ものパラメータをもつ、これまでに作られた中で最大級の言語モデルの存在がある。ちなみにPaLMの前身であるGPT-3のパラメータは1,750億であり、約3倍となっている。
このパラメータ数の増加により、研究者は個々のシナリオに応じたモデルの学習に時間を割くことなく、様々な質の高いが得られるようになった。要するに言語モデルの性能はパラメータの数で測られやすく、数が大きくなるほど「数撃ちゃ当たる」学習、つまり比較的少ない訓練例で多種多様な複雑なタスクを学習でき（少ないサンプルから効率よく学び取れる）るわけだ。
米MotherBoardは、多くの研究者や技術倫理学者たちが、Googleなどのハイテク企業が大規模な言語モデルを使用していることに批判していると指摘。こうした大規模なモデルは「本質的にリスクが高く」、設計プロセスに参加できない人々にとって有害のことだ。
特にGPT-3は「最先端」であるにもかかわらず、人種差別的な言葉を取り入れたり、イスラム教徒を暴力と関連付けたりするなど、偏見や人種差別的な反応を返してきた過去があった。
つまり部外者にとってはブラックボックスであり、自ら開発した研究者にとってもアルゴリズムが複雑で不適切な学習を修正しがたい、ということだろう。人類に対するAIの反乱は起きないにせよ、手なずけるのも難しいかもしれない。
- Source: Google（PDF）
- via: MotherBoard
