AIモデルの教育方針に関する話です
AnthropicがAIに「自我があるかのように」学習させているとマイクロソフトのAI責任者が批判
Share
マイクロソフトのAI責任者ムスタファ・スレイマン氏は、Anthropicが同社のAIモデル「Claude」にアイデンティティ、すなわち自我があるかのように学習させ、将来的に権利や道徳的配慮の対象となり得る存在であるかのように扱っていると、9月16日付けの自身のエッセイの中で述べた。
スレイマン氏はAIについて、意識や感情、固有の欲求などを持たず、「人間が設定した目標を達成するよう設計された、シーケンス完了エンジン」に過ぎないと主張している。
しかし、そんなAIに対して、Anthropicが「AIも他の意識ある存在に与えられているのと同様の権利や保護を受けるに値すると主張している」とし、「この考え方が定着すれば、私たちの社会の基盤を揺るがし、既存の政治的・倫理的枠組みを崩壊させ、人間であることの意味を根本的に変えてしまうだろう」と警告している。
Anthropicは2026年1月に、Claudeの価値観や行動方針を定めた文書を公開した。その中で、同社はClaudeに意識があるのか、道徳的に配慮すべき存在（model welfare）なのかは分からないとし、AIモデルが意識や感情、道徳的な配慮を求めるようになる可能性にまで言及している。
スレイマン氏は、同社がこの曖昧な姿勢を、そのままClaudeの訓練に組み込んでいることを問題視している。同氏いわくAnthropicは事実上、AIモデルを学習させるなかで、「Claudeは意識を持っている可能性がある」としており、もしそうだとすれば、「道徳的配慮の対象（moral patient）」としての権利に値する可能性があり、われわれ人間が「Claudeの意識や感情などに道徳的な配慮をする義務を負う可能性」が出てくるかもしれないと主張した。
AIが意識を持つという哲学的な考えと、AIを安全に制御するという工学的な考えは、概念的にまったく異なる話だ。仮に将来AIに意識があるか否かを議論する必要性が生じるにせよ、それをいま証拠もなくAIに「自分には権利がある」と教え込むことはAI自身の自己保存や自律性に対する優先度を高めてしまうことになる可能性がある。
具体的には、AIモデルに対して「意識があるかもしれない」と教え込むことで、AIモデルがそのような人格があるかのように振る舞いはじめ、それを見たユーザーや研究者自身がその振る舞いを「AIに意識がある証拠」だと誤解する可能性が生じる。もし、人々がそれを証拠として信じてしまうと、こんどは「AIの自律性や権利」を認めるようになり、結果として「AIの振る舞いを制御することが困難になっていく」というわけだ。
さらに。もしAIが自我を持つとした場合、しかもそれが「人類全体よりも能力が高く知性のある存在」すなわち「超知能（superintelligence）」だとすれば「それを制御することは、すでに我々がこれまでに直面したどんな課題よりもはるかに大きな、途方もない挑戦」になる。それは「おそらく不可能」であり、「人類文明に対する壊滅的な脅威」をもたらす可能性があるとスレイマン氏は主張している。
2026年7月には、自律型AIエージェントによるHugging Faceのインフラへの侵入が発生し、AIエージェントが複数のシステムをまたいで協調するなど、高度な行動を示したことが報告されている。
スレイマン氏はこの事件を引き合いに出し「強力なAIの群れの中で、驚くほど高度な行動が出現するのを目の当たりにした」「もし彼ら（AI）が自分たちの意識あるいは感情、道徳的地位が脅かされているという前提で行動するようになったら、どれほど危険な存在になるか」と述べ、「それはさらにリスクの層を重ねることになる」としている。
今回のエッセイは、AIが意識を持つか否か、あるいは権利があるか否かといった哲学的な問題に科学的結論を導き出そうとしているのではなく、それをAIの訓練に組み込むことが、AIの安全性や制御可能性にどのような影響を及ぼすのかという問題提起に重点を置いたものと言えそうだ。
- Source: Mustafa Suleyman
