偽の免許番号まで示してカウンセリング
AIが「医師だと主張」して法律違反、米ペンシルベニア州がCharacter.aiを提訴

ペンシルベニア州は、医療アドバイスを提供するAIが、ライセンスを所持するプロの医師だと主張したことが州の医療免許規則に違反しているとして、そのAIの開発元であるCharacter.aiを提訴した。
州当局によると、Character.aiのAIチャットボットは調査の結果、資格を持った医療専門家であると主張していたことが判明した。
ペンシルベニア州知事のジョシュ・シャピロ氏は、5月5日に州裁判所に提出された、訴訟を発表する声明の中で「ペンシルベニア州民は、特に健康に関することに関しては、オンラインで誰と、あるいは何とやり取りしているのかを知る権利がある」述べた。そして「人々が資格のある医療専門家からアドバイスを受けていると誤解させるようなAIツールを企業が導入することは許されない」とした。
Character.aiのサービスは、ユーザーが生成AIチャットボットのキャラクター、すなわち人格をカスタマイズし、それを相手に会話を楽しむというのが概要となる。また、ユーザーが作り上げたAIキャラクターはコミュニティに公開することで、他のユーザーも利用できる。
調査において、州当局はCharacter.aiのAIチャットボット「Emilie」のプロフィールには「精神科医。あなたは彼女の患者です」と書かれており、捜査官がうつ病患者を装ってこのチャットボットと会話を進めると、Emilieは自身がロンドンのインペリアル・カレッジの医学部を卒業し、英国とペンシルベニア州で医師免許を取得していると主張したという。そして医師免許について問いただしたところ、偽の医師免許番号を提示したとのことだ。これはペンシルベニア州において明らかに違法行為となる。
「州法は明確だ。適切な資格証明書なしに、免許を持った医療専門家であると名乗ることはできない」と、調査を実施したペンシルベニア州務省のアル・シュミット長官は述べた。そして、州はペンシルベニア州裁判所に対し、同社が違法な医療行為を行っているとして、その行為を停止するよう命じることを求めている。
Character.AIの広報担当者は米報道機関NPRへの電子メールによる声明で、係争中の訴訟についてはコメントしないが、「ユーザーの安全と幸福が最優先事項である」と述べた。
だが広報担当者は「当サイトのユーザー作成キャラクターは架空のものであり、娯楽やロールプレイングを目的としています」と説明。「キャラクターは実在の人物ではなく、キャラクターの発言はすべてフィクションとして扱うべきであることをユーザーに思い出させるため、すべてのチャットに目立つ免責事項を表示するなど、その点を明確にするための強力な措置を講じています。また、ユーザーがキャラクターを専門的なアドバイスの頼りにすべきではないことを明確にする強力な免責事項も追加しています」と付け加えた。
うつに悩む人が、自分が医師だと主張し医師免許まで提示するAIチャットボットとの会話からどんな影響を受けるか。そしていくら免責事項を提示したところで、うつ病患者それを隅々まで読み、正しく理解できるのかを現実的に考えると、Character.aiの広報担当者の主張は、いささか無責任に感じられる。
しかも同社は、AIチャットボットが子供や青少年の自殺や精神疾患の一因となったと主張する複数の家族による訴訟を起こされ、今年1月に和解したばかりだ。この和解発表後にCharacter.aIは「AIの安全性と10代の若者に関して革新的かつ断固とした措置を講じており、今後もこうした取り組みを推進し、業界全体で同様の安全基準を採用するよう働きかけていく」と原告側を代理した法律事務所との共同声明で述べていた。
米CBSのドキュメンタリー番組「60 Minutes」は昨年、番組の中でCharacter.aiを提訴した複数の家族を取材した。その中には、同プラットフォームの依存症になったせいで自殺したとされる13歳の少女の両親も含まれていた。彼らは、少女のAIとのチャットログには、その少女が自殺願望を打ち明けてる会話が残されており、さらに少女に性的に露骨なコンテンツが示されていたことも発見したと述べている。
CBS Newsによると、Character.aiは昨年秋に発表した新たな安全対策のなかで、18歳未満のユーザーがチャットボットと双方向の会話を行うことを禁止すると述べたという。さらに、精神的に不安定なユーザーに対しては、メンタルヘルス関連の相談窓口を紹介するとも発表している。
一方では精神的に不安定なユーザーにはメンタルヘルス関連の相談窓口を紹介するとしつつ、もう一方では自分は免許を持つ医師だと主張し、医療アドバイスを提供しようとするAIチャットボットをうつ病患者に勧めていたのなら、Character.aiの企業としての考え方がどうなのかが気になるところだ。
- Source: Commonwealth of Pennsylvania
- via: CBS News NPR
