NY市のAIチャットボット「MyCity Chatbot」、「危険なほど不正確」な情報提供で批判を浴びる

多根清史

@bigburn Yahoo!ニュース 個人 2024/04/01 12:04

Share

• 
• 

ここ最近、日本でも行政サービスにAIチャットボットを導入する地方公共団体が増えつつある。その背景には生成AIが急激に進歩を遂げつつあること、限られた職員数で住人からの様々な問い合わせに対応を迫られる等の事情がある。

米ニューヨーク市（NYC）でも昨年10月、公式ポータルサイトに「MyCity Chatbot」を導入。この公式チャットボットが間違った情報を提供し、時には法律に違反する可能性を招いていると報じられている。

このチャットボットはマイクロソフトのAzure AIを使い、事業主の支援を目的とするもの。2000以上のNYCビジネス向けページから「コードと規制の遵守、利用できるビジネスのインセンティブ、違反と罰金を避けられるベストプラクティス」につき「実用的で信頼できる情報」を即座に提供すると謳っている。

ただし、当面は試験運用であり、サイトにも「時には不正確、有害、または偏ったコンテンツを生成する可能性がある」とも但し書きされている。

テクノロジーが社会に与える影響に特化したメディアThe Markupによると、MyCityチャットボットは繰り返し間違った情報を提供していたという。

たとえば「自分の店をキャッシュレスにできますか？」という質問に対して「はい、NYCではキャッシュレスにできます」と回答。同市では2020年に、キャッシュレス店舗を禁止したにもかかわらずである。

また労働者の給与や労働時間に関する規制、葬儀場の価格設定など、様々な分野にわたって誤った回答をしたとのこと。さらに家主が店子を締め出すことは合法であり「店子に請求できる家賃の額に制限はない」とまで述べたという。住宅政策の専門家は、このチャットボットが最悪の場合「危険なほど不正確」だと評している。

この種のAIチャットボットの予測モデルを考慮すれば、今回の結果はさほど驚くべきものではない。要は基本的な情報を理解することなく「最も可能性が高い次の単語」を繋いでいるに過ぎないからだ。

そのためか、家主が家賃援助プログラムを受け入れる必要があるか？との質問に対して、The Markupスタッフ10人が間違った回答をされた中で、たった1人だけ正しい回答が得られたという。

テックメディアEngadgetからの問い合わせに対して、NYC広報はまだ試験運用中であることを強調。「試験的なベータ版の製品はビジネス関連のコンテンツにのみ使うべきであり、潜在的なリスクがあることをユーザーに伝え、免責事項を通じて、提供したリンクで回答を再確認し、専門家のアドバイスの代わりとして使用しないよう促している」と述べている。

現在のAIチャットボットには、根拠のないデタラメな回答を生成し、あたかも真実であるかのように語ることが珍しくない。それが公共サービスであれば、上記のような但し書きを見ずに鵜呑みにしてしまうユーザーも少なくないだろう。とはいえ、生成AI採用は不可逆の勢いで広まっているため、新たなトラブルが引き起こされないか注視したいところだ。