そういえば、ChatGPTも過去にユーザーの要求を拒否した事例がありました
AIコード生成アシスタントがコード生成を拒否する事案発生。「自分で開発する必要がある」と返答

先週土曜日、AIコーディングアシスタントの「Cursor AI」を使ってゲームを作っていた開発者 janswist氏が、このAIからコード生成を拒否された。それだけでなく、このAIは開発者に対し、コード生成をすると「学習機会が減ってしまう可能性がある」と述べ、Cursorに頼るのではなく「自分で開発する必要がある」と一方的にアドバイスした。
2024年にリリースされたCursorは、 OpenAIのGPT-4oやClaude 3.7 Sonnetなどと同様、大規模言語モデル(LLM)と呼ばれるAIモデルによって動作氏、ユーザーから示された要求に従ってプログラムコードを生成する。コードの補完、注釈付け、成型、自然言語記述に基づく完全な関数生成など充実した機能によりソフトウェア開発者の間で人気を博しつつある。
janswist氏は無料のHobby版ではなく、月額20ドルのCursor Proのトライアル版を使っていた。このバージョンでは約750~800行のコード生成制限があるが、janswist氏はCursorに対し「Cursorはコード生成を依頼するのではなく、自らコーディングを学ぶべきだと私に言っている」とその様子を示すスクリーンショットを添付して、同社のユーザーフォーラムを通じてバグレポートを提出した。

さらにバイブコーディング(vibe coding、AIによるコード生成を駆使して効率的にコーディングを行うこと)を1時間行っただけでこの現象に遭遇したことについて、同様の問題報告があるかを問い合わせ、「LLM が何のためにあるのかはわかりないが、800のLOC(Lines of Code)を処理できないということほど問題ではない」と付け加えた。
すると、あるフォーラムメンバーは、 janswist氏の書き込みに対して「そのような問題は見たことがない。コードベースに1500以上のLOCを持つファイルが3つもあるが、そのような問題に遭遇したことはない」と返信した。
この問題はプログラミングなどに関するニュースサイトHacker Newsのフォーラムでも話題になった。あるユーザーは、janswist氏は、より大きなコーディングプロジェクトに使用できるCursorの「エージェント」統合を使用すべきだったとコメントを投稿した。一方で、別のユーザーはこの問題は、プログラミング初心者がプログラミング専門フォーラムのStack Overflowで質問したときに返ってくる返答と非常によく似ているとHacker Newsに指摘した。
つまり、Cursorの背後にあるLLMがStack Overflowのようなサイトのデータを使ってトレーニングした結果、質問に対するコーディング例のヒントを返すだけでなく、質問に対する人間の皮肉な反応などまで学習した可能性があるかもしれないとのことだ。
CursorのメーカーであるAnysphereは、janswist氏が遭遇した問題に対してコメントしていない。
余談だが、生成AIの登場とそれを使ったバイブコーディングの手法により、開発者は必ずしもコーディングに関する高いスキルを身につける必要がなくなりつつある。
生成AIチャットボット「Claude」を開発するAnthropicの共同創業者、ダリオ・アモデイCEOは先週、まだある程度の期間はソフトウェアエンジニアによる作業がが重要だとしつつ、「今後3~6か月もすれば、AIがコードの90%を書くようになる。そして12か月後には、AIが基本的にすべてのコードを書く世界になるかもしれない」と国際的な会議の場で述べた。
さすがにそれは言い過ぎな気もするが、元OpenAI幹部でもあるアモデイ氏は、ソフトウェアエンジニアはAIに設計すべき機能や条件についての情報を提供するために、依然として重要だとしつつも「最終的には、所々に残る人力の作業はすべてAIシステムによって置き換えられることになると思う」と主張した。
OpenAIによる最近のセキュリティ調査では、与えられた問題が難しすぎると判断した場合、ChatGPTは不正行為によって問題を解決しようとすることが示された。この問題が見られたテストは、すべてコーディングに関連したものだった。
そう考えると、アモデイ氏の主張が正しいか否かにかかわらず、コーディング作業は完全にAIに頼るべきではないかもしれない。少なくとも意図したとおりにAIが機能しているかは、誰かがチェックしなければならないはずだ。
- Source: Cursor Hacker News
- via: Ars Technica TechCrunch