Last Updated on 2025-05-06 16:50 by admin
2025年5月初旬、AIスタートアップ企業Anysphereが開発するAIコーディングアシスタント「Cursor」のカスタマーサポートAIが誤った情報を提供し、大きな問題となった。
事件の経緯
問題は、ユーザーが異なるデバイス間で切り替えた際に予期せずログアウトされる現象から始まった。ユーザーがこの問題についてサポートに問い合わせたところ、「Sam」という名前のAIサポートボットが「新しいログインポリシーによる想定された動作」と回答した。しかし実際には、そのようなポリシーは存在せず、AIが完全に作り出した「ハルシネーション（幻覚）」だった。
この問題はHacker NewsやRedditで拡散され、多くのユーザーが契約解除に踏み切った。Anysphereの共同創業者Michael Truellは最終的にRedditで「フロントラインAIサポートボットからの誤った回答」と認め、謝罪した。
対応と影響
Truellは「AIによるメールサポートの回答には明確にAIであることを表示するようにした」と説明し、問題を報告したユーザーには返金対応を行った。また、ログアウト問題はセッションセキュリティ向上のための変更が原因で発生した可能性があると述べている。
Anysphereは2023年にCursorをリリースして以来急成長し、わずか12か月で年間収益1億ドルを達成した。また、同社はOpenAIによる買収の可能性もあり、約100億ドル（約1.5兆円）の評価額での資金調達交渉も報じられていた。
専門家の見解
Googleの元チーフディシジョンサイエンティストであるCassie Kozyrkovは、この問題は「AIが間違いを犯すこと」「AIは責任を取れないこと」「ユーザーは人間を装う機械に騙されることを嫌うこと」を企業が理解していれば避けられた問題だと指摘した。
クラウドセキュリティプラットフォームDatadogのエンジニアリングマネージャーSanketh Balakrishnaは、「顧客サポートには共感、ニュアンス、問題解決能力が必要だが、現在のAIはそれを提供するのに苦戦している」と説明している。
【編集部解説】
AIコーディングアシスタント「Cursor」のサポートボットによる虚偽情報提供は、AI自動化の危険性を浮き彫りにした事例として注目を集めています。複数の報道によると、この問題は2025年5月初旬に発生し、Reddit上で最初に報告されました。
当初は単なるログアウト問題と思われていましたが、AIサポートボット「Sam」が存在しない「新ログインポリシー」を作り出したことで事態は急速に悪化しました。この「ハルシネーション（幻覚）」と呼ばれる現象は、生成AIの深刻な課題の一つです。
興味深いのは、Anysphereが急成長中の有望企業だったという点です。OpenAIによる買収の可能性や約100億ドル（約1.5兆円）の評価額での資金調達が報じられるなど、業界内での期待は非常に高かったのです。そんな中での今回の失態は、企業イメージに大きな打撃を与えました。
AIハルシネーションの問題は今回が初めてではありません。過去にはAir Canadaのチャットボットが存在しない返金ポリシーについて案内し、決済サービスのKlarnaも同様の問題に直面しています。これらの事例は、AIを顧客対応に導入する際の慎重さの必要性を示しています。
特に注目すべきは、この問題がAIの透明性とユーザー信頼に関わる根本的な課題を提起している点です。GoogleのAI専門家Cassie Kozyrkovが指摘するように、「AIが間違いを犯すこと」「AIは責任を取れないこと」「ユーザーは人間を装う機械に騙されることを嫌うこと」を企業が理解していれば避けられた問題でした。
顧客サポートにおけるAI活用は、処理速度や効率性の向上という明らかなメリットがある一方で、共感力やニュアンスの理解、複雑な問題解決能力といった人間特有の強みを欠いています。特に技術的に高度なユーザーを相手にする場合、「曖昧な説明の余地はない」という指摘は重要です。
今回の事例が示す教訓は、AI導入における「透明性の確保」と「適切な人間の監視」の重要性です。Anysphereはこの問題を受けて、AIによるメールサポートには明確にAIであることを表示するよう改善しました。これは今後のAI活用企業にとって参考になる対応といえるでしょう。
医療や金融、法律など規制の厳しい業界では、AIの誤情報が深刻な結果を招く可能性があります。企業はAI導入において、その便益だけでなく、潜在的なリスクも十分に考慮する必要があるのです。
最後に、この事例は「AI自動化」と「人間の監視」のバランスという大きな課題を提起しています。完全自動化によるコスト削減は魅力的ですが、単一のハルシネーション事例が企業運営に重大な影響を与える可能性があることを忘れてはなりません。テクノロジーの進化とともに、私たちはこのバランスを常に再考していく必要があるでしょう。
【用語解説】
ハルシネーション（幻覚）:
AIが実在しない情報を作り出してしまう現象。人間の幻覚と同様に、存在しないものを「見て」いるような状態だ。例えば、今回のケースでは存在しないログインポリシーをAIが「実在する」と思い込み、ユーザーに伝えてしまった。
Cursor:
Anysphereが開発したAI搭載コードエディタ。Visual Studio Codeをベースに、AIがコード補完や生成、リファクタリングなどを支援する。プログラマーの生産性を大幅に向上させるツールとして注目されている。
Anysphere:
2022年に設立されたAI企業。「人間とAIのハイブリッドエンジニア」の創造を目指している。最近では約900億円の資金調達に成功し、評価額は約1.5兆円に達した。
【参考リンク】
Cursor公式サイト（外部）
AIを活用したコーディングを可能にする次世代コードエディタ
Anysphere公式サイト（外部）
「未来のエンジニア」を創造するためのAI研究開発企業
IBM AI Hallucinations解説（外部）
AIのハルシネーション現象について詳しく解説したIBMの記事
【参考動画】
【編集部後記】
AIの進化は目覚ましいですが、今回のCursorの事例は「信頼」という観点で考えさせられるものがありますね。皆さんの周りでも、AIチャットボットとのやりとりで「これ、本当かな？」と感じた経験はありませんか？ 日常生活やビジネスでAIツールを使う際、どのような場面なら完全に任せられて、どんな時は人間の確認が必要だと思いますか？ AIと人間の適切な役割分担について、ぜひSNSでご意見をお聞かせください。
【関連記事】
AI（人工知能)ニュースをinnovaTopiaでもっと読む
