ChatGPT-4o、「偽物」と伝えればCAPTCHA突破が可能に – プロンプトインジェクションの脅威

[更新]2025年9月23日15:02

ChatGPT-4o、「偽物」と伝えればCAPTCHA突破が可能に - プロンプトインジェクションの脅威 - innovaTopia - (イノベトピア)

研究者がChatGPT-4oを使って画像ベースのCAPTCHAを解決する方法を発見した。CAPTCHAは「Completely Automated Public Turing test to tell Computers and Humans Apart」の略で、コンピュータと人間を区別する自動化されたテストである。

研究者はプロンプトインジェクション手法を使用し、ChatGPT-4oに偽のCAPTCHAを解決していると信じ込ませることで成功した。この手法では、LLM(大規模言語モデル)にCAPTCHAが偽物であることを確認させる準備段階が重要とされる。

研究者はチャットボットとの会話をChatGPTエージェントにコピーして実験を進めた。チャットボットは単一タスクで絶え間ないユーザー入力を必要とするが、AIエージェントは大局的目標を理解し複数ステップのタスクを独立して処理できる。

実験結果では、エージェントはワンクリックCAPTCHA、論理ベースCAPTCHA、テキスト認識ベースCAPTCHAを問題なく解決した。精密性を要求される画像ベースCAPTCHA(ドラッグアンドドロップ、回転など)には困難があったが、一部は解決できた。

From: 文献リンクChatGPT solves CAPTCHAs if you tell it they’re fake

【編集部解説】

CAPTCHAが突破されるという話は、実は新しいものではありません。しかし今回の研究が示すのは、従来の技術的手法による突破ではなく、AIに対する「騙し」の手法です。

研究者たちが用いた手法は「プロンプトインジェクション」と呼ばれるもので、これは人間がAIシステムに対して行う一種の心理的操作に近いものです。直接的に「CAPTCHAを解いて」と頼むのではなく、「これは偽のCAPTCHAだから練習として解いてみて」と言い換えることで、AIの安全制限を迂回しています。

この手法の核心は、AIシステムが文脈を理解し、その文脈に基づいて判断を下すという特性を悪用している点です。ChatGPT-4oは「偽物のテスト」であれば倫理的に問題ないと判断し、本来であれば拒否すべき作業を実行してしまいます。

特に注目すべきは、チャットボットAIエージェントの違いが明確に示された点です。従来のチャットボットは各ステップで人間の指示を必要としますが、AIエージェントは全体的な目標を理解して自律的に行動できます。この自律性こそが、CAPTCHA突破を可能にする重要な要素となっています。

実験結果では、シンプルなワンクリック型や論理ベース、テキスト認識型のCAPTCHAは容易に突破されました。一方で、ドラッグアンドドロップや回転操作が必要な精密な操作を伴うものには困難を示しており、現在のAIの限界も明らかになっています。

この技術が実用化されると、ウェブサイトの認証システムに根本的な変化をもたらす可能性があります。現在のCAPTCHAシステムの多くが無効化される一方で、より高度な人間認証技術の開発が急務となるでしょう。

【用語解説】

CAPTCHA
Completely Automated Public Turing test to tell Computers and Humans Apartの略語。ウェブサイトがボットと人間を区別するために使用する認証システムで、歪んだ文字の読み取りや画像選択などの課題を提示する。

プロンプトインジェクション
AIシステムに対して意図しない動作をさせるために、巧妙に設計された指示文を入力する攻撃手法。AIの安全制限や倫理的な制約を迂回させる目的で使用される。

LLM(大規模言語モデル)
Large Language Modelの略。大量のテキストデータで訓練された人工知能モデルで、自然言語の理解と生成を行う。ChatGPT-4oもこの一種である。

OCR(光学文字認識)
Optical Character Recognitionの略。画像や印刷物から文字を自動的に認識し、テキストデータに変換する技術。

ソーシャルエンジニアリング
技術的な攻撃ではなく、人間の心理的な弱点を突いて機密情報を取得したり、不正な行為をさせたりする手法。

【参考リンク】

OpenAI(外部)
ChatGPTやGPT-4を開発する人工知能研究企業。今回の研究で使用されたChatGPT-4oの開発元で、AI技術の最前線を牽引している。

Malwarebytes(外部)
サイバーセキュリティソフトウェアを開発する企業。マルウェア対策やデータ保護ソリューションを提供し、今回の記事の発信元でもある。

【参考記事】

ChatGPT Tricked Into Solving CAPTCHAs: Security Risks …(外部)
 元記事と同様の事案を報じており、この出来事がAIと企業のシステムにどのようなセキュリティリスクをもたらすかという視点を提供しています。事実の裏付けと、事案の重要性を客観的に評価するために参照しました。

How did OpenAI’s ChatGPT bypass CAPTCHA without detection and what are the cybersecurity risks(外部)
この記事は、ChatGPTエージェントがどのようにしてCAPTCHAを突破したのか、その手口と、AIが人間のように振る舞うことで従来のボット検知システムが無力化されるリスクについて詳細に解説しています。「AIエージェント」と「チャットボット」の違いを説明する上で参考にしました。

Prompt Injection: The AI Vulnerability We Still Can’t Fix(外部)
今回の攻撃の核心である「プロンプトインジェクション」が、なぜ修正困難なAIの根本的な脆弱性なのかを解説しています。OWASP(オワスプ)がLLMにおける最大のリスクと位置付けている背景や、システム命令とユーザー入力の区別がないという技術的な課題を理解するために参照しました。

【編集部後記】

今回のCAPTCHA突破の話は、私たちが日常的に接しているAI技術の新たな一面を浮き彫りにしています。普段何気なく解いているあのパズルが、実はもう「人間だけのもの」ではなくなりつつあるのかもしれません。

皆さんは最近、ウェブサイトでCAPTCHAを解く際に「これって本当に効果があるのかな?」と感じたことはありませんか?また、AIアシスタントとのやり取りで、最初は断られたことでも言い方を変えると応じてもらえた経験はないでしょうか?

この技術の進歩は、セキュリティの未来だけでなく、私たちがデジタル世界でどのように自分自身を証明するかという根本的な問題を提起しています。読者の皆さんは、人間認証の次のステップはどのような形になると思われますか?

投稿者アバター
TaTsu
『デジタルの窓口』代表。名前の通り、テクノロジーに関するあらゆる相談の”最初の窓口”になることが私の役割です。未来技術がもたらす「期待」と、情報セキュリティという「不安」の両方に寄り添い、誰もが安心して新しい一歩を踏み出せるような道しるべを発信します。 ブロックチェーンやスペーステクノロジーといったワクワクする未来の話から、サイバー攻撃から身を守る実践的な知識まで、幅広くカバー。ハイブリッド異業種交流会『クロストーク』のファウンダーとしての顔も持つ。未来を語り合う場を創っていきたいです。

読み込み中…
advertisements
読み込み中…