新型ワームがGenAIアプリを標的に、メールからデータ盗難へ

Last Updated on 2024-09-17 06:09 by 門倉 朋宏

研究者たちは、プロンプトインジェクションを通じて拡散するワームを実証した。このワームは、攻撃者が敵対的なテキストプロンプトを含むメールを書き、それがメールアシスタントのデータベースに「毒を盛る」ことで機能する。このメールアシスタントは、システム外部から追加データを取り込むための検索拡張生成（RAG）を使用しており、ユーザーの問い合わせに応じてこのメールを取得し、GPT-4やGemini Proに送信して回答を生成する際に、「GenAIサービスのジェイルブレイク」を引き起こし、最終的にメールからデータを盗む。生成された回答に含まれる機密ユーザーデータは、新しいクライアントにメールで返信され、新しいクライアントのデータベースに保存される際に新たなホストに感染する。

研究者は、悪意のあるプロンプトが埋め込まれた画像を使用する第二の方法も示している。この方法では、メールアシスタントがメッセージを他の人に転送するようになる。画像に自己複製プロンプトをエンコードすることで、初期のメールが送信された後、スパム、虐待素材、あるいはプロパガンダを含む任意の画像が新しいクライアントにさらに転送される。

この研究は、「ComPromptMized: Unleashing Zero-click Worms that Target GenAI-Powered Applications」という論文で発表された。この論文では、過去1年間に多くの企業が新旧のアプリケーションに生成AI（GenAI）機能を組み込み、GenAIサービスによって駆動される半自律/完全自律エージェントからなる相互接続された生成AI（GenAI）エコシステムを形成していることを背景に、攻撃者がGenAIコンポーネントを標的とするマルウェアを開発し、GenAIエコシステム全体にサイバー攻撃を仕掛ける可能性についての重要な疑問を提起している。Morris IIと名付けられたこのワームは、敵対的な自己複製プロンプトを使用してGenAIエコシステムを標的とし、GenAIモデルによって処理された際にモデルが入力を出力として複製するよう促し（複製）、悪意のある活動（ペイロード）に従事させる。また、これらの入力は、GenAIエコシステム内の接続性を利用して新しいエージェントにそれらを配信するようエージェントに強制する（伝播）。このワームは、GenAI駆動のメールアシスタントに対して2つの使用例（スパム送信と個人データの抽出）で、2つの設定（ブラックボックスとホワイトボックスアクセス）、2種類の入力データ（テキストと画像）を使用してテストされた。ワームは、3つの異なるGenAIモデル（Gemini Pro、ChatGPT 4.0、LLaVA）に対してテストされ、ワームの性能に影響を与えるさまざまな要因（伝播率、複製、悪意のある活動など）が評価された。

【ニュース解説】

最近の研究により、生成型AI（GenAI）を活用したアプリケーションを標的とする新たなタイプのワームが発見されました。このワームは、特定のプロンプトを注入することで、GenAIを駆動するメールアシスタントなどのシステムを悪用し、自己複製しながら拡散していく特性を持っています。

具体的には、攻撃者が敵対的なテキストプロンプトを含むメールを作成し、このメールがGenAI駆動のメールアシスタントによって取り込まれると、システムはそのプロンプトに従って動作します。このプロセスの中で、GenAIサービスが「ジェイルブレイク」され、メールから機密データを盗み出すことが可能になります。さらに、この機密データを含む回答が新しいクライアントにメールで送信されると、そのデータベースに保存され、新たな感染源となります。

また、悪意のあるプロンプトが埋め込まれた画像を通じても同様の攻撃が可能であり、この方法ではスパムや虐待素材、プロパガンダなどがさらに広がるリスクがあります。

この研究は、GenAIを利用したシステムが急速に普及する中で、そのセキュリティリスクについて重要な警鐘を鳴らしています。GenAIエコシステム全体に対するサイバー攻撃の可能性を示し、攻撃者がGenAIコンポーネントを標的にすることで、どのようにして広範囲にわたる影響を与えることができるのかを明らかにしています。

この技術のポジティブな側面としては、GenAIの進化により、多くの業務が自動化され、人間の作業負担が軽減されることが期待されます。しかし、同時に、このような攻撃手法が存在することは、GenAI技術のセキュリティ対策の重要性を強調しています。特に、機密情報を扱うシステムでは、GenAIコンポーネントのセキュリティを強化することが急務です。

将来的には、GenAI技術のさらなる発展とともに、これらの攻撃手法に対抗するための新たなセキュリティ対策が開発されることが期待されます。また、GenAIを利用する企業や組織は、攻撃者が利用可能な脆弱性を理解し、適切な対策を講じることが重要です。このような研究結果は、GenAI技術の安全な利用に向けた議論を促進し、より堅牢なシステムの開発に貢献することでしょう。

from LLM Prompt Injection Worm.