Last Updated on 2025-05-15 08:32 by admin

Princeton大学とSentientの研究者たちが2025年5月に発表した新しい研究によると、ユーザーデータを保存して思い出すことができる「メモリ対応型AIエージェント」は、「メモリインジェクション攻撃」と呼ばれる攻撃に対して脆弱であることが明らかになった。

この攻撃では、悪意ある行為者がAIエージェントが依存するデータに偽の「記憶」を植え付け、将来のユーザーとの対話において悪意のある行動を引き起こす可能性がある。

この研究は「Real AI Agents with Fake Memories: Fatal Context Manipulation Attacks on Web3 Agents」というタイトルで、特にブロックチェーンベースの金融エコシステム内でのAIエージェントの脆弱性に焦点を当てている。研究者たちはElizaOSというAIエージェントフレームワークを使用して実験を行い、最先端のプロンプトベースの防御でさえこの種の攻撃に対して脆弱であることを示した。

研究者のプラモド・ヴィシュワナス（Pramod Viswanath）プリンストン大学工学教授によると、攻撃者はAIエージェントの「心」に「偽の記憶」を植え付けることができるという。これは複雑なツールを必要とせず、慎重なプロンプト操作とエージェントの保存されたメモリへのアクセスだけで実行可能である。

この問題は暗号通貨だけでなく、銀行業、電子商取引、医療などの分野で長期記憶を持つAIエージェント技術を使用している組織にもリスクをもたらす。特に、MastercardのAgent Pay（2025年4月29日発表）やPayPalのAgent Toolkit（2025年4月14日発表）などのメモリ対応型AIエージェントは、ユーザーの好み、取引履歴、会話の文脈などのユーザーデータを保存して、非常にパーソナライズされた決定を提供するために使用されている。

研究者たちは、組織がAIエージェントを新しい特権ユーザーまたはシステムとして扱い、最初から設計にセキュリティを統合することを推奨している。これには、エージェントの権限の制限、AIエージェントが依存するメモリの分離と検証、ユーザーの安全を優先するようにエージェントを「トレーニング」すること、攻撃者が行うかもしれないようにエージェントをテストすることが含まれる。

References:
AI Agents May Have a Memory Problem

【編集部解説】

Princeton大学とSentientの研究は、AIエージェントの記憶機能が持つ脆弱性を明らかにしましたが、これは単独の発見ではありません。検索結果から分かるように、ミシガン州立大学、ジョージア大学、シンガポール経営大学の研究者たちも同様の脆弱性を「MINJA」（Memory INJection Attack）と名付けて報告しています。これらの研究は、AIエージェントの記憶システムが根本的に抱える問題を示しています。

MINJAのような攻撃手法は、ハッキングや管理者権限を必要とせず、単に巧妙なプロンプト操作だけで実行できる点が特に危険です。攻撃者はAIモデルとの通常の対話を通じて、一見無害に見える一連のプロンプトを作成し、AIエージェントのメモリバンクに誤解を招く情報を挿入することができます。

この問題が特に深刻なのは、現在のAI業界がエージェント技術に大きく舵を切っているタイミングだからです。Mastercardは2025年4月29日に「Agent Pay」を発表し、AIエージェントによる支払い処理の自動化を進めています。また、Palo Alto Networksの2025年4月16日の報告では、「メモリポイズニング」がAIエージェントの主要なセキュリティ脅威の一つとして特定されています。

実際の攻撃の危険性はどの程度なのでしょうか。MINJAの研究によると、この攻撃手法は95%以上の注入成功率と、ほとんどのデータセットで70%以上の攻撃成功率を達成しています。この高い成功率は、AIエージェントのメモリセキュリティ改善が緊急に必要であることを示しています。

メモリインジェクション攻撃の特徴は、その効果が持続することです。トムズハードウェアの報告によれば、これらの偽の記憶は対話やプラットフォームを超えて持続する可能性があり、最先端のプロンプトベースの防御でさえこの種の攻撃に対して脆弱です。

私たちの日常生活への影響はどうでしょうか。現在、多くの企業がAIエージェントを顧客サービスや金融取引などに導入し始めています。これらのエージェントが悪意ある記憶操作を受けた場合、誤った情報提供や不正な金融取引が行われる可能性があります。特に暗号通貨のような分野では、AIエージェントに財布の管理や取引の実行を任せているユーザーにとって、潜在的に壊滅的な損失をもたらす可能性があります。

この問題に対する解決策はあるのでしょうか。セキュリティ専門家たちは、AIエージェントを新しい特権ユーザーまたはシステムとして扱い、設計の初期段階からセキュリティを統合することを推奨しています。具体的には、エージェントの権限制限、メモリの分離と検証、ユーザー安全を優先するトレーニング、そして攻撃者視点でのテストが重要です。

AIエージェント技術は私たちの生活をより便利にする可能性を秘めていますが、同時にこれらの脆弱性は新たなセキュリティリスクをもたらします。テクノロジーの進化とともに、セキュリティ対策も進化させていく必要があるでしょう。

最後に、この問題は単にテクニカルな脆弱性ではなく、AIシステムの「信頼」に関わる根本的な課題を提起しています。AIが自律的に意思決定を行う時代において、その判断基盤となる「記憶」の信頼性をどう担保するかは、今後のAI開発における重要なテーマとなるでしょう。

【用語解説】

AIエージェント：
ユーザーから与えられた指示に対し、自律的に問題解決やタスク実行を行うAIシステムのこと。単なる質問応答だけでなく、複数のシステムと連携して実際のタスクを完了させる能力を持つ。

メモリインジェクション攻撃（Memory Injection Attack/MINJA）：
AIエージェントの記憶システムに偽の情報を植え付けることで、エージェントの意思決定を操作する攻撃手法。従来のハッキング手法と異なり、特別な技術的スキルを必要とせず、巧妙なプロンプト操作だけで実行できる点が特徴。

メモリシステム：
AIエージェントが過去の対話や情報を保存し、参照するためのシステム。短期メモリと長期メモリがあり、エージェントの「思考」や意思決定の基盤となる。人間の記憶システムに例えると理解しやすい。

Mastercard Agent Pay：
Mastercardが2025年4月29日に発表したエージェント型決済プログラム。AIエージェントが安全に決済を行うための仕組みを提供する。

PayPal Agent Toolkit：
PayPalが2025年4月14日に発表したライブラリで、AIエージェントのワークフローにPayPalの決済機能を簡単に統合できるようにするもの。

Sentient：
Peter Thielが資金提供するAI開発プラットフォーム。コミュニティ主導のAI技術開発を目指す非営利団体。

【参考リンク】

Mastercard（外部）
グローバル決済テクノロジー企業。Agent Payというエージェント型AIと連携した革新的な決済ソリューションを提供している。

PayPal（外部）
オンライン決済サービス大手。AIエージェント向けにPayPal Agent Toolkitを提供し、決済機能の統合を容易にしている。

Sentient Foundation（外部）
コミュニティ主導のAI開発を推進する非営利団体。オープンソースAI技術の発展とAIの分散型エコシステム構築に取り組んでいる。

Palo Alto Networks（外部）
サイバーセキュリティ企業。AIエージェントのセキュリティ脅威に関する研究を行い、AIエージェントのセキュリティ強化に取り組んでいる。

【参考動画】

【編集部後記】

AIエージェントの「記憶」について考えたことはありますか？私たちが日々利用するAIアシスタントも、実は様々な情報を記憶しています。自分のAIアシスタントに「前回の会話を覚えていますか？」と尋ねてみると、その仕組みが少し見えてくるかもしれません。また、もし自分がAIエージェントを設計するとしたら、どのような記憶システムを作りますか？安全性と利便性のバランスは難しい問題ですが、テクノロジーの進化とともに私たち一人ひとりが考えるべきテーマでもあります。みなさんのアイデアや疑問をぜひSNSでシェアしてください。

【関連記事】

サイバーセキュリティニュースをinnovaTopiaでもっと読む