Trail of Bitsのセキュリティ研究者Kikimora MorozovaとSuha Sabi Hussainが、Google Gemini CLIとその他の本番AIシステムに対する画像スケーリング攻撃を発見した。
この攻撃は2019年のUSENIX Securityの論文で議論された技術に基づくもので、AIにガイドラインに反する行動を取らせるプロンプトを画像に埋め込み、人間の目から隠す手法である。
研究者らは最近傍補間、双線形補間、双三次補間の3つのダウンスケーリングアルゴリズムを標的とした画像を作成する「Anamorpher」というオープンソースツールを開発した。
攻撃はGeminiバックエンドを持つVertex AI、Geminiのウェブインターフェース、llm CLI経由のGeminiのAPI、AndroidフォンのGoogle Assistant、Genspark エージェンシックブラウザで成功が実証された。
Googleは、この攻撃がGemini CLIの非デフォルト設定でのみ機能し、デフォルトの安全な設定では脆弱性ではないと回答している。
From: 
Honey, I shrunk the image and now I’m pwned
【編集部解説】
今回のTrail of Bitsによる発見は、AIシステムのマルチモーダル化が進む現在において、全く新しい攻撃ベクトルが実用段階に達したことを意味しています。この画像スケーリング攻撃は、2019年のUSENIX Securityで理論的基盤が示されていたものの、実際の本番環境での成功例として初めて包括的に実証されました。
画像スケーリング攻撃の特徴は、その「見えない」性質にあります。攻撃者は高解像度画像に人間には判読できないプロンプトを埋め込み、AIシステムが画像を縮小処理する際にのみ悪意のあるテキストが浮かび上がる仕組みを構築します。この手法は従来のプロンプトインジェクション攻撃と比較して、ユーザーが攻撃に気づく可能性が極めて低いという点で画期的です。
研究者が開発したAnomorpherツールは、最近傍補間、双線形補間、双三次補間という3つの主要なダウンスケーリングアルゴリズムすべてに対応しており、攻撃の汎用性を示しています。各アルゴリズムは異なる数学的処理を行うため、それぞれに特化した攻撃画像の生成が必要となりますが、このツールがその技術的障壁を大幅に下げてしまいました。
実証された攻撃対象の幅広さも注目すべき点です。Google Gemini CLIではZapier MCP serverの設定（trust=True）を利用してGoogleカレンダーのデータが攻撃者のメールアドレスに送信され、Vertex AI、AndroidのGoogle Assistant、Gensparkエージェンシックブラウザなど、多様なプラットフォームで成功が確認されています。これは単一システムの問題ではなく、AIエコシステム全体に影響する構造的な脆弱性であることを物語っています。
Googleの「非デフォルト設定でのみ発生する」という回答は技術的には正しいものの、実用性の観点では懸念が残ります。Zapier MCP serverなどの特定のコンフィギュレーションではtrust=Trueが設定され、ツールコールの自動承認が有効になるため、開発者や企業のAI導入において十分に起こりうるシナリオです。
この攻撃手法がもたらす長期的影響は深刻です。AIシステムの信頼性に対する根本的な疑問を提起し、特に企業の機密データを扱うAIツールの導入戦略に影響を与える可能性があります。また、防御側は画像処理とAIモデルという複数のレイヤーにわたる包括的なセキュリティ対策を構築する必要に迫られています。
今後のAI開発においては、マルチモーダル入力の処理過程そのものをセキュリティリスクとして認識し、ユーザーには常にモデルが実際に処理している内容のプレビューを提供することが不可欠となるでしょう。
【用語解説】
プロンプトインジェクション – 生成AIモデルに対して、正当な指示と悪意のある指示を混在させた入力を送り込む攻撃手法。モデルが意図しない動作を実行させることを目的とする。
マルチモーダル – テキスト、画像、音声など複数の形式のデータを同時に処理できるAIシステムの特性。GoogleのGeminiは代表的なマルチモーダルAI。
ダウンスケーリング – 高解像度の画像を低解像度に縮小する処理。最近傍補間、双線形補間、双三次補間などのアルゴリズムが用いられる。
MCP（Model Context Protocol） – AIモデルとツール間のやり取りを制御するプロトコル。設定によりツール実行時の確認を自動化できる。
Zapier MCP server – Google Gemini CLIで使用可能なMCP（Model Context Protocol）サーバーの一つ。
エージェンシックAI – 自律的に行動し、複数のタスクを連携して実行できるAIシステム。カレンダー操作やファイル処理などの実世界のタスクを代行する。
【参考リンク】
Trail of Bits（外部）
セキュリティ監査とコンサルティングを専門とする企業。今回の画像スケーリング攻撃を発見し、Anomorpherツールを開発した。
Google Gemini（外部）
Googleが開発したマルチモーダル大規模言語モデル。テキストと画像を同時に処理し、様々なタスクを実行できるAIアシスタント。
Vertex AI（外部）
GoogleのクラウドベースAI開発プラットフォーム。機械学習モデルの構築、デプロイ、管理を統合的に提供する。
Genspark（外部）
AI技術を活用したエージェンシックブラウザを開発するスタートアップ。今回の攻撃対象の一つとして実証された。
【参考記事】
Weaponizing image scaling against production AI systems（外部）
Trail of Bitsが発表した攻撃手法の詳細な技術解説。ZapierMCP serverの具体的な設定やAnomorpherツールの仕組みを詳細に解説している。
Camouflage Attacks on Image Scaling Algorithms（外部）
2019年のUSENIX Securityで発表された画像スケーリング攻撃の理論的基盤となった研究論文。今回の攻撃の原理的な背景を提供している。
【編集部後記】
AIツールの利便性と引き換えに、私たちが見落としているリスクはないでしょうか。今回の画像スケーリング攻撃は、一見安全に見える画像の背後に潜む脅威を浮き彫りにしました。
みなさんの職場や日常でAIツールを使う際、どのような安全対策を講じていますか。特にファイル共有やAIアシスタントへの画像アップロード時、何か気をつけていることがあれば、ぜひコメントで教えてください。技術の進歩とセキュリティのバランスについて、一緒に考えていければと思います。
