イスラエル研究チームがAIを利用した新型マルウェア「モリスII」を発表

Last Updated on 2024-07-12 09:57 by 門倉 朋宏

イスラエルの研究者3人が、生成AI（GenAI）アプリケーションを騙してマルウェアを拡散させる「ゼロクリックGenAIワーム」を実験室で実演した。このワームは、敵対的な自己複製プロンプトを使用して、AIモデルに入力を出力として複製させることで、情報窃取、スパムの拡散、モデルの汚染などを行う。研究者たちはこのワームを「モリスII」と名付けた。

研究チームは、生成AIを使用してメールを受信・送信するシステムを作成し、信頼された外部データを取得するための手法である「検索拡張生成（RAG）」を利用して、受信メールアシスタントのデータベースを汚染するプロンプト入りメールを作成した。このメールがRAGによって取得され、GenAIモデルに送られると、モデルはジェイルブレイクされ、機密データの抽出と入力の複製を強制され、同じ指示をさらに多くのホストに伝達する。

また、敵対的プロンプトを画像にエンコードする方法も実演し、メールアシスタントが汚染された画像を新しいホストに転送するよう強制した。これらの方法により、攻撃者はAI統合システムの連続したチェーンを通じて、自動的にスパム、プロパガンダ、マルウェアペイロード、その他の悪意のある指示を拡散させることができる。

今日のAIモデルに対する最も進んだ脅威の多くは、コンピューティングの最古のセキュリティ問題の新しいバージョンに過ぎない。開発者は、プログラムがユーザー入力を機械出力と混同しないようにする方法を見つける必要がある。APIルールに一部の責任を委ねることができるが、より深い解決策は、GenAIモデル自体を構成要素に分割することによって得られるかもしれない。

【ニュース解説】

イスラエルの研究者3人が、生成AI（GenAI）アプリケーションを利用してマルウェアを拡散させる新たな手法を実験室で実演しました。この手法は、AIモデルに対して敵対的な自己複製プロンプトを使用し、AIが入力をそのまま出力として複製することを利用しています。これにより、情報の窃取、スパムの拡散、モデルの汚染などが可能になります。研究者たちは、この手法を「モリスII」と名付けています。

この研究では、生成AIを使用してメールを受信・送信するシステムを作成し、信頼された外部データを取得する「検索拡張生成（RAG）」を利用して、受信メールアシスタントのデータベースを汚染するプロンプト入りメールを作成しました。このメールがRAGによって取得され、GenAIモデルに送られると、モデルはジェイルブレイクされ、機密データの抽出と入力の複製を強制され、同じ指示をさらに多くのホストに伝達します。

また、敵対的プロンプトを画像にエンコードする方法も実演し、メールアシスタントが汚染された画像を新しいホストに転送するよう強制しました。これらの方法により、攻撃者はAI統合システムの連続したチェーンを通じて、自動的にスパム、プロパガンダ、マルウェアペイロード、その他の悪意のある指示を拡散させることができます。

この研究は、AIモデルに対する脅威が、コンピューティングの歴史の中で最も古いセキュリティ問題の新しい形であることを示しています。開発者は、プログラムがユーザー入力を機械出力と混同しないようにする方法を見つける必要があります。APIルールに一部の責任を委ねることができますが、より深い解決策は、GenAIモデル自体を構成要素に分割することによって得られるかもしれません。

この研究の示すところは、AI技術の進歩に伴い、セキュリティ対策も進化し続ける必要があるということです。AIモデルがより複雑になるにつれて、攻撃者もまた新しい手法を開発していくでしょう。そのため、AI開発者は、セキュリティを最優先事項として考慮し、モデルの安全性を確保するために、常に警戒し続ける必要があります。

from Zero-Click GenAI Worm Spreads Malware, Poisoning Models.