Last Updated on 2024-06-14 05:33 by 門倉 朋宏
新しい攻撃技術「Sleepy Pickle」が機械学習（ML）モデルを標的にしている。この技術は、MLモデルをパッケージ化して配布するために広く使用されているPickle形式の脆弱性を利用して、モデル自体を破壊し、組織の下流の顧客に対する重大なサプライチェーンリスクをもたらす。Trail of Bitsによると、「Sleepy Pickle」はMLモデル自体を標的とする隠密性の高い新しい攻撃技術である。Pickleファイルをロードする際（つまり、逆シリアライズ中）に任意のコード実行攻撃を簡単に実行できる。
Hugging Faceのドキュメントでは、信頼できるユーザーや組織からモデルをロードすること、署名されたコミットに依存すること、または[TensorFlow]やJax形式からのモデルをfrom_tf=True自動変換メカニズムでロードすることを提案している。Sleepy Pickleは、Ficklingなどのオープンソースツールを使用してpickleファイルにペイロードを挿入し、敵対者イン・ザ・ミドル（AitM）攻撃、フィッシング、サプライチェーンの妥協、またはシステムの弱点の悪用などの技術を使用してターゲットホストに配信することで機能する。
被害者のシステムでファイルが逆シリアライズされると、ペイロードが実行され、含まれるモデルをその場で変更してバックドアを挿入したり、出力を制御したり、ユーザーに返す前に処理されたデータを改ざんしたりする。この攻撃方法は、ユーザーの安全にとって災害的な結果をもたらす可能性のある有害な出力や誤情報を生成するために使用される可能性がある。Trail of Bitsは、Sleepy Pickleを使用すると、脅威アクターがMLシステム上で検出を回避しながら秘密裏にアクセスを維持できると述べている。攻撃対象をダウンロードして実行するよう誘うよりも、PickleファイルがPythonプロセスでロードされたときにモデルが侵害されるため、これはより効果的である。
【ニュース解説】
機械学習（ML）モデルを標的とする新たな攻撃技術「Sleepy Pickle」が発見されました。この技術は、MLモデルをパッケージ化し配布する際に広く使用されているPickle形式の脆弱性を利用して、モデル自体を破壊することで、組織の下流の顧客に対する重大なサプライチェーンリスクをもたらします。
Pickle形式は、Pythonで開発されたMLライブラリ、例えばPyTorchなどで一般的に使用されるシリアライゼーション（オブジェクトの状態を保存・転送可能な形式に変換するプロセス）形式です。しかし、この形式は逆シリアライズ時（保存された状態からオブジェクトを復元するプロセス）に任意のコード実行攻撃を受けやすいという脆弱性があります。
Sleepy Pickle攻撃は、Ficklingといったオープンソースツールを使用してPickleファイルに悪意のあるペイロード（攻撃コード）を挿入し、そのファイルをターゲットのホストに配布することで実行されます。配布方法には、敵対者イン・ザ・ミドル攻撃、フィッシング、サプライチェーンの妥協、システムの弱点の悪用などがあります。
この攻撃により、被害者のシステムでPickleファイルが逆シリアライズされると、ペイロードが実行され、MLモデルがその場で改ざんされます。これにより、バックドアの挿入、出力の制御、またはユーザーに返す前に処理されたデータの改ざんなどが可能になります。このような攻撃は、ユーザーの安全に対する重大な脅威をもたらす可能性があります。例えば、誤情報を生成してユーザーに危害を加える、特定の条件下でユーザーデータを盗む、ニュース記事の要約を操作してフィッシングページへのリンクを生成するなどの行為が考えられます。
この攻撃技術の発見は、MLシステムのセキュリティに対する新たな課題を提示しています。特に、モデルが侵害されると、その影響は直接的ではなく、モデルの挙動や出力を動的に変更することができるため、検出が困難になります。これは、攻撃者がターゲットを直接ダウンロードして実行させるよりも、より効果的な手段となり得ます。
Sleepy Pickle攻撃は、MLモデルのセキュリティを強化するために、信頼できるソースからのみモデルをロードする、署名されたコミットに依存する、安全な形式でのモデルの自動変換メカニズムを利用するなどの対策を講じることの重要性を浮き彫りにしています。また、この攻撃は、サプライチェーンの脆弱性を通じて、より広範な攻撃面を持つことを示しており、組織は自身のMLシステムだけでなく、関連するソフトウェアコンポーネントやアプリケーション全体のセキュリティを考慮する必要があります。
from New Attack Technique 'Sleepy Pickle' Targets Machine Learning Models.
