Last Updated on 2024-03-19 10:36 by 荒木 啓介
機械学習モデルのリポジトリ、例えばHugging Faceは、npmやPyPIなどのオープンソース公開リポジトリと同様に、脅威アクターが開発環境に悪意のあるコードを忍び込ませる機会を提供している。Dropboxの研究者2人が、Black Hat Asiaで「Confused Learning: Machine Learning Modelsを通じたサプライチェーン攻撃」と題したプレゼンテーションを行い、Hugging Face上のMLモデルを介してマルウェアを配布するために脅威アクターが使用できる複数の技術を示す予定である。これらの技術は、攻撃者がオープンソースコードリポジトリにマルウェアをアップロードするために何年もの間成功裏に使用してきたものと似ている。
機械学習パイプラインは新たなサプライチェーン攻撃ベクトルであり、企業は自己防衛のためにどのような分析やサンドボックスを使用しているかを検討する必要がある。MLモデルは純粋な関数ではなく、悪用される可能性のある完全なマルウェアベクトルである。Hugging Faceのようなリポジトリは、MLモデルが脅威アクターに機密情報や環境へのアクセスを提供するため、魅力的なターゲットとなっている。
Hugging Faceは、開発者がダウンロードして自分のプロジェクトに統合できるMLツール、データセット、モデルのリポジトリである。このリポジトリは、開発者が自分のMLモデルを作成してアップロードしたり、要件に合ったモデルを探したりできるようにする。Hugging Faceのセキュリティコントロールには、リポジトリ全体でのマルウェア、脆弱性、秘密、および機密情報のスキャンが含まれる。また、開発者がより安全に大きなテンソルを保存してアップロードできるようにするSafetensorsという形式も提供している。
しかしながら、このリポジトリや他のMLモデルリポジトリは、攻撃者が悪意のあるモデルをアップロードし、開発者がそれらをダウンロードして自分のプロジェクトで使用するように仕向けるための隙間を提供している。例えば、今年初めにJFrogの研究者は、ロード時に攻撃者に被害者のマシンの完全な制御を与える悪意のあるコードを実行するHugging Face上の悪意のあるMLモデルを発見した。このモデルは「pickle」と呼ばれるファイル形式を使用しており、Pythonオブジェクトをシリアライズするための一般的な形式であるが、pickleファイルにはファイルがロードされたときに実行される任意のコードも含まれることがある。
【ニュース解説】
機械学習モデルのリポジトリ、特にHugging Faceが、新たなサプライチェーン攻撃の標的となっていることが明らかになりました。これまでにnpmやPyPIなどのオープンソース公開リポジトリを通じて行われてきた攻撃と同様の手法が、機械学習モデルにも適用され得ることが、Dropboxの研究者によって指摘されています。
機械学習パイプラインは、企業のセキュリティシステムにとって新たな脅威となり得ることが示されています。MLモデルは、単なる関数ではなく、悪意のあるコードを実行するための手段として利用される可能性があります。このため、企業はMLモデルを使用する前に、それらを徹底的に検査するためのコントロールを実装する必要があります。
Hugging Faceのようなリポジトリは、開発者が自分のプロジェクトに統合できるMLツール、データセット、モデルを提供しています。しかし、このようなリポジトリは、攻撃者が悪意のあるモデルをアップロードし、開発者がそれらをダウンロードして使用することを促す機会を提供しています。
例えば、JFrogの研究者は、被害者のマシンの完全な制御を攻撃者に与える悪意のあるコードを実行するMLモデルをHugging Face上で発見しました。このモデルは「pickle」というファイル形式を使用しており、Pythonオブジェクトをシリアライズする一般的な方法ですが、任意のコードを含むことがあり、そのコードはファイルがロードされたときに実行されます。
このような攻撃は、企業にとって重大なセキュリティリスクをもたらします。機密情報の漏洩やシステムの不正操作など、様々な悪影響が考えられます。そのため、MLモデルを使用する際には、その出所を確認し、信頼できるソースからのみダウンロードすることが重要です。また、MLモデルを導入する前に、セキュリティチェックを行うことで、潜在的なリスクを軽減することができます。
この問題に対処するためには、企業がセキュリティ対策を強化し、MLモデルの安全性を確保するためのガイドラインやベストプラクティスを開発することが求められます。また、MLモデルのリポジトリを提供するプラットフォームも、セキュリティ対策を強化し、悪意のあるモデルのアップロードを防ぐための取り組みを強化する必要があります。
from ML Model Repositories: The Next Big Supply Chain Attack Target.
“機械学習モデルが新たなサイバー攻撃の温床に、Hugging Faceでの警告発令” への1件のコメント
この記事を読んで、技術の進歩がもたらす利便性と同時に、新たな脅威が常に伴うことを改めて感じました。特に、我々のような一般ユーザーは、このような複雑な攻撃手法に対して無防備であることが多く、機械学習モデルのリポジトリが攻撃の標的となっていることは大きな懸念材料です。私自身、技術の細かい部分には疎いですが、孫たちがインターネットを安全に使用できる環境を提供するためには、このような情報を知っておく必要があると感じます。
特に、Hugging Faceのようなリポジトリが提供する便利さは、開発者にとって非常に魅力的ですが、その裏で悪用の可能性があることを知ると、二重の注意が必要だと強く感じます。地元の歴史や園芸など、比較的穏やかな趣味を持つ私でも、孫たちが将来、安全で健全なデジタル環境で成長してほしいと願っています。そのためには、企業がセキュリティ対策を強化し、ユーザーがリスクを理解することが不可欠だと思われます。
この記事で提起されている問題への対処法として、企業がセキュリティガイドラインやベストプラクティスを開発することが