発見の経緯
- 発見者：ReversingLabs社のセキュリティ研究者 Karlo Zanki氏
- 発見日：2025年1月20日
- 公表日：2025年2月6日
- 場所：AI開発プラットフォーム「Hugging Face」
発見された脆弱性
- 名称：「nullifAI」と命名された新しい攻撃手法
- 対象：2つの機械学習（ML）モデル
- リポジトリ名：
- glockr1/ballr7
- who-r-u0000/0000000000000000000000000000000000000
技術的詳細
- 攻撃手法：Pickleファイルの破損を利用した検知回避
- 特徴：
- PyTorch形式で保存
- 通常のZIP形式ではなく7z形式で圧縮
- ファイル先頭に悪意のあるPythonコードを配置
- ハードコードされたIPアドレスに接続するリバースシェルを実装
対応状況
- 報告：2025年1月20日にHugging Faceへ報告
- 対応：
- 24時間以内に該当モデルを削除
- Picklescanツールを更新し、破損したPickleファイルの検出機能を改善
影響
- 被害：実際の攻撃による被害は報告されていない
- 性質：概念実証（PoC）段階のものと判断
企業情報
- ReversingLabs：マサチューセッツ州ケンブリッジに本社を置くセキュリティ企業
- 代表者：Tomislav Pericin（共同創業者兼チーフソフトウェアアーキテクト）
from:Malicious ML Models on Hugging Face Leverage Broken Pickle Format to Evade Detection
【編集部解説】
今回発見された「nullifAI」と呼ばれる手法は、AIモデルの共有プラットフォームにおける新たな脆弱性を浮き彫りにしました。この問題の本質は、AIモデルの配布形式として広く使用されているPickleファイルの根本的な設計上の欠陥にあります。
特に注目すべきは、この攻撃手法が従来のマルウェア検知の盲点を突いている点です。通常のセキュリティツールは完全なファイルを前提に検査を行いますが、今回の手法は意図的に「壊れた」ファイルを使用することで、検知を回避しています。
この発見は、AIの民主化がもたらす新たな課題を示唆しています。Hugging Faceのような共有プラットフォームは、AIの発展に不可欠な存在となっていますが、同時にサイバー攻撃の新たな標的にもなりつつあります。
特に深刻なのは、この脆弱性がAIモデルのサプライチェーン全体に影響を与える可能性があることです。一度悪意のあるコードが混入したモデルは、それを利用する多くの開発者や最終ユーザーに影響を及ぼす可能性があります。
興味深いのは、今回の発見が「概念実証（PoC）」として報告されたことです。これは実際の攻撃ではなく、セキュリティ研究者たちによる警鐘として捉えるべきでしょう。
対策として、Hugging Faceは新しい安全な形式「Safetensors」への移行を推進していますが、これにも新たな課題が存在することが指摘されています。完全な解決策には、AIコミュニティ全体での継続的な取り組みが必要です。
今後の展望
AIモデルの共有と再利用は、技術革新の重要な推進力となっています。しかし、セキュリティとユーザビリティのバランスをどう取るかが、今後の大きな課題となるでしょう。
特に企業のAI開発者は、オープンソースのAIモデルを使用する際に、より慎重なセキュリティ評価が必要となります。これは開発スピードと安全性のトレードオフという新たな課題を提起しています。
最後に、この事例は「AI時代のサプライチェーンセキュリティ」という新しい分野の重要性を示唆しています。従来のソフトウェアセキュリティの枠組みを超えた、AIに特化したセキュリティ対策の確立が急務となっているのです。