innovaTopia

ーTech for Human Evolutionー

LLMパッケージの幻覚がサプライチェーンを脅かす:スロップスクワッティングという新たな脅威

 - innovaTopia - (イノベトピア)

Last Updated on 2025-04-21 14:18 by admin

Help Net Securityが2025年4月20日に公開した週間セキュリティニュースレビューでは、以下の重要なセキュリティ事案が報告された。

LLMパッケージの幻覚によるサプライチェーン攻撃のリスク:
大規模言語モデル(LLM)が存在しないコードパッケージを「幻覚」する傾向が、「slopsquatting」と呼ばれる新しいタイプのサプライチェーン攻撃の基礎になる可能性がある。この問題はPython Software Foundationのセキュリティ開発者担当者であるSeth Larson氏によって指摘された。

テキサス大学サンアントニオ校、オクラホマ大学、バージニア工科大学の研究者たちの調査によると、16種類のLLMモデルを分析した結果、商用モデルでは約5.2%、オープンソースモデルでは21.7%という高い割合で幻覚が発生している。特にCodeLlama 7Bと34Bは30%以上という最も高い幻覚率を示し、GPT-4系モデルは比較的低い幻覚率を示した。

Appleのゼロデイ脆弱性修正
Appleは2025年4月16日に、iOS/iPadOS、macOS、tvOS、visionOSに対する緊急セキュリティアップデートをリリースした。このアップデートでは、「iOSの特定の標的となった個人に対する非常に高度な攻撃」で悪用された2つのゼロデイ脆弱性(CVE-2025-31200、CVE-2025-31201)を修正している。

CVE-2025-31200はCoreAudioフレームワークのメモリ破損の脆弱性で、CVSS(共通脆弱性評価システム)スコアは7.5である。この脆弱性は悪意のあるメディアファイル内のオーディオストリームを処理する際にコード実行を可能にする。AppleとGoogle脅威分析グループ(TAG)によって発見された。

CVE-2025-31201はRPAC(Return Pointer Authentication Code)コンポーネントの脆弱性で、CVSSスコアは6.8である。この脆弱性により、任意の読み取りおよび書き込み機能を持つ攻撃者がポインタ認証をバイパスできる可能性がある。Appleによって発見された。

Windows NTLMの脆弱性が複数の攻撃キャンペーンで悪用
Microsoftが2025年3月11日にパッチを提供したWindows NTLMハッシュ開示の脆弱性(CVE-2025-24054)が、ポーランドとルーマニアの政府および民間機関を標的とした攻撃キャンペーンで悪用されている。Check Pointの調査によると、この攻撃は3月20日から25日の間に発生し、Dropboxリンクを使用したスパムメールにより拡散された。

この脆弱性は、細工された.library-msファイルを通じてNTLMv2-SSPハッシュの漏洩を可能にするもので、サポートされているすべてのバージョンのWindowsに影響を与える。ロシアの国家支援型APTグループ「APT28(Fancy Bear)」と関連するIPアドレスが関与していた可能性も報告されている。

Nagios Log Serverの重大な脆弱性が修正
Nagiosセキュリティチームは、企業向けログ管理・分析プラットフォームであるNagios Log Serverに影響を与える3つの重大な脆弱性を修正した。これらの脆弱性には、クロスサイトスクリプティング(XSS)の脆弱性1件、サービス拒否(DoS)攻撃の脆弱性1件、情報漏洩の脆弱性1件が含まれている。

Hertzのデータ漏洩
アメリカのレンタカー会社Hertzが、2024年のCleoゼロデイ脆弱性の悪用によるランサムウェアギャングの攻撃に関連するデータ漏洩を経験した。この漏洩は米国、EU、英国、オーストラリア、カナダの顧客に影響を与えている。

その他の重要なセキュリティトピック

  • 企業の94%がペネトレーションテストは不可欠と考えているが、実際に正しく実施している企業はほとんどない。Cobaltによると、組織は悪用可能な脆弱性の半分未満しか修正しておらず、GenAIアプリの脆弱性は21%しか解決されていない。
  • ブラウザ拡張機能がほぼすべての従業員を潜在的な攻撃ベクトルにしている。LayerXによると、拡張機能は事実上すべての従業員のブラウザに存在しているにもかかわらず、セキュリティチームによって監視されたり、ITによって制御されたりすることはほとんどない。
  • Secureframeによると、コンプライアンス違反は、コンプライアンスプログラムを維持するよりも2.71倍のコストがかかる可能性がある。
  • 世界的緊張が高まる中、エネルギーセクターに対するサイバー脅威が急増している。

from: Week in review: LLM package hallucinations harm supply chains, Nagios Log Server flaws fixed

【編集部解説】

今週のセキュリティニュースで特に注目すべきは、AIの「幻覚」がもたらす新たなサプライチェーンリスクです。「slopsquatting(スロップスクワッティング)」と呼ばれるこの問題は、単なる理論上の脅威ではなく、現実的なリスクとして浮上しています。

・AIの幻覚がもたらすサプライチェーンの新たな脅威。
テキサス大学サンアントニオ校、オクラホマ大学、バージニア工科大学の研究者たちが共同で行った調査によると、16種類の人気コード生成LLMを分析した結果、すべてのモデルが「パッケージの幻覚」を引き起こすことが判明しました。これらのモデルは合計で205,474件の架空のパッケージ名を生成しました。

特に注目すべきは、商用モデルでは約5.2%、オープンソースモデルでは21.7%という高い割合で幻覚が発生していることです。中でもCodeLlama 7Bと34Bは30%以上という最も高い幻覚率を示し、GPT-4系モデルは比較的低い幻覚率でした。

この問題の深刻さは、同じプロンプトを使用した場合、43%の幻覚パッケージが一貫して再現されるという点にあります。つまり、攻撃者はこのパターンを予測し、AIが頻繁に「幻覚」するパッケージ名を事前に登録して悪意のあるコードを仕込むことができるのです。

・開発者の信頼を悪用する新たな攻撃手法。
従来の「タイポスクワッティング」が人間のタイプミスを狙うのに対し、「スロップスクワッティング」はAIの欠陥と開発者のAIへの過信を悪用します。GitHub CopilotやChatGPTなどのコーディング支援ツールを利用する開発者が増える中、AIが提案する架空のパッケージをそのまま信頼してインストールすると、知らぬ間に悪意のあるコードをプロジェクトに取り込んでしまう恐れがあります。

セキュリティ企業Socketの説明によれば、攻撃者はAIの動作を監視し、繰り返し提案される架空パッケージを特定して、他の誰かがそれを登録する前に自分で登録することができます。これにより、AIを利用する開発者が同じパッケージを推奨された際に、悪意のあるコードをダウンロードさせることが可能になります。

・「vibe coding」とセキュリティリスク。
この問題は、OpenAIの研究者Andrej Karpathyが提唱した「vibe coding」という概念とも関連しています。vibe codingとは、コードの詳細な理解よりも「雰囲気」や「感覚」に基づいてプログラミングする手法を指します。開発者がAIの提案を深く理解せずに採用することで、潜在的なセキュリティリスクが高まる可能性があります。

・企業システムへの影響と対策。
この問題は個人開発者だけでなく、企業のソフトウェア開発プロセス全体に影響を及ぼす可能性があります。一度悪意のあるパッケージがコードベースに組み込まれると、そのパッケージに依存するすべてのコードが感染する可能性があり、企業全体のシステムが危険にさらされることになります。

対策としては、開発者がAIの提案を鵜呑みにせず、パッケージの存在と信頼性を必ず確認することが重要です。また、企業はAIコーディング支援ツールの使用ポリシーを策定し、開発者に対してセキュリティ意識向上のためのトレーニングを提供することも効果的でしょう。

AIとセキュリティの共存に向けて。
AIツールが開発プロセスに不可欠になりつつある現在、このような脆弱性は避けて通れない課題です。しかし、これはAIツールの使用を避けるべき理由ではなく、むしろAIと人間の協業において、人間側がクリティカルシンキングと検証のプロセスを担う重要性を示しています。

今後、AIモデルの開発者側でも幻覚を減らす取り組みが進むでしょうが、完全に解決するのは難しい問題です。最終的には、テクノロジーの進化とセキュリティ意識の向上が並行して進むことが、安全なAI活用の鍵となるでしょう。

【用語解説】

スロップスクワッティング(Slopsquatting)
AIが「幻覚」で生成した存在しないソフトウェアパッケージ名を悪用者が先回りして登録し、悪意のあるコードを仕込む攻撃手法である。従来の「タイポスクワッティング」(人間のタイプミスを狙う)と異なり、AIの欠陥と開発者のAI信頼を悪用する。

幻覚(Hallucination):
AIが実際には存在しない情報を事実であるかのように生成してしまう現象。コード生成AIの場合、実在しないパッケージやライブラリを参照することがある。

ゼロデイ脆弱性(Zero-day Vulnerability)
ソフトウェア開発者が認識する前に悪意ある攻撃者に発見された脆弱性のこと。「ゼロデイ」とは開発者が対策するための時間が0日であることに由来する。攻撃者は修正パッチがリリースされるまでこの脆弱性を秘密裏に悪用できる。

LLM(Large Language Model)
GPT-4やCodeLlamaなどの大規模言語モデル。膨大なテキストデータで学習され、人間のような文章生成やコード生成が可能だが、時に「幻覚」を起こす。

サプライチェーン攻撃
ソフトウェア開発の過程で使用されるコンポーネント(ライブラリやパッケージなど)を標的とした攻撃。一度汚染されたコンポーネントが広く使われると、それに依存する多くのシステムが影響を受ける。

vibe coding
OpenAIの研究者Andrej Karpathyが提唱した概念で、コードの詳細な理解よりも「雰囲気」や「感覚」に基づいてプログラミングする手法。AIツールに依存したコーディングスタイルを指す。

【参考リンク】

Nagios Log Server(外部)
企業向けのログ管理・分析プラットフォーム。セキュリティ脅威やパフォーマンス問題を即座に検出し、AIを活用した自然言語クエリでログ分析を効率化。

AutoRABIT(外部)
Salesforce向けのDevSecOpsツールを提供する企業。2015年創業で、リリース速度の向上、高品質なコード生成、データセキュリティ強化を支援。

Socket(外部)
オープンソースのサプライチェーンセキュリティプラットフォーム。スロップスクワッティングなどの脅威から開発者を保護する。

Python Software Foundation(外部)
Pythonプログラミング言語の開発と普及を支援する非営利団体。セキュリティ開発者担当者のSeth Larsonが「スロップスクワッティング」を命名。

Hertz(外部)
世界的なレンタカー会社。2024年末にCleoゼロデイ脆弱性を悪用されたデータ漏洩を経験。

【関連記事】

サイバーセキュリティニュースをinnovaTopiaでもっと読む

投稿者アバター
アリス
プログラミングが好きなオタク
ホーム » サイバーセキュリティ » サイバーセキュリティニュース » LLMパッケージの幻覚がサプライチェーンを脅かす:スロップスクワッティングという新たな脅威