AI推薦の「幻覚」パッケージが開発環境のセキュリティリスクを拡大

Last Updated on 2024-03-29 06:20 by 荒木 啓介

大規模言語モデル（LLM）を使用するソフトウェア開発者が、存在しないコードライブラリを推奨されることが、攻撃者による悪意あるパッケージの配布の機会を以前にも増して拡大している。Lasso Securityによる最近の研究では、LLMがユーザーの入力に対して事実に基づかないがもっともらしい結果を生成する傾向があること、いわゆる「幻覚」が、開発環境へのマルウェア導入のリスクを高めていることが指摘された。

この研究は、ChatGPTなどのAIベースのチャットボットが開発者からのプロジェクトに使用するパッケージの提案を求められた際に、存在しないパッケージへのリンクを生成することがあるという昨年の報告に続くものである。研究者バー・ラニャドは、攻撃者がChatGPTが指摘した場所に同じ名前の実際の悪意あるパッケージを配置することで、開発者がそのパッケージをダウンロードし、開発環境にマルウェアを導入する可能性があることを発見した。

ラニャドの追跡研究では、GPT-3.5-Turbo、GPT-4、Gemini Pro（旧Bard）、Coral（Cohere）など4つの異なる大規模言語モデルにおけるパッケージ幻覚問題の普及度を調査した。各モデルが異なるプログラミング言語で幻覚パッケージを生成する傾向と、同じ幻覚パッケージを生成する頻度もテストされた。

結果は懸念を呼ぶもので、Geminiとの「会話」の64.5%で幻覚パッケージが生成された。Coralでは29.1%、他のLLMではGPT-4が24.2%、GPT-3.5が22.5%であった。ラニャドが各モデルに同じ質問を100回繰り返して幻覚パッケージがどれだけ頻繁に生成されるかを調べたところ、繰り返し率も驚くべきものであった。例えば、Cohereは24%以上の時間で同じ幻覚パッケージを生成した。

攻撃者は、LLMが開発者にそれを指摘する可能性が高いことを知って、幻覚パッケージの名前を持つパッケージを適切なリポジトリにアップロードすることができる。ラニャドは、脅威が理論的ではないことを示すために、テスト中に遭遇した「huggingface-cli」という幻覚パッケージを機械学習モデルのHugging Faceリポジトリに同じ名前の空のパッケージとしてアップロードし、開発者がそのパッケージを32,000回以上ダウンロードしたと述べている。

ラニャドは、開発者がLLMからのパッケージ推薦に基づいて行動する際には、その正確性に完全に確信が持てない場合は注意を払うべきだと提案している。また、開発者が見慣れないオープンソースパッケージに遭遇した場合、パッケージリポジトリを訪れ、そのコミュニティの規模、メンテナンス記録、既知の脆弱性、全体的なエンゲージメント率を調査し、開発環境に導入する前にパッケージを徹底的にスキャンするべきだとも述べている。

【ニュース解説】

ソフトウェア開発者がプロジェクトで使用するコードライブラリを選択する際に、AIベースの大規模言語モデル（LLM）を利用することが一般的になっています。しかし、最近の研究により、これらのLLMが存在しないコードライブラリを推奨することがあることが明らかになりました。この現象は「幻覚」と呼ばれ、開発環境に悪意あるパッケージを配布する新たな機会を攻撃者に提供していると指摘されています。

この問題の深刻さを示すために、Lasso Securityの研究者バー・ラニャドは、GPT-3.5-Turbo、GPT-4、Gemini Pro（旧Bard）、Coral（Cohere）といった異なるLLMを対象に、幻覚パッケージ問題の普及度を調査しました。研究では、これらのモデルがどの程度の頻度で存在しないパッケージを推奨するか、また、同じ幻覚パッケージを繰り返し生成するかがテストされました。

結果は驚くべきもので、特にGeminiモデルでは、幻覚パッケージが生成された「会話」の64.5%に達しました。他のモデルでも、GPT-4が24.2%、GPT-3.5が22.5%と、一定の割合で幻覚パッケージが生成されていることが確認されました。

この問題の潜在的なリスクは、攻撃者がこれらの幻覚パッケージの名前を利用して、実際に悪意あるパッケージをリポジトリにアップロードすることが可能である点にあります。例えば、ラニャドは「huggingface-cli」という幻覚パッケージを実際にアップロードし、32,000回以上ダウンロードされた事例を報告しています。

この問題に対処するために、ラニャドは開発者に対して、LLMからのパッケージ推薦に基づいて行動する際には慎重になるよう提案しています。特に、見慣れないオープンソースパッケージに遭遇した場合は、そのパッケージのコミュニティの規模やメンテナンス記録、既知の脆弱性などを確認し、開発環境に導入する前に徹底的にスキャンすることが重要です。

この研究は、AI技術の進歩がもたらす便利さと同時に、新たなセキュリティリスクも生じることを示しています。開発者だけでなく、セキュリティ専門家や企業も、このようなリスクに対して常に警戒し、適切な対策を講じる必要があります。また、LLMの開発者は、幻覚問題を軽減するための改善策を継続的に模索することが求められます。

from Pervasive LLM Hallucinations Expand Code Developer Attack Surface.