【ダイジェスト】
人工知能（AI）の進化は、ビジネスの世界に多大な影響を与えていますが、それに伴うリスクも無視できません。特に大規模言語モデル（LLM）のセキュリティ問題は、企業が十分に考慮していない可能性があります。Berryville Institute of Machine Learning（BIML）の研究者たちは、LLMに関連する81のリスクを特定し、そのうちの4分の1以上が「ブラックボックス」の問題に起因していると報告しています。
ブラックボックスとは、AIがどのように意思決定を行っているのか、そのプロセスが不透明であることを指します。LLMのエンドユーザーは、モデルのトレーニングに使用されたデータがどのように収集・クリーニングされたのかについてほとんど情報を持っていません。また、モデル開発者も情報量が膨大すぎるため、データの評価は表面的なものに留まりがちです。このような透明性の欠如が、AIによる意思決定のリスクの根本的な原因となっています。
AIモデルのリスクとセキュリティは、ビジネスがAIを採用するにつれてますます重要になってきています。BIMLだけでなく、米国国立標準技術研究所（NIST）も「敵対的機械学習：攻撃と緩和の分類と用語」の最新版を発表し、AIへの脅威について議論するための共通言語の作成に取り組んでいます。
NISTの報告書は、AIの風景を予測モデル（PredAI）とコンテンツ生成モデル（GenAI）の2つの大きなカテゴリーに分けています。予測AIモデルは機密性、完全性、可用性という典型的な脅威に悩まされる一方で、LLMのような生成AIシステムは、クエリやリソースにアクセスするプロンプトインジェクションなどの悪用にも対処しなければなりません。
AIモデルをターゲットにする攻撃者は、モデルをだます、モデルから知的財産を盗む、またはモデルからデータを操作・抽出することを目的としています。しかし、AIを狙った攻撃は、従来のサイバー攻撃よりも達成が困難であるため、攻撃者はより簡単な方法を選ぶことが多いです。
現在の防御策は基本的であり、LLMにガードレールを設置しようとする試みは、悪意のあるプロンプトが最終的にはどんなルールも迂回できるため、容易に回避されてしまいます。攻撃者と防御者の間のいたちごっこが続く中、より良い防御ラインと保護技術を見つけ出すまで、この状況は続くでしょう。
AIとMLのセキュリティに関する最新の動向や脅威、新たに発見された脆弱性、データ侵害情報、新しいトレンドについての情報は、日々進化しています。これらの情報を追い続けることは、セキュリティ専門家にとって不可欠です。
【ニュース解説】
人工知能（AI）の進化は、ビジネスの世界に多大な影響を与えていますが、それに伴うリスクも無視できません。特に大規模言語モデル（LLM）のセキュリティ問題は、企業が十分に考慮していない可能性があります。Berryville Institute of Machine Learning（BIML）の研究者たちは、LLMに関連する81のリスクを特定し、そのうちの4分の1以上が「ブラックボックス」の問題に起因していると報告しています。
ブラックボックスとは、AIがどのように意思決定を行っているのか、そのプロセスが不透明であることを指します。LLMのエンドユーザーは、モデルのトレーニングに使用されたデータがどのように収集・クリーニングされたのかについてほとんど情報を持っていません。また、モデル開発者も情報量が膨大すぎるため、データの評価は表面的なものに留まりがちです。このような透明性の欠如が、AIによる意思決定のリスクの根本的な原因となっています。
AIモデルのリスクとセキュリティは、ビジネスがAIを採用するにつれてますます重要になってきています。BIMLだけでなく、米国国立標準技術研究所（NIST）も「敵対的機械学習：攻撃と緩和の分類と用語」の最新版を発表し、AIへの脅威について議論するための共通言語の作成に取り組んでいます。
NISTの報告書は、AIの風景を予測モデル（PredAI）とコンテンツ生成モデル（GenAI）の2つの大きなカテゴリーに分けています。予測AIモデルは機密性、完全性、可用性という典型的な脅威に悩まされる一方で、LLMのような生成AIシステムは、クエリやリソースにアクセスするプロンプトインジェクションなどの悪用にも対処しなければなりません。
AIモデルをターゲットにする攻撃者は、モデルをだます、モデルから知的財産を盗む、またはモデルからデータを操作・抽出することを目的としています。しかし、AIを狙った攻撃は、従来のサイバー攻撃よりも達成が困難であるため、攻撃者はより簡単な方法を選ぶことが多いです。
現在の防御策は基本的であり、LLMにガードレールを設置しようとする試みは、悪意のあるプロンプトが最終的にはどんなルールも迂回できるため、容易に回避されてしまいます。攻撃者と防御者の間のいたちごっこが続く中、より良い防御ラインと保護技術を見つけ出すまで、この状況は続くでしょう。
AIとMLのセキュリティに関する最新の動向や脅威、新たに発見された脆弱性、データ侵害情報、新しいトレンドについての情報は、日々進化しています。これらの情報を追い続けることは、セキュリティ専門家にとって不可欠です。
