innovaTopia

ーTech for Human Evolutionー

DARPAがAIサイバーチャレンジを発表、オープンソースの安全性向上へ

DARPAがAIサイバーチャレンジを発表、オープンソースの安全性向上へ - innovaTopia - (イノベトピア)

Last Updated on 2024-06-30 08:27 by admin

米国国防高等研究計画局(DARPA)は、AIサイバーチャレンジ(AIxCC)を開始し、AIとサイバーセキュリティの専門家に、重要なオープンソースプロジェクトのセキュリティ向上のための新しいAIシステムの設計を呼びかけた。この競技会は、AIツールを防御側に投資し、技術を進歩させることを目的としている。GoogleのOSS-Fuzzおよびセキュリティエンジニアリングチームは、競技会の課題設計と競技フレームワークの設計を支援している。

OSS-Fuzzは、オープンソースプロジェクトの脆弱性を発見し、修正するためのファズテストプラットフォームであり、これまでに1200以上のプロジェクトで11,000以上の脆弱性を発見し、修正してきた。AIxCCの課題は、OSS-Fuzzのツールチェーン、ファジングエンジン、サニタイザーを再利用することが可能である。

AIxCCの課題に対するファジングでは、ユーザースペースのJavaとC/C++に対してはlibFuzzer、AFL(++)、Jazzerなどのエンジンを使用することができる。カーネルのファジングには、SyzkallerやAFLを使用する方法が検討された。SyzkallerはLinuxカーネルの脆弱性を見つけるのに効果的だが、AIxCCのカーネル課題には適していないため、AFLを使用してカーネルをファジングする方法が採用された。

AIを活用することで、ファジングの限界を超える可能性がある。例えば、LLM(Large Language Models)を使用して、期待される入力フォーマットに近いシード入力を生成することが、脆弱性の発見を加速させるかもしれない。

脆弱性を見つけるための別の方法として、静的解析がある。LLMを使用することで、静的解析の精度と分析能力を向上させることができる。

ファジングによって再現性のある入力を見つけた後、問題のコミットをgitの履歴から特定し、クラッシュを引き起こしたサニタイザーを特定することで、証拠を提供する。

脆弱性を「修正」するための次のステップとして、デルタデバッグを使用して、脆弱性がトリガーされなくなり、かつ全ての機能テストがパスするまで、問題のコミットの異なる部分を段階的に含めたり除外したりする方法がある。

AIを活用してパッチを改善することも、競技者が探求できる領域である。LLMを使用してパッチを提案するアプローチが有望である。AIxCCの成果は、オープンソースエコシステムのセキュリティを直接向上させるためにOSS-Fuzzに統合される予定である。

【ニュース解説】

米国国防高等研究計画局(DARPA)がAIサイバーチャレンジ(AIxCC)を立ち上げ、AIとサイバーセキュリティの専門家たちに、重要なオープンソースプロジェクトのセキュリティを強化するための新しいAIシステムの開発を呼びかけました。このイニシアティブは、AI技術を防御側のツールとして活用し、技術の進歩を促進することを目的としています。GoogleのOSS-Fuzzおよびセキュリティエンジニアリングチームは、この競技会の課題設計と競技フレームワークの設計を支援しており、競技会のためにサイバー推論システム(CRS)を構築し、DARPAの模範的な課題に取り組んでいます。

OSS-Fuzzは、オープンソースプロジェクトの脆弱性を発見し、修正するためのファズテストプラットフォームであり、これまでに1200以上のプロジェクトで11,000以上の脆弱性を発見し、修正してきました。AIxCCの課題は、OSS-Fuzzの既存のツールチェーン、ファジングエンジン、サニタイザーを再利用することが可能であり、参加者はこれらのリソースを活用して課題に取り組むことができます。

ファジングは、プログラムにランダムまたは半ランダムのデータを入力して実行し、予期しない挙動やクラッシュを引き起こす脆弱性を発見するテスト手法です。AIxCCの課題では、特にユーザースペースのJavaとC/C++プログラム、そしてより複雑なカーネルのファジングが行われます。カーネルファジングには、AFLなどのツールを使用して、特定のシステムコールのシーケンスをテストする方法が採用されました。

AIの活用により、ファジングの限界を超える新たな可能性が開かれています。例えば、大規模言語モデル(LLM)を使用して、特定の入力フォーマットに近いシード入力を生成し、脆弱性の発見を加速させることが期待されます。また、静的解析においても、LLMの活用により、偽陽性の削減や問題の特定精度の向上が見込まれます。

ファジングによって脆弱性の再現性のある入力が見つかった後、問題のあるコミットを特定し、適切なサニタイザーを用いてクラッシュを解析することで、脆弱性の証拍を得ることができます。そして、デルタデバッグを用いて、機能テストがパスする範囲で脆弱性をトリガーしないようにコミットを修正する方法があります。

AIのさらなる活用として、LLMを用いた自動パッチ生成が有望です。これにより、脆弱性の修正がより迅速かつ効率的に行われるようになる可能性があります。AIxCCの成果は、オープンソースエコシステム全体のセキュリティ向上に直接貢献することが期待されています。

この取り組みは、AI技術を活用してサイバーセキュリティの課題に対処する新たな道を切り開くものであり、将来的にはより安全なデジタル環境の実現に貢献することが期待されます。また、オープンソースプロジェクトのセキュリティを強化することで、重要なインフラストラクチャーをサイバー攻撃から守る上での重要なステップとなります。

from Hacking for Defenders: approaches to DARPA’s AI Cyber Challenge.

ホーム » サイバーセキュリティ » サイバーセキュリティニュース » DARPAがAIサイバーチャレンジを発表、オープンソースの安全性向上へ