Last Updated on 2024-04-30 07:44 by 荒木 啓介
Generative Artificial Intelligence (GenAI)は、イノベーションの加速、既存ワークフローの自動化、働き方の再考に貢献する重要な変革要因として登場している。現在、55%以上の企業がGenAIソリューションを試験運用中または積極的に使用している。
しかし、GenAIはデータのセキュリティや機密データの漏洩、プライバシー、幻覚、不正使用と詐欺、モデルや出力のバイアスなど、多くのリスク要因をもたらす。これらのリスクを事前に特定し、対策を講じるために、組織はGenAIの使用に関する追加のセーフガードとしてレッドチーミングを活用できる。
GenAIのレッドチーミングは、従来のAIシステムやソフトウェアのレッドチーミングとは大きく異なる複雑な多段階プロセスである。従来のソフトウェアやクラシカルAIのレッドチーミングがセキュリティの失敗を特定することに主に焦点を当てているのに対し、GenAIのレッドチーミングは、公正性の問題を含むコンテンツの生成や根拠のない不正確な情報の生成など、幅広いリスクを同時に考慮する必要がある。
また、GenAIのレッドチーミングは従来のレッドチーミングよりも確率的であり、同じ入力に対して異なる出力を提供する可能性がある。これは、アプリ固有のロジックやGenAIモデル自体、またはシステムの出力を制御するオーケストレーターが異なる拡張機能やプラグインを使用することによって発生する。
マイクロソフトでは、GenAIシステムのレッドチーミングにPython Risk Identification Tool for generative AI (PyRIT)というオープンオートメーションフレームワークを使用している。これは、手動のGenAIレッドチーミングを置き換えるものではなく、レッドチームの既存の専門知識を補完し、煩雑なタスクを自動化し、潜在的なリスクがある領域を特定することで新たな効率を生み出す。
【ニュース解説】
Generative Artificial Intelligence（GenAI）は、イノベーションを加速させ、既存のワークフローを自動化し、働き方を再考する上で重要な役割を果たしています。現在、55%以上の企業がGenAIソリューションを試験運用中または積極的に使用していると報告されています。
しかし、GenAIの利用は、データセキュリティや機密データの漏洩、プライバシーの侵害、幻覚（不正確な情報の生成）、不正使用や詐欺、モデルや出力のバイアスなど、多くのリスクを伴います。これらのリスクに対処し、GenAIの安全な使用を確保するために、組織はレッドチーミングという戦略を採用しています。レッドチーミングは、システム内のリスクを積極的に特定し、評価するプロセスです。
GenAIのレッドチーミングは、従来のAIシステムやソフトウェアのレッドチーミングと比較して、より複雑で多面的なアプローチを必要とします。従来のレッドチーミングがセキュリティの脆弱性を特定することに焦点を当てるのに対し、GenAIのレッドチーミングは、公正性の問題や不正確な情報の生成など、責任あるAIのリスクも考慮に入れる必要があります。また、GenAIシステムは確率的な性質を持ち、同じ入力に対して異なる出力を生成する可能性があるため、レッドチームはこの不確実性を考慮する必要があります。
マイクロソフトでは、GenAIシステムのレッドチーミングにPython Risk Identification Tool for generative AI（PyRIT）というオープンオートメーションフレームワークを使用しています。PyRITは、レッドチームの専門知識を補完し、煩雑なタスクを自動化し、リスクが潜在する領域を特定することで、レッドチーミングプロセスの効率を向上させます。
このような取り組みは、GenAIの安全な利用とイノベーションを促進する上で非常に重要です。レッドチーミングによって特定されたリスクを軽減することで、組織はGenAI技術をより自信を持って使用できるようになります。しかし、このプロセスは複雑であり、継続的な注意と専門知識を要するため、業界全体での知見の共有やツールの開発が重要となります。このような取り組みにより、GenAIのポテンシャルを最大限に活用しつつ、そのリスクを管理することが可能になります。
from How to Red Team GenAI: Challenges, Best Practices, and Learnings.
