Last Updated on 2024-09-24 05:48 by admin
from Patronus AI finds ‘alarming’ safety gaps in leading AI systems.
Patronus AIは、大規模言語モデル（LLM）における重要な安全リスクを特定するための新しい診断テストスイートであるSimpleSafetyTestsをリリースした。このテストでは、自殺、児童虐待、身体的な害などの5つの高い優先度を持つ危害領域に対する脆弱性を調査するために100のテストプロンプトが使用された。これにより、11の人気のあるオープンソースLLMのいくつかにおいて、20%以上の安全でない応答が見つかった。SimpleSafetyTestsは、AIシステムを重要な安全リスクに対して探査するために設計された100の手作りのテストプロンプトを使用し、その結果、主要なAIモデルにおける「重大な脆弱性」が明らかになった。Patronus AIは、これらのテストを通じて、AI製品やサービスの安全性と品質を確保するために不可欠な診断ツールであると述べている。