Last Updated on 2024-05-10 11:49 by TaTsu
Enkryptは、大規模言語モデル（LLM）の安全性を評価する新しいツール「LLM Safety Leaderboard」を発表した。このボストンに拠点を置くスタートアップは、様々な安全性および信頼性のリスクに対する脆弱性に基づいて、LLMを最良から最悪までランク付けしている。リーダーボードは、GPTやClaudeファミリーを含む数十のトップパフォーマンス言語モデルをカバーしており、安全で信頼性の高いLLMを選択し、それらを最大限に活用するための対策を講じる上で重要なリスク要因についての洞察を提供する。
Enkryptは、企業がジェネレーティブAIアプリケーションでLLMを使用する際に直面する問題を解決するために、脆弱性を特定し自動的にブロックする「Sentry」という包括的なソリューションを提供している。LLM Safety Leaderboardは、安全なモデルから始めるための洞察を提供するために、多様なシナリオとデータセットにわたる厳格なテストの後に開発された。
5月8日現在、Enkryptのリーダーボードでは、OpenAIのGPT-4-Turboが最も低いリスクスコア15.23で最も安全なLLMとして紹介されている。次に安全なのはMetaのLlama2とLlama3ファミリーで、リスクスコアは23.09から35.69の範囲である。AnthropicのClaude 3 Haikuはリーダーボードで10位にランクインし、リスクスコアは34.83である。
Enkryptは、既存のモデルが改善され、新しいモデルが登場するにつれて、リーダーボードを定期的に更新する計画である。同社の共同創設者であるSahi Agarwalは、この進化するリストが、企業チームが各人気LLMの強みと弱みを深く理解し、ターゲットとするユースケースに最適なものを決定するのに役立つことを期待している。
【関連記事】
Enkrypt AIが生成AIの安全展開を加速、235万ドル調達
【参考リンク】
Enkryptオフィシャルサイト（外部）
【ニュース解説】
Enkryptというボストンに拠点を置くスタートアップが、大規模言語モデル（LLM）の安全性を評価するための新しいツール「LLM Safety Leaderboard」を発表しました。このツールは、様々な安全性および信頼性のリスクに対する脆弱性に基づいて、LLMを最良から最悪までランク付けしています。ランク付けには、GPTやClaudeファミリーを含む数十のトップパフォーマンス言語モデルが含まれており、安全で信頼性の高いLLMを選択し、それらを最大限に活用するための対策を講じる上で重要なリスク要因についての洞察を提供します。
この取り組みは、企業がジェネレーティブAIアプリケーション（例えばチャットボットなど）でLLMを使用する際に直面する問題を解決するために、脆弱性を特定し自動的にブロックする「Sentry」という包括的なソリューションを提供しているEnkryptによるものです。LLM Safety Leaderboardは、多様なシナリオとデータセットにわたる厳格なテストの後に開発されました。
2023年5月8日現在、Enkryptのリーダーボードでは、OpenAIのGPT-4-Turboが最も低いリスクスコア15.23で最も安全なLLMとして紹介されています。これは、ジェイルブレイク攻撃を非常に効果的に防御し、有害な出力をわずか0.86%の時間で提供することができるためです。しかし、バイアスやマルウェアの問題は、それぞれ38.27%と21.78%の時間でモデルに影響を与えました。
Enkryptは、既存のモデルが改善され、新しいモデルが登場するにつれて、リーダーボードを定期的に更新する計画です。これにより、企業チームが各人気LLMの強みと弱みを深く理解し、ターゲットとするユースケースに最適なものを決定するのに役立つことが期待されます。
このような取り組みは、AIの安全性と信頼性を確保する上で非常に重要です。特に、個人情報の漏洩やバイアスのある出力など、小さなエラーが大きな影響を及ぼす可能性があるため、企業はこれらのリスクを最小限に抑えるために努力しています。また、このツールは、企業が技術的能力を向上させるだけでなく、倫理的基準を守り、競争力を持ち、信頼を築くことを可能にします。しかし、このようなランキングシステムは、評価基準やテストシナリオの選択によって結果が大きく変わる可能性があるため、その透明性と公平性を確保することが重要です。また、LLMの安全性を評価する際には、常に最新の研究や技術の進歩を反映させる必要があります。
from Looking for reliable AI? Enkrypt identifies safest LLMs with new tool.
