Last Updated on 2025-05-07 08:32 by admin

Amazon Bedrockは2025年5月6日、モデル評価とRAG（検索拡張生成）評価の両方に対応するカスタムメトリクス機能の一般提供を開始した。この機能により、ユーザーは生成AIアプリケーションの評価に独自の評価基準を定義・再利用できるようになった。

カスタムメトリクス機能は、Amazon Bedrockの「LLM-as-a-judge（LLMを評価者として活用）」フレームワークを拡張するもので、Shreyas Subramanian氏、Adewale Akinfaderin氏、Ishan Singh氏、Jesse Manders氏らが開発に携わった。

この機能は以下の特徴を持つ

• 簡素化された開始体験：AWSマネジメントコンソールで事前構築されたテンプレートを提供
• 柔軟なスコアリングシステム：定量的（数値）および定性的（カテゴリー）スコアリングの両方をサポート
• 合理化されたワークフロー管理：カスタムメトリクスを保存して複数の評価ジョブで再利用可能
• 動的コンテンツ統合：テンプレート変数（{{prompt}}、{{prediction}}、{{context}}など）を使用
• カスタマイズ可能な出力制御：推奨される出力スキーマまたはカスタム出力フォーマットを選択可能

この機能は、Amazon Bedrockでホストされているモデルだけでなく、マルチクラウドやオンプレミス環境でホストされているモデルやRAGシステムの評価にも対応している。Amazon Bedrockのカスタムメトリクス機能は、AWSマネジメントコンソールまたはBedrockのAPIを通じて利用できる。

from:Use custom metrics to evaluate your generative AI application with Amazon Bedrock

【編集部解説】

生成AIの急速な普及に伴い、その出力品質の評価方法が大きな課題となっています。Amazon Bedrockが2025年5月6日に発表したカスタムメトリクス機能は、この課題に対する重要な解決策と言えるでしょう。

従来の生成AI評価では、正確性や完全性といった汎用的な指標が使われてきましたが、ビジネスの文脈や特定の用途に合わせた評価が難しいという問題がありました。例えば、企業独自のブランドボイスに沿った回答かどうかを評価したい場合、標準的な指標だけでは不十分だったのです。

カスタムメトリクス機能の革新的な点は、「LLM-as-a-judge（評価者としてのLLM）」というアプローチを拡張し、ユーザーが独自の評価基準を定義できるようにした点にあります。これにより、企業は自社のビジネスニーズに合わせた評価基準で生成AIの出力を測定できるようになりました。

この機能の実装方法も注目に値します。ユーザーは数値スケール（1〜10点など）やカテゴリースケール（「非常に包括的」「やや包括的」など）を自由に定義でき、テンプレート変数（{{prompt}}、{{prediction}}、{{context}}など）を使って評価プロンプトにデータを動的に挿入できます。

AWSマネジメントコンソールでは、事前構築されたテンプレートも用意されており、初めてのユーザーでも簡単に開始できる工夫がなされています。また、Python SDKやAPIを使った高度な自動化も可能で、継続的な評価パイプラインの構築も容易です。

このカスタムメトリクス機能がもたらす最大のインパクトは、生成AIの「品質保証」プロセスを確立できる点にあります。特に日本企業は品質への要求が高く、生成AIの導入に慎重な傾向がありますが、この機能によって客観的な品質評価が可能になります。

一方で、カスタムメトリクスの設計自体が難しいという課題も存在します。評価基準が適切でなければ、誤った方向に最適化されるリスクがあります。また、LLM-as-a-judgeアプローチは評価者モデル自体のバイアスや限界に影響される可能性もあります。

将来的には、評価基準の共有エコシステムや業界標準の確立が期待されます。また、現在はLLM-as-a-judgeのみでカスタムメトリクスが利用可能ですが、将来的にはコードベースの評価者やその他の評価手法にも拡張される可能性があります。

Amazon Bedrockのカスタムメトリクス機能は、生成AIの品質評価における重要なマイルストーンです。この機能によって、企業は自社のビジネス要件に合わせた評価基準を確立し、より信頼性の高い生成AIアプリケーションを構築できるようになりました。

【用語解説】

基盤モデル（FM: Foundation Model）
大量のデータで事前学習された大規模AIモデルで、様々なタスクに適応できる汎用的なモデル。GPT、Claude、Llamaなどが該当する。

LLM-as-a-judge（評価者としてのLLM）
大規模言語モデル（LLM）を使って他のLLMの出力を評価する手法。人間の評価者の代わりにAIが評価を行うことで、大規模かつ効率的な評価が可能になる。

RAG（Retrieval Augmented Generation）
外部の知識ソースから関連情報を検索し、その情報をLLMの生成プロセスに組み込む技術。

カスタムメトリクス
AIモデルの評価に使用する独自の評価基準。正確性や完全性といった標準的な指標だけでなく、企業固有のブランドボイスへの適合度など、特定のニーズに合わせた評価が可能になる。

BYOI（Bring Your Own Inference）
Amazon Bedrock以外でホストされているモデルやシステムの推論結果を持ち込んで評価できる機能。

【参考リンク】

Amazon Bedrock 公式サイト（外部）
AWSが提供する生成AIアプリケーション構築のためのフルマネージドサービス。複数の基盤モデルに単一APIでアクセス可能。

Amazon Bedrock ドキュメント（外部）
Amazon Bedrockの使用方法、機能、ベストプラクティスを詳細に解説した公式ドキュメント。

AWS Black Belt Online Seminar: Amazon Bedrock Overview（外部）
Amazon Bedrockの概要や主な機能の全体像を解説した資料。

【参考動画】

【編集部後記】

生成AIの評価に悩まれていませんか？Amazon Bedrockのカスタムメトリクス機能は、あなたのビジネスに合わせた独自の評価基準で生成AIの出力を測定できる画期的なツールです。例えば、自社のブランドボイスに沿った回答かどうかを数値化したり、特定の業界知識の正確さを評価したりすることが可能になりました。皆さんのAIプロジェクトでは、どのような評価基準が重要でしょうか？ぜひSNSで共有いただければ幸いです。

【関連記事】

AI（人工知能)ニュースをinnovaTopiaでもっと読む