Last Updated on 2024-06-07 12:08 by 荒木 啓介
Galileoが開発した「Galileo Luna」は、企業がGenAIシステムを評価する方法を変革することを目指している。Lunaは、従来のGenAI評価方法が直面していた速度、コスト、精度の課題に対処するために設計された。この新しい評価基盤モデル(EFMs)スイートは、特定の評価タスクに特化した小型言語モデルを使用し、評価の速度、コスト、精度の面で顕著な改善を実現している。
Lunaは、GPT-3.5などの競合他社と比較して、速度、コスト、精度の全てで優れている。評価にかかるコストは97%削減され、速度は11倍向上し、精度も20%改善されている。Lunaの小型言語モデルは、1ヶ月に100万クエリを評価するコストを大幅に削減し、他の方法と比較して最大97%コスト効率が良い。
Lunaは、従来のグラウンドトゥルースデータセットを必要とせず、事前に訓練された評価モデルを多様なドメイン固有のデータセットで微調整することで、評価プロセスを合理化し、人間が生成したデータへの依存を減らす。これにより、ヘルスケア、金融、通信などの業界での大規模な企業アプリケーションにおいて、高い信頼性と速度を要求されるAI評価において特に有用である。
Galileoは、Lunaを通じて、評価タスクの種類のサポート拡大、精度の継続的な改善、コストと遅延のさらなる削減を目指している。これにより、企業が信頼できるAIを生産環境に導入し、消費者の信頼と信頼を得ることを支援する。
【ニュース解説】
Galileoが開発した「Galileo Luna」は、企業が生成型AI（GenAI）システムを評価する新しい方法を提供します。これまでのGenAI評価方法は、速度が遅く、コストが高く、精度にも問題があるという課題がありました。しかし、Lunaはこれらの課題に対処し、評価の速度、コスト、精度の面で大幅な改善を実現しています。
Lunaの最大の特徴は、特定の評価タスクに特化した小型言語モデルを使用している点です。これにより、評価プロセスが大幅に高速化され、コストも削減されます。具体的には、従来の方法と比較して、評価のコストを97%削減し、速度を11倍に向上させることができます。また、精度も20%向上しており、AIが生成するコンテンツの誤りや不適切な情報の検出能力が高まっています。
Lunaは、従来のグラウンドトゥルースデータセットを必要とせずに機能します。これは、事前に訓練された評価モデルを多様なドメイン固有のデータセットで微調整することで、評価プロセスを合理化し、人間が生成したデータへの依存を減らすことができるためです。このアプローチは、特にヘルスケア、金融、通信などの業界で、高い信頼性と速度を要求される大規模な企業アプリケーションにおいて有用です。
Lunaの開発により、企業はAIをより迅速に、かつ低コストで評価できるようになります。これにより、AIの導入が加速し、より多くの企業がAIを活用したサービスを提供できるようになる可能性があります。しかし、高度なAI評価技術の普及には、AIの倫理的な使用やプライバシー保護の観点から、新たな規制やガイドラインの整備が求められるかもしれません。
また、Lunaのような技術が進化することで、AIの誤りや偏りをより正確に検出し、修正することが可能になります。これは、AIが提供する情報の信頼性を高め、最終的には消費者のAIに対する信頼を強化することにつながるでしょう。長期的には、Lunaのような技術がAIの発展を支え、より安全で信頼性の高いAIの実現に貢献することが期待されます。
from Galileo’s Luna redefines GenAI evaluation, boasting 97% lower costs and 11x faster speeds.
