Last Updated on 2024-07-15 07:52 by admin
ベクターデータベース企業のQdrantは、検索拡張生成（RAG）システムをより効率的かつコスト効果的にする新しい検索アルゴリズムBM42を開発した。
2021年に設立されたQdrantは、新しい検索方法に取り組む企業にベクトルを提供することを目的としており、BM42は従来の検索プラットフォームが使用しているBM25アルゴリズムのアップデートである。
BM25は文書の関連性をランク付けするために使用されるが、RAGでは情報のチャンクを扱うため、BM25の使用は適切ではないとAndrey Vasnetsov、Qdrantの共同創設者兼最高技術責任者は述べている。
BM42は言語モデルを使用し、情報の表現を作成する代わりに、文書から情報を抽出し、この情報をトークンとしてスコアリングまたは重み付けして検索クエリに対する関連性をランク付けする。
これにより、Qdrantはクエリに答えるために必要な正確な情報を特定できる。
また、BM42はハイブリッド検索を容易にするためにBM25を上回る最初の方法ではないが、VasnetsovはBM42がよりコスト効率の良い解決策であると述べている。
Spladeという別のオプションもあるが、これは巨大なモデルが必要で計算コストが高く、遅いため、BM42が優れているとされる。
RAGは企業AIの中で急速に注目されるトピックとなっており、MicrosoftやAmazonなどの企業がRAGアプリケーションの構築のためのクラウドコンピューティングのインフラを提供している。
OpenAIはRAG能力を強化するためにRocksetを買収した。しかし、RAGは企業データにAIモデルが読み取った情報を基づけることができるが、言語モデルはまだ幻覚を起こす可能性がある。
【編集者追記】用語解説
- RAG (Retrieval Augmented Generation):
RAGは「検索拡張生成」と訳されます。これは、AIが回答を生成する際に、外部の情報源から関連データを検索して取り込むことで、より正確で最新の情報を提供する技術です。料理人が新しいレシピを考える際に、様々な料理本を参照するようなものだと考えてください。 - ベクトルデータベース:
ベクトルデータベースは、データをベクトル（方向と大きさを持つ量）として保存し、高速に検索できるようにしたデータベースです。これは、図書館の本を単に著者順や題名順に並べるのではなく、内容の類似性に基づいて並べ替えるようなものです。 - BM25アルゴリズム:
BM25は従来の検索エンジンで広く使われている ranking algorithm（順位付けアルゴリズム）です。これは、図書館の司書が本の内容と利用者の質問を照らし合わせて、最も関連性の高い本を選び出すような作業を自動化したものと考えられます。 - ハイブリッド検索:
ハイブリッド検索は、従来のキーワード検索と新しいAI技術を用いた意味的検索を組み合わせた方法です。これは、料理のレシピを探す際に、材料名（キーワード）だけでなく、料理の雰囲気や好みの味（意味）も考慮して検索するようなものです。
【参考リンク】
Qdrantオフィシャルサイト（外部）
BM42の詳細解説ページ（外部）
【関連記事】
AI（人工知能）ニュースをinnovaTopiaでもっと読む
【ニュース解説】
ベクターデータベース企業のQdrantが、検索拡張生成（RAG）システムをより効率的かつコスト効果的にするための新しい検索アルゴリズム「BM42」を開発しました。この技術は、従来の検索アルゴリズム「BM25」のアップデート版であり、特にRAGシステムにおいて情報の検索と処理を改善することを目的としています。
RAGシステムは、AIモデルが企業データからリアルタイムで正確な情報を抽出し、ユーザーに提供することを可能にします。これは、企業が自身のデータを活用して、従業員や顧客に対してより良いサービスを提供するための重要な技術です。しかし、従来の検索アルゴリズムでは、RAGシステムのニーズに完全には対応できないという課題がありました。
BM42は、この問題を解決するために開発されました。従来のBM25アルゴリズムが文書全体の統計を基に関連性を評価するのに対し、BM42は言語モデルを使用して文書から具体的な情報を抽出し、その情報をトークン化して重み付けします。これにより、検索クエリに対して最も関連性の高い情報を効率的に特定できるようになります。
BM42の開発により、企業はRAGシステムをよりコスト効率良く、かつ効果的に運用することが可能になります。これは、企業がAI技術を活用して競争力を高める上で大きなメリットとなります。また、BM42はハイブリッド検索を容易にすることで、意味的な検索とキーワード検索を組み合わせたより高度な検索結果を提供します。
しかし、RAGシステムやBM42のような技術は、AIモデルが誤った情報を生成する「幻覚」のリスクも伴います。このため、技術の進化とともに、これらのリスクを管理し、信頼性の高い情報提供を確保するための対策も重要になってきます。
長期的には、BM42のような技術の発展は、企業がデータを活用して新たな価値を生み出す方法を変革する可能性を秘めています。しかし、その過程で、データのプライバシー保護やAIの倫理的な使用といった課題に対する規制やガイドラインの整備も求められるでしょう。このような技術の進化は、社会全体での議論と協力を必要とする、重要なテーマです。
from Vector database company Qdrant wants RAG to be more cost-effective.
