from How LLMs made their way into the modern data stack in 2023.

2023年における大規模言語モデル（LLMs）のデータスタックへの統合

ChatGPTの登場以来、インターネットユーザーは常に利用可能なAIアシスタントを手に入れ、自然言語コンテンツの生成や複雑な情報のレビューと分析などの日常業務を処理できるようになりました。これにより、GPTシリーズなどのLLMsが注目を集め、個々のタスクだけでなく、大規模なビジネスオペレーションの推進力となっています。企業は商用モデルのAPIやオープンソースの提供を活用して、繰り返し作業を自動化し、主要機能を効率化しています。例えば、マーケティングチームがAIと対話して広告キャンペーンを生成したり、顧客サポート業務を加速させることが可能になりました。

しかし、LLMsの役割があまり議論されていないのが、現代のデータスタックです。データは高性能なLLMsの鍵であり、正しくトレーニングされたモデルは、データの実験や複雑な分析の実行を支援することができます。過去1年間で、ChatGPTや競合するツールが成長するにつれて、データツールを提供する企業は、顧客がデータをより簡単に扱い、時間とリソースを節約できるように、生成AIをワークフローに組み込んでいます。

LLMsの最初で最も重要な変化は、会話型クエリ機能の導入でした。これにより、複雑なSQLクエリを書く手間を省き、自然言語のプロンプトを入力してデータから洞察を得ることができるようになりました。Databricks、Snowflake、Dremio、Kinetica、ThoughtSpotなどがこの分野で動きを見せています。

データ管理とAI努力の支援においても、LLMsは手動でのデータ管理やAI製品の構築に不可欠なデータ努力を処理しています。例えば、InformaticaはIDMCデータアセットを自然言語入力で発見、対話、管理するための多LLMベースの会話型AIツール「Claire GPT」を導入しました。また、Refuel AIはデータラベリングとエンリッチメントタスクに役立つ専用の大規模言語モデルを提供しています。

データエンジニアリングの他の分野では、データ統合とオーケストレーションにLLMsが活用されています。モデルは、異なるデータタイプを共通の形式に変換したり、異なるデータソースに接続したり、Airflow DAGを構築するためのYAMLやPythonコードテンプレートをクエリするために必要なコードを生成することができます。

LLMsはまだ波を作り始めてから1年しか経っていませんが、すでに企業領域で多くの変化が見られます。これらのモデルが2024年に向けて改善され、チームが革新を続けるにつれて、データスタックのさまざまな領域で言語モデルのさらなる応用が見られるようになるでしょう。ただし、これらのアプリケーションが出現するにつれて、チームがこれらの言語モデルが正確に機能していることを確認することがこれまで以上に重要になります。わずかなエラーが下流の結果に影響を与え、顧客体験を損なう可能性があります。