Snowflake、新オープンデータカタログ「Polaris」発表でデータ管理革新へ

 - innovaTopia - (イノベトピア)

Snowflakeは、年次データクラウドサミットでApache Icebergテーブルフォーマットに準拠したデータを索引付け・整理するための新しいオープンデータカタログ実装であるPolaris Catalogを発表した。このカタログは、自己ホスティングとSnowflakeホスティングの両方のオプションで利用可能であり、今後90日間でオープンソース化される予定である。Polarisは、企業がデータ資産から価値を引き出すために使用したい他のクエリエンジンとの相互運用が可能である。

Snowflakeの製品担当EVPであるChristian Kleinermanは、PolarisがSnowflakeのクエリエンジンとの連携を目的とした機能ではなく、複数のクエリエンジンを組み合わせて使用し、任意の方法で読み書き活動を調整できるようにするために、複数の業界パートナーを集めていると述べた。

Delta Lake、Apache Iceberg、Apache Hudiの3つのオープンテーブルフォーマットがデータエコシステムを主導してきた。Snowflakeは、これまで独自のテーブルフォーマットを使用してきたが、Apache Icebergへの完全なコミットメントを表明し、顧客がそれを活用していることをKleinermanは指摘した。

企業は、異なるエンジン(これらのフォーマットをサポートする)を使用してデータに対してクエリを実行し、下流のユーザーやアプリに回答を提供できるように、データカタログ(これらのフォーマットのいずれかをサポートする)を自由に組み合わせたいと考えている。しかし、特にDelta Lakeカタログを使用している企業は、その実装が完全にオープンではないと頻繁に指摘している。

これらの懸念に対処し、Icebergへのコミットメントをさらに強化するため、Snowflakeは完全にIcebergのオープンソースRESTプロトコルに基づいたPolaris Catalogを発表した。この提供により、Apache Flink、Apache Spark、Dremio、Python、Trinoなど、Iceberg Rest APIをサポートする任意のエンジンを使用してデータにアクセスし、取得するためのオープンスタンダードが提供される。

SnowflakeはPolarisの最終調整を行っており、6月中に最初の企業顧客にプレビューとして提供する予定である。Amazon Web Services (AWS)、Confluent、Dremio、Google Cloud、Microsoft Azure、Salesforceを含む複数の主要企業がこの取り組みを支持していることを表明している。

【ニュース解説】

Snowflakeが年次データクラウドサミットで発表したPolaris Catalogは、Apache Icebergテーブルフォーマットに準拠したデータを索引付け・整理するための新しいオープンデータカタログ実装です。このカタログは、自己ホスティングとSnowflakeホスティングの両方のオプションで提供され、今後90日間でオープンソース化される予定です。Polarisは、企業がデータ資産から価値を引き出すために使用したい他のクエリエンジンと相互運用が可能です。

この取り組みの背景には、データ管理と分析の分野でのオープンスタンダードの重要性が高まっていることがあります。Delta Lake、Apache Iceberg、Apache Hudiといったオープンテーブルフォーマットがデータエコシステムを主導しており、企業はこれらのフォーマットをサポートする異なるエンジンを使用してデータに対してクエリを実行し、下流のユーザーやアプリに回答を提供できるようにしたいと考えています。しかし、特にDelta Lakeカタログを使用している企業からは、その実装が完全にオープンではないという懸念が頻繁に指摘されていました。

Polaris Catalogの提供により、Apache Flink、Apache Spark、Dremio、Python、Trinoなど、Iceberg Rest APIをサポートする任意のエンジンを使用してデータにアクセスし、取得するためのオープンスタンダードが提供されます。これにより、企業はデータ管理の柔軟性を高め、ベンダーロックインの懸念を排除することができます。

この動きは、データ管理と分析の分野におけるオープンスタンダードの普及を促進し、企業が異なるデータソースやツールを自由に組み合わせて使用できるようにすることで、イノベーションの加速に寄与する可能性があります。また、Snowflakeはセキュリティの面でも取り組みを進めており、異なるエンジン間での権限やセキュリティの整合性を保つための仕組みを検討しています。これは、データの安全性とプライバシーを確保する上で重要な要素です。

しかし、オープンスタンダードの普及には、技術的な課題や業界内での合意形成の難しさなど、克服すべき課題も存在します。また、異なるツールやプラットフォーム間での完全な互換性を実現するためには、継続的な技術的な改善とコミュニティによる協力が必要です。

長期的には、Polaris Catalogのような取り組みが成功すれば、データの利活用がより柔軟になり、企業が新しい洞察を得るためのツールやサービスの選択肢が広がることが期待されます。これは、データ駆動型の意思決定を促進し、ビジネスの成長やイノベーションを支援する可能性を秘めています。

from Snowflake unveils Polaris, a vendor-neutral open catalog implementation for Apache Iceberg.

ホーム » ビッグデータ » ビッグデータニュース » Snowflake、新オープンデータカタログ「Polaris」発表でデータ管理革新へ