Apache Iceberg V4 では、データ管理とスキーマ進化のための新しい機能に加えて、スケーラビリティを向上させ、より頻繁な書き込みをサポートするためにテーブル メタデータの再設計が提案されています。 Apache Iceberg の共同作成者で Databricks の技術スタッフのメンバーである Daniel Weeks は、QCon San Francisco で Apache Iceberg オープン テーブル フォーマット仕様の第 4 バージョンに関するセッションを発表しました。
Iceberg V4 は、新しいデータ型とワークロードをサポートするためにフォーマットを拡張しながら、非常に大規模なテーブルを管理する際の制限に対処します。講演者は、新バージョンについて、新しいメタデータ ツリー、より効率的なコミット、型指定された列の統計、相対ファイル パス、ファイルおよびベクター データ型のサポートなどの変更を伴う、段階的なステップではなく、テーブル形式の大幅な再考であると説明しました。以前のバージョンではメタデータ構造の大部分がそのまま残されていましたが、V4 では大規模に発生する問題に対処し、新しいユースケースのサポートが追加されました。ウィークス氏はサンフランシスコで聴衆にこう語った。
V4 は、テーブル形式を大幅に見直したものです。 V3 以前ではすべてを正しく行うことができませんでした。そのため、現在は、さらに大きなデータセットにスケールアップし、新しいユースケースを導入する際に、課題となる最も大きな問題のいくつかを修正する機会を利用しています。
Apache Iceberg は、さまざまなデータ処理エンジンにわたって大規模な分析データセットを管理するためのオープン テーブル形式です。元々は 2017 年に Netflix で開発され、2018 年にオープンソース化され、2020 年に Apache のトップレベル プロジェクトになりました。オープン テーブル フォーマットの主な代替案は、Databricks によって作成され現在は Linux Foundation プロジェクトとなっている Delta Lake、もともと Uber で開発された Apache Hudi、および Flink コミュニティから発展し、ストリーミング指向のワークロードに採用されるようになった Apache Paimon です。しかし、相互運用性ツールの境界線はますますあいまいになってきています。
Weeks 氏は講演の中で、提案されている Iceberg V4 の変更点の 3 つの領域を取り上げました。それは、アダプティブ メタデータ ツリーを含むメタデータとスケーラビリティ、単一ファイルのコミット、列統計の改善、相対パス、列レベルの更新です。式ベースのデフォルト値や制約などの新しいテーブル機能。新しいデータ タイプ、特にファイル タイプとベクター タイプは、AI や検索などの追加のワークロードをサポートします。コミットの高速化について、Weeks 氏は次のように説明しました。
これにより、データをより高速にストリーミングできるユースケースが実現します。コミットは第 2 レベルまたは 1 秒未満のレベルで実行できますが、現時点では 2 分未満でコミットを実行しないことを主に推奨しています。
V3 では、データ ファイルを追加するには、マニフェストの作成と書き換えを含む少なくとも 4 つの I/O 操作が必要です。 V4 では、メタデータ ツリーのルートがデータ ファイルを直接ポイントできるようにすることで、このプロセスが簡素化され、操作が 1 回のメタデータ書き込みに減ります。 Weeks 氏によると、現在推奨されているコミット間隔は少なくとも 2 分ですが、これにより毎秒、あるいは 1 秒未満の間隔でコミットできる可能性があります。 2024 年に導入された Iceberg V3 では、削除ベクター、行系統、新しいデータ型、暗号化、およびデフォルト値が追加されました。
V4 は、V3 のバイナリ列統計を構造化された型付き統計に置き換え、投影とスキーマの進化を改善します。さらに、V4 では、式ベースのデフォルト値、チェック制約、一意キー制約、主キー制約、および追加データを保存せずにパーティショニング、並べ替え、フィルタリングをサポートする統計専用フィールドが導入されています。また、制約の検証ステータスも追跡し、エンジンがさらなるチェックが必要なタイミングを判断できるようにします。
8 月に、Weeks は Apache Iceberg 開発者メーリング リストで最初の V4 スコープのディスカッションを開始しました。Steven Wu は単調スナップショットと行レベルの更新タイムスタンプの追加を提案し、Manu Zhang は効率的な列更新と等価削除の削除について議論しました。
Q&A の中で、Weeks 氏は、V4 メタデータには古いリーダーとの下位互換性がないことを明示的に確認しました。既存の V3 メタデータはアップグレード中にそのまま維持できますが、古いリーダーは新しい表現を使用できません。











Leave a Reply