注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

Iceberg テーブルと Foundry データセット

Iceberg テーブルとデータセットは、どちらも Foundry で表形式データを表現できるリソースタイプです。Iceberg テーブルは、幅広い Iceberg エコシステムとの相互運用性に加え、行レベルの編集や変更履歴などの機能を提供します。一方、データセットは現在、より幅広い Foundry 機能に対応しています。

Iceberg テーブルの利点

現在、Foundry では Iceberg テーブルの次の利点を活用できます。

  • 相互運用性: オープンな Iceberg 形式により、サードパーティツールから Palantir の Iceberg テーブルをより簡単に読み書きできます。
  • コンパクション: インクリメンタル(差分)読み取りに影響を与えずにコンパクションを実行できます。
  • 行の編集:DELETE、UPDATE、MERGE INTO ステートメントに対応しており、スナップショットを再作成せずに、条件に基づいて行を変更できます。
  • 変更履歴: 行の削除と更新をインクリメンタルに取り込めます。
  • 充実したテーブル履歴: 拡張された履歴表示で、Iceberg のテーブルメタデータ ↗を確認できます。

Iceberg テーブル履歴を表示するインターフェースを、次のスクリーンショットに示します。

データセットアプリケーションの Iceberg テーブル履歴表示。

Iceberg テーブルで利用できない Foundry 機能

現在、Iceberg テーブルでは、次のような一部の Foundry 機能を利用できません。

きめ細かなアクセス制御

きめ細かなアクセス制御に使用できる方法は、ユーザーがどこでデータにアクセスするかによって異なります。

  • オントロジー内: Iceberg テーブルを元データソースとするオブジェクトタイプでは、オブジェクトとプロパティのセキュリティポリシーを使用して、行レベルおよび列レベルのアクセス制御を行えます。お使いのエンロールメントでは、Iceberg を元データソースとするオブジェクトタイプでこれらのポリシーを利用できない場合があります。利用をご希望の場合は、Palantir サポートにお問い合わせください。
  • テーブルレベル: Iceberg テーブルを制限付きビューの元データソースとして直接使用することはできません。オントロジー外で行レベルのアクセス制御が必要な場合は、Iceberg テーブルを読み取る Foundry データセットを作成し、そのデータセットから制限付きビューを作成します。

Iceberg テーブルでは、テーブル全体のアクセス制御にマーキングを使用することもできます。Iceberg テーブルのマーキングを参照してください。

Marketplace への対応

マネージド Iceberg テーブルを Marketplace 製品にパッケージ化し、対象環境にその製品をインストールできます。インストールされる各テーブルには、パッケージ化されたテーブルと同じストレージタイプ、つまり Foundry 管理ストレージまたは独自バケット持ち込み(BYOB)ストレージを使用する必要があります。たとえば、Foundry 管理ストレージを使用するテーブルを、BYOB ストレージを使用するテーブルとしてインストールすることはできません。その逆も同様です。

Iceberg テーブルと Foundry データセットの主な違い

Iceberg テーブルと Foundry データセットの動作には、次のような重要な違いがあります。

  • オントロジーの主キー: インクリメンタルデータセットでは、既存の主キーを持つ行を別のトランザクションで追加することで、オブジェクトを更新できます。オントロジーのデータソースとして使用する Iceberg テーブルでは、現在の内容全体で主キーの一意性を維持する必要があります。インデックス化の動作と移行のガイダンスについては、Iceberg テーブルのデータソースを参照してください。
  • デフォルトブランチ: Iceberg のメインブランチは main、Foundry のメインブランチは master という名前です。Foundry と Iceberg の統合では、main と master は同じものとして扱われます。つまり、master で実行される Foundry ジョブは、Iceberg テーブルの main に書き込みます。Foundry がブランチごとにスキーマの変更を分離する仕組みの詳細については、ブランチを参照してください。
  • マーキング: 保持されている Iceberg スナップショットのいずれかに継承されたマーキングにより、そのマーキングの条件を満たさないユーザーは、ほかにはマーキングがつけられていないブランチも含め、テーブル全体を読み取れなくなる場合があります。データセットのマーキングの適用範囲はより狭く、リクエストされたビューに限定されます。詳細とマーキング解除ワークフローのガイダンスについては、Iceberg テーブルのマーキングを参照してください。
  • 自動スキーマ進化: Iceberg テーブルのスキーマ進化は、常に自動で行われるわけではありません。テーブルの置き換えなど、一部のワークフローではテーブルのスキーマが自動的に進化しますが、ほかのワークフローでは、ALTER TABLE などの明示的なスキーマ進化のコマンドや設定が必要です。Foundry のトランスフォーム API と Pipeline Builder を介して書き込む場合、非インクリメンタル実行時には Foundry がテーブルの置き換えを使用するため、スキーマ進化は自動的に処理されます。インクリメンタルなスキーマ進化など、ほかのワークフローでは失敗し、手動での解決が必要になる場合があります。詳細については、Apache Iceberg のスキーマ進化に関するドキュメント ↗を参照してください。

Iceberg 用語と Foundry 用語の違い

Iceberg で導入される用語には、Foundry に直接対応する用語がないものもあります。

Iceberg 用語意味Foundry での用語との違い
テーブルメタデータ ↗Iceberg テーブルの構造、スキーマ、状態を記述するメタデータです。Foundry も、すべての形式のテーブルとデータセットのメタデータを追跡しますが、このメタデータは Foundry サービスによって内部的に管理されます。Iceberg テーブルの場合、Foundry は Iceberg ネイティブのメタデータを、Iceberg カタログ経由で JSON ファイルとして明示的に公開します。
スナップショット ↗特定の時点におけるテーブルの状態の記録です。Iceberg は、データが変更されるたびに新しいスナップショットを作成します。Iceberg のスナップショットは、Foundry のトランザクションにおおむね相当します。ただし、Foundry では「スナップショット」という用語を別の意味でも使用します。Foundry では、「スナップショット」はデータセット内のすべてのデータを完全に置き換えるトランザクションを指します。一方、Iceberg のスナップショットは、インクリメンタルな変更を含むあらゆる種類のデータ操作を記録します。Foundry カタログのデータセットのトランザクションタイプと Iceberg のスナップショットの種類の違いについて詳しくは、Iceberg スナップショットの種類を参照してください。