Iceberg ストレージアーキテクチャ

Palantir は、マネージド Iceberg テーブルと仮想 Iceberg テーブルの両方で Iceberg 形式の使用をサポートしています。

マネージド Iceberg テーブルは、Foundry の Iceberg カタログによって管理されます。仮想 Iceberg テーブルは、外部ストレージを使用する仮想テーブルであり、Glue ↗、Horizon ↗、Polaris ↗、Unity ↗ などの外部 Iceberg カタログによって管理されます。

アーキテクチャ

Foundry の Iceberg テーブルは、次のカタログおよびストレージ設定をサポートしています。

Foundry が管理する Iceberg テーブルでは、Foundry が管理するストレージ、BYOB ストレージ、またはその組み合わせを使用できます。組み合わせて使用する場合は、プロジェクトや名前空間ごとに異なるストレージの場所を指定できます。

次の図は、テーブルのストレージの場所と、そのテーブルを管理する Iceberg カタログに基づいて、Foundry で Iceberg テーブルを使用する際のアーキテクチャの選択肢を示しています。実線は、テーブルと、それに関連付けられた Iceberg カタログおよびストレージの場所との直接的な関係を表しています。点線は、外部ストレージの場所と Foundry テーブルの間でデータがコピーされないことを示しています。

ストレージ設定のオプション

Foundry が管理するテーブルでは、AWS、Azure、GCP 上のストレージがサポートされています。

いずれの場合も、サーバー側暗号化 (SSE) が必須です。Iceberg テーブル暗号化 ↗によるクライアント側暗号化 (CSE) は、データがストレージに書き込まれる前に、追加の暗号化レイヤーとして任意で適用できます。詳細は、暗号化設定を参照してください。

BYOB ストレージを設定するには、Iceberg テーブルの Bring-your-own-bucket ストレージを設定するを参照してください。ストレージ設定を選択するには、Control Panel で Iceberg 設定を構成するを参照してください。

オンプレミスインフラストラクチャなど、ここに記載されていないストレージ設定を環境で使用している場合は、サポートされる Iceberg ストレージの選択肢について Palantir サポートにお問い合わせください。

サポートと機能

マネージド Iceberg テーブルと仮想 Iceberg テーブルは、Foundry の主要機能の大部分で使用できます。

マネージド Iceberg テーブルの場合、Foundry は独自の Iceberg REST カタログの実装を通じてテーブルを管理します。これにより、メンテナンス操作を設定するためのガイド付きフロントエンドなど、Foundry の追加機能を利用できます。

現在利用可能な機能については、Iceberg テーブルで利用できない Foundry 機能を参照してください。

暗号化設定

このセクションでは、Foundry が管理する Iceberg テーブルの暗号化設定と設定オプションについて説明します。

サーバー側暗号化 (SSE)

サーバー側暗号化 (SSE) は、すべてのテーブルで必須です。Foundry が管理するストレージでは、Palantir が暗号化を強制します。顧客が用意するストレージバケットでは、顧客の管理者がストレージバケットで SSE を強制する必要があります。

クライアント側暗号化 (CSE)

クライアント側の Iceberg テーブル暗号化 ↗は、Control Panel で有効または無効にできます。Iceberg テーブル暗号化は、データがストレージの場所に書き込まれる前に、Foundry 内でクライアント側暗号化 (CSE) を使用してデータを暗号化し、サーバー側暗号化に加えて追加の暗号化レイヤーを提供します。

プロジェクトごとのストレージ設定

ストレージの場所とクライアント側暗号化 (CSE) の設定は、それぞれ独立して構成し、エンロールメントの「デフォルト」レベルで適用できます。また、特定のプロジェクトや名前空間の設定をオーバーライドするオプションもあります。これにより、必要に応じて、Iceberg テーブルのサブセットごとに異なるストレージ設定を適用できます。これらの設定は Control Panel で管理します。