Iceberg テーブルのリソース使用量

Iceberg テーブルを使用すると、Foundry のコンピュートとストレージが使用されます。この使用量と関連するコストは、Resource Management アプリケーションで確認できます。

Resource Management で報告される使用量

Foundry コンピュート

Foundry データセットと同様に、Foundry Iceberg テーブルのコンピュート使用量は、処理を実行する Foundry アプリケーションによって決まります。たとえば、次のようになります。

• Python トランスフォームと Pipeline Builder ジョブは、入力の読み取り、変換ロジックの実行、出力の書き込み時に Foundry コンピュートを使用します。
• SQL クエリは、Iceberg テーブルに対してクエリを実行し、Iceberg 出力をビルドするためにコンピュートを使用します。
• Data Connection の同期は、外部ソースからデータを抽出し、Iceberg テーブルに書き込む際にコンピュートを使用します。

Foundry はコンピュートをコンピュート秒で測定します。割り当てられた仮想 CPU とメモリー、操作の所要時間、処理されるデータ量、操作の複雑さは、いずれもコンピュート使用量に影響する可能性があります。

Iceberg ストレージ

Foundry が管理するストレージを使用する Iceberg テーブルでは、Resource Management はテーブルの現在のメタデータから参照されるすべてのデータファイルと削除ファイルの合計サイズを報告します。これには、main ブランチの最新のスナップショットに加え、過去のスナップショット、ほかのブランチ、およびタグから参照されるファイルも含まれます。

Foundry データセットと同様に、ストレージは時間の経過に沿って測定され、ギガバイト月で報告されます。たとえば、100 GB を1か月間保存すると、使用量は100ギガバイト月になります。

報告されるサイズには、次のものは含まれません。

• テーブルメタデータファイル、マニフェストリスト、マニフェストなどの Iceberg メタデータファイル。
• どのスナップショットからも参照されていない孤立ファイル。

独自のバケットを使用する Iceberg テーブルについては、ストレージは報告されません。

ストレージ使用量を管理する

テーブルのメンテナンスタブでスナップショットの有効期限切れ処理を使用して、保持する履歴を制限し、報告されるストレージ使用量を削減します。

スナップショットの有効期限切れ処理による変更が Resource Management に反映されるまでには、時間がかかる場合があります。