データ接続と統合Iceberg tablesFoundryでのIcebergの使用メンテナンス手順

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

Iceberg テーブルのメンテナンス

Foundry の Iceberg テーブルのメンテナンスタブでは、コンパクション、スナップショットの期限切れ処理、孤立ファイルのクリーンアップなど、テーブルのメンテナンス手順を設定して実行できます。これらの手順は、ファイルの配置とサイズを最適化してテーブルのパフォーマンスを維持し、データの書き込みや再書き込みが継続してもストレージ使用量を一定の範囲内に抑えるのに役立ちます。

メンテナンスページにアクセスして使用する

メンテナンスタブは、Foundry の Iceberg テーブルでのみ利用可能です。メンテナンスページにアクセスするには、データセットプレビューで Iceberg テーブルリソースを開き、メンテナンスタブを選択します。

Foundry の Iceberg テーブルのメンテナンスタブのスクリーンショット。

メンテナンスタブの概要

メンテナンスタブは、3つのパネルに分かれています。

  • ジョブ: このテーブルに対するメンテナンス実行の時系列リストです。ステータス、開始時刻と終了時刻、および Builds アプリケーションでビルドを開くためのリンクが含まれます。
  • タスク: このテーブルに設定されているメンテナンスタスクです。タスクに現在設定されているスケジュールも含まれます。
  • 設定パネル: タスクを作成または編集すると開きます。手順の選択、パラメーターの設定、任意でのスケジュールのアタッチ、および保存ができます。

メンテナンスタスクを追加する

  1. タスクを追加を選択します。
  2. 設定パネルで、ドロップダウンから手順を選択します。
  3. 手順の項目を設定して、デフォルトのパラメーター値から設定を変更します。
  4. 必要に応じてスケジュール情報を有効にし、cron 式のトリガーを設定します。
  5. タスクを追加を選択します。

保存すると、新しいタスクがタスクパネルに表示されます。

タスクを編集および削除する

タスクパネルでタスクを選択すると、設定パネルで開きます。任意の項目やスケジュールを変更できるほか、タスクを削除でタスクとそれに関連付けられたスケジュールを削除できます。

タスクの種類

メンテナンスタブは、次の種類のタスクをサポートしています。

  • データファイルを書き換え
  • マニフェストを書き換え
  • スナップショットを期限切れにする *
  • 孤立ファイルを削除
  • カスタム SQL(任意の Iceberg 手順または DML 操作向け)

これらのタスクの詳細とドキュメントは、メンテナンス設定パネルで直接確認できます。

各種類のタスクの閲覧、作成、編集に必要な操作権限については、Iceberg テーブルの権限を参照してください。カスタム SQL タスクの開発には、組み込み手順に必要な操作権限に加えて、追加の操作権限が必要です。

期限切れになったスナップショットは復元できません

スナップショットを期限切れにする手順を実行する際は注意してください。期限切れになったスナップショットはテーブルから削除され、復元できません。そのため、期限切れになったスナップショットへのロールバックやタイムトラベルができなくなります。また、インクリメンタル(差分)解決のために過去のスナップショットの読み取りに依存するインクリメンタルパイプラインなど、これらのスナップショットを使用する下流の利用側にも影響が及ぶ可能性があります。

スナップショットの保持、孤立ファイルのクリーンアップ、および災害復旧を考慮したファイル削除の延期について詳しくは、Iceberg テーブルの保持を参照してください。