Data Connection から Iceberg テーブルにデータを同期する

Data Connection を使用して、対応する外部ソースから Foundry の Iceberg テーブルにデータを直接同期できます。

Data Connection アプリケーションの新規 Iceberg 同期を作成するボタン。

対応するソース

現在対応しているソースの種類は次のとおりです。

Iceberg 同期は、Foundry ワーカーランタイムでのみ利用できます。プライベートネットワークからデータを取り込む場合は、Agent プロキシのエグレスポリシーを設定することを推奨します。

Foundry では、これらのソースの種類について、Iceberg への非インクリメンタルおよびインクリメンタル（差分）バッチ同期を利用できます。ソースの概要ページから新しい Iceberg 同期を作成できます。

同期を設定するときは、次の書き込みモードの選択肢から選択できます。

「上書き」書き込みモード： Iceberg テーブルのすべての行を新しいデータで上書きし、overwrite Iceberg スナップショットを生成します。
「追加」書き込みモード： 既存のデータをすべて保持したまま、Iceberg テーブルに新しい行を追加し、append Iceberg スナップショットを生成します。
「更新」書き込みモード： Iceberg テーブルで主キー識別子列が一致する既存の行を更新し、これまでに存在しなかった識別子については新しい行を挿入します。これにより、影響を受けるデータファイルのみを上書きする overwrite Iceberg スナップショットが生成されます。

ワイルドカードを使用したカスタム SQL ステートメントによって、インクリメンタル取り込みをさらにカスタマイズすることもできます。詳細については、インクリメンタル同期のドキュメントを参照してください。

Iceberg 同期はスキーマの進化に対応していません。そのため、ソーステーブルのスキーマを変更した後に同期を再実行すると、失敗します。このような場合は、更新されたテーブルスキーマで新しい同期を作成することを検討してください。