4. データパイプラインのスケジューリング6 - 演習のまとめ

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

6 - 演習のまとめ

✅ 演習での成果物

イベント駆動のスケジュールを使用して、パイプラインをクリーンな出力まで実行します。

✅ 学習した内容

  • Foundry では、パイプラインのスケジュールは独自の RID と許可スキームを持つ第一級の作成物として扱われます。
  • パイプラインスケジュールマネージャは、Data Lineage アプリケーション内でアクセスできます。
  • ほとんどのパイプラインは、フルビルドモードやシングルビルドモードではなく、接続ビルドモードを使用する必要があります。
  • スケジュールされたビルドは、トリガーで定義された条件が満たされたときに実行されます。
  • トリガーは、イベントベース、時間ベース、またはその組み合わせにすることができます。
  • ほとんどのデータパイプラインは、イベントベースのトリガーを使用する必要があります。
  • 失敗時にスケジュールを中止し、リトライ値を 3 に設定し、失敗間の間隔を 1 分にすることをお勧めします。
  • 強制ビルドは、データ接続に対してのみ使用する必要があります。
  • Data Connection の同期は、パイプラインの残りの部分とは別の専用スケジュールを使用する必要があります。