4. データパイプラインのスケジューリング2 - スケジュールの作成

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

2 - スケジュールの作成

📖 タスクの概要

Foundry では、パイプラインのスケジュールは独自のリソースID(RID)と権限スキームを持つ第一級の作成物として扱われます。このタスクでは、スケジューリングプロセスをコンテキスト化するために、キーデータ変換とビルド概念を再訪し、スケジュールのコンテナを作成するよう求められます。

📚 推薦文献(約10分読み)

Foundry のデータエンジニアは、データパイプラインを効果的に構築・維持するために、データビルド実行の細かい構成要素を理解しておく必要があります。これらの重要な用語を確認し、Foundry のビルドプロセスに関するこの拡張記事を読んでから進んでください。ビルドプロセスのオーケストレーションに関する詳細は、後のデータエンジニアリングのラーニングパスで「Foundry under the Hood」というコースで扱われます。

🔨 タスクの説明

  1. 前回の演習で作成した「Flight Alerts Pipeline」のデータフローグラフを開きます。/Datasource Project: Flight Alerts/documentation フォルダーにあるはずです。

  2. 画面右側の折りたたまれたヘルパーで「カレンダー」アイコン(ホバーテキスト:「スケジュールを管理する」)を選択し、Scheduler アプリケーションを開きます。

  3. 右側のパネルの中央にある青い Create new schedule ボタンを選択します。グラフの着色スキームがスケジューラモードに切り替わり、ノードが定義したスケジュールロジックに基づいて着色されるようになります。「Exit schedule」を画面上部でクリックすると、Scheduler アプリケーションが閉じ、標準のノード着色に戻ります。

  4. Scheduler パネルの上部で、New schedule のテキストを選択し、名前を yourName Flight Alerts Pipeline(例:Jmeier Flight Alerts Pipeline)に変更します。

  5. タイトルのすぐ下で、「Schedule description...」のテキストを選択して説明を編集します。「Build schedule for Datasource Project: Flight Alerts」。

    スケジューラのドキュメントで説明されているように、スケジュールビルドタイプは3つあります。

    • シングルビルド:選択したデータセットのみをビルドします。
    • フルビルド:選択したデータセットとすべての上流データセットをビルドします。
    • コネクティングビルド:入力データセット(除外)とターゲットデータセット(含む)の間のすべてのデータセットをビルドします。

    ℹ️ 一般的に、フルビルド を避け、可能な限り コネクティングビルド を使用することをお勧めします。コネクティングビルドでは、ターゲットデータセットと上流データセットを接続するすべてのデータセットが、スケジュールが設定されているブランチ上の ジョブスペック パスによって接続されている必要があります。

  6. Scheduler パネルの上部近くにあるSwitch to a connecting buildオプションをクリックします。