4. Scheduling Data Pipelines2 - スケジュールの作成
Warning

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

2 - スケジュールの作成

learn.palantir.com でも以下の内容をご覧いただけますが、アクセシビリティの観点から、ここに掲載しています。

📖 タスクの概要

Foundry では、パイプラインのスケジュールは、独自のリソースID(RID)および権限スキームを持つ第一級の作成物として扱われます。このタスクでは、スケジュールプロセスを文脈化するために、キーデータ変換とビルディングコンセプトを再検討し、スケジュール用のコンテナを作成するよう求められます。

📚 推薦文献(約10分間の読み物)

Foundry のデータエンジニアは、データビルド実行の詳細なコンポーネントを把握することが求められ、データパイプラインの構築と維持が効果的に行われます。これらの重要な用語 を確認した後、Foundry のビルドプロセスに関する この拡張記事 を読んでから進んでください。ビルドプロセスのオーケストレーションに関する詳細は、データエンジニアリングのラーニングパス内の後のコース「Foundry under the Hood」で説明されます。

🔨 タスクの説明

  1. 前の演習で作成した「Flight Alerts Pipeline」データフローグラフを開きます。 /Datasource Project: Flight Alerts/documentation フォルダーにあるはずです。

  2. 画面右側の折りたたまれたヘルパーの「カレンダー」アイコン(ホバーテキスト:「スケジュールを管理」)を選択して、Scheduler アプリケーションを開きます。

  3. 右側のパネル中央にある青い Create new schedule ボタンを選択します。グラフの着色スキームがスケジューラーモードに切り替わり、ノードは定義したスケジュールロジックに基づいて着色されるようになります。画面上部の Exit schedule をクリックすると、Scheduler アプリケーションが閉じて、標準のノード着色に戻ります。

  4. Scheduler パネルの上部で、New schedule のテキストを選択し、名前を ユーザーの名前 Flight Alerts Pipeline(例:Jmeier Flight Alerts Pipeline)に変更します。

  5. タイトルのすぐ下にある「Schedule description...」のテキストを選択して説明を編集します:「Datasource Project: Flight Alerts のビルドスケジュール。」

    スケジューラーのドキュメントで説明されているように、スケジュールのビルドタイプは3つあります。

    • シングルビルド:選択したデータセットのみをビルドします。
    • フルビルド:選択したデータセットとすべての上流データセットをビルドします。
    • 接続ビルド:入力データセット(除外)とターゲットデータセット(含む)の間のすべてのデータセットをビルドします。

    ℹ️ 一般的には、フルビルドを避けて、可能な限り接続ビルドを使用することをお勧めします。接続ビルドでは、ターゲットデータセットと上流データセットを接続するすべてのデータセットが、スケジュールが設定されているブランチ上のジョブスペックパスで接続される必要があります。

  6. Scheduler パネルの上部近くにある Switch to a connecting build オプションをクリックします。