5C. [Repositories] Multiple Outputs with Data Transforms10 - ユーザーのパイプラインの状況を把握する
Warning

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

10 - パイプラインの状況を確認する

learn.palantir.com でも以下の内容をご覧いただけますが、アクセシビリティの観点から、ここに掲載しています。

📖 タスクの概要

2つのデータソースプロジェクトと1つの変換プロジェクトのために構築された3つのスケジュールを持つマルチステージパイプラインができました。それらすべてを Data Lineage グラフに持ってきて、そのロジックを可視化しましょう。

🔨 タスクの説明

  1. Alert Metrics Pipeline の Data Lineage グラフを開きます。

  2. 左側のすべての「clean」ノードを選択し、右クリックして Expand nodes... を選択します。次に、Expand parents ウィンドウで << をクリックします。

  3. ノードを好みの見た目に並べ替えます。

  4. 画面右側の Manage schedules ボタンをクリックします。

  5. 各スケジュールの上にマウスを置くことで、3つのスケジュール間の入力/出力関係をすばやく可視化します。

  6. Node color optionsSchedule count に変更します。グラフ上のノードごとにスケジュールが1つだけあるはずです。複数のスケジュールに属するノードがある場合、この着色オプションでそれを明らかにし(その後、修正する必要があります)。

  7. Node color optionsout-of-date に変更します。パイプラインを構築している方法によって、最も上流のデータセットが更新されると実際に修正されるであろう不均一なデータセットの新しさに気付くでしょう。

  8. 他のノード着色オプションも試してみてください。以下を含む:

    • リポジトリ
    • フォルダー
    • 最終構築時刻