6. Monitoring Data Pipeline Health8 - 演習のまとめ
Warning

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

8 - 演習のまとめ

learn.palantir.com でも以下の内容をご覧いただけますが、アクセシビリティの観点から、ここに掲載しています。

上の画像は、3つの接続されたスケジュール全体のノードを、Data Health ノードの色分けオプションで色分けし、Data Health ヘルパータブを開いた状態で表示しています。これにより、グラフ上のすべてのノードのチェックステータスが表示されます。

✅ 演習での成果物

  • スケジュールの入力と出力に対して、最終更新からの経過時間(TSLU)チェックとスキーマチェックを行いました。

✅ 学習した内容

  1. Job は、単一の変換内のロジックによって定義されるデータ計算です。スケジュールの主題は、Build であり、これは1つまたは複数のジョブが信頼性を持って一緒に実行され、意味のある単位になるものです。
  2. Palantir では、スケジュールされたビルドのターゲットに対して少なくともスキーマと TSLU チェックを行い、入力に対してスキーマチェックを行うことをお勧めしています。
  3. ジョブトラッカーアプリケーションを使用すると、Foundry ビルドを監視およびデバッグできます。
  4. 複数のデータフローノードを選択し、右クリックして**ヘルスチェックを追加...**を選択することで、一部のチェックを複数のデータセットに同時に適用できます。

📚 推薦文献(約3分読み)

スケジュールの入力と出力に推奨されるチェックを適用する練習をしてきました。次に、このドキュメントページを確認して、インストールしておくべき他のオプションのチェックについてのヘルスチェックベストプラクティスを理解を深めてください。