6. Monitoring Data Pipeline Health6 - ビルド vs. ジョブチェック
Warning

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

6 - ビルド対ジョブのチェック

この内容は learn.palantir.com ↗でも以下の内容をご覧いただけますが、アクセシビリティの観点から、ここに掲載しています。

📖 タスクの概要

現時点では、Foundryのドキュメンテーションでは、ユーザーのパイプラインの入力と出力に対して他の2つのチェック、つまりビルドステータスビルド期間を追加することを推奨しています。ユーザーのスケジュールの入力と出力に対してこれらのチェックを適用するための良い理由がまだ存在するかもしれませんが、現在のベストプラクティスはスケジュールの期間とスケジュールのステータスのチェックを適用することです。この点については次の演習で取り上げます。

ジョブビルドの違いを理解すること、そしてビルドのステータスと期間のチェックがスケジュールと重複している方法を理解することは、ユーザーのパイプラインのどの段階でこれらのチェックが必要かどうかを決定するのに役立ちます。

  • ジョブ:シングルトランスフォームのロジックで定義されたデータ計算。言い換えると、ジョブはシングルデータセット(または複数出力トランスフォームが使用される場合は複数)を生成するシングルトランスフォームです。
  • ビルド:スケジュールで定義されたターゲットデータセットを持つジョブの集合。

前のタスクで利用可能なヘルスチェックのリストには、ジョブステータスチェックも含まれていました。これは、それが適用されたデータセットが成功裏にビルドされると成功します。たとえビルドが下流の一部で失敗した場合でも。したがって、ジョブステータスチェックは個々のデータセットに限定されます。

対照的に、ビルドステータスチェックは、ビルド内のすべてのジョブの成功または失敗を監視します。このチェックをスケジュールの出力に適用することで、より大きなビルド内のすべてのジョブを監視します。 Foundryでジョブとビルドを探索するのに便利なアプリケーションの一つはJob Trackerです。以下の手順は、ビルドが開始または終了した後のJob Trackerで利用可能な情報の概要を提供します。

🔨 タスクの説明

  1. Flight Alerts Pipelineグラフに戻り、グラフ上のflight_alerts_cleanノードをクリックし、画面の左下にあるHistoryタブをクリックします。
  2. Historyヘルパーの左側に、このデータセットを生成したすべてのトランザクションの記録が表示されます。最も最近の成功したトランザクションをクリックします。
  3. トランザクション詳細パネルのOverviewタブで、Job detailsセクションヘッダーの右側にあるView build reportリンクをctrl+clickします。

ユーザーは今、ブラウザの新しいタブでJob Trackerアプリケーションに移動し、画面は以下の画像のようになっているかもしれません。

📚 推薦文献 (~2分で読めます)

ジョブレベルチェック対ビルドレベルチェックの違いについては、ここにリンクされたドキュメンテーションで詳しく読むことができます。