6. データパイプラインの健全性の監視6 - ビルド vs. ジョブチェック

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

6 - ビルド vs. ジョブチェック

📖 タスクの概要

本稿執筆時点で、Foundry のドキュメンテーションでは、ユーザーのパイプラインの入力と出力に2つのチェックを追加することを推奨しています:ビルドステータスビルド期間。ユーザーのスケジュールの入力と出力にこれらのチェックを適用するための良い理由がまだ存在するかもしれませんが、現在のベストプラクティスは、スケジュールの期間とスケジュールのステータスチェックを適用することです。これについては次のエクササイズで取り上げます。

ジョブビルドの違いを理解すること、そしてビルドステータスと期間のチェックがスケジュールのものとどのように重複しているかを理解することは、これらのチェックがユーザーのパイプラインのどの段階で必要かどうかを決定するのに役立ちます。

  • ジョブ:単一の変換によって定義されるデータ計算。言い換えると、ジョブは単一のデータセット(または複数出力変換が使用された場合は複数)を生成する単一の変換です。
  • ビルド:スケジュールに定義された目標データセットを持つジョブの集合。

前のタスクで利用可能なヘルスチェックのリストには、ジョブステータスチェックも含まれていました。これは、それが適用されるデータセットが成功裏にビルドされた場合に成功し、たとえそのビルドが下流で失敗する部分の一部であったとしてもです。したがって、ジョブステータスチェックは個々のデータセットに限定されます。

対照的に、ビルドステータスチェックは、ビルド内のすべてのジョブの成功または失敗を監視します。このチェックをスケジュールの出力に適用することで、より大きなビルド内のすべてのジョブを監視します。 Foundryでジョブとビルドを探索するための有用なアプリケーションの1つはジョブトラッカーです。以下の手順は、ビルドが開始または終了した後のジョブトラッカーで利用可能な情報の概要を提供します。

🔨 タスクの説明

  1. ユーザーのFlight Alerts Pipelineグラフに戻り、グラフ上のflight_alerts_cleanノードをクリックし、次に画面の左下にある履歴タブをクリックします。
  2. このデータセットを生成したすべてのトランザクションの記録が履歴ヘルパーの左側に表示されます。最も最近の成功したトランザクションをクリックします。
  3. トランザクション詳細パネルの概要タブで、ジョブの詳細セクションのヘッダーの隣にあるビルドレポートを表示リンクをctrl+クリックします。

ユーザーは今、ブラウザの新しいタブでジョブトラッカーアプリケーションにあり、ユーザーの画面は以下の画像のようになるかもしれません。

📚 推薦文献(約2分読み取り)

ジョブレベルのチェック vs ビルドレベルのチェックの違いについては、ここでリンクされたドキュメンテーションで詳しく読むことができます。