注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

11 - スケジュールヘルスチェックの設定:スケジュールの期間

📖 タスクの概要

ビルドスケジュールが予想よりも時間がかかっている場合、注意が必要な問題があることを示している可能性があります。これは、入力データの量が増えたり、データパーティションのサイズや数が現在のSparkプロファイルで効率的に計算できるよりも大きくなっていることを意味することがあります。Foundry環境でのSparkリソースの競合が平均以上の可能性もあります。いずれにせよ、スケジュールされたビルド(つまり、論理的にまとめてビルドするジョブや連続するジョブ)が完了するまでの時間を監視することで、サービスレベル契約や下流でのフレッシュな期待を満たすリスクを最小限に抑えることができます。

🔨 タスクの説明

  1. スケジュールメトリックページの Health タブで、Time ▾ ドロップダウンをクリックし、Schedule Duration を選択します。
  2. まだ十分な数のスケジュール実行がないため、メトリックを使用して期待される期間を知ることができません。2番目のチェックボックスにチェックを入れ、しきい値を最近の5回の実行で定義された中央値よりも1つの偏差上に設定します。
    • スケジュールの実行が増えたら、ここに戻ってルールを特定の時間のしきい値に更新できます。
  3. このチェックを Flight Alerts Schedule チェックグループに追加します。