9 - メトリックを使用してアラート閾値を決定する

📖 タスクの概要

これまでのタスクでは、基本的なコードの内容と、構築スケジュール内のデータセットが組織内でどのように利用されるかについての理解に基づいて、アラートの閾値を設定しました。各ビルドの実行時に、Foundry はパイプラインのメトリックを更新し、閾値の更新に役立てることができます。以前に、TSLUチェックを中央値（最近の10回の実行）の1偏差上に設定しましたが、これにより時間とともに徐々に増加することが予想されます。特定の時間にアップデート値を設定するための信頼できる統計的根拠があったとしましょう。

このタスクでは、パイプラインのメトリックを確認してアラートの閾値を更新する方法を学びます。

🔨 タスクの説明

1. Data Lineage アプリケーションで ユーザーの Flight Alerts Schedule を開きます。
2. 右側の Manage schedules ウィンドウでスケジュールを選択します。
3. スケジュールの上部近くにある Metrics を探して選択し、スケジューラのメトリック UI が開きます。
4. Overview タブの高レベルのメトリックの視覚化を確認します。
5. ▸ Advanced statistics セクションを展開して、TSLU やビルド時間などの時間ベースの統計に関連する「p値」を表示します。パイプラインが複数回実行された後、これらのメトリックを参照してアラートの閾値を決定することができます。
   • 例えば、ビルド時間のチェック閾値を P75 値に設定することができます。また、P50 値（中央値）が閾値である場合、中央値より1標準偏差上でアラートを出すことができます。
6. スケジューラのメトリックで確認した内容に基づいて、時間のメトリックを変更してください（変更したい内容がない場合もあります）。