6. データパイプラインの健全性の監視2 - データヘルスチェックグループの設定

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

2 - データヘルスチェックグループの設定

📖 タスクの概要

データエンジニアは、パイプラインの主要な領域でデータヘルスチェックを設定し、その健康状態を監視し、チェックが失敗した場合にアプリ内および/またはメールでアラートを受け取ることができます。スケールすると、これによって多くの重要な信号が生成されます。このチュートリアルでは、40以上のヘルスチェックを設定します。Foundryでは、チェックグループを作成して、チェックを関連するセットにまとめたり、通知をバッチ処理したりすることができます。 このタスクでは、3つのチェックグループを作成し、それぞれのパイプラインセグメントに対応させます。その後、個々のチェックをそれぞれのグループに追加して設定することができます。

🔨 タスクの説明

  1. Foundry Workspace のサイドバーを展開し、APPS セクションの View all リンクをクリックします。
  2. Build & Monitor Pipelines アプリグループで Data health を探し、クリックします。
  3. Data Health アプリの右上で、Check groups リンクをクリックします。
  4. 右上の緑の ➕ Create group ボタンをクリックします。
  5. Check group name フィールドに、ユーザーの名前 Flight Alerts Schedule を入力します。これはパイプラインの名前です。任意の名前を入力しても構いませんが、パイプラインセグメントの名前に対応するチェックのグループを作成します。このようにして、以下で選択した間隔で、それぞれのグループに対して一括した通知を受け取ることができます。
  6. 説明を入力します。 「オプション」と表示されていますが、パイプライン監視ロジックに追加のドキュメントを追加するフィールドは、ベストプラクティスで完成させることが推奨されます。例えば、「ユーザーの名前 Flight Alerts Schedule に関連するチェック。Datasource Project: Flight Alerts を構築する」といった内容を考慮してください。
  7. スケジュールでは、週ごとの間隔で、火曜日と金曜日の午前8時 CET にダイジェストが届くように設定します。
  8. Only when failing ボックスにチェックを入れたままにしておきます。
  9. 右上の緑の Create group ボタンをクリックして、グループを保存します(次のタスクでグループにチェックを追加します)。
  10. 他の2つのパイプラインセグメントに対しても同じプロセスを繰り返し、それぞれのチェックグループを作成します。

📚 推薦文献(約2分で読めます)

Check Group の基本についてもう少し読んでみましょう。