14 - 重要なポイント

データパイプラインは、Foundry内外の多くの異なる製品やプロセスにデータを供給します。これらはデータを深く分析し、プレゼンテーションするための準備をしたり、Foundry外のシステムにテーブルをエクスポートしたり、オペレーショナルでオントロジーを意識したアプリケーションをバックアップするかもしれません。結果を見据えてパイプラインを慎重に構築することで、設置したい監視の種類について意図的になるのに役立ちます。Foundry Schedulerアプリケーションを通じて、パイプラインの入力、出力、中間データセットを定義し、Data Healthアプリケーションを利用して、これらの入力と出力に対するチェックを設定してパイプラインの健康状態を監視します。

このチュートリアルでは、ユーザーは以下のことを行いました：

1. ヘルス通知アラートを一括処理するためのチェックグループを作成しました。
2. ユーザーの接続されたパイプラインセグメントの入力と出力に対して推奨されるヘルスチェックを適用しました。
3. ユーザーの3つのビルドスケジュールに対してヘルスチェックを適用しました。

以下は、このトレーニングの過程で使用された製品ドキュメンテーションのリストです：

• Data Healthアプリケーション、およびユーザーのスケジュールビルドの入力と出力に適用するための推奨チェックリスト
• パイプライン監視のベストプラクティス

より細かくパイプラインとデータセットを監視したいと考えるデータエンジニアは、Data Expectationsと呼ばれるフレームワークを用いて変換リポジトリでコードベースのチェックを定義することができます。次のチュートリアルは、ユーザーが期待値ライブラリを探索し、ユーザーのパイプラインに選択したものを適用するのを助けます。