14 - 重要なポイント

データパイプラインは、Foundry 内外のさまざまな製品やプロセスにデータを供給します。データを詳細に分析して表示するためにデータを準備したり、Foundry の外部システムにテーブルをエクスポートしたり、オントロジー対応の運用アプリケーションをバックアップしたりすることができます。パイプラインを最終目標を念頭に置いて慎重に構築することで、設置したい監視の種類について意図的になれます。Foundry Scheduler アプリケーションを通じて、パイプラインの入力、出力、中間データセットを定義し、Data Health アプリケーションを使って、それらの入力と出力に対してチェックを設定してパイプラインの健康状態を監視します。

このチュートリアルでは、以下の操作を行いました。

1. ヘルス通知アラートをバッチ処理するためのチェックグループを作成しました。
2. 接続されたパイプラインセグメントの入力と出力に推奨されるヘルスチェックを適用しました。
3. 3つのビルドスケジュールにヘルスチェックを適用しました。

以下は、このトレーニングで使用された製品ドキュメントのリストです。

• Data Health アプリケーション 、スケジュールされたビルドの入力と出力に適用する 推奨チェックリスト を含む
• パイプライン監視のベストプラクティス

データエンジニアは、パイプラインとデータセットをより細かく監視したい場合、Data Expectations というフレームワークを使って、変換リポジトリにコードベースのチェックを定義することができます。次のチュートリアルでは、期待値ライブラリを探索し、パイプラインにいくつかの選択肢を適用する方法をお手伝いします。