11 - メンテナンス

Pipeline Builder でデータセットを作成した後（または、特別なコードが必要な場合はリポジトリで作成した後）、このラーニングパスで遭遇するいくつかの補完的なパイプラインメンテナンスアプリケーションを使用して、ロジックのスケジュール設定と監視を行うことができます。

• Data Lineage は、Foundry の紹介コースで学習したように、データの新鮮さ、健康状態、リソース使用状況、下流依存関係を理解するためのパイプライン可視化と探索ツールを提供します。
• Data Lineage でアクセスできる Scheduler アプリケーションを使用すると、定義した時間やイベントベースがトリガーされたときに一緒に構築されるべきデータセットを定義できます。また、パイプラインメトリックを追跡し、スケジュールレベルの追加の健康状態チェックを提供します。
• Data Health アプリケーションを使用して、パイプラインを監視し、定義した条件が満たされたときに通知されるようにします。