11 - メンテナンス

Pipeline Builder（または特別なコードが必要な場合はリポジトリ）でデータセットを構築したら、このラーニングパスで出会ういくつかの補完的なパイプラインメンテナンスアプリケーションを使用して、ロジックのスケジュールと監視を行うことができます。

Data Lineageは、Foundry入門コースで学んだパイプラインの可視化と探索ツールを提供し、データの新鮮さ、健康状態、リソース使用量、下流依存関係を理解するために使用します。
Data LineageでアクセスできるSchedulerアプリケーションを使用すると、定義した時間やイベントベースがトリガーされたときに一緒にビルドされるべきデータセットを定義できます。また、パイプラインのメトリックスを追跡し、追加のスケジュールレベルの健康状態チェックを提供します。
Data Healthアプリケーションを使用して、パイプラインを監視し、定義した条件が満たされたときに通知されるようにします。