17 - 重要なポイント

ここまでで、Pipeline Builder、Notepad、Data Lineage をそれぞれ使ってデータパイプラインを変換、文書化、スケジュールする方法について理解できるようになったはずです。

このチュートリアルでユーザーは以下を行いました。

1. データソースプロジェクトを作成：Passengers プロジェクトおよび関連するビルドスケジュールとドキュメントを作成しました。
2. 生の JSON を出力データセットに解析しました。
3. パイプラインの変換プロジェクトステージを構築しました。
4. 複数のフィルター処理された出力を作成して、さまざまなユースケースに対応しました。
5. 変換プロジェクトのスケジュールを設定し、ドキュメント要素を追加しました。

ビルドが自動的にスケジュールされ、信頼性のある方法で下流のユースケースに新鮮なデータを提供することができます。しかし、ビルドプロセス中に予期しない事態が発生した場合はどうでしょうか？次の2つのチュートリアルでは、パイプラインの健康状態を監視するためのベストプラクティスと手順を説明しています。