4 - 演習のまとめ

✅ 演習での成果物

1. パイプラインの Datasource ステージ 用の Pipeline Builder 作成物。
2. 外部ソース接続をシミュレートする /datasets/raw/ フォルダー内の3つの出力データセット: flight_alerts_raw、status_mapping_raw、priority_mapping_raw。

✅ 学習した内容

1. プロジェクトの各ステージでは、Pipeline Builder 作成物でデータ変換を構造化された環境で開発・維持する複数のバッチパイプラインが必要になることがあります。
2. Pipeline Builder は、自動的にすべてのデータセット出力をパイプライン作成物が存在する同じフォルダーに送信します。