7 - 演習のまとめ

✅ 演習での成果物

1. 乗客データの新しいDatasourceプロジェクト。
2. プロジェクトの.../datasets/rawおよび.../datasets/cleanフォルダーに新しいPipeline Builderの作成物。
3. JSON解析変換。
4. 生の乗客データをクリーンアップする一連の変換。
5. 乗客データソースパイプラインのためのNotepadとData Lineageドキュメンテーション。
6. 乗客データソースパイプラインのビルドスケジュール。

✅ 学習した内容

Pipeline Builderは、JSON（およびXML）をSpark（例えば、Parquet）で使用可能な形式にパースできます。