7 - 연습 요약

✅ 결과물

1. 승객 데이터를 위한 새로운 Datasource 프로젝트 생성.
2. 프로젝트의 .../datasets/raw 및 .../datasets/clean 폴더에 새로운 Pipeline Builder 아티팩트 생성.
3. JSON 파싱 변환 작업 생성.
4. 원시 승객 데이터를 정리하기 위한 일련의 변환 작업 생성.
5. 승객 데이터 Datasource 파이프라인에 대한 Notepad 및 Data Lineage 관련 문서 작성.
6. 승객 데이터 Datasource 파이프라인에 대한 빌드 일정 생성.

✅ 학습내용

Pipeline Builder는 JSON(및 XML)을 Spark에서 사용할 수 있는 형식(예: Parquet)으로 파싱할 수 있습니다.