4 - 연습 요약

✅ 결과물

1. 파이프라인의 Datasource stage에 대한 Pipeline Builder 아티팩트.
2. /datasets/raw/ 폴더에 외부 소스 연결을 시뮬레이션하는 세 가지 결과물 데이터셋: flight_alerts_raw, status_mapping_raw, priority_mapping_raw.

✅ 학습내용

1. 프로젝트의 각 단계에서는 구조화된 설정에서 데이터 변환을 개발하고 유지 관리하는 Pipeline Builder 아티팩트로 만든 여러 배치 파이프라인이 필요할 수 있습니다.
2. Pipeline Builder는 자동으로 모든 데이터셋 결과물을 파이프라인 아티팩트가 있는 동일한 폴더로 전송합니다.