17 - 핵심 요약

지금까지 Pipeline Builder, Notepad 및 Data Lineage를 사용하여 데이터 파이프라인을 변환, 문서화 및 일정에 따라 실행하는 방법을 익히셨습니다.

이 튜토리얼에서는 다음을 수행했습니다:

1. 데이터소스 프로젝트 생성: 승객 프로젝트와 관련 빌드 일정 및 문서 작성.
2. 원시 JSON을 결과 데이터셋으로 파싱.
3. 파이프라인의 변환 프로젝트 단계 구축.
4. 다양한 유즈케이스를 위해 여러 필터링된 결과물 생성.
5. 변환 프로젝트에 대한 일정을 구성하고 문서 요소를 추가.

빌드가 정확하게 일정에 따라 자동으로 운영되면 하류 유즈케이스에 신선한 데이터를 제공합니다. 그러나 빌드 과정에서 예기치 않은 사항이 발생하면 어떻게 될까요? 다음 두 튜토리얼에서는 파이프라인 상태를 모니터링하기 위한 모범 사례와 단계를 전달합니다.