10 - 핵심 요약

문서화를 항상 해야 합니다. Data Lineage 애플리케이션을 사용하여 시각적으로 또는 Notepad와 같은 Foundry 리소스를 사용하여 텍스트 기반으로 작업하든 관계없이, 파이프라인 로직과 종속성에 대해 철저하게 설명하면 문제 해결이 빠르게 이루어지고 유지 관리 문제가 발생하지 않습니다.

이 튜토리얼에서 여러분은:

1. Pipeline Builder를 사용하여 전처리된 파일을 결합하여 사용 가능한 결과물을 생성하는 파이프라인에서 정리 단계를 도입했습니다.
2. Pipeline Builder의 버전 관리 메커니즘을 활용하는 연습을 했습니다.
3. 파이프라인의 데이터 소스 단계에 대한 Data Lineage 표현을 저장했습니다.
4. 데이터 소스 파이프라인에 대한 파이프라인 정보를 포함하는 Notepad 문서를 생성했습니다.

다음은 이 교육에 대한 지원 제품 문서 목록입니다:

• Pipeline Builder에서 브랜칭
• Data Lineage
• Notepad

이제 원시 데이터에서 클린 데이터로의 다중 노드 흐름을 만들었으므로, 변환 작업을 순차적으로 자동으로 실행할 일정을 생성하는 작업을 진행할 것입니다. 파이프라인을 능숙하게 스케줄링하는 것은 파이프라인 모니터링의 중요한 부분이며, 다음 튜토리얼에서는 Scheduler 애플리케이션을 권장 구성으로 사용하고 문제 해결 및 유지 관리 활동을 용이하게 하기 위해 파이프라인에 대한 문서를 작성할 것입니다.