4. 데이터 파이프라인 스케줄링7 - 주요 학습 내용

본 번역은 검증되지 않았습니다. AIP를 통해 영문원문으로부터 번역되었습니다.

7 - 주요 학습 내용

이 내용은 learn.palantir.com ↗에서도 확인할 수 있으며, 접근성을 위해 여기에도 제시되었습니다.

Scheduler 애플리케이션은 데이터 파이프라인에 자동화와 논리를 가져다 줍니다. 이 튜토리얼에서는 기본적인 일정을 설정하고 추가 관련 문서를 통해 프로젝트의 유지 보수성을 향상시켰습니다. 파이프라인 모니터링에서 파이프라인을 능숙하게 스케줄링하는 것은 중요한 부분이며, Foundry에서 데이터 파이프라인을 작업하는 모든 데이터 엔지니어가 일정 구현에 대한 모범 사례에 익숙해지는 것을 강력히 권장합니다.

이 튜토리얼에서는:

  • 이 교육 과정을 통해 계속 개발할 것인 더 크고 완성도 높은 파이프라인의 Datasource Project 세그먼트에 대한 이벤트 기반 일정을 개발했습니다.

다음은 이 교육 과정에서 사용된 제품 관련 문서의 목록입니다:

다음 몇 가지 튜토리얼에서는 Foundry 플랫폼에서 일반적인 데이터 변환 작업을 수행하기 위해 데이터 엔지니어링 기술을 어떻게 활용할 수 있는지 보여줄 것입니다. 이 중 첫 번째는 원시 파일(csv 및 json)에 접근하고 파싱하여 항공 여객 데이터를 전체 프로젝트에 통합하는 것입니다.