14 - 핵심 요약

데이터 파이프라인은 Foundry 내부 또는 외부의 다양한 제품과 프로세스에 데이터를 제공합니다. 데이터 파이프라인은 깊이 있는 분석과 프레젠테이션을 위해 데이터를 준비하거나, Foundry 외부 시스템에 테이블을 내보내거나, 온톨로지를 인식하는 애플리케이션을 지원할 수 있습니다. 파이프라인을 목적을 염두에 두고 신중하게 빌드하면, 원하는 모니터링 종류에 대해 신중하게 결정할 수 있습니다. Foundry Scheduler 애플리케이션을 통해 파이프라인의 입력, 결과물 및 중간 데이터셋을 정의하고, 데이터 건강 애플리케이션을 통해 해당 입력 및 결과물에 대한 체크를 설정하여 파이프라인 건강 상태를 모니터링할 수 있습니다.

이 튜토리얼에서는 다음을 수행했습니다:

1. 건강 상태 알림 경고를 일괄 처리하기 위해 체크 그룹을 생성했습니다.
2. 연결된 파이프라인 세그먼트의 입력 및 결과물에 권장 건강 체크를 적용했습니다.
3. 세 가지 빌드 일정에 건강 체크를 적용했습니다.

아래는 이 교육 과정에서 사용된 제품 문서의 목록입니다:

• 데이터 건강 애플리케이션, 일정에 따른 빌드 입력 및 결과물에 적용할 권장 체크 목록을 포함합니다.
• 파이프라인 모니터링 모범 사례

더 세밀한 정밀도로 파이프라인과 데이터셋을 모니터링하려는 데이터 엔지니어는 데이터 기대치라는 프레임워크를 사용하여 변환 저장소에서 코드 기반 체크를 정의할 수 있습니다. 다음 튜토리얼은 기대치 라이브러리를 탐색하고 파이프라인에 몇 가지를 적용하는 데 도움이 될 것입니다.