7. [Pipeline Builder] 데이터 기대치 구성1 - 이 강좌에 대하여

본 번역은 검증되지 않았습니다. AIP를 통해 영문원문으로부터 번역되었습니다.

1 - 이 강좌에 대하여

이 내용은 learn.palantir.com ↗에서도 사용할 수 있으며 접근성을 위해 여기에 표시됩니다.

데이터 건강 체크는 빌드가 완료된 후에 체크 유형에 따라 다양한 백엔드 프로세스를 사용하여 실행됩니다. 빌드 또는 작업이 완료된 후 변환 로직과 별도로 실행되므로 빌드를 실패시키는 데 사용할 수 없습니다. 다시 말해, 기본 키 고유성 건강 체크를 설치하면 실패에 대해서만 알림을 받게 되지만 원치 않는 데이터가 계속해서 하류로 전파될 수 있습니다.

반면에 Foundry의 데이터 기대치 라이브러리는 Pipeline Builder에서 호출되어 작업이 충족되지 않으면 작업이 실패하는 건강 체크를 생성하고 코드 파이프라인에 예상되는 데이터의 모양과 크기에 대한 "관련 문서" 레이어를 추가할 수 있습니다. 따라서 인코딩된 기본 키 데이터 기대치가 실패하면 작업이 실패하고 예상치 못한 데이터는 하류로 전파되지 않습니다. 게다가 인코딩된 기대치는 구성하는 표준 체크와 함께 Data Health 앱에 표시됩니다.

⚠️ 강좌 사전 요구사항

DATAENG 06: 이 트랙에서 이전 강좌를 완료하지 않았다면 지금 수행하십시오.

결과

일부 경우에서는 이전 튜토리얼에서 적용한 데이터 건강 체크가 파이프라인을 모니터링하는 데 충분할 수 있습니다. 완전한 모니터링 및 보호 프로그램은 더 큰 세밀성과 제어를 위해 데이터 기대치 프레임워크를 활용해야 합니다. 이 간단한 튜토리얼에서는 이러한 체크를 파이프라인에 추가하고 Data Heatlh 애플리케이션에서 확인하는 연습을 해 보겠습니다.

🥅 학습 목표

  • Pipeline Builder에서 데이터 기대치 체크를 언제 어떻게 적용하는지 이해합니다.

💪 Foundry 기술

  • Pipeline Builder에서 데이터 기대치 체크를 적용합니다.
  • Data Health 애플리케이션에서 기대치 체크를 확인합니다.