7. [Code Repositories] 데이터 기대치 구성1 - 이 강의에 대하여

본 번역은 검증되지 않았습니다. AIP를 통해 영문원문으로부터 번역되었습니다.

1 - 이 강의에 대하여

이 내용은 learn.palantir.com ↗에서도 사용할 수 있으며 접근성을 위해 여기에 제공됩니다.

데이터 건강 검사는 빌드 완료 후 다양한 백엔드 프로세스를 사용하여 실행됩니다. 변형 코드와 별개로 빌드 또는 작업 완료 후 실행되므로 빌드를 실패시키는 데 사용할 수 없습니다. 다시 말해, 기본 키의 고유성 건강 검사를 설치하면 실패에 대해만 알림을 받게 되지만, 원하지 않는 데이터가 계속 다운스트림으로 전파될 수 있습니다.

반면에, Foundry의 데이터 기대치 라이브러리는 변형에 호출되어 (a) 충족되지 않으면 작업이 실패하도록 하고, (b) OOTB 데이터 건강 검사보다 더 세밀하게 제공하며, (c) 저장소에서 구성 관리하에 있으며, (d) 데이터의 예상 형태와 크기에 대한 코드에 문서 레이어를 추가하는 건강 검사를 생성할 수 있습니다. 따라서, 인코딩된 기본 키 데이터 기대치가 실패하면 작업이 실패하고 예상치 못한 데이터는 다운스트림으로 전파되지 않습니다. 더욱이, 인코딩된 기대치는 구성한 표준 기대치와 함께 Data Health 애플리케이션에 표시됩니다.

⚠️ 강의 사전 준비 사항

  • DATAENG 06: 데이터 파이프라인 건강 모니터링: 이 트랙의 이전 강의를 완료하지 않았다면 지금 수행하십시오.

결과

많은 경우, 이전 튜토리얼에서 적용한 것처럼 데이터 건강 검사가 파이프라인을 모니터링하는 데 충분할 것입니다. 전체 모니터링 및 보호 프로그램은 더 큰 세밀성과 제어를 위해 데이터 기대치 프레임워크를 활용해야 합니다. 이 간단한 튜토리얼에서는 데이터 변형에 몇 가지 인코딩된 데이터 검사를 추가하고 Data Health 애플리케이션에서 그것들을 보게 됩니다.

📖 학습 목표

데이터 기대치 검사를 언제 어떻게 적용하는지 이해합니다.

💪 Foundry 기술

  • 기존 Code Repositories에 데이터 기대치 검사를 적용합니다.
  • Data Health 애플리케이션에서 기대치 검사를 확인합니다.