6. 데이터 파이프라인 건강 모니터링9 - 측정치를 이용한 경고 임계치 결정

본 번역은 검증되지 않았습니다. AIP를 통해 영문원문으로부터 번역되었습니다.

9 - 측정치를 이용한 경고 임계치 결정

이 내용은 learn.palantir.com ↗에서도 확인하실 수 있으며, 접근성을 위해 여기에도 제공됩니다.

📖 작업 소개

앞선 작업에서는 기본적인 코드 이해를 바탕으로 경고 임계치를 설정했고, 빌드 일정에 있는 데이터셋이 그룹 내에서 어떻게 사용되는지 예상하였습니다. 각 빌드 실행 시, Foundry는 참조하여 임계치를 업데이트하는 데 도움이 되는 일련의 파이프라인 측정치를 업데이트합니다. 이전에 우리는 TSLU 검사를 중앙값(가장 최근 10번의 실행)의 1 편차 위의 부동 값으로 설정했지만, 이는 시간이 지남에 따른 점진적인 증가를 초래합니다. 특정 시간에 업데이트 값을 설정하기 위한 신뢰할 수 있는 통계적 기반을 가정해 보겠습니다.

이 작업에서는 파이프라인 측정치를 살펴보고 경고 임계치를 업데이트하는 방법을 연습하게 됩니다.

🔨 작업 지시사항

  1. Data Lineage 애플리케이션에서 당신의 Flight Alerts Schedule를 엽니다.
  2. 오른쪽 일정 관리하기 창에서 일정을 선택합니다.
  3. 일정 상단 근처에서 측정치를 찾아 선택하면, Scheduler 측정치 UI가 열립니다.
  4. 전체보기 탭에서 하이레벨 측정치 시각화를 검토합니다.
  5. ▸ 고급 통계 섹션을 확장하여 TSLU와 빌드 지속 시간을 포함한 일부 시간 기반 통계에 연결된 "p-values"를 확인합니다. 파이프라인이 여러 번 실행된 후에는 이러한 측정치를 참조하여 경고 임계치를 결정하는 데 도움이 되어야 합니다.
    • 예를 들어, 빌드 지속 시간 체크 임계치를 P75 값으로 설정하고자 할 수 있습니다. 또는 P50 값(중앙값)이 임계치인 경우, 중앙값보다 1 표준 편차 위에서 경고를 발생시키려고 할 수 있습니다.
  6. Scheduler 측정치에서 본 것을 바탕으로 시간 측정치에 원하는 변경을 적용합니다(변경하고 싶은 내용이 없을 수도 있습니다).