11 - 일정 건강 상태 설정: 일정 기간

📖 작업 소개

빌드 일정이 예상보다 오래 걸린다면 주의가 필요한 문제가 있을 수 있습니다. 이는 입력 데이터의 양이 증가했거나 현재 Spark 프로파일이 효율적으로 계산할 수 있는 것보다 크기/데이터 파티션 수가 늘어났음을 의미할 수 있습니다. Foundry 환경에서 Spark 리소스 경쟁이 평균 이상일 수도 있습니다. 어떤 경우든, 일정된 빌드(즉, 논리적으로 함께 빌드되거나 순차적으로 빌드되는 하나 이상의 작업)를 완료하는 데 걸리는 시간을 계속 확인하면 서비스 수준 계약이나 다운스트림의 신선도 기대치를 위반하는 위험을 최소화할 수 있습니다.

🔨 작업 지시 사항

1. 일정 측정치 페이지의 건강 탭에서 시간 ▾ 드롭다운을 클릭하고 일정 기간을 선택합니다.
2. 아직 충분한 수의 일정 실행이 없어 측정치를 사용하여 예상 기간을 결정할 수 없습니다. 두 번째 확인란을 선택하고 임계값을 최근 5번 실행에 따라 정의된 중앙값보다 1 표준 편차 높게 설정합니다.
   • 더 많은 일정 실행이 이루어지면 여기로 돌아와 특정 시간 임계값으로 규칙을 업데이트할 수 있습니다.
3. 이 검사를 Flight Alerts Schedule 검사 그룹에 추가합니다.