6. 데이터 파이프라인 건강 모니터링6 - 빌드 대 비교 작업 체크

본 번역은 검증되지 않았습니다. AIP를 통해 영문원문으로부터 번역되었습니다.

6 - 빌드 대 비교 작업 체크

이 콘텐츠는 learn.palantir.com ↗에서도 확인할 수 있으며 접근성을 위해 여기에 제공됩니다.

📖 작업 소개

이 글을 쓰는 시점에 Foundry 문서는 파이프라인의 입력 및 출력에 대해 두 가지 다른 검사를 추가할 것을 권장합니다. 빌드 상태빌드 지속 시간. 이러한 검사를 일정의 입력 및 출력에 적용할 좋은 이유가 여전히 있을 수 있지만, 이제 최선의 방법은 일정 지속 시간 및 일정 상태 검사를 적용하는 것입니다. 이에 대해서는 다음 연습에서 다룰 예정입니다.

작업빌드 간의 차이점을 이해하고 빌드 상태 및 지속 시간 검사가 일정과 중복되는 방법을 이해하면 파이프라인의 어떤 단계에서든 이러한 검사가 필요한지 결정하는 데 도움이 됩니다.

  • 작업: 단일 변환에서 로직에 의해 정의된 데이터 계산입니다. 즉, 작업은 단일 데이터셋(또는 여러 출력 변환을 사용한 경우 여러 개)을 생성하는 단일 변환입니다.
  • 빌드: 일정에서 정의된 대상 데이터셋을 포함하는 작업 모음입니다.

이전 작업에서 사용할 수 있는 건강 검사 목록에는 작업 상태 검사도 포함되어 있었으며, 이 검사는 데이터셋이 성공적으로 빌드되더라도 하류에서 실패하는 부분의 빌드에 포함되어 있습니다. 작업 상태 검사는 따라서 개별 데이터셋에 제한됩니다.

반면에 빌드 상태 검사는 빌드 내 모든 작업의 성공 또는 실패를 모니터링합니다. 이 검사를 일정의 출력에 적용함으로써 더 큰 빌드 내 모든 작업을 모니터링합니다. Foundry에서 작업 및 빌드를 탐색하는데 유용한 애플리케이션 중 하나는 작업 추적기입니다. 아래 단계에서 빌드가 시작되거나 완료된 후 작업 추적기에서 사용할 수 있는 정보에 대한 하이레벨 개요를 제공합니다.

🔨 작업 지시사항

  1. Flight Alerts Pipeline 그래프로 돌아가서 그래프에서 flight_alerts_clean 노드를 클릭한 다음 화면 왼쪽 하단에 있는 History 탭을 클릭합니다.
  2. History 도우미의 왼쪽에 이 데이터셋을 생성하는 데 사용된 모든 트랜잭션 기록이 표시됩니다. 가장 최근의 성공한 트랜잭션을 클릭합니다.
  3. 트랜잭션 세부 정보 패널의 전체보기 탭에서, Job details 섹션 헤더 옆에 있는 오른쪽 View build report 링크를 ctrl+클릭합니다.

이제 브라우저의 새 탭에서 작업 추적기 애플리케이션에 있으며 화면은 아래 이미지와 비슷해 보일 수 있습니다.

📚 추천 독서 (~2분 읽기)

작업 수준 검사와 빌드 수준 검사간의 차이점에 대해 자세히 알아보려면 여기에 링크된 문서를 참조하세요.