3. [Code Repositories] 프로젝트 출력 생성6 - 데이터 유효성 검사를 위한 Contour 사용

본 번역은 검증되지 않았습니다. AIP를 통해 영문원문으로부터 번역되었습니다.

6 - 데이터 유효성 검사를 위한 Contour 사용

이 내용은 learn.palantir.com ↗에서도 사용할 수 있으며 접근성을 위해 여기에 제공됩니다.

📖 작업 소개

제안된 데이터 또는 유형 변경을 테스트하는 것은 하류 오류를 최소화하는 데 중요하며, Foundry는 데이터 유효성 검사를 위한 여러 가지 방법을 제공합니다. 예를 들면:

  • 데이터셋 애플리케이션 하단의 시각화와 통계를 사용하여 열에서 null값이 없는지 확인합니다.
  • Preparation 애플리케이션을 사용하여 유형 변경의 영향을 시제품으로 만들어 봅니다(예: 정수에서 배수로 변환).
  • Code Workbook를 사용하여 Python 코드 변경이 하류 시각화에 미치는 영향을 테스트합니다.
  • Contour를 사용하여 열과 행을 빠르게 분석하거나 조인을 시제품으로 만듭니다.

이 연습에서는 Contour를 사용하여 깨끗한 비행 경보 데이터셋의 alert_display_name 열이 적합한 기본 키인지 확인하고, 중요한 것은 키가 고유한지 확인합니다. 사실 이러한 빠른 검증을 수행할 수 있는 여러 가지 방법이 있지만, 이 방법은 datasource 프로젝트의 /analysis 폴더에 Contour 분석을 저장할 수 있는 기회를 제공합니다.

🔨 작업 지침

  1. flight_alerts_clean 데이터셋이 브랜치에서 성공적으로 구축되었는지 확인합니다. 만약 그렇다면, "경로를 RID로 대체" 옵션을 클릭하는 것을 고려해 보세요. 리포지토리에서 이 옵션을 사용하려면 브라우저를 새로 고칠 수 있어야 합니다. RID로 경로를 대체하기로 결정하면, "리팩토링: 결과물 경로를 RID 사용으로 업데이트"와 같은 메시지로 코드를 다시 커밋해야 합니다.

  2. 출력 데이터셋(flight_alerts_clean)을 다음 중 하나로 엽니다:

    • 변환 코드의 6행에서 데이터셋 이름을 Ctrl + 클릭합니다.
    • 화면 왼쪽 하단에 있는 Foundry Explorer 도우미 탭을 열고 도우미 창 왼쪽에 있는 출력 데이터셋 링크를 선택합니다. 그런 다음 도우미의 세부 정보 패널에서 데이터셋 이름을 ctrl + select 합니다.

    Foundry Explorer 도우미는 모든 파일과 폴더를 빠르게 탐색할 수 있는 파일 탐색 인터페이스입니다.

  3. 데이터셋 애플리케이션에서 데이터셋을 열고, 아래 그림과 같이 왼쪽 상단의 데이터셋 이름 바로 아래에 있는 피쳐 브랜치를 확인합니다.

  4. 데이터셋 미리보기 오른쪽 상단의 파란색 분석 버튼을 클릭하여 데이터를 Contour에서 엽니다.

    ℹ️ Contour는 파이프라인 개발 과정에서 유용한 디버깅 및 감지 도구이며, 다른 사용 가능한 방법보다 종종 더 빠릅니다.

  5. 저장 위치를 즉시 요청하면, ".../Datasource Project: Flight Alert/analysis" 폴더에 "Flight Alerts Primary Key Analysis"로 저장합니다.

    저장할 수 없다면, .../Datasource Project: Flight Alert/analysis 폴더로 이동하여 "Flight Alerts Primary Key Analysis"라는 제목의 새로운 분석을 만들고 flight_alerts_clean 데이터셋을 선택합니다.

  6. 분석이 열리면, 시작 데이터셋을 나열하는 시작 보드에서 flight_alerts_clean 데이터셋의 브랜치에서 작동하고 있다는 것을 확인합니다.

  7. 히스토그램 보드를 추가합니다. Y-AXIS 열 드롭다운에서 alert_display_name을 선택하고 기본 X-AXIS 집계인 Count를 사용합니다.

  8. 히스토그램 구성 창 오른쪽 하단에 있는 계산을 선택합니다.

    히스토그램은 개수로 값을 *내림차순으로 정렬하므로, 맨 위 행이 값(개수)이 1이면 이 열의 모든 값이 고유하다는 것을 알 수 있습니다.

    이 트랙 후반부에서 열 값의 고유성을 강제하는 방법을 배울 수 있습니다.

  9. 이전에 분석을 저장하라는 메시지가 표시되지 않은 경우, 위의 단계 5 지침을 사용하여 지금 저장합니다.

    ℹ️ 필요한 경우 완료된 예제 Contour 분석을 참조하려면 다음 위치를 확인하십시오: .../Foundry Training & Resources/Example Projects/[Datasource] Flight Alerts/analysis/Flight Alerts PK Analysis