3 - 샘플 데이터 파이프라인
이 내용은 learn.palantir.com ↗에서도 확인 가능하며, 접근성을 위해 이곳에도 제공됩니다.
📖 작업 소개
Foundry 환경에서 flight_alerts_clean 데이터셋을 빌드하는 파이프라인을 살펴봅시다. 이 가상 사례에서 동료들이 여러 데이터소스를 통합하고 깨끗한 데이터셋을 최종 사용자에게 제공하며, 나중에 상호 작용하는 사용자 중심 애플리케이션을 지원하기 위해 온톨로지 오브젝트를 생성하기 위해 이 파이프라인을 생성했습니다. 이 파이프라인을 빌드하려면 데이터 중심 마인드셋을 채택하고 해결해야 할 문제를 순차적인 구성 요소로 분해하는 것이 필요했습니다.
🔨 작업 지시사항
-
Data Lineage 애플리케이션을 엽니다.
-
화면 우측 상단의 "Foundry 검색" 돋보기 아이콘을 클릭합니다.
-
아래 목록에서 모든 프로젝트 필터 옵션을 선택합니다.
-
Foundry 교육 및 자료 프로젝트를 검색하고 결과가 반환되면 클릭합니다. 그런 다음 프로젝트 폴더 구조를 통해 다음 데이터셋으로 이동하고 그래프에 추가합니다:
/Example Projects/[Datasource] Flight Alerts/datasets/clean/flight_alerts_clean -
그래프에서 flight_alerts_clean 노드의 왼쪽에 있는 **<**를 클릭하여 flight_alerts_clean 데이터셋에 피드되는 부모 데이터셋을 확장합니다.
이 데이터셋을 생성하는 데 이르는 데이터셋 입력 및 결과물의 연속성은 데이터셋의 리니지를 나타냅니다. 리니지 그래프가 파이프라인이 되는 것은 일정 로직에 따라 일관된 단위로 빌드되기 때문입니다. 파이프라인은 많은 리니지 경로로 구성될 수 있으며, 리니지 경로가 전체 파이프라인을 나타내지 않을 수 있습니다.
이 교육용 데이터는 가상이므로, flight_alerts_clean 데이터셋을 지원하는 파이프라인은 매우 짧습니다. 더 큰 파이프라인이 어떻게 보이는지 알고 싶다면, 관련 문서로 이동해 보세요.
-
오른쪽 패널에서 "일정 관리" 버튼(달력 아이콘)을 클릭하면 그래프의 노드에서 사용한 빌드 일정이 표시됩니다.
-
목록에서 Training: DE - Flight Alerts Pipeline을 클릭합니다. 별도의 튜토리얼에서 파이프라인 일정을 자세히 살펴볼 것입니다. 지금은 일정을 살펴보고 어떤 데이터셋이 트리거와 타겟인지 이해해 보세요. Data Lineage 그래프에서 일정을 관리하는 방법에 대해 더 알아보고 싶다면, 관련 문서를 참조하세요 Data Lineage 그래프에서 일정 관리하기.
-
flight_alerts_clean 데이터셋의 리니지를 완전히 확장하지 않았다면, ⚠️ 그래프에 없는 관련 데이터셋을 추가하라는 메시지가 표시될 수 있습니다. 그래프의 각 데이터셋에는 자체 리니지가 있지만, 그래프의 모든 데이터셋은 일정에 정의된 로직을 사용하여 함께 빌드하는 단일 파이프라인에 속합니다.
-
화면 상단 근처에서 파란색 일정 종료 버튼을 클릭합니다.
-
Data Lineage 그래프 노드 색상 옵션을 사용하면 이 파이프라인의 상태에 대해 빠르게 질문할 수 있습니다. 잠시 시간을 내어 다음 색상 옵션 사이를 전환해 보세요:
- 빌드 상태
- 빌드 시간
- 최근 3개월 동안의 Spark 사용량
- 마지막 빌드 시간
-
화면 상단 중앙 근처에 있는 Flow 버튼을 클릭하여 데이터가 한쪽 끝에서 다른쪽 끝으로 이동하고 변환되는 과정을 시뮬레이션합니다.
-
이 과정에서 나중에 알게 될 것처럼, 프로젝트의 루트에서 Data Lineage의 파이프라인 스냅샷을 저장하는 것이 모범 사례입니다. 튜토리얼 동안 사용하기 위해 개인적인 샌드박스 폴더를 이미 만들었다면, Data Lineage 그래프를 그 폴더에 저장하세요. 만들지 않았다면, Palantir Foundry 소개 튜토리얼의 샌드박스 폴더 만들기 페이지에서 설명하는 단계를 따라 지금 만들고, Data Lineage 그래프를 저장하세요.