5. [Pipeline Builder] Transforms 프로젝트1 - 이 과정에 대하여

본 번역은 검증되지 않았습니다. AIP를 통해 영문원문으로부터 번역되었습니다.

1 - 이 과정에 대하여

이 내용은 learn.palantir.com ↗에서도 확인할 수 있으며, 접근성을 위해 여기에 제공됩니다.

데이터 엔지니어링(DATAENG) 학습 경로 중 "Builder" 경로를 따르는 사람들을 위해, 이 튜토리얼에서 지금까지 배운 프로젝트와 변환(Transform)의 모범 사례를 구현하는 추가 연습을 제공합니다.

항공편 알림 데이터를 위한 Datasource 프로젝트와 파이프라인을 설정했고, 이 튜토리얼에서는 승객을 위한 것을 만들 것입니다. 그런 다음 파이프라인의 다음 단계로 이동하여 Transform 프로젝트를 생성하고 하류 워크플로를 활성화하는 일련의 결과물을 생성합니다. 이 과정에서 Pipeline Builder가 비선형 데이터 형식(JSON이 이 경우)을 어떻게 처리하는지에 대한 이해도 얻을 수 있습니다.

⚠️ 과정 사전 요건

DATAENG 04: 데이터 파이프라인 스케줄링: 이 트랙에서 이전 과정을 완료하지 않은 경우 지금 완료하십시오.

🥅 학습 목표

  1. Pipeline Builder 및 프로젝트 구조 기본 요소와 관련한 추가 연습 얻기.
  2. Pipeline Builder에서 비선형 데이터 형식 처리.
  3. Transform 프로젝트 및 관련 결과물 생성.

💪 Foundry 기술

  • Pipeline Builder의 JSON 파서 변환(Transform) 사용.
  • Pipeline Builder 변환(Transform)에서 여러 결과물 생성.
  • Datasource 프로젝트 세그먼트의 프로덕션 파이프라인에 대한 문서로 Data Lineage 그래프 생성.