4. 데이터 파이프라인 스케줄링2 - 스케줄 생성하기

본 번역은 검증되지 않았습니다. AIP를 통해 영문원문으로부터 번역되었습니다.

2 - 스케줄 생성하기

이 내용은 learn.palantir.com ↗에서도 확인할 수 있으며 접근성을 위해 여기에 제공됩니다.

📖 작업 소개

Foundry에서 파이프라인 스케줄은 자체 리소스 ID(RID) 및 권한 부여 체계를 가진 일급 아티팩트로 취급됩니다. 이 작업에서는 스케줄링 프로세스를 맥락화하고 스케줄에 대한 컨테이너를 생성하기 위해 핵심 데이터 변환 및 빌드 개념을 다시 살펴볼 것입니다.

📚 추천 읽기 (~10분 소요)

Foundry 데이터 엔지니어는 데이터 빌드 실행의 세부 구성 요소를 정확하게 알아야 효과적으로 데이터 파이프라인을 구축하고 유지할 수 있습니다. 이러한 중요 용어를 검토한 다음 Foundry 빌드 프로세스에 대한 이 확장 기사를 읽어보십시오. 데이터 엔지니어링 학습 경로에서 나중에 "Foundry under the Hood" 과정에서 빌드 프로세스의 오케스트레이션에 대한 추가 배경 정보가 다루어집니다.

🔨 작업 지시 사항

  1. 이전 연습에서 생성한 "Flight Alerts Pipeline" Data Lineage 그래프를 엽니다. /Datasource Project: Flight Alerts/documentation 폴더에 있어야 합니다.

  2. 화면 오른쪽에 있는 접힌 도우미에서 "캘린더" 아이콘(호버 텍스트: "스케줄 관리하기")을 선택하여 Scheduler 애플리케이션을 엽니다.

  3. 오른쪽 패널 중앙에 있는 파란색 새 스케줄 생성 버튼을 선택합니다. 그래프 색상 체계가 Scheduler 모드로 전환되고 노드는 이제 정의한 스케줄 로직에 따라 색상이 지정됩니다. 화면 상단의 스케줄 종료를 클릭하면 Scheduler 애플리케이션을 닫고 표준 노드 색상으로 돌아갑니다.

  4. Scheduler 패널 상단에서 새 스케줄 텍스트를 선택하고 이름을 yourName Flight Alerts Pipeline (예: Jmeier Flight Alerts Pipeline)으로 변경합니다.

  5. 제목 아래에서 "스케줄 설명..." 텍스트를 선택하여 설명을 편집합니다: "데이터소스 프로젝트: Flight Alerts를 위한 빌드 스케줄."

    Scheduler 문서에서 설명한 것처럼, 사용 가능한 스케줄 빌드 유형에는 세 가지가 있습니다:

    • 단일 빌드: 선택한 데이터셋만 빌드합니다.
    • 전체 빌드: 선택한 데이터셋과 모든 상위 데이터셋을 빌드합니다.
    • 연결 빌드: 입력 데이터셋(제외)과 대상 데이터셋(포함) 사이의 모든 데이터셋을 빌드합니다.

    ℹ️ 일반적으로 전체 빌드를 피하고 가능한 한 연결 빌드를 사용하는 것이 좋습니다. 연결 빌드는 대상 데이터셋과 상위 데이터셋을 연결하는 모든 데이터셋이 스케줄이 설정된 브랜치의 작업 사양 경로에 의해 연결되어야 합니다.

  6. Scheduler 패널 상단 근처에서 연결 빌드로 전환 옵션을 클릭합니다.