16 - 파이프라인에 일정 추가하기

📖 작업 소개

이 작업에서는 새로운 연결 빌드 일정을 정의합니다. 즉, 파이프라인의 승객 데이터셋이 어떻게 함께 빌드되는지에 대한 "무엇", "언제" 그리고 "어떻게"를 정의합니다. 여기의 지시사항은 항공편 경보 프로젝트 파이프라인과 함께 이미 한 번 일정을 완료한 것을 반영하여 요약되어 있습니다.

🔨 작업 지시사항

1. 승객 파이프라인 Data Lineage 그래프를 열고 화면 오른쪽에 있는 일정 관리하기 버튼을 클릭합니다.

2. 새로운 일정을 생성하고 yourName 승객 일정이라고 이름을 지정합니다(예: Jmeier 승객 일정). 설명을 추가하세요: 데이터소스 프로젝트용 빌드 일정: 승객.

3. 연결 빌드로 전환한 다음 "무엇"을 빌드할지 정의합니다:

   • passengers_clean과 passenger_flight_alerts_clean을 일정의 대상으로 설정합니다.
   • raw/passengers_json_raw와 raw/passenger_flight_alerts_csv_raw 데이터셋을 입력 트리거로 설정합니다.

4. 이제 "언제" 빌드할지 정의합니다. 트리거 입력이 새로운 데이터가 있는 경우 또는 매주 월요일 오전 8시 중앙유럽 시간(GMT +2)에 실행되도록 일정을 구성합니다. 아래의 클릭 가능한 이미지를 사용하여 이 로직을 구현하는 방법을 참조하세요(Add: Time 버튼을 사용하여 시간 요소를 추가합니다).

   

5. 빌드 범위를 프로젝트 범위로 변경합니다.

6. 고급 옵션을 열고 실패 시 일정을 중단하되, 재시도 시간 사이에 1분 간격으로 총 세 번 재시도하도록 설정합니다.

7. 일정을 저장합니다.