27 - Writeback 데이터셋 빌드 일정 설정

📖 작업 소개

Ontology-aware 애플리케이션(예: Workshop, Slate, Object Views, Quiver에서 빌드한 앱)으로 입력한 편집 내용은 오브젝트 스토리지 서비스에 저장되며, writeback 데이터셋이 빌드될 때만 writeback 데이터셋에 기록됩니다. 따라서 데이터 엔지니어로서, 팀과 함께 writeback 데이터셋이 얼마나 자주 빌드되어야 하는지 결정하고, 데이터가 최신 상태를 유지할 수 있도록 모니터링 일정을 설정해야 합니다.

🔨 작업 지시사항

1. /Ontology Project: Flight Alerts/documentation/에서 Data Lineage 그래프를 엽니다.
2. 두 개의 오브젝트 유형 노드를 마우스로 가리키고 각각에 나타나는 <를 클릭하여 새로 연결된 데이터셋을 표시합니다. 이렇게 하면 writeback 데이터셋이 그래프에 표시됩니다.
3. passenger_flight_alerts 데이터셋 노드에서 새로 연결된 노드를 확장합니다. 이렇게 하면 아래 이미지와 같이 링크 유형에 대한 writeback 데이터셋이 그래프에 표시됩니다.
   • Ontology-aware 앱을 통해 편집이 이루어지는 빈도와 writeback 데이터셋이 분석을 위해 최신 데이터가 필요한 경우를 고려하여 writeback 데이터셋을 하루에 두 번 빌드하는 것이 유즈케이스에 적합하다고 가정해 봅시다.
4. 그래프에서 세 개의 writeback 데이터셋을 모두 강조 표시하고, Data Lineage의 오른쪽 패널에서 일정 관리하기 아이콘을 클릭합니다.
5. 파란색 새 일정 만들기 버튼을 클릭합니다.
6. 일정의 이름을 [yourName] Flight Alerts Writeback으로 지정하고 간단한 설명을 추가합니다: "항공편 알림 Ontology 오브젝트 및 링크 유형에 대한 일정."
   • 빌드의 대상으로 설정된 writeback 데이터셋에 주목하세요.
7. 언제 빌드할지 섹션에서 특정 시간에를 선택합니다.
8. 일정을 매 12시간마다 시간 15분에 실행하도록 설정합니다(예를 들어, 그룹 전체에서 각 시간의 시작을 기다리는 대기 시간을 피하기 위함).
9. 고급 옵션 섹션에서 빌드 실패 시 중단을 선택하고, 재시도는 두 번으로 설정하며 재시도 간격은 1분으로 설정합니다.
10. 세 개의 writeback 데이터셋 각각에 마지막 업데이트 이후 시간 확인을 설치하여, 각 데이터셋이 마지막으로 업데이트된 지 13시간 이내인지 확인합니다(일정이 12시간마다 실행되므로).
11. 확인을 해당 확인 그룹에 추가합니다.