27 - Writeback 데이터셋 빌드 스케줄링

📖 작업 소개

프론트엔드 온톨로지 기반 애플리케이션(예: Workshop, Slate, Object Views, Quiver에서 빌드한 앱)에서 입력한 수정 사항은 오브젝트 저장소 서비스에 저장되고 writeback 데이터셋이 빌드될 때만 writeback 데이터셋에 씌여집니다. 따라서 데이터 엔지니어로서, writeback 데이터셋이 얼마나 자주 빌드되어야 하는지 결정하고, 데이터를 최신 상태로 유지하기 위해 모니터링 된 일정을 설정하기 위해 팀과 함께 작업합니다.

🔨 작업 지시사항

1. /Ontology Project: Flight Alerts/documentation/ 에서 Data Lineage 그래프를 엽니다.
2. 두 개의 오브젝트 유형 노드에 마우스를 올리고, 이제 각각에 나타나는 <를 클릭합니다. 이렇게 하면 writeback 데이터셋이 그래프에 표시됩니다.
3. passenger_flight_alerts 데이터셋 노드의 새 연결 노드를 확장합니다. 이렇게 하면 아래 이미지와 같이 링크 유형에 대한 writeback 데이터셋이 그래프에 표시됩니다.
   • 유즈케이스가 Ontology 기반 앱을 통한 편집의 예상 빈도와 이 writeback 데이터셋 하류의 업데이트된 데이터가 분석 목적으로 필요한 것을 고려하여 하루에 두 번씩 writeback 데이터셋 빌드를 요구한다고 가정해봅시다.
4. 그래프에서 세 개의 writeback 데이터셋을 모두 강조 표시하고, Data Lineage의 오른쪽 패널에서 스케줄 관리 아이콘을 클릭합니다.
5. 파란색 새 스케줄 생성 버튼을 클릭합니다.
6. 스케줄의 이름을 [yourName] Flight Alerts Writeback으로 지정하고 간략한 설명을 추가합니다: "항공 경보 Ontology 오브젝트 및 링크 유형에 대한 스케줄."
   • 빌드 대상으로 설정된 writeback 데이터셋에 주목하세요.
7. 빌드 시기 섹션에서 특정 시간에를 선택합니다.
8. 스케줄을 시간별로 설정하고 12시간마다 시간 15분에 실행하도록 설정합니다(예를 들어, 조직 전체에서 매 시간마다 빌드를 실행하려는 급한 시도를 피하기 위해).
9. 고급 옵션 섹션에서 실패 시 빌드 중단을 선택하고, 작업을 다시 시도하려면 두 번 시도하고 시도 사이에 1분의 간격을 두십시오.
10. 세 개의 writeback 데이터셋 각각에 마지막 업데이트 이후 경과 시간 체크를 설치하여 13시간 내에 업데이트되었음을 확인합니다(스케줄이 12시간마다 실행되기 때문입니다).
11. 체크를 해당 체크 그룹에 추가합니다.