31 - 파괴적 백업 데이터셋 변경: 파트 1

📖 작업 소개

백업 데이터셋 변경이 "파괴적"이라는 것은 이미 Phonograph 표에 등록되어 인덱스화된 열의 스키마를 변경할 때를 말합니다. 기본적으로 Phonograph는 스키마 변경을 자동으로 수락하지 않으므로, 속성 매핑과 Phonograph 표 등록을 업데이트하여 수동으로 처리해야 합니다. 이 작업에서는 백업 데이터셋의 열 삭제 또는 유형 변경(예: double에서 integer로)을 처리하는 방법에 대해 배우게 됩니다.

상류 데이터 소스에서 현재 비행 경보 데이터셋의 일부인 rule_name 속성이 제거되었다고 가정해 봅시다. 우리는 이 제거를 백업 데이터셋에서 시뮬레이션한 후, 다음 작업에서 이후의 실패를 처리하게 됩니다.

🔨 작업 지시사항

1. ontology_flight_alerts_logic 파이프라인 아티팩트를 엽니다.

2. 깨끗하고 온톨로지 비행 경보 데이터 사이의 "Drop column" 변환을 편집하여 rule_name 열도 제거합니다.

3. flight_alerts 결과물을 새 입력 스키마를 사용하도록 업데이트합니다.

4. 적용하고 미리보기한 후 배포합니다.

5. 데이터셋 빌드가 완료되면 결과물 flight_alerts 데이터셋을 열고 Details 탭의 Syncs 섹션으로 이동합니다. 동기화가 여전히 "실행 상태"일 수 있지만, 완료되면 실패를 보고할 것입니다.

6. 빨간색 실패 블록에서 History 버튼을 클릭합니다. 이렇게 하면 이 동기화의 기록이 순서대로 나열된 목록으로 이동하게 됩니다.

7. 목록에서 상단의 실패한 동기화 항목을 클릭합니다. 이제 동기화 세부 정보, 펼칠 수 있는 Phonograph schema mismatch error 메시지를 보고 있습니다.

8. 단어 Details 옆의 >를 클릭하여 오류 메시지를 펼칩니다. 오류의 마지막 줄을 주목합니다:

   foundryColumnsInPhonographTableSchemaMissingFromFoundrySchema=[rule_name]

   등록된 Phonograph 표는 rule_name 열을 기대했지만(이전에 동기화되었기 때문에), 백업 데이터셋에서 찾지 못했습니다.

9. OMA에서 자신의 비행 경보 오브젝트 유형을 엽니다.

10. 왼쪽 패널에서 Datasources 메뉴 항목을 클릭하고 Phonograph 블록으로 스크롤합니다. OMA에서도 여기에서 실패한 인덱스 상태를 볼 수 있습니다(Failed sync 링크를 클릭하면 이전에 보았던 Job Tracker 애플리케이션의 오류로 이동합니다)