HyperAuto V1 FAQ

일반 사용 팁 및 가이드라인

• SDDI 저장소에서 코드를 디버그하고 미리 볼 수 있습니까?
• 새 표가 자동으로 추가될 일정을 설정할 수 있습니까?
• 내 표 / derived_element 중 하나가 MODULE_UNREACHABLE로 인해 실패하는데 어떻게 해야 하나요?
• 표 <TABLE_NAME>을 파이프라인에 추가했지만 파이프라인을 빌드하려고 하면 AssertionError: 0 instances of <TABLE_NAME> found in 'objects' metadata table로 실패합니다.
• Bellhop 설정 파일에 새 표를 추가할 때 시맨틱 버젼을 높여야 하나요?
• SDDI 저장소에서 생성된 중간 단계 중 일부를 비활성화할 수 있습니까?

SDDI 저장소에서 코드를 디버그하고 미리 볼 수 있습니까?

네, SDDI 저장소에서 코드를 디버그하고 미리 볼 수 있습니다. SDDI 저장소에서 /transforms-bellhop/src/software_defined_data_integrations/transforms/pipeline_builder.py 파일로 이동하고 미리보기 버튼에서 미리 보려는 변환을 선택합니다.

새 표가 자동으로 추가될 일정을 설정할 수 있습니까?

SDDI 저장소는 저장소에서 생성된 모든 최종 데이터셋에 연결된 BUILD라는 데이터셋을 생성합니다. 새로 추가된 표가 모두 빌드되도록 보장하기 위해, 이 BUILD 데이터셋을 대상으로 새로운 전체 빌드 일정(상류 데이터셋 포함)을 생성합니다. 스마트 Scheduler는 원시 데이터가 새로 고침된 파이프라인 부분에 대해서만 빌드를 시작합니다.

내 표 / derived_element 중 하나가 MODULE_UNREACHABLE로 인해 실패하는데 어떻게 해야 하나요?

MODULE_UNREACHABLE은 종종 Spark 환경의 DRIVER_MEMORY가 충분하지 않은 것을 나타냅니다. 선택한 표에 대해 SourceConfig.yaml 파일에서 Spark 프로필을 적용할 수 있습니다. 구성 참조를 참조하십시오. 저장소 설정에 할당된 프로필을 가져오는 것을 잊지 마십시오.

표 <TABLE_NAME>을 파이프라인에 추가했지만 파이프라인을 빌드하려고 하면 AssertionError: 0 instances of <TABLE_NAME> found in 'objects' metadata table로 실패합니다.

새 표가 삽입되고 SDDI 파이프라인에 추가된 후 메타데이터 데이터셋 objects, links, fields, diffs를 다시 실행했는지 확인하십시오.

Bellhop 설정 파일에 새 표를 추가할 때 시맨틱 버젼을 높여야 하나요?

아니요, Bellhop 설정 파일에 새 표를 추가한 후 시맨틱 버젼을 높일 필요가 없습니다. 그러나 메타데이터 데이터셋 objects, links, fields, diffs를 다시 빌드해야 합니다.

SDDI 저장소에서 생성된 중간 단계 중 일부를 비활성화할 수 있습니까?

네. 외래 키 생성, 풍부한 단계 및 이름 변경 단계는 PipelineConfig 파일의 매개변수를 사용하여 비활성화할 수 있습니다. 변경 사항이 적용되려면 deploymentSemanticVersion을 증가시켜야 합니다.