이 페이지는 Pipeline Builder와 관련된 Foundry 데이터 통합의 핵심 개념에 대한 소개를 제공합니다.
데이터 세트, 브랜치, 변환, 및 결과물의 개념은 Pipeline Builder의 기본입니다. 데이터를 변환하고 파이프라인 결과물로 통합하면서 첫 번째 파이프라인을 빌드하기 전에 이러한 주제를 검토하는 것이 좋습니다.
데이터 세트는 파이프라인의 구성 요소입니다. 데이터 통합 과정에서 데이터는 Foundry에서 데이터가 착륙할 때부터 데이터가 온톨로지 오브젝트 모델로 매핑될 때까지 Foundry 데이터 세트로 표현됩니다.
기본적으로 Foundry 데이터 세트는 백업 파일 시스템에 저장된 파일 모음을 감싸는 것입니다. Pipeline Builder는 주로 구조화된 데이터를 위한 것이지만 반 구조화된 데이터에도 사용할 수 있습니다.
Pipeline Builder에서 입력 데이터 세트에 대해 더 알아보기.
버전 관리는 건강한 파이프라인 워크플로를 유지하는 데 매우 중요합니다. Pipeline Builder에서 버전 관리는 Git 버전 관리에서 코드 브랜치와 유사하게 작동하는 파이프라인 브랜치를 사용하여 구현됩니다.
파이프라인 브랜치는 사용자가 주 파이프라인에 다시 저장하지 않고 반복할 수 있는 파이프라인의 복사본으로, Git의 코드 브랜치와 유사합니다. 사용자는 브랜치에서 변경 사항을 만들고 미리보기, 저장, 빌드할 수 있습니다. 변경 사항이 만족스러운 경우 Main 브랜치로 병합을 제안할 수 있으며, Git 풀 리퀘스트를 병합하는 것과 유사합니다.
Pipeline Builder에서 브랜치에 대해 더 알아보기.
변환은 함수 정의로 생각할 수 있습니다. 즉, 변환은 입력값(예: 데이터 세트) 집합을 받아들이고 출력값 집합을 생성합니다. 파이프라인은 데이터 세트, 데이터 기대치 및 목표 데이터 결과물을 변환으로 연결한 것입니다.
Pipeline Builder에서 변환에 대해 더 알아보기.
Pipeline Builder의 결과물은 파이프라인에서 수행된 변환의 결과이며, 데이터 세트 또는 오브젝트 유형, 오브젝트 링크 유형 또는 시간 시리즈와 같은 온톨로지 구성 요소일 수 있습니다. 결과물은 Quiver 또는 Code Workbook과 같은 다른 Foundry 애플리케이션에서 사용할 수 있습니다.
Pipeline Builder에서 파이프라인 결과물에 대해 더 알아보기.
일정 및 데이터 기대치의 개념은 건강하고 안정적인 파이프라인을 유지하는 데 유용합니다. 첫 번째 파이프라인을 빌드한 후 이러한 주제에 대해 더 알아보는 것이 좋습니다.
일정은 데이터를 Foundry에서 지속적으로 처리하기 위해 데이터 세트 빌드를 반복적으로 실행하는 데 사용됩니다. Pipeline Builder에서 빌드는 특정 시간, 특정 주기 또는 상위 리소스의 상태에 따라 예약할 수 있습니다. 예를 들어, 상류 데이터 세트가 업데이트될 때 빌드가 발생하도록 설정할 수 있습니다.
Pipeline Builder에서 일정에 대해 더 알아보기.
데이터 기대치는 데이터 세트 입력값 또는 결과물에 적용할 수 있는 요구 사항입니다. 이러한 요구 사항(기대치라고 함)은 데이터 파이프라인 안정성을 향상시키는 검사를 생성하는 데 사용할 수 있습니다.
각 파이프라인 결과물에 데이터 기대치를 설정하여 결과물에 대한 기대치를 정의할 수 있습니다. Pipeline Builder는 현재 기본 키 및 행 수 두 가지 데이터 기대치 유형을 지원합니다.
기대치가 실패하면 빌드가 실패합니다. 작업 기대치 창은 어떤 데이터 기대치가 통과되고 실패했는지 보여줍니다.