파이프라인을 생성하려면 데이터 세트가 필요합니다. 데이터 세트는 파이프라인에 추가되어 정리, 변환되고 다른 데이터 세트와 결합되어 Foundry 온톨로지의 일부로 종종 사용될 수 있습니다.
Pipeline Builder는 구조화된 및 반구조화된 데이터 세트를 모두 지원합니다.
구조화된 데이터 세트는 오픈 소스 테이블 데이터와 데이터 세트의 열에 대한 메타데이터를 포함하는 파일로 구성됩니다. 열 메타데이터는 스키마로 데이터 세트와 함께 저장됩니다.
Pipeline Builder는 또한 XML, JSON, CSV 파일을 포함한 반구조화된 데이터 세트도 지원합니다. 파싱 변환 함수를 사용하여 반구조화된 파일을 테이블 형식으로 변환하고 스키마 안전성을 활용할 수 있습니다. 파이프라인에서 데이터 변환하는 방법을 알아보세요.
Pipeline Builder에서 워크플로우를 정의하는 첫 번째 단계는 작업 공간에 하나 이상의 데이터 세트를 추가하는 것입니다. 다음 문서에서 데이터 세트 추가 또는 입력값 계산 모드 변경하는 방법을 알아보고, Foundry에서 데이터 세트에 대해 더 알아보려면 데이터 통합을 방문하세요.