HyperAuto V2 구성 옵션

이 페이지에서는 HyperAuto V2의 구성 옵션에 대해 설명합니다. HyperAuto V2 구성 프로세스는 다음 단계로 구성됩니다:

• 이름 및 위치
• 소스 구성
• 입력 구성
• 파이프라인 구성

이름 및 위치

HyperAuto V2 구성 마법사의 첫 번째 단계는 새 파이프라인의 이름과 Foundry 파일 시스템 내 원하는 폴더 위치를 지정하는 것입니다. HyperAuto 파이프라인 리소스와 관련된 결과물 데이터셋은 이 폴더 내에 생성됩니다.

소스 구성

HyperAuto V2 소스 구성 페이지는 소스 시스템과 수집 방법을 선택하는 데 도움이 됩니다.

소스 시스템

이 선택 사항은 사용자가 선택해야 하는 서브 시스템이 있는 소스에 대해 사용할 수 있습니다(예: SAP 내의 "컨텍스트"). 서브 시스템은 소스 내의 구성으로 정의되며, 이로 인해 사용 가능한 테이블 및 메타데이터가 생성됩니다. 결과적으로 서브 시스템 간 전환은 입력 구성 페이지에서 선택 가능한 테이블과 기존 동기화 등 다른 사용 가능한 구성을 완전히 변경합니다(배치 대 스트리밍 같은 파이프라인 모드).

SAP 소스 시스템

Foundry를 SAP 시스템에 연결하는 건축 패턴은 주로 세 가지입니다.

• 직접: 커넥터가 ERP 시스템 자체의 응용 프로그램 서버에 설치되어 테이블에 직접 액세스 할 수 있습니다.
• SLT: 커넥터가 SAP SLT 복제 서버에 설치되어 기본 ERP 시스템에 연결합니다. 스트리밍 파이프라인 모드를 사용하려면 SLT가 필요합니다.
• 원격: 커넥터가 기본 ERP 시스템에 연결되는 "게이트웨이" 응용 프로그램 서버에 설치됩니다. SAP 소스가 커넥터 사전 요구 사항을 충족하지 않을 때 자주 사용됩니다. SLT 또는 원격 연결의 경우 사용자는 어떤 SAP 서브 시스템에 연결할지 식별하는 데 사용되는 컨텍스트를 선택해야 합니다.

파이프라인 모드

HyperAuto는 동기화 및 데이터 변환의 두 가지 모드를 지원합니다. 초기 HyperAuto 파이프라인 설정에서 소스 구성 페이지에서 스트리밍 또는 배치 모드를 선택할 수 있습니다.

• 배치: 파이프라인의 각 실행에서 모든 입력을 다시 처리하고 기존 결과물을 모두 덮어씁니다. 이 모드는 기본 모드이며 집계 및 중복 제거를 포함한 가장 큰 기능 범위를 허용합니다. 대부분의 유즈케이스에 권장되는 모드입니다.
• 스트리밍 (베타): 소스 시스템에서 이전에 처리되지 않은 데이터를 지속적으로 폴링합니다. 소스 시스템에서 사용 가능하게 되면 데이터가 즉시 처리되어 동기화에서 온톨로지까지의 지연 시간을 거의 실시간으로 줄입니다. 이는 온톨로지를 기반으로 중복 제거된 스트림 데이터를 사용하는 실시간 애플리케이션에서 특히 유용합니다.
  • 스트리밍을 활성화하려면 Palantir 대표에게 문의하십시오.

입력 구성

입력 구성 페이지에서 사용자는 특정 HyperAuto 파이프라인에서 처리할 특정 입력을 선택합니다.

사용 편의를 위해 입력 선택 UI는 관련 소스 테이블을 찾아보고 찾는 데 도움이 되는 몇 가지 방법을 지원합니다. SAP의 경우 방법은 다음과 같습니다.

• 모듈: 소스 내의 테이블에 대한 의견이 첨부된 분류로, 사용자가 탐색 및 일괄 추가할 수 있는 계층 구조 뷰를 제공합니다. 테이블은 필요한 경우 여러 모듈에 존재할 수 있지만 한 번만 선택할 수 있습니다.
• 워크플로: 테이블 분류의 또 다른 형태로, 소스에 대한 특정 일반적인 유즈케이스에 초점을 맞춥니다(SAP 소스의 공급망 관리와 같은). 마찬가지로 사용자는 워크플로를 사용하여 필요한 대로 탐색 및 일괄 추가할 수 있으며, 진행 상황을 잃거나 실수로 선택 항목을 중복하지 않고 모듈 간 전환할 수 있습니다.

동기화 생성도 입력 구성 페이지에서 사용할 수 있어 이미 동기화가 설정되지 않은 입력에 대해 새 동기화를 만들 수 있습니다. 이를 통해 사용자는 새 소스에서 완전히 구성된 HyperAuto 파이프라인까지 몇 번의 클릭만으로 시작할 수 있으며, 각 동기화를 어떻게 구성해야 하는지 계산할 필요가 없습니다.

Foundry 등록에서 제안 탭에 AIP 기능이 활성화되어 있을 수 있습니다. 자세한 내용은 AIP 문서를 참조하십시오.

파이프라인 구성

파이프라인 구성 페이지에서는 다음 옵션을 포함하여 요구 사항에 맞는 파이프라인을 설정할 수 있습니다.

• 언어 선택
• 구성 옵션
  • 자동 조인
  • 사람이 읽을 수 있는 열 이름
  • 기본 키 생성
  • 외래 키 생성
  • 중복 행 제거
  • 데이터 정리

언어 선택

여러 언어로 데이터를 포함하는 테이블이 있는 소스의 경우 HyperAuto는 출력에서 가능한 언어 당 여러 행을 채우지 않도록 언어 필터링 단계를 제공합니다. 여기서 선택한 언어는 관련 테이블에 대한 필터로 적용되며, 추가 변환(다른 테이블과의 조인과 같은)이 적용되기 전에 적용됩니다.

구성 옵션

사용자는 파이프라인 구성 옵션에서 소스 입력에 걸쳐 자동으로 적용할 처리량을 결정할 수 있습니다. 모든 구성 옵션은 기본적으로 활성화되어 있지만 필요에 따라 비활성화할 수 있습니다(예: 기능과 파이프라인 성능 간의 균형을 맞추기 위해).

자동 조인

HyperAuto는 소스의 메타데이터를 통해 테이블 분류를 받아 오브젝트 또는 풍부한 테이블로 나눕니다. 이 정의에서 풍부한 테이블은 자체적으로 가치가 있는 것이 아니라 연관된 오브젝트 테이블에 대한 확장 또는 조회 테이블 역할을 하는 테이블입니다(예: 텍스트 설명 테이블).

이렇게 하면 HyperAuto는 소스에서 오브젝트 <-> 풍부한 테이블 관계를 쿼리하고 풍부한 테이블에서 오브젝트 테이블로 해당 왼쪽 조인을 생성할 수 있습니다. 이렇게 하면 각 오브젝트에 대해 광범위한 검토를 가능하게 하는 다른 테이블에 대한 조인이 필요하지 않은 풍부하고 포괄적인 비정규화 데이터셋이 생성됩니다.

이는 Foundry 온톨로지를 구축하는 데 특히 유용하며, 표준 접근 방식은 의미론적으로 중심화된 비정규화 데이터 모델을 사용하는 것입니다.

SAP에서 자동 조인

SAP의 경우 "TEXT" 테이블이 HyperAuto의 처리 내에서 풍부한 테이블로 분류됩니다. 예를 들어, MAKT(물품 설명)이 MARA(일반 물품 데이터)에 조인될 수 있습니다.

사람이 읽을 수 있는 열 이름

HyperAuto는 소스가 제공하는 열 메타데이터를 사용하여 소스에서 정의한 열 이름을 사용자가 소스의 스키마와 익숙하지 않은 사용자도 쉽게 사용할 수 있는 이름으로 바꿀 수 있습니다.

이 작업은 열의 사람이 읽을 수 있는 이름을 원래 열 이름에 연결하는 형식인 사람이 읽을 수 있는_|_원본으로 수행하여 데이터와 상호 작용할 때 최대 사용성을 위해 두 가지 형식에 액세스할 수 있게 합니다.

기본 키 생성

소스가 단일 열 기본 키를 가지고 있지 않은 경우 HyperAuto는 동적으로 기본 키를 생성할 수 있습니다. 소스의 메타데이터에는 테이블의 어떤 열이 기본 키를 구성하는지에 대한 정보가 포함되어 있으며, 이 정보를 사용하여 HyperAuto는 primary_key 열을 생성하는 연결 로직을 구축합니다.

값은 _|_ 구분 기호로 연결됩니다.

온톨로지 오브젝트의 백업 데이터셋으로 출력을 사용하려면 기본 키를 위한 단일 열이 필요합니다.

외래 키 생성

HyperAuto는 또한 소스의 데이터 모델 메타데이터에서 정의된 오브젝트 간 관계에 액세스할 수 있습니다. 메타데이터를 사용하여 관계별 외래 키 열을 생성하는 데 사용할 수 있는 로직이 파이프라인에 생성됩니다(온톨로지 링크에 사용할 수 있는 기본 키 로직과 유사한 열을 연결합니다).

외래 키는 column1_column2_|_foreign_key_tableA 형식으로 명명됩니다. 따라서:

• 열 값은 구분 기호 _|_로 column1과 column2를 연결하여 구성되며,
• 사용자가 이 테이블을 이 열을 통해 tableA의 primary_key와 조인할 수 있는 외래 관계가 존재합니다.

외래 키는 오브젝트 간 온톨로지 관계를 생성하는 데 필요합니다.

자동 조인 구성 옵션이 활성화된 경우 오브젝트-풍부한 테이블 간 관계에 대해 외래 키가 생성되지 않습니다.

중복 행 제거

HyperAuto는 중복 행이 있는 테이블을 자동으로 중복 제거하는 로직을 제공합니다. 이는 변경 데이터 캡처(CDC) 시스템과 같은 경우에 유용할 수 있습니다. 변경이 발생할 때마다 새 행이 추가되는 경우입니다. HyperAuto는 중복을 제거하고 기본 키별로 최신 업데이트된 행을 선택합니다.

데이터 정리

데이터 정리 구성 옵션은 모든 테이블의 일반적인 데이터 청결 문제를 제거합니다. 처리되는 문제 유형에 대한 자세한 내용은 아래에서 찾을 수 있습니다.

SAP 데이터 정리

• 빈 문자열 처리: "" 문자열이 null(Foundry의 표준 처리)로 변환됩니다.
• DECIMAL 캐스팅: DECIMAL 데이터 유형이 DOUBLE로 캐스트되며, 이로 인해 플랫폼 전체에서 이점이 있습니다(온톨로지 속성 지원 포함).