HyperAuto V2 아키텍처
이 페이지에서는 HyperAuto V2의 아키텍처를 설명합니다. HyperAuto V1 아키텍처에 대한 설명은 HyperAuto V1 개요를 참조하세요.
HyperAuto V2는 데이터 동기화, Builder 파이프라인, 온톨로지 등 데이터 통합 워크플로의 세 가지 주요 구성 요소를 자동화하여 지원되는 소스로부터 사용 가능한 결과물을 자동으로 생성합니다.
HyperAuto는 데이터 소스의 메타데이터를 활용하여 실시간으로 소스를 조회하고 동기화 방식을 구축하는 방법, 변환 로직을 적용하는 방법, 적절한 온톨로지를 설계하는 방법에 대한 의견을 도출합니다.
HyperAuto 파이프라인은 하나의 HyperAuto 인스턴스에서 관리되는 모든 리소스를 의미하며, 동기화부터 오브젝트까지 다룹니다. 각 파이프라인은 사용자가 제공하는 소스 테이블 목록을 입력값으로 사용하고, 필요한 경우 Foundry에 동기화한 다음, 가치 있는 사용 가능한 결과물 데이터셋과 (선택적으로) 온톨로지 오브젝트로 변환합니다. 사용자는 소스별로 다양한 요구에 맞게 여러 개의 HyperAuto 파이프라인을 만들 수 있습니다.
데이터 동기화
HyperAuto는 소스의 모든 테이블에 대한 접근 권한을 제공합니다. 사용자가 기존 데이터 동기화와 매핑되지 않은 소스 테이블을 선택하면 새 데이터 동기화가 자동으로 생성됩니다.
입력 구성 페이지에서 Configure input table 버튼 위로 마우스를 올려 놓으면 Source Table에서 Data Sync 매핑을 다시 구성할 수 있습니다. 거기에서 다른 기존 동기화를 사용하거나 새로운 동기화를 생성할 수 있습니다.
데이터 규모에 따라 HyperAuto에서 생성한 새 데이터 동기화를 생성하는 데 상당한 시간이 걸릴 수 있습니다. 이는 데이터 동기화가 Builder 파이프라인 생성과 같은 나머지 HyperAuto 프로세스 이전에 초기 실행이 필요하기 때문입니다.
데이터 변환 (Pipeline Builder)
HyperAuto 파이프라인 내의 데이터 변환을 통해 사용하기 어려운 원본 데이터를 정리되고 풍부한 결과물로 변환할 수 있으며, 이를 통해 분석 및 애플리케이션 구축에 즉시 사용할 수 있습니다.
HyperAuto 파이프라인은 자동으로 생성된 builder 파이프라인을 기반으로 합니다. 이는 Foundry 내의 주요 데이터 변환 방법입니다.
HyperAuto는 소스 유형과 사용자의 선호 사항을 기반으로 의견이 반영된 변환 로직을 동적으로 생성합니다. 사용자는 HyperAuto 파이프라인 개요 페이지에서 View pipeline을 선택하여 이 빌더 파이프라인을 볼 수 있습니다. 이 파이프라인의 수정은 제안을 통해 HyperAuto 구성을 변경하여 수행됩니다.
HyperAuto에서 사용 가능한 변환 기능의 유형은 다음과 같습니다.
- Cleaning: 소스 시스템은 종종 잘못된 데이터 유형, 빈 값 또는 null 값 처리가 미흡하거나 문자열 값에 원치 않는 공백이 있는 등 일반적인 "클린" 문제를 포함하여 데이터를 내보냅니다. HyperAuto는 이러한 문제(및 기타 문제)를 해결하기 위한 의견이 반영된 변환 옵션을 제공합니다.
- Renaming: 소스의 메타데이터를 사용하여 HyperAuto는 출력 테이블과 열의 이름을 인간이 읽을 수 없는 스키마가 아닌 설명적이고 이해하기 쉬운 이름으로 변경할 수 있습니다.
- Joining: 소스 시스템은 종종 관련 정보(예: 메타데이터)를 별도의 테이블에 저장하며, "정규" 데이터 모델을 따르는 경우입니다. HyperAuto는 소스의 데이터 모델에 대한 이해를 바탕으로 이러한 테이블을 결합하여 분석이 용이하고 온톨로지에 강력한 기반을 제공하는 비정규화된, 풍부한 결과물 데이터셋을 제공합니다.
- Filtering: 원치 않는 행(예: 중복)은 HyperAuto에 의해 자동으로 필터링될 수 있습니다. 예를 들어 변경 데이터 캡처 입력값을 중복 제거할 수 있습니다.
배치 및 실시간 스트리밍 파이프라인 모드 모두 지원됩니다. 자세한 내용은 구성 옵션을 참조하세요.
온톨로지
HyperAuto는 소스의 데이터 모델을 사용하여 생성된 결과물 데이터셋을 기반으로 온톨로지를 동적으로 생성할 수 있으며, 오브젝트 간의 의미론적 링크를 정의합니다.
이 설정을 활성화하면 수동 작업이 필요 없이 새로운 (지원되는) 소스에서 완전히 정의된 온톨로지로 전환하는 데 몇 분이면 충분합니다.
이 기능에 관심이 있는 경우 Palantir 담당자에게 문의하세요.
리소스 관리
HyperAuto 파이프라인은 생성된 모든 리소스를 완전히 제어하여 사용자가 시스템에 대한 지속적인 혜택과 업그레이드를 받을 수 있도록 설계되었습니다. 이에는 성능 향상과 버그 수정이 포함됩니다. 이러한 파이프라인의 설계는 이미 생성된 리소스(예: 새로운 변환 단계 또는 파이프라인에 대한 입력 추가)를 쉽게 조정할 수 있게 합니다.
기본 리소스(예: 동기화 또는 빌더 파이프라인)에 대한 수정은 HyperAuto 애플리케이션을 통해 관리되어야 하며, 변경 충돌을 피할 수 있습니다.
필요한 경우 HyperAuto 파이프라인 리소스를 삭제하면 해당 빌더 파이프라인에 대한 소유권이 제거되어 빌더 파이프라인에 대한 직접 수정이 정상적으로 가능해집니다.