탐색을 사용하여 파일 기반 동기화를 생성한 후 동기화 페이지의 Configurations 탭에서 구성을 업데이트할 수 있습니다.
파일 기반 동기화에 대한 구성 옵션은 다음과 같습니다.
| 파라미터 | 필수? | 기본값 | 설명 |
|---|---|---|---|
Subfolder | 예 | 커넥터 내에서 Foundry로 동기화될 파일의 위치를 지정합니다. | |
Filters | 아니오 | Foundry로 동기화되는 파일을 제한하기 위해 필터 적용합니다. | |
Transformers | 아니오 | 데이터가 Foundry로 동기화되기 전에 변환기 적용합니다. | |
Completion strategies | 아니오 | 성공적인 동기화 후 파일을 삭제하고 빈 상위 디렉터리를 삭제하도록 설정합니다. 소스 파일 시스템에 쓰기 권한이 필요합니다. |
동기화는 지정된 서브 폴더에서 모든 중첩된 파일과 폴더를 포함합니다.
필터를 사용하여 소스 파일을 Foundry로 가져오기 전에 필터링할 수 있습니다. 지원되는 필터 유형은 다음과 같습니다:
변환기를 사용하면 Foundry에 업로드하기 전에 기본 파일 변환(압축 또는 암호 해독 등)을 수행할 수 있습니다. 동기화 중에 선택된 파일은 선택한 변환기에 따라 수정됩니다.
Data Connection 변환기를 사용하는 대신 Pipeline Builder와 Code Repositories를 사용하여 Foundry에서 데이터 변환을 수행하는 것이 좋습니다. 이렇게 하면 출처와 분기에서 이점을 얻을 수 있습니다.
Data Connection에서 지원되는 변환기는 다음과 같습니다:
^(.*/)를 /로 교체하여 파일 이름에서 디렉터리 경로를 삭제합니다.완료 전략은 동기화가 완료되고 데이터가 Foundry로 성공적으로 가져온 후 리소스를 정리하도록 설계되었습니다. Data Connection은 가져온 파일이 커넥터 시스템에서 삭제되도록 지원합니다. 동기화에 이 설정을 성공적으로 적용하려면 연결이 소스 파일 시스템에 대한 쓰기 액세스 권한이 있는지 확인하십시오.
이 가이드는 새로운 동기화를 설정하거나 느린 또는 신뢰할 수 없는 동기화를 해결하는 사용자를 위한 것입니다. 동기화가 이미 신뢰할 수 있게 작동하고 있다면 작업을 수행할 필요가 없습니다.
단일 데이터셋으로 많은 파일을 동기화하는 것은 여러 가지 이유로 어려울 수 있습니다.
백만 개의 파일을 업로드하기 위한 동기화를 고려해 보십시오. 소스 시스템을 크롤링하고 하나의 파일을 제외한 모든 파일을 업로드한 후 네트워크 문제로 전체 동기화가 실패합니다. 동기화가 트랜잭션이기 때문에 동기화가 실패하면 전체 트랜잭션도 실패합니다. 이때까지 수행된 모든 작업이 손실됩니다.
네트워크 문제는 동기화 실패의 일반적인 원인 중 하나로, 수 시간의 작업 손실과 소스 시스템 및 에이전트에 불필요한 부하를 초래합니다. 네트워크 문제나 오류가 없어도 많은 파일을 동기화하는 데 시간이 오래 걸립니다.
데이터셋이 시간이 지남에 따라 커지면 SNAPSHOT으로 데이터를 동기화하는 데 걸리는 시간이 늘어납니다. 이는 SNAPSHOT 트랜잭션이 데이터셋의 모든 데이터를 Foundry로 동기화하기 때문입니다. 대신 트랜잭션 유형 APPEND로 구성된 동기화를 사용하여 데이터를 점진적으로 가져옵니다. 작은, 이산적인 데이터 청크를 동기화하므로 효과적인 체크 포인트를 생성합니다. 동기화 실패로 인해 완전한 재실행이 필요한 것이 아니라 중복 작업이 최소화됩니다. 또한 데이터셋 동기화가 더 빨리 실행되므로 모든 동기화에 대해 모든 데이터를 업로드할 필요가 없습니다.
APPEND 동기화 설정APPEND 트랜잭션은 성공적으로 실행하려면 추가 구성이 필요합니다.
기본적으로 Foundry로 동기화되는 파일은 필터링되지 않습니다. 그러나 APPEND 동기화는 동일한 파일이 가져온 것을 방지하기 위해 필터가 필요합니다. Exclude files already synced 및 Limit number of files 필터를 사용하여 단일 동기화에서 Foundry로 가져올 파일 수를 제어하는 것이 좋습니다. 추가로 완료 전략을 추가하여 동기화가 성공적으로 완료된 후 파일을 삭제합니다. 마지막으로 소스 시스템과 동기를 유지하려면 동기화를 예약하십시오.