Code Repositories에서 빌드를 실행하려면 Foundry 컴퓨트라는 컴퓨트-초로 측정되는 리소스를 사용해야 합니다. 이 문서에서는 빌드가 컴퓨트를 어떻게 사용하는지 설명하고 제품에서 컴퓨트 사용량을 조사하고 관리하는 방법에 대한 정보를 제공합니다.
하나 이상의 데이터셋에 대한 변환 빌드를 실행할 때, Foundry는 변환 로직을 서버리스 컴퓨트 클러스터로 가져와 코드를 실행합니다. 빌드의 길이와 크기는 코드의 복잡성, 입력 및 출력 데이터셋의 크기, 코드에 설정된 Spark 계산 프로필에 따라 다릅니다.
입력 데이터셋에서 코드를 실행하려면 Foundry 컴퓨트(병렬 컴퓨트를 실행할 때 Foundry 컴퓨트-초로 측정)와 변환 결과물이 Foundry 저장소에 기록될 때 Foundry 저장소가 필요합니다. 코드를 작성하는 것은 컴퓨트 사용량을 발생시키지 않으며, 데이터셋을 빌드하는 것만이 컴퓨트 사용량을 발생시킵니다.
Code Repositories를 구동하는 변환 엔진은 백엔드에서 병렬 컴퓨트를 사용하며, 대부분의 경우 Spark 확장 가능한 컴퓨팅 프레임워크에서 사용됩니다. Code Repositories의 변환은 작업의 실행 시간 동안 사용된 Foundry 컴퓨트-초의 총 수로 측정됩니다. 이러한 컴퓨트-초는 작업의 전체 기간 동안 측정되며, 입력 데이터셋에서 읽는 시간, 코드 실행(입출력 대기 등의 작업 포함), 그리고 출력 데이터셋을 Foundry로 다시 기록하는 시간을 포함합니다.
병렬 계산을 활용하도록 변환을 구성할 수 있습니다. 컴퓨트-초는 컴퓨트 실행 시간이며 벽시계 시간이 아니기 때문에, 병렬 변환은 벽시계 초당 여러 개의 컴퓨트-초를 발생시킵니다. Code Repositories 에서 작업용 Foundry 컴퓨트-초의 병렬 컴퓨트 측정 방법에 대한 자세한 내용은 아래 예제를 참조하십시오.
Foundry 사용량을 지불할 때 기본 사용 요금은 다음과 같습니다.
| vCPU / GPU | 사용 요금 |
|---|---|
| vCPU | 1 |
| T4 GPU | 1.2 |
Palantir와 기업 계약이 있는 경우 계산 사용량을 계산하기 전에 Palantir 담당자와 연락하세요.
에서 Foundry 컴퓨트 사용량 조사
사용량 정보는 사용량 지표에 대한 상세 정보를 제공하는 리소스 관리 애플리케이션에서 확인할 수 있습니다.
빌드가 Foundry 컴퓨트 사용량의 주요 요인이지만, 그 사용량은 관련된 장기 리소스에 대해 기록됩니다. 데이터셋 변환의 경우, 리소스는 작업에 의해 구체화된 데이터셋(또는 데이터셋 세트)입니다. 데이터셋 세부 정보 탭에서 리소스 사용량 지표 아래의 데이터셋 사용량 타임라인을 볼 수 있습니다.
여러 출력 데이터셋을 생성하는 변환의 경우, 컴퓨트 사용량은 모든 데이터셋에 동일하게 분배됩니다. 예를 들어, 변환 작업이 두 개의 데이터셋을 생성하고, 하나는 5개의 행을 가지고 다른 하나는 500만 개의 행을 가진다면, Foundry 컴퓨트-초의 수는 두 데이터셋 사이에 동일하게 분배됩니다.
취소되지 않은 경우, Code Repositories 의 변환은 모든 로직이 모든 데이터에서 실행되고 결과가 Foundry로 다시 기록될 때까지 실행됩니다. 이러한 런타임에 영향을 주는 두 가지 주요 요인은 (1) 입력 데이터의 크기와 (2) 변환 로직에 의해 수행된 계산 작업의 복잡성입니다.
5 * 5와 5! 사이의 작업 수를 고려해 보십시오. 5 * 5는 하나의 곱셈 작업입니다. 5!는 5 * 4 * 3 * 2 * 1(4개의 곱셈 작업)과 동일하며, 5 * 5 예제의 복잡성의 두 배입니다. 작업이 집계, 조인 또는 기계 학습 알고리즘과 같은 작업으로 더 복잡해지면, 작업이 데이터에서 완료해야 하는 작업 수가 증가할 수 있습니다.각 작업에 대해 성능과 컴퓨트 사용량을 주도한 기본 컴퓨트 지표를 검토할 수 있습니다. 자세한 내용은 Spark Details 이해를 참조하십시오.
작업에서 Foundry 컴퓨트-초는 크기와 병렬화된 실행 프로그램 수에 의해 주도됩니다. 이러한 설정은 작업별로 완전히 구성 가능합니다. 작업별로 어떻게 설정되는지에 대한 자세한 내용은 Spark 계산 프로필 문서를 참조하십시오. 실행 프로그램의 크기는 메모리와 vCPU 수에 의해 결정됩니다. 실행 프로그램당 증가된 vCPU 및 증가된 메모리는 해당 실행 프로그램이 발생시키는 컴퓨트-초를 증가시킵니다.
동시 작업 수는 구성된 실행 프로그램 수와 해당 vCPU 수에 의해 주도됩니다. 구성 오버라이드가 지정되지 않은 경우, 변환은 기본 Spark 프로필을 사용합니다. 결과 데이터셋에 대한 Foundry 저장소는 생성되는 데이터셋의 크기에 의해 주도됩니다.
결국, 다른 로직을 가진 작업은 매우 다른 수의 작업으로 동일한 결과를 달성할 수 있습니다.
작업에서 사용하는 컴퓨트-초를 최적화하고 관리하는 방법에 대한 정보를 제공하는 다양한 방법이 있습니다. 이 섹션에서는 일반적으로 사용되는 최적화 기술에 대한 추가 정보를 제공하는 링크를 제공합니다.
이 예제에서는 표준 메모리 요청으로 정적 할당 작업에 대한 Foundry 컴퓨트가 어떻게 측정되는지 설명합니다.
드라이버 프로필:
vCPUs: 1
GiB_RAM: 6
실행자 프로필:
vCPUs: 1
GiB_RAM: 6
Count: 4
전체 작업 벽시계 런타임:
120 초
계산
driver_compute_seconds = max(num_vcpu, GiB_RAM/7.5) * num_seconds
= max(1vcpu, 6gib/7.5gib) * 120sec
= 120 계산-초
# 실행자의 계산 시간은 실행자 수 * max(vCPU 수, RAM/7.5) * 초 수
executor_compute_seconds = num_executors * max(num_vcpu, GiB_RAM/7.5) * num_seconds
= 4 * max(1, 6/7.5) * 120sec
= 480 계산-초
# 총 계산 시간은 드라이버의 계산 시간 + 실행자의 계산 시간
total_compute_seconds = 120 + 480 = 600 계산-초
이 예제는 더 큰 메모리 요청을 가진 정적으로 할당된 작업에 대해 Foundry Compute가 어떻게 측정되는지 보여줍니다.
드라이버 프로필:
vCPUs: 2
GiB_RAM: 6
실행자 프로필:
vCPUs: 1
GiB_RAM: 15
Count: 4
전체 작업 벽시계 런타임:
120 초
계산:
# 드라이버 계산 초 = 최대(코어 수, RAM/7.5) * 초 수
driver_compute_seconds = max(num_vcpu, GiB_RAM/7.5) * num_seconds
= max(2vcpu, 6gib/7.5gib) * 120초
= 240 계산-초
# 실행자 계산 초 = 실행자 수 * 최대(코어 수, RAM/7.5) * 초 수
executor_compute_seconds = num_executors * max(num_vcpu, GiB_RAM/7.5) * num_seconds
= 4 * max(1, 15/7.5) * 120초
= 960 계산-초
# 총 계산 초 = 드라이버 계산 초 + 실행자 계산 초
total_compute_seconds = driver_compute_seconds + executor_compute_seconds
= 240 + 480 = 720 계산-초
이 예제는 Foundry Compute가 동적으로 할당된 작업에 대해 측정되는 방법을 보여줍니다. 일부 작업 실행 시간은 두 개의 실행기로 수행되고, 나머지 작업 시간은 네 개의 실행기로 수행됩니다.
드라이버 프로필:
vCPUs: 2
GiB_RAM: 6
실행자 프로필:
vCPUs: 1
GiB_RAM: 6
개수:
최소: 2
최대: 4
전체 작업 벽시간 실행시간:
120 초:
2 실행자: 60 초
4 실행자: 60 초
계산:
driver_compute_seconds = max(num_vcpu, GiB_RAM/7.5) * num_seconds
= max(2vcpu, 6gib/7.5gib) * 120초
= 240 컴퓨트-초
# 2 실행자를 사용한 작업 시간에 대한 컴퓨트 초 계산
2_executor_compute_seconds = num_executors * max(num_vcpu, GiB_RAM/7.5) * num_seconds
= 2 * max(1, 6/7.5) * 60초
= 120 컴퓨트-초
# 4 실행자를 사용한 작업 시간에 대한 컴퓨트 초 계산
4_executor_compute_seconds = num_executors * max(num_vcpu, GiB_RAM/7.5) * num_seconds
= 4 * max(1, 6/7.5) * 60초
= 240 컴퓨트-초
total_compute_seconds = driver_compute_seconds + 2_executor_compute_seconds + 4_executor_compute_seconds
= 240 + 120 + 240 = 600 컴퓨트-초
이 예제는 정적으로 할당된 작업에 대한 Foundry GPU 계산이 어떻게 측정되는지를 보여줍니다.
드라이버 프로필:
T4 GPU: 1
실행기 프로필:
T4 GPU: 1
개수: 4
전체 작업 벽시계 런타임:
120 초
계산:
# 드라이버 계산 시간 = GPU 개수 * GPU 사용률 * 초
driver_compute_seconds = num_gpu * gpu_usage_rate * num_seconds
= 1gpu * 1.2 * 120sec
= 144 계산-초
# 실행기 계산 시간 = 실행기 개수 * GPU 개수 * GPU 사용률 * 초
executor_compute_seconds = num_executors * num_gpu * gpu_usage_rate * num_seconds
= 4 * 1 * 1.2 * 120sec
= 576 계산-초
# 전체 계산 시간 = 드라이버 계산 시간 + 실행기 계산 시간
total_compute_seconds = 144 + 576 = 720 계산-초