リソース設定

このページでは、シングルノードトランスフォームのリソース設定について説明します。分散 Spark トランスフォームは、Spark プロファイルを使用して設定することで、大量のリソース消費を制御できます。

トランスフォームのリソースは、トランスフォームデコレーターで with_resources を呼び出して設定できます。

Copied!
1
2
3
4
5
6
7
8
9
10
11
from transforms.api import transform, Input, Output


@transform.using(
    output=Output("/path/output"),
    input=Input("/path/input"),
).with_resources(
    cpu_cores=1
)
def my_compute_function(output, input):
    ...

次のオプションを設定できます。

• cpu_cores: トランスフォームのコンテナに要求する CPU コア数です。小数も指定でき、デフォルトは2です。
• memory_gb: コンテナに要求するメモリー量です。単位は GB です。
• memory_mb: コンテナに要求するメモリー量です。単位は MB です。
• gpu_type: トランスフォームに割り当てる GPU の種類です。文字列で指定します。

デフォルトで許可される最大値は、8コアと64 GB のメモリーです。これらの上限を引き上げるには、Palantir サポートにお問い合わせください。

以下は、コア数、メモリー、GPU の種類の設定例です。

Copied!
1
2
3
4
5
6
7
8
9
10
11
12
13
from transforms.api import transform, Input, Output


@transform.using(
    output=Output("/path/output"),
    input=Input("/path/input"),
).with_resources(
    cpu_cores=8,
    memory_gb=32,
    gpu_type="NVIDIA_T4"
)
def my_compute_function(output, input):
    ...

メトリクスのテレメトリータブを使用して、ビルドのメモリー使用量と CPU 使用率を監視し、リソース設定を調整します。メトリクスは、軽量コンピュートエンジンを使用するトランスフォームで利用可能です。

GPU のプロビジョニング

Python トランスフォームで GPU を使用できるのは、そのトランスフォームが属するプロジェクトで GPU が利用可能な場合のみです。すべての環境ですべての種類の GPU が利用可能なわけではありません。

トランスフォームで利用可能にできる GPU の種類は次のとおりです。

• "NVIDIA_T4"
• "NVIDIA_V100"
• "NVIDIA_A10G"
• "NVIDIA_A100"
• "NVIDIA_A16"
• "NVIDIA_H100"
• "NVIDIA_H200"
• "NVIDIA_L4"
• "NVIDIA_L40S"

cuDF による GPU アクセラレーションを使用した Polars を含む GPU の使用例については、高度なシングルノードコンピュートオプションを参照してください。