Spark プロファイルリファレンス

このページでは、Foundry で利用可能な Spark プロファイルのリファレンスをご紹介します。Spark とプロファイルについて詳しくは以下を参照してください。

• Spark の概念
• Spark プロファイルの適用

ドライバーコア

このファミリのプロファイルでは、spark.driver.cores の値を設定します。

これにより、Spark ドライバーに割り当てられる CPU コア数が制御されます。実際には、同じ Spark モジュール内で多数の Spark ジョブが同時に実行される特殊なケースを除いて、この値を上書きする必要はありません。

ドライバーメモリ

このファミリのプロファイルでは、spark.driver.memory の値を設定します。

これにより、Spark ドライバー JVM に割り当てられるメモリ量が制御されます。例えば、ドライバーに大量のデータを収集したり、大規模なブロードキャスト結合を実行したりする場合、この値を増やす必要があるかもしれません。

エグゼキュータコア

このファミリのプロファイルでは、spark.executor.cores の値を設定します。

これにより、各 Spark エグゼキュータに割り当てられる CPU コア数が制御され、各エグゼキュータで同時に実行されるタスク数が制御されます。実際には、通常の変換ジョブではこの値を上書きする必要はほとんどありません。

エグゼキュータメモリ

このファミリのプロファイルでは、spark.executor.memory および関連設定の値を設定します。

これにより、各 Spark エグゼキュータ JVM に割り当てられるメモリ量が制御されます。各 Spark タスクで処理されるデータ量が非常に大きい場合、この値を増やす必要があるかもしれません。

エグゼキュータメモリオーバーヘッド

このファミリのプロファイルでは、spark.executor.memoryOverhead の値を設定します。

これにより、Spark エグゼキュータ JVM メモリに加えて、各コンテナに割り当てられるメモリ量が制御されます。JVM の外で大量のメモリが必要なジョブの場合、この値を増やす必要があるかもしれません。

エグゼキュータ数

このファミリのプロファイルでは、spark.executor.instances および関連設定の値を設定します。

これにより、ジョブの実行に要求されるエグゼキュータの数が制御されます。この値を増やすと、並行して実行できるタスクの数が増えるため、パフォーマンスが向上します（ジョブが十分に並列である場合）が、より多くのリソースを使用することになります。

実際には、非常に迅速に実行する必要がある特定の組織的要件を持つ大規模なジョブでのみ、この値を上書きする必要があるでしょう。

動的割り当て

このファミリのプロファイルでは、spark.dynamicAllocation.enabled、spark.dynamicAllocation.minExecutors、および spark.dynamicAllocation.maxExecutors の値を設定します。

これにより、エグゼキュータの固定数ではなく、エグゼキュータの範囲を指定することで、ジョブの実行に要求されるエグゼキュータの数が制御されます。Spark は、maxExecutors までエグゼキュータの数をスケールアップし、それらが必要なくなったときにエグゼキュータを解放します。これは、必要なエグゼキュータの数が一貫して同じでない場合や、起動時間を短縮する場合に役立ちます。モジュールは、要求された maxExecutors の数を受け取ることが保証されておらず、エグゼキュータの数が変わるため、実行ごとにパフォーマンスが異なる場合があります。

実際には、動的割り当ての利点と欠点を理解した上で、特定の大規模なジョブでのみこの値を上書きする必要があるでしょう。

アダプティブクエリ実行

このファミリのプロファイルでは、アダプティブクエリ実行（AQE）を有効にしたり無効にしたりします。

AQE を有効にすると、Spark はランタイムでパーティション数を自動的に設定し、ビルド速度が向上する可能性があります。これにより、十分な並列性がない少ないパーティション数や、オーバーヘッドが大きい多数の小さなパーティション数を回避できます。

AQE は、パーティションあたり 64 MB のバランスの取れた出力サイズを目指しています。例えば、出力サイズが合計 512 MB の場合、おおよそ 8 つのパーティションが生成されます。

このファミリのファイルサイズプロファイルを使用して、ターゲットサイズを増やすことができます。データが書き込まれてから頻繁に読み取られる場合、例えば Contour の分析で使用される場合、128MB 以上のパーティションサイズが推奨されます。

タスクごとのコア数

このファミリのプロファイルでは、spark.task.cpus の値を設定します。

これにより、各タスクに割り当てられるコア数が制御されます。実際には、これを上書きすることはほとんどありません。ジョブの並列性を制御したい場合は、エグゼキュータ コア を参照してください。

Arrow

これらのプロファイルを使用して、Pandas と PySpark のデータフレーム間の変換に Arrow を有効または無効にします。Arrow を使用するには、Transform が pyarrow パッケージに依存していることを確認してください。

spark.createDataFrame() を Pandas データフレームで呼び出すか、toPandas() を使用すると、Spark はすべての行をシリアル化して、1 つの形式から別の形式に変換する必要があります。大規模なデータフレームの場合、これは遅いプロセスであり、Transform のボトルネックになる可能性があります。Pandas Transform を使用する場合、このシリアル化はデータの読み取りと書き込みの両方で発生します。

Arrow は、この変換を大幅に高速化する効率的なシリアル化形式です（Arrow ウェブサイト で報告されています）。

Kubernetes

このファミリのプロファイルでは、Spark ジョブがどのように実行されるかの低レベルの詳細を制御します。

基盤となるマシンの CPU アーキテクチャに依存しないライブラリを使用している場合、プロファイルを使用して Spark ジョブを特定のアーキテクチャで実行するように強制できます。ただし、一部の環境では、AMD アーキテクチャのマシンのみにアクセスできるため、ARM アーキテクチャのオーバーライドを使用するジョブは、そのような環境では成功しないことに注意してください。

プロファイルテーブル