Sparkプロファイルのリファレンス

このページは、Foundryで利用可能なSparkプロファイルのリファレンスです。Sparkとプロファイルの詳細はこちらをご覧ください。

• Sparkの概念
• Sparkプロファイルの適用

ドライバーコア

このファミリーのプロファイルは、spark.driver.coresの値を設定します。

これは、Sparkドライバーに割り当てられるCPUコアの数を制御します。実際には、多くのSparkジョブが同時に同じSparkモジュールで実行される特別な場合を除き、これを上書きする必要はありません。

ドライバーメモリ

このファミリーのプロファイルは、spark.driver.memoryの値を設定します。

これは、SparkドライバーJVMに割り当てられるメモリ量を制御します。例えば、大量のデータをドライバーに戻す場合や、大きなブロードキャスト結合を行う場合には、これを増やす必要があるかもしれません。

エグゼキュータコア

このファミリーのプロファイルは、spark.executor.coresの値を設定します。

これは各Sparkエグゼキュータに割り当てられるCPUコアの数を制御し、各エグゼキュータで同時に実行されるタスクの数を制御します。実際には、通常のトランスフォームジョブではこれを上書きする必要はほとんどありません。

エグゼキュータメモリ

このファミリーのプロファイルは、spark.executor.memoryおよび関連する設定の値を設定します。

これは各SparkエグゼキュータJVMに割り当てられるメモリ量を制御します。各Sparkタスクで処理されるデータ量が非常に大きい場合には、これを増やす必要があるかもしれません。

エグゼキュータメモリオーバーヘッド

このファミリーのプロファイルは、spark.executor.memoryOverheadの値を設定します。

これは、SparkエグゼキュータJVMメモリに加えて各コンテナに割り当てられるメモリ量を制御します。ジョブがJVM外で大量のメモリを必要とする場合、これを増やす必要があるかもしれません。

エグゼキュータの数

このファミリーのプロファイルは、spark.executor.instancesおよび関連する設定の値を設定します。

これはジョブを実行するためにリクエストされるエグゼキュータの数を制御します。この値を増やすことで、並行して実行できるタスクの数が増え、パフォーマンスが向上します（ジョブが十分に並列化されている場合）。その代わりに、より多くのリソースを使用します。

実際には、非常に大きなジョブで特定の組織的なニーズがある場合にのみ、これを上書きする必要があります。

動的割り当て

このファミリーのプロファイルは、spark.dynamicAllocation.enabled、spark.dynamicAllocation.minExecutors、およびspark.dynamicAllocation.maxExecutorsの値を設定します。

これは、固定された数ではなくエグゼキュータの範囲を指定することで、ジョブを実行するためにリクエストされるエグゼキュータの数を制御します。Sparkは、リクエストされたエグゼキュータの数を最大maxExecutorsまでスケールアップし、不要な場合にはエグゼキュータを解放します。必要なエグゼキュータの正確な数が一貫して同じでない場合や、一部のケースでは起動時間を短縮するために役立ちます。モジュールがリクエストされたmaxExecutorsの数を確実に受け取ることは保証されておらず、変動するエグゼキュータの数により、実行ごとにパフォーマンスが異なる場合があります。

実際には、動的割り当ての利点と欠点を十分に理解している大規模なジョブの場合にのみ、これを上書きする必要があります。

アダプティブクエリ実行

このファミリーのプロファイルは、アダプティブクエリ実行（AQE）の有効化と無効化を行います。

AQEが有効な場合、Sparkは実行時にパーティション数を自動的に設定し、ビルドを高速化する可能性があります。並列性が不十分なパーティションが少なすぎる問題や、小さすぎるパーティションが多すぎる問題を回避します。

AQEは、パーティションごとに64MBのバランスの取れた出力サイズを目指します。例えば、合計出力サイズが512MBの場合、約8つのパーティションが作成されます。

このファミリーのファイルサイズプロファイルを使用して、ターゲットサイズを増やすことができます。書き込まれたデータが頻繁に読み取られる場合（例えば、Contour分析で）、128MB以上のパーティションサイズが推奨されます。

タスクごとのコア数

このファミリーのプロファイルは、spark.task.cpusの値を設定します。

これは各タスクに割り当てられるコア数を制御します。実際には、これを上書きする必要はほとんどありません。ジョブの並列性を制御したい場合は、エグゼキュータコアを検討すべきです。

Arrow

これらのプロファイルを使用して、PandasとPySparkデータフレーム間の変換のためにArrowを有効または無効にします。Arrowを使用するには、トランスフォームがpyarrowパッケージに依存していることを確認してください。

Pandasデータフレームを使用してspark.createDataFrame()を呼び出す場合や、toPandas()を呼び出す場合、Sparkはすべての行をシリアライズして、あるフォーマットから別のフォーマットに変換する必要があります。大きなデータフレームの場合、これは遅いプロセスであり、トランスフォームのボトルネックになる可能性があります。Pandasトランスフォームを使用する場合、このシリアライズはデータの読み取り時と書き込み時の両方で発生します。

Arrowはより効率的なシリアライズ形式であり、この変換を大幅に高速化します（Arrowのウェブサイト ↗で報告されています）。

Kubernetes

このファミリーのプロファイルは、ユーザーのSparkジョブが実行される方法の低レベルの詳細を制御します。

ライブラリが基盤となるマシンのCPUアーキテクチャに依存しない場合、プロファイルを使用してSparkジョブを特定のアーキテクチャで実行するように強制できます。特定の環境ではAMDアーキテクチャのマシンにのみアクセスできる場合があります。その環境ではARMアーキテクチャのオーバーライドを使用するジョブは成功しません。

プロファイルテーブル