注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
# スパークのドライバーのコア数を3に設定します
spark.driver.cores = 3
# スパークのエグゼキュータのコア数を2に設定します
spark.executor.cores = 2
この例では、合計コア秒は次のように計算できます:
# コア秒数を計算します。これはドライバーコアの数とエグゼキューターコアの数(エグゼキューターの数で掛けられたもの)を足し、
# それをジョブの実行時間(秒)で掛けたものです。
core_seconds = (num_driver_cores + num_executor_cores * num_executors) * job_duration_in_seconds
vcpu_per_executor = 1 # 実行者ごとのvCPUの数
ram_per_executor = 12 # 実行者ごとのRAMの量
num_executors = 2 # 実行者の数
num_seconds = 5 # 秒数
default_memory_to_core_ratio = 7.5 # デフォルトのメモリー/コア比
job_memory_multiplier = 12 / 7.5 = 1.6 # ジョブメモリ乗数
job_core_seconds = num_vcpu * num_excutors * num_seconds # ジョブコア秒数の計算
job_core_seconds = 1 * 2 * 5 = 10 # ジョブコア秒数の計算結果
# ジョブコンピュート秒数の計算
# max(1vcpu, 1.6mem-to-core) * 2executors * 5secとなります
job_compute_seconds = max(num_vcpu, job_memory_multiplier) * num_executors * num_seconds
job_compute_seconds = 16 compute-seconds # ジョブコンピュート秒数の計算結果
Days 0-3 - 0GB volume // 0-3日 - ボリューム0GB
Day 4, 06:00 - 3GB volume (3GB added) // 4日目 06:00 - ボリューム3GB(追加3GB)
Days 5-10 - 3GB volume (no change from day 3) // 5-10日 - ボリューム3GB(3日目から変更なし)
Day 11, 00:00 - 6GB volume (3GB added) // 11日目 00:00 - ボリューム6GB(追加3GB)
Days 11-20 - 6GB volume (no change) // 11-20日 - ボリューム6GB(変更なし)
Day 21, 00:00 - 3GB volume (3GB deleted) // 21日目 00:00 - ボリューム3GB(削除3GB)
Days 21-30 - 3GB volume (no change) // 21-30日 - ボリューム3GB(変更なし)
Total:
(0GB * 4 days + 3GB * (18hrs/24) days + 3GB * 6 days + 6GB * 10 days + 3GB * 10 days) / 30 days
= 3.675 gigabyte-months of usage
// 合計:
// (0GB * 4日 + 3GB * (18時間/24)日 + 3GB * 6日 + 6GB * 10日 + 3GB * 10日) / 30日
// = 使用量は3.675ギガバイト・月
月の日数が変わるため、同じ容量のストレージによって1日あたりに生成される gigabyte-months
は月によって変わります。たとえば:
月が30日の場合、1日90GB保存すると消費されるのは:
(90GB * 1日) / 30日 = 3 ギガバイト月
月が31日の場合、1日90GB保存すると消費されるのは:
(90GB * 1日) / 31日 = 2.90 ギガバイト月