モデルの接続と開発モデルFoundry でトレーニング済みのモデルSpark による分散モデルトレーニング

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

Spark による分散モデルトレーニング

分散トレーニングでは、並列に動作する複数のコンピューティングリソースにわたってモデルをトレーニングします。Foundry は、Spark 環境での分散モデルトレーニングをサポートしています。分散トレーニングにより、次のことができます。

  • モデルをより高速かつ効率的にトレーニングする: 分散トレーニングは複数のノードを同時に活用し、モデルトレーニングを高速化します。
  • トレーニングデータセットを大規模化する: トレーニングタスクとデータをノード間で分割することで、単一ノードのアプローチでメモリーに収まるサイズを大幅に超えるデータセットを使ってモデルをトレーニングできます。

現在、Foundry の分散モデルトレーニングで直接サポートされているのは、PySpark XGBoost 推定器のみです。今後、ほかの分散トレーニングライブラリもサポートされる可能性があります。

以下のステップに沿って、Foundry で分散モデルトレーニングを実行する方法を学びます。

1. Spark 環境を設定する

分散トレーニングライブラリを使用する前に、Spark プロファイルを使用して Spark 環境を適切に設定する必要があります。

必須の Spark プロファイル

分散モデルトレーニングを実行するには、以下のコード例に示すように、リポジトリに KUBERNETES_OPEN_PORTS_ALL プロファイルをインポートして適用する必要があります。

Copied!
1 2 3 4 5 6 7 8 from transforms.api import configure @configure(profile=[ "KUBERNETES_OPEN_PORTS_ALL", ]) @transform_df(...) def compute(...): ...

繰り返しになりますが、分散トレーニングには KUBERNETES_OPEN_PORTS_ALL プロファイルの適用が必須です。

2. 分散トレーニングライブラリをセットアップする

XGBoost Spark 推定器をセットアップする

XGBoost は、SparkXGBClassifier ↗ または SparkXGBRegressor ↗ 推定器を通じて、分散トレーニング向けのシームレスな PySpark 統合を提供します。

SparkXGBClassifier の基本的なセットアップの例を以下に示します。

Copied!
1 2 3 4 5 6 7 8 9 10 from xgboost.spark import SparkXGBClassifier @configure(profile=["KUBERNETES_OPEN_PORTS_ALL"]) @transform(...) def compute(...): xgb = SparkXGBClassifier( features_col=<your_feature_col_name>, # 必要に応じてその他のパラメーターを指定します ) model = xgb.fit(<your_training_dataframe>)

設定の詳細については、XGBoost Spark ドキュメント ↗を参照してください。

分散モデルトレーニング用の GPU サポートをセットアップする

分散モデルトレーニングで GPU を活用するには、以下のステップに従います。

  1. GPU をサポートするリソースキューにプロジェクトを追加します。
  2. トランスフォームに EXECUTOR_GPU_ENABLED Spark プロファイルを追加して、GPU プロファイルを有効にします。
  3. GPU のセットアップに応じて、device パラメーターを 'gpu' または 'cuda' に設定します。

例:

Copied!
1 2 3 4 5 6 7 8 9 10 11 12 13 from transforms.api import configure @configure(profile=[ "KUBERNETES_OPEN_PORTS_ALL", "EXECUTOR_GPU_ENABLED", ]) @transform_df(...) def compute(...): xgb = SparkXGBClassifier( ..., device='gpu' # オプション:'cpu', 'gpu', 'cuda' ) model = xgb.fit(...)

GPU 設定の詳細については、SparkXGBClassifier ドキュメント ↗を参照してください。

3. 分散ハイパーパラメーター最適化

必要に応じて、ハイパーパラメーター最適化を実行できます。トランスフォームでのハイパーパラメーター最適化には、Optuna ↗ の使用を推奨します。

  • Optuna は、追加のセットアップなしで Spark や分散トレーニングワークフローとスムーズに統合できます。
  • 詳細については、Optuna ドキュメント ↗を参照してください。

4. SparkXGBClassifier または SparkXGBRegressor をモデルアダプターとともに使用する

palantir_models.serializers に組み込まれている XGBoostSerializer は、XGBoost の Spark 推定器(SparkXGBClassifier / SparkXGBRegressor)を直接サポートしていません。 代わりに、次の手順に従います。

  1. 通常どおり Spark XGBoost モデルをトレーニングします。
  2. .get_booster() を使って、基になる Booster オブジェクトを抽出します。
  3. モデルアダプターで Booster を使用します。

推論を分散実行する必要がある場合も、PySpark UDF 内で ModelAdapter を登録できます。詳細については、PySpark UDF を参照してください。

モデルアダプターの例

Copied!
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 from palantir_models.serializers import XGBoostSerializer import palantir_models as pm class BoosterModelAdapter(pm.ModelAdapter): @pm.auto_serialize(model=XGBoostSerializer()) def __init__(self, booster): self.booster = booster @classmethod def api(cls): ... def predict(self, input_df): return self.booster.predict(input_df)

トレーニングとアダプターの初期化

Copied!
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 from transforms.api import configure, transform from transforms.api.schema import Input, ModelOutput from xgboost.spark import SparkXGBClassifier # または SparkXGBRegressor from your_project.adapters import BoosterModelAdapter @configure(profile=[ "DYNAMIC_ALLOCATION_DISABLED", "NUM_EXECUTORS_2", "KUBERNETES_OPEN_PORTS_ALL" ]) @transform( training_df=Input(path="..."), model_output=ModelOutput(path="...") ) def compute(ctx, training_df, model_output): # 1. SparkXGBClassifier をトレーニングします xgb = SparkXGBClassifier(...) spark_model = xgb.fit(training_df) # 2. 内部の Booster を抽出します booster = spark_model.get_booster() # 3. モデルアダプターを作成します adapter = BoosterModelAdapter(booster) # 4. モデルを Foundry に公開します model_output.publish(adapter)

アダプターの設定の詳細については、モデルアダプターの概要を参照してください。