管理リソース管理リソースキュー

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

リソースキュー

リソースキューは、同時に利用できる計算リソースを制限するために使用されます。計算リソースの例としては、仮想CPU(vCPU)や仮想GPU(vGPU)などがあります。

リソースキューの概要

  • エンロールメント: エンロールメントはユーザーの組織の主要な識別情報であり、ユーザーの会社のアイデンティティをFoundryサービスやFoundryプラットフォームと関連付けます。
  • リソース: リソースキューのリソースは、プロジェクトでワークロードを実行するために必要な計算リソース、つまり、仮想CPU(vCPU)や仮想GPU(vGPU)などのことを指します。
  • リソースキュー: リソースキューは、サービスレベルのリソース(vCPUやvGPUなど)を要求するための先入れ先出し(FIFO)キューです。詳細は下記の リソースキューの詳細 を参照してください。
  • コンピュートグループ: コンピュートグループは、Foundryのワークロードが実行できるマシン(特定のタイプの計算ハードウェア)のグループです。これらのマシンは、ワークロードが使用するリソースを提供します。
  • プロジェクト: プロジェクトは、ユーザー、ファイル、フォルダーを特定の目的のために集めた共同作業スペースです。プロジェクトはFoundryの主要なセキュリティ境界であり、共有作業のバケットと見なすことができます。リソースを必要とするワークロードはプロジェクト内で実行されます。

ストリーミングリソースのリソースキューは、ユーザーのエンロールメントでは利用できない場合があります。詳細はPalantirサポートにお問い合わせください。

エンロールメントの詳細

リソースキューはエンロールメントに属し、エンロールメントにはvCPUとvGPUの制限があり、これによりリソースキューを通じて許可されるvCPUとvGPUの総量が制限されます。つまり、エンロールメント内のすべてのリソースキューのvCPU制限の合計は、エンロールメントのvCPU制限以下でなければなりません。同じルールがキューのvGPU制限とエンロールメントのvGPU制限にも適用されます。

エンロールメントには、特に指定がない限りすべてのプロジェクトが自動的に割り当てられるデフォルトキューもあります。このデフォルトキューは削除することはできません。

名前空間内のプロジェクトは、自動的に名前空間デフォルトのリソースキューに割り当てられます。名前空間デフォルトのリソースキューは、特に設定がない限り、エンロールメントデフォルトのリソースキューと同じです。組織と名前空間と、それらが組織とエンロールメントとどのように関連しているかについて詳しく知ることができます。

エンロールメント制限の設定

エンロールメントの制限は、コントロールパネルを通じて設定することができます。コントロールパネルを開き、エンロールメントの隣にある歯車を選択し、リソース制限を設定を選択します。エンロールメント制限を設定する権限がない場合は、Palantirの担当者に連絡してください。

エンロールメント制限の設定

リソースキューの詳細

リソースキューの詳細

リソースキューは、同時に使用できる計算リソースの数を制限するために使用される先入れ先出し(FIFO)キューです。リソースキューは、コンピュートグループで利用可能なサービスレベルのリソース(vCPUやvGPUなど)の使用を制限します。

リソースは、プロジェクトで実行されているワークロードによって要求され、それらの要求はリソースキューにキューイングされます。リソースキューがいっぱいになると、キューに再度スペースができるまで要求は待機しなければなりません。キューは先入れ先出しで、要求は作成された順に処理されます。

ワークロードは、リソースキューによって指定されたコンピュートグループで実行するために送られ、ワークロードが完了するか終了するとリソースが解放されます。

リソースキューの作成

リソースキューを作成するには、リソース管理アプリケーションに移動し、左側のキューを選択し、次に新規作成を選択します。

新規キューの作成

リソースキューのタイプ

現在、リソースキューのタイプは2つあります:vCPUリソースキューとvGPUリソースキューです。ほとんどのワークロードはCPUだけが必要であるため、ほとんどのプロジェクトはvCPUリソースキューによってバックアップされます。GPUが必要なワークロードはvGPUリソースキューに送られる必要があり、そのためvGPUリソースキューによってバックアップされたプロジェクト内でのみ実行できます。プロジェクト内のワークロードが使用するGPUのタイプ(例えば、V100、T4など)は、ワークロードがルーティングされるコンピュートグループによって決定されます。このコンピュートグループは、プロジェクトをバックアップするリソースキューに関連付けられています。コンピュートグループについて詳しく知ることができます。

GPUの使用

プロジェクトでGPUを使用したい場合は、GPUリソースキューを作成し、プロジェクトをそのキューに割り当てる必要があります。例えば、機械学習モデルの訓練のためのワークロードを実行するときにGPUを使用すると便利かもしれません。モデル統合について詳しく知ることができます。

新規GPUキュー

GPUリソースキューの作成を許可するように、エンロールメントレベルのGPU制限を設定しておくことを忘れないでください。

リソースキューが作成され、プロジェクトが割り当てられたら、GPUプロファイル(DRIVER_GPU_ENABLEDなど)をプロジェクトにインポートし、コードリポジトリで使用します。Sparkプロファイルのインポートについて詳しく知ることができます。

GPUキューに割り当てられたプロジェクトがGPUを必要としないワークロードを実行したい場合は、GPUを必要としないワークロードはエンロールメントのデフォルトキューを使用します。

コンピュートグループの詳細

コンピュートグループは、同種のハードウェアリソースの自動スケーリンググループです。例えば、コンピュートグループには、16GBのメモリと4つのコンピュートコア(CPU)が利用可能なマシンがあるかもしれません。別のコンピュートグループには、16つのコンピュートコアと32GBのメモリを持つV100 GPUがあるかもしれません。コンピュートグループは、Foundryユーザーが利用でき、リソースキューによって制限されています。