Warning

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

AIP Logic によるコンピュート使用状況

AIP Logic は、Palantir のツールで、オントロジーと計算機能を通じてユーザーの組織のデータと対話しながら、迅速かつ持続的に LLM 駆動のプロセスを構築できます。AIP Logic は、データをクエリ、アクションや関数を実行、ユーザーのユースケースのための新情報を生成できる思考の流れのワークフローを線形に作成できる「LLM の指示のブロック」の概念を基に構築されています。AIP Logic では、「ブロック」は使用測定の原子単位で、各ブロックは Foundry 内の他のシステムをトリガーすることができ、それらのシステムもコンピュート秒を使用して AIP Logic ブロックに情報を返すことができます。

Palantir とエンタープライズ契約を結んでいる場合は、コンピュート使用の計算を進める前に Palantir の担当者に連絡してください。

コアコンセプト:リソース、ブロック、ツール

AIP Logic のリソースは、1つ以上の AIP Logic のブロックで構成されます。リソースを実行すると、所望の出力を達成するために必要なブロックが実行されます。ブロックは、オントロジーのクエリ、関数、アクションなどのツールを使用して出力を生成することができます。

AIP Logic を使用した Foundry のコンピュート測定

AIP LLM トークン

AIP の LLM トークンは、基になるモデル(例:OpenAI ↗)の様式で測定され、プロンプトとレスポンスのサイズ、および行われるプロンプトの数に依存します。詳細については、各モデルタイプの使用表をご覧ください。

LLM ブロックの実行

AIP Logic ブロックが実行されるか、ツールを使用することを選択すると、最小限のコンピュート秒が使用されます。

  • 基本的な LLM ブロックの実行: 4 コンピュート秒
  • LLM ブロックツールの実行: 8 コンピュート秒

追加の Foundry コンピュート使用

AIP Logic ブロックが計算を外部のツール(オントロジーのクエリや関数など)に委任すると、これらのアプリケーションの実行中に追加のコンピュートが使用される場合があります。

Foundry コンピュートの AIP Logic 使用の管理

AIP Logic の一部の操作は、コンピュート使用に大きな影響を与える可能性があります。以下では、トークン使用ロジックブロック実行の総数Foundry コンピュートの使用に注意を払うことで、コンピュート使用を制御するためのガイダンスを提供します。

トークン使用

  • 大量のテキストを処理すると、全体のコンピュート使用が大幅に増加する可能性があります。LLM と一緒に使用される入力プロンプトのサイズに注意してください。これは、オントロジーから大量のテキストブロックを引き出すときに特に関連性があります。
  • トークン使用を適度にするために、プロンプトに注入されるテキストの量を削減し、プロンプト自体に含めるテキストが関連性のあるものだけになるようにするべきです。これは、大量のドキュメントを扱うときに特に重要です。

ロジックブロック実行の総数

  • 多数のロジックブロックを実行すると、特にブロックがプログラム的に関数を介してトリガーされる場合(つまり、人間の行動によってトリガーされない場合)、大量のコンピュートが使用される可能性があります。
  • ロジックブロックの実行を適度にするために、複数のブロックを単一のプロンプトに組み合わせる(適切な場合)、および必要なときにだけ追加のブロックを使用することを検討してください。アクション、関数、データ変換ブロックは、それ自体ではコンピュート使用を発生させません。

Foundry コンピュート

  • 多数の Foundry アプリケーションへの呼び出し(オントロジーのクエリ、関数、アクションなど)を実行すると、大量のコンピュートが使用される可能性があります。これは、ロジックリソースが多くのリトライを必要とする、または各実行で多くの関数やアクションを呼び出す場合に発生する可能性があります。
  • 他のアプリケーションからのコンピュート使用を適度にするために、ロジックブロックの連鎖において他のツールへの呼び出しの数を理解することを確認してください。Foundry の他の部分に呼び出しを行う可能性のあるツールは以下のとおりです:
    • オントロジークエリ
    • アクション実行
    • 関数実行
    • データ変換

AIP Logic のコンピュート使用の例

ユーザーが AIP Logic リソースを持っており、そのリソースには 2つの LLM ブロックがあると仮定します。LLM ブロックの1つにはアクションが設定されており、実行時にそれを呼び出します。ロジックリソースは最初から最後まで2回実行されます。

LLMブロックの数: 2
アクションを呼び出すLLMブロックの数: 1
実行回数: 2

1回の実行に必要な計算秒数 = 2つのLLMブロック * 4計算秒数 + 1つのアクションブロック * 8計算秒数
1回の実行に必要な計算秒数 = (2 * 4) + (1 * 8)
1回の実行に必要な計算秒数 = 16計算秒数

2回の実行 = 2 * 16計算秒数 = 32計算秒数

合計 = 32計算秒数
  • LLMブロックとは、計算のための構成単位です。
  • アクションを呼び出すLLMブロックとは、特定のアクション(計算など)を実行する機能を持つLLMブロックを指します。
  • 実行回数とは、全体の処理が何回実行されたかを示します。
  • 計算秒数とは、処理にかかった時間を示します。