注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

AIP Logic に関するよくある質問

このページでは、AIP Logic アプリケーションに関するよくある質問を詳しく説明します。

AIP Logic をプラットフォームのほかの機能と連携させるにはどうすればよいですか?

Logic 関数を使用する方法についてのドキュメントを確認してください。

トークン数を減らすにはどうすればよいですか?

AIP Logic でのすべてのアクティビティは、ツールのレスポンスを含め、トークン上限にカウントされます。トークン上限はブロックごとにリセットされます。Debugger の各メッセージの末尾で、使用したトークン数を確認できます。バーが赤色の場合は、安定したパフォーマンスを確保するためにトークン数を減らすことを検討してください。

トークン数を減らすには、次の手順を推奨します。

  • 入力オブジェクトから必要なプロパティのみを選択するか、クエリするオブジェクトプロパティを指定して、LLM が送受信する文字列(OBJECT_NAME property1 property2 など)のサイズを小さくします。この文字列は、Debugger で生データを表示を選択すると確認できます。
  • クエリオブジェクトツールを使用する場合は、LLM に送信するプロパティの一部を選択します。
  • 単一のブロックを複数の LLM を使用ブロックに分割することを検討してください。各ブロックにはトークン上限があるため、ブロックを中間ステップに分割してみることができます。
  • LLM モデルを32kに変更します。
  • 可能な限り、変換ブロック、実行ブロック、アクション適用ブロックなどの決定論的なブロックを使用します。これらのブロックは、より予測可能な結果を生成するのに役立ち、トークンを一切使用しないため、ロジックの効率と管理のしやすさが向上します。

Logic 関数を1個のブロックにまとめる場合と、複数のブロックに分割する場合は、どのように使い分ければよいですか?

1個の大きなブロックを使うと、LLM の機能を試しながら、迅速に反復し、大きな変更を簡単に加えられます。ただし、次の場合は Logic を複数のブロックに分割することを検討してください。

  • LLM に実行させたいステップが複数あり、結果が一貫しない場合。
  • ブロックがコンテキストの上限に近づいている場合。
  • 各実行に時間がかかりすぎている場合。

各ブロックには独自のコンテキストウィンドウがあるため、複数のブロックに分割すると、次のような利点があります。

  • LLM は渡された情報にのみアクセスします。1個の大きなブロック内の中間結果には、関連性のないものが含まれる可能性があります。
  • トークンを使い切る可能性が低くなります。
  • いくつかの小さなタスクのほうが、1個の長いタスクよりも速く実行できる可能性があります。

AIP Logic ブロックのパフォーマンスを改善するにはどうすればよいですか?

AIP Logic ブロックのパフォーマンスを改善するには、次の方法を試してください。

  • 入力と出力のペアの例を5~10件選び、プロンプトを変更するたびに実行します。これらを AIP Logic のユニットテストとして保存します。
  • LLM に few-shot の例を与えます。モデルがタスクを理解しやすくなるため、LLM のパフォーマンスを大幅に向上させられる可能性があります。LLM が参照するシステムプロンプトを入力できます。
  • 予期しない失敗が発生する場合は、計画と問題の理解を説明するよう LLM に求めて、モデルがデータを正しく「理解」しているかを検証します。これにより、不足しているコンテキストについてのインサイトが得られます。
  • 動的な few-shot の例を使ったフィードバックループを構築することを検討してください。
  • 変換ブロック、実行ブロック、アクション適用ブロックなどの決定論的な変換ボードを使用します。
  • AIP Evals を使用して評価を実行します。プロンプトを反復的に改善する際に、失敗したテストケースを理解するには、実行結果で AI FDE で分析を選択し、根本原因を特定して、プロンプトの変更案を取得します。

LLM の温度やその他のモデルパラメーターを変更する方法はありますか?

LLM を使用ブロックの設定テキストフィールドで温度を編集すると、LLM のレスポンスのランダム性を表すパラメーターである、LLM の温度を変更できます。デフォルトの温度は0です。温度が低いほど、より決定論的な出力が返されます。

コード例:

Copied!
1 2 3 { "temperature": 0.9 }

Logic でセマンティック検索ワークフローをサポートできますか?

はい。現在、Logic がオントロジーに対してセマンティック検索を実行できるツールを追加できます。これは、アクションを使用するか、オブジェクト上の関数を作成して AIP Logic から呼び出すことで実現できます。詳しくは、セマンティック検索ワークフローのチュートリアルを確認してください。

LLM がフィードバックから「学習」するにはどうすればよいですか?

ワークフローに適している場合は、次の設計パターンを使用して、LLM がフィードバックから「学習」できるようにします。

  1. LLM が推奨を行うたびに、(1)推奨と(2)推論を記録します。次に、Logic 関数を Workshop に接続して人間によるレビュープロセスを組み込む際に、(3)人間によるフィードバックと(4)人間が検証した正しい判断をライトバックします。この例では、このライトバックオブジェクトを「提案」オブジェクトと呼ぶことにします。
  2. Logic 関数で、LLM が「提案」オブジェクトに対してクエリオブジェクトツールを使用できるようにし、LLM が同じ推奨を行ったほかの事例を検索します。LLM に人間のフィードバックを処理させたうえで、その推奨に従って進めるべきかどうかを LLM に問い合わせます。

Logic の出力が正しいことを確認するにはどうすればよいですか?

ユニットテストを追加して、指定した入力に対して関数が正常に実行されるかを確認します。また、AIP Evals を使用して、Logic 関数の評価スイートを作成することもできます。スイートを生成するには、右側のサイドバーで Evals タブを開き、AI FDE で生成を選択します。AI FDE は、関数に基づいてテストケースと評価ツールを生成します。評価を実行する前に、生成されたテストケースと評価ツールを確認し、調整してください。失敗したテストケースを分析するには、実行結果で AI FDE で分析を選択し、根本原因を特定して、プロンプトの変更案を取得します。詳しくは、AIP Evals:入門を参照してください。

過去の実行からテストケースを作成するにはどうすればよいですか?

実行履歴でテストケースとして追加を使用すると、過去の実行結果を、新しい評価スイートまたは既存の評価スイートのテストケースに変換できます。これにより、関数の実行から包括的なテストスイートを構築できます。

Logic の過去のバージョンを確認できますか?

はい。バージョン履歴サイドバーで、以前に保存したバージョンを確認し、ロールバックできます。

リストから過去のバージョンを選択すると、現在の状態と比較できます。

AIP Logic の過去のバージョンのパネルとプレビュー。

1個の LLM ブロックで複数の値を返せますか?

はい。「構造体」出力タイプを使用すると、名前付きの値を複数返せます。

指定した変数名と値の出力の表示。

ツールが LLM ブロックに渡すオブジェクト数を設定できますか?

はい。LLM ブロックの関数ツールにオブジェクトクエリツールを追加する際に、オブジェクトの戻り数の上限を設定を選択して、ツールの使用時に返すオブジェクト数を選択できます。

オブジェクトの戻り数の上限を設定するオプション。

AIP Logic Debugger では関数が正常に実行されるのに、Workshop や API 経由で呼び出すと失敗するのはなぜですか?

Debugger で AIP Logic 関数をテストおよび開発している間は、5分の実行時間制限は適用されません。ただし、Workshop 環境または関数実行 API から関数を呼び出す場合は、5分の実行時間制限が適用されます。