注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
評価スイートは、AIP Logic の Evals サイドバーや AIP Evals アプリケーションなど、さまざまな場所から実行できます。評価スイート全体を実行するか、単一のテストケースのみを実行するかを選択できます。後者は、デバッグや関数の迅速な反復開発に役立ちます。
AIP Logic で AIP Evals サイドバーパネルに移動し、評価スイートを実行を選択します。未保存の変更がある場合は、代わりに保存して実行が表示され、評価スイートを実行する前に変更が確実に保存されます。
また、AIP Evals アプリケーションから評価スイートを実行することもできます。アプリケーションを開くには、AIP Logic サイドバーで評価スイート名を選択するか、ファイルシステムから評価スイートを開きます。Evals アプリケーションでは、右上の評価スイートを実行を選択して評価スイートを実行できます。
評価スイートの実行時には、複数の設定オプションを利用できます。実行設定オプションにアクセスするには、評価スイートを実行の横にある歯車アイコンを選択します。次のオプションを含むダイアログが開きます。

評価スイートは、AIP Logic で作成した関数と、Code Repositories で作成した関数に対して実行できます。関数の作成元に応じて、対象にできる関数のバージョンが異なります。
ブランチを選択して、そのブランチ上の関数バージョンをテストすることもできます。AIP Logic から評価スイートを実行する場合、ブランチは AIP Logic のブランチに基づいて決まります。
評価スイートに複数の対象関数が設定されている場合、AIP Evals から複数の関数に対して同時に評価を実行できます。複数の関数をテストを選択して複数対象モードに切り替え、実行に含める対象を選択します。

複数対象モードで実行する場合、実験の設定は利用できません。
評価スイートの列の値を、評価対象の関数が期待する入力にマッピングするには、入力マッピングを指定する必要があります。期待される関数入力とデータ型が一致するスイートの列を選択できます。
通常、評価スイートの列名と関数入力は一致しますが、一致は必須ではありません。すべてのテストケースで入力に同じ値を使用するには、固定値に切り替えるを選択し、値を入力します。
実行セキュリティセクションでは、プロジェクトスコープの実行とユーザースコープの実行の2つの実行モードから選択できます。デフォルトのモードはプロジェクトスコープの実行です。実行で使用するリソースがプロジェクトスコープの実行に対応していない場合は、ユーザースコープの実行のみを利用できます。
プロジェクトスコープの実行:
ユーザースコープの実行:
各テストケースの実行回数を1〜100回で指定できます。評価スイート全体の実行には、最大15,000回のテストケース実行を含めることができ、テストケースの反復1回を1回の実行として数えます。LLM は非決定論的であるため、LLM を基盤とする関数については、テストケースを少なくとも3回実行することを推奨します。各反復の結果は集計され、関数の性能の包括的な概要を確認できます。
ROUGE スコアなどの数値評価ツールで分散が大きい場合、テストケースと評価ツールが有意義ではなく、さらなる改善が必要である可能性があります。
デフォルトでは10件のテストケースが並列で実行されます。これは最大数でもあります。同時に並列実行するテストケースの数を減らすと、レート制限に達した場合に役立つことがあります。
used branch、version、model など、自動的に取得される実行メタデータに加えて、評価スイートの実行にカスタムメタデータを追加できます。
このメタデータはキーと値のペアとして指定し、評価スイートの実行履歴で実行を区別するために使用できます。
評価スイートの実行が完了したら、最新の実行セクションのカードを選択して結果を表示できます。結果ビューが開き、評価スイートの実行について集計されたメトリクスと、個々のテストケースの結果を確認できます。各メトリクスの合格または不合格のステータスは、設定した目標(ブール値または数値、方向、しきい値)に基づいて表示されます。テストケースにカーソルを合わせ、バグアイコンを選択すると、そのテストケースのデバッグビューが開きます。デバッグビューには、そのテストケースで実行された Logic 関数と評価ツールの各ステップが表示されます。
さらに、結果ビューでは、クリックして別の実行と比較を選択して実行を比較できます。現在の実行と左右配置で別の実行が開き、両方の実行結果を比較できます。デフォルトでは、差分を表示トグルが有効になっており、2つの実行間の出力の差異が強調表示されます。

単一のテストケースを実行する場合も、設定した目標(ブール値または数値、方向、しきい値)に従って、各メトリクスの合格または不合格のステータスが表示されます。
AIP Logic の AIP Evals サイドバーでは、単一のテストケースをすばやく実行できます。これは、Logic 関数を作成しているときや、評価スイート全体の実行後に、失敗したテストケースを反復して改善するときに特に役立ちます。
単一のテストケースを実行するには、サイドバーでテストケース名の横にある再生アイコンを選択します。テストケースが直ちに実行され、デバッガーのサイドバーパネルが開きます。ここでは、Logic 関数と、テストケースの結果に対して実行される評価ツールの実行を追跡できます。また、サイドバーではテストケースが実行済みとしてマークされます。

実行後、サイドバーと結果パネルには、設定した目標に従って、各メトリクスが合格したか不合格だったかが表示されます。