AIP Evals

AIP Evals は、AIP Logic 関数、AIP Chatbot 関数、またはコードで作成した関数のパフォーマンスを評価するためのテスト環境です。LLM の非決定論的な性質に対処できるよう、特別に設計されています。AIP Evals では、テストケースの作成、パフォーマンスを測定する評価関数の定義、および関数の以前のバージョンとの結果の比較ができます。これにより、LLM を利用する関数を本番環境に導入したり、既存の実装を変更したりするために必要な確信を得られます。

AIP Evals では、次のことができます。

• テストケースを作成し、評価基準を定義します。
• 関数とプロンプトをデバッグし、反復的に改善します。
• 関数で使用する異なるモデルのパフォーマンスを比較します。
• 複数回の実行におけるばらつきを調べます。

AIP Evals は、AI FDE 内の統合ツールとしても利用可能で、会話形式のコマンドを通じて評価スイートを作成し、実行できます。

基本概念

評価スイート： 関数のパフォーマンスをベンチマークするために使用する、テストケース、対象関数、および評価関数をまとめたものです。

対象関数： 評価される関数です。スイートは、複数の対象関数を同時にテストするように設定できます。

評価関数： 対象関数の実際の出力を期待される出力と比較または評価する際に使用する方法です。

テストケース： 評価スイートの実行時に評価関数に渡される、入力と期待される出力の定義済みの組み合わせです。

メトリクス： 評価関数の結果です。メトリクスはテストケースごとに生成され、実行間で集計して比較することも、個別に比較することもできます。

はじめるには、ロジック関数用の評価スイートまたは一般的な関数用の評価スイートを作成します。評価の実行設定についても詳しくはこちらをご覧ください。