Evaluations

AIP Logic Evaluations は、Logic 関数の詳細なテストを作成するための機能です。Evaluations を使用して以下のことができます。

• Logic 関数やプロンプトのデバッグおよび改善。
• GPT-4 と GPT-3.5 のように異なるモデルを比較。
• Logic 関数の複数回の実行における変動を調べる。

コアコンセプト

評価関数: Logic 関数の実際の出力を期待される出力と比較または評価する際に使用される方法。

評価スイート: AIP Logic 関数の性能ベンチマークを作成するために使用される評価関数とテストケースの集まり。

テストケース: 評価スイートの実行中に評価関数に渡される、定義された入力と期待される出力のセット。

メトリクス: 評価関数の結果。メトリクスはテストケースごとに生成され、実行間で集計または個別に比較できます。