Logic 関数の評価スイート

Logic のプレビューパネルは単発のテストに便利ですが、Logic 関数の信頼性を高めるには、多くの入力に対してテストすることが重要です。

このチュートリアルでは、AIP Evals を使って、シンプルな Logic 関数の評価スイートを作成する手順を説明します。

Logic から評価スイートを作成する

この例では、レストランのレビューを入力として受け取り、レビューの感情に基づいてポジティブまたはネガティブに分類する Logic 関数を使用します。関数を検証するために、レビューの入力と期待される感情の出力を含むテストケースを作成します。

Logic 関数を保存した後、評価スイートを作成するには、いくつかの方法があります。

• プレビューパネルから、テストケースとして追加を選択すると、新しい評価スイートを作成すると同時に、最初のテストケースを追加できます。
• Evals パネルから、テストを手動で設定するを選択して空の評価スイートを作成できます。また、Logic 関数が対象となる場合は、評価を生成を選択すると、AIP が有用なテストと評価ツールをセットアップします。

表示の制限を選択すると、AIP がテストと評価ツールを自動生成できないケースを確認できます。Logic 関数が AIP による評価の生成対象でない場合、評価を生成ボタンは無効になり、その理由を理解するための説明が表示されます。

評価スイートを作成または生成した後、AIP Evals パネルでテストを編集するを選択すると、テストケースを追加または変更できます。テストケースエディターが開き、各テストケースの入力を設定して、評価スイートを保存できます。

プレビューパネルでテストケースとして追加を選択するか、Evals パネルで評価を生成を選択すると、AIP は入力パラメーターに基づいて、テストケースの内容が分かる名前を付けようとします。テストケース名の横にある紫色の AIP の星アイコンを選択して、名前の候補を生成することもできます。

この例では、候補の名前である「料理の品質に関するネガティブなレビュー」は、「テストケース1」よりも多くの情報を伝えます。

テストケースを追加した後、Evals パネルで評価スイートを実行を選択すると、評価スイートを実行できます。これにより、スイート内のすべてのテストケースが実行されます。スイートの実行が完了したら、最新の実行セクションのカードを選択して結果を確認します。

Evals パネルのテストを手動で設定するまたはプレビューパネルのテストケースとして追加から評価スイートを作成した場合、AIP Evals は関数の戻り値を出力しますが、集計されたパフォーマンスメトリクスは提供しません。評価スイートを拡張するには、評価ツールを追加して、Logic 関数が生成した出力を期待値と比較し、集計メトリクスを計算します。この例では、組み込みの文字列の完全一致評価ツールを使用します。実際には、関数の性質に応じて、ほかの評価ツールを使用したり、カスタムの評価ツールを作成したりする必要がある場合があります。

評価ツールを追加するには、テストケース設定のヘッダーで + 追加を選択し、次に文字列の完全一致 > 追加を選択します。これにより、評価ツールが追加され、評価ツールエディターが開きます。ここで、評価ツールの入力を関数の出力およびテストケースの列にマッピングできます。この場合は、関数の出力を実際の値にマッピングし、期待値用の新しいパラメーターを作成します。これにより、テストケースエディターに新しい列が追加され、各テストケースで期待される感情を入力できます。

各メトリクスの目標を設定できます。ブールメトリクスでは、true と false のどちらの値を合格とみなすかを選択します。数値メトリクスでは、値が高い方と低い方のどちらがよいかを選択し、必要に応じてしきい値を設定します。評価スイートは、これらの目標に基づいて、各テストケースのステータスを合格または不合格と自動的に判定します。

保存した後、評価スイートを再度実行すると、関数の集計メトリクスと、設定した目標に基づく各テストケースの合格または不合格の結果を表示できます。

関数を変更するたびに、スイート全体を実行する必要はありません。サイドバーのテストケースの横にある再生アイコンを選択すると、個別のテストケースを実行できます。これは、関数をデバッグしたり、短いサイクルで改善を繰り返したりする際に便利です。

評価スイートを作成した後は、評価スイートの実行設定について詳しくはこちらをご覧ください。