注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

Logic 関数の評価スイート

Logic のプレビューパネルは単発のテストに便利ですが、Logic 関数の信頼性を高めるには、多くの入力でテストすることが重要です。

このチュートリアルでは、AIP Evals を使って、シンプルな Logic 関数の評価スイートを作成する手順を説明します。

Logic から評価スイートを作成する

この例では、レストランのレビューを入力として受け取り、レビューの感情に基づいて肯定的または否定的に分類する Logic 関数を使用します。関数を検証するために、レビューの入力と期待される感情の出力を含むテストケースを作成します。

Logic 関数を保存した後、評価スイートを作成する方法はいくつかあります。

  • プレビューパネルから、テストケースとして追加を選択すると、新しい評価スイートを作成すると同時に最初のテストケースを追加できます。
  • Evals パネルから、テストを手動で設定するを選択して空の評価スイートを作成するか、AI FDE で生成を選択して AI FDE にテストケースと評価ツールを生成させることができます。AI FDE は、Logic 関数をコンテキストとして新規タブで開きます。

AIP Logic から評価スイートを作成します。

評価スイートを作成または生成した後、AIP Evals パネルでテストを編集するを選択すると、テストケースを追加または変更できます。テストケースエディターが開き、各テストケースの入力を設定して評価スイートを保存できます。

評価スイートにテストケースを追加します。

プレビューパネルでテストケースとして追加を選択すると、AIP は入力パラメーターに基づいて、テストケースの内容がわかる名前の生成を試みます。テストケース名の横にある紫色の AIP の星アイコンを選択して、おすすめの名前を生成することもできます。

おすすめのテストケース名を生成します。

この例では、おすすめの名前である「食品の品質に関する否定的なレビュー」は、「テストケース1」よりも多くの情報を伝えています。

おすすめの名前は、テストケースのパラメーターを簡潔に説明します。

テストケースを追加した後、Evals パネルで評価スイートを実行を選択すると、評価スイートを実行できます。スイート内のすべてのテストケースが実行されます。スイートの実行が完了したら、直近の実行セクションのカードを選択して結果を確認します。

評価スイートを実行して結果を確認します

Evals パネルのテストを手動で設定する、またはプレビューパネルのテストケースとして追加から評価スイートを作成した場合、AIP Evals は関数の戻り値を出力しますが、集計されたパフォーマンスメトリクスは出力しません。評価スイートを拡張するには、評価ツールを追加して、Logic 関数が生成した出力を期待値と比較し、集計メトリクスを計算します。この例では、組み込みの文字列の完全一致評価ツールを使用します。実際には、関数の性質に応じて、ほかの評価ツールを使用したり、カスタムの評価ツールを作成したりする必要がある場合があります。

評価ツールを追加するには、テストケース設定のヘッダーで + 追加を選択し、次に文字列の完全一致 > 追加を選択します。評価ツールが追加され、評価ツールエディターが開きます。このエディターでは、評価ツールの入力を関数の出力とテストケースの列にマッピングできます。この場合は、関数の出力を実際の値にマッピングし、期待値用の新しいパラメーターを作成します。テストケースエディターに新しい列が追加され、各テストケースで期待される感情を入力できるようになります。

各メトリクスの目標を設定できます。ブールメトリクスの場合は、true と false のどちらの値を合格とみなすかを選択します。数値メトリクスの場合は、値が高いほうと低いほうのどちらがよいかを選択し、必要に応じてしきい値を設定します。評価スイートは、これらの目標に基づいて、各テストケースのステータスを合格または不合格に自動的に判定します。

文字列の完全一致評価ツールを追加します。

保存後、評価スイートを再実行すると、関数の集計メトリクスと、設定した目標に基づく各テストケースの合格または不合格の結果を表示できます。

文字列の一致評価ツールによる結果を確認します。

関数を変更するたびにスイート全体を実行する必要はありません。サイドバーでテストケースの横にある再生アイコンを選択すると、個々のテストケースを実行できます。これは、デバッグや関数の改善をすばやく繰り返す際に役立ちます。

評価スイートを作成した後は、評価スイートの実行設定について詳しくはこちらをご覧ください。