注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

実行結果を分析する

実行結果には、テストケースと評価基準に対する関数のパフォーマンスが表示されます。結果は、AIP Evals アプリケーション、または AIP Logic と AIP Chatbot に統合された AIP Evals サイドバーで表示できます。

評価ツールに合格基準を設定している場合、AIP Evals は各テストケースのステータスを合格または不合格に自動的に判定します。結果には、合格したテストケース数と不合格になったテストケース数が表示されます。

テストケースのデバッグビュー

特定のテストケースの結果をさらに詳しく調べたい場合は、デバッグビューを利用できます。このビューには、個々のテストケースの実行トレース、入出力データ、エラーメッセージが表示され、関数の出力や評価ツールの結果を理解するのに役立ちます。

デバッグビューにアクセスする

テストケースのデバッグビューを開く方法は複数あります。AIP Evals、AIP Logic、AIP Chatbot から開くことができます。

AIP Evals の場合

  1. 評価スイートのページで結果タブを開きます。
  2. 実行を選択し、テストケースに切り替えます。
  3. テストケースの結果にカーソルを合わせます。
  4. テストケースの行の右側に表示されるデバッグを選択します。

AIP Evals アプリの結果ビュー。

AIP Logic または AIP Chatbot の場合

  1. 実行結果ダイアログのビューで、テストケースの結果にカーソルを合わせます。
  2. テストケースの結果にある虫のアイコンを選択します。
  3. デバッグビューが開き、詳細な実行情報が表示されます。

AIP Logic の AIP Evals 実行結果ビュー。

デバッグビューの機能

デバッグビューには、テスト関数の実行と評価ツールの結果に関する詳細情報が表示されます。次のことができます。

  • テストケースのテスト関数の入出力を確認します。
  • TypeScript/Python 関数: 実行されたコードのプレビューを構文ハイライト付きで表示します。
  • AIP Logic 関数: 標準の Logic デバッガーを使用して、関数の実行をステップごとに追跡します。
  • 評価ツール: 入力値と出力値、評価ツールの期待される結果と実際の結果、およびカスタム関数評価ツールと一部の組み込み評価ツールのデバッグ出力を確認します。

AIP Evals のデバッグビューに表示された関数の出力。

AIP Evals のデバッグビューの評価ツールタブ。

一部の評価ツールでは、評価ツールタブのデバッグ出力に追加のコンテキストが表示されます。たとえば、組み込みの LLM-as-a-judge 評価ツールは、モデルの推論をデバッグ出力として返すため、特定の判定に至った理由を理解するのに役立ちます。

カスタム評価ツールを作成する場合、これらもデバッグ出力を生成できます。カスタム評価ツールがメトリクスの出力とともに返す文字列値はすべてデバッグ出力として表示され、推論、中間値、診断情報などの追加のコンテキストを提供します。

カスタム関数評価ツールのデバッグ出力。

AIP Logic でカスタム関数評価ツールを作成した場合は、標準の Logic デバッガーにもアクセスできます。これにより、評価が特定の結果になった理由を理解できます。評価ツールで LLM-as-a-judge を使用している場合に特に役立ちます。

以下のスクリーンショットに示す例では、結果の 8 が定義された最小しきい値の 9 を超えなかったため、ルーブリックに基づいて採点するカスタム関数評価ツールの評価は不合格になりました。Logic デバッガーを確認すると、レスポンスが引用符で囲まれていたため、LLM による判定では 8 点しか付けられなかったことがわかります。より高いスコアを得るには、プロンプトを改善する必要があります。

AIP Evals のデバッグビューを使用して評価ツールの結果を理解する例。

対象関数間で結果を比較する

評価スイートに複数の対象関数が設定されている場合、AIP Evals で異なる対象の実行結果を選択して比較できます。これは、同じテストケースに対して異なる関数実装がどのようなパフォーマンスを示すかを分析するのに役立ちます。

複数の対象の結果比較ビュー。

AI FDE で結果を分析する

AI FDE を使用して、不合格になったテストケースを分析し、根本原因のパターンを特定し、プロンプトを改善するための提案を受けることができます。

AIP Evals から分析する

  1. 評価スイートのページで結果タブを開きます。
  2. 実行を1つ選択し、テストケースタブを選択します。
  3. AI FDE で分析を選択します。

AIP Logic から分析する

  1. AIP Evals サイドバーから実行結果ダイアログのビューを開きます。
  2. AI FDE で分析を選択します。

実行結果のコンテキストを引き継いで、AI FDE が新規タブで開きます。AI FDE の詳細については、AI FDE のドキュメントをご覧ください。