実行結果を分析する

実行結果には、テストケースと評価基準に対して関数がどのような性能を示したかが表示されます。結果表示は、AIP Evals アプリケーション、または AIP Logic と AIP Chatbot に統合された AIP Evals サイドバーで利用可能です。

評価ツールに合格基準を設定している場合、AIP Evals は各テストケースのステータスを合格または不合格に自動的に判定します。結果ページには、すべてのテストケースに対する全体の合格率が表示されます。

テストケースのデバッグ表示

特定のテストケースの結果をさらに詳しく調べたい場合があります。そのような場合には、デバッグ表示を利用できます。この表示では、個々のテストケースの実行トレース、入出力データ、エラーメッセージが提供され、関数の出力と評価ツールの結果を理解できます。

デバッグ表示にアクセスする

テストケースのデバッグ表示を開く方法はいくつかあります。AIP Evals、AIP Logic、または AIP Chatbot から開くことができます。

AIP Evals で

1. 評価スイートのページで結果タブを開きます。
2. 実行を選択し、テストケースに切り替えます。
3. テストケースの結果にカーソルを合わせます。
4. テストケースの行の右側に表示される開くを選択します。

AIP Logic または AIP Chatbot で

1. 実行結果ダイアログの表示で、テストケースの結果にカーソルを合わせます。
2. テストケースカードの右上隅に表示されるデバッガーを選択します。
3. デバッグ表示が開き、詳細な実行情報が表示されます。

デバッグ表示の機能

デバッグ表示では、テスト関数の実行と評価ツールの結果に関する詳細情報が提供されます。次のことができます。

• テストケースのテスト関数の入力と出力を確認します。
• TypeScript/Python 関数： 実行されたコードの、構文が強調表示されたコードプレビューにアクセスします。
• AIP Logic 関数： ネイティブの Logic デバッガーを使用して、関数の実行をステップごとに追跡します。
• 評価ツール： 入力値と出力値、評価ツールの結果の期待値と実際の値、およびカスタム関数評価ツールと一部の組み込み評価ツールのデバッグ出力を確認します。

一部の評価ツールでは、評価ツールタブのデバッグ出力として追加のコンテキストが表示されます。たとえば、組み込みの LLM-as-a-judge 評価ツールは、モデルの推論をデバッグ出力として返すため、特定の判定に至った理由を理解するのに役立ちます。

カスタム評価ツールを作成する場合、これらもデバッグ出力を生成できます。カスタム評価ツールがメトリクスの出力とともに返す文字列値は、すべてデバッグ出力として表示され、推論、中間値、診断情報などの追加のコンテキストを提供します。

AIP Logic でカスタム関数評価ツールを作成する場合は、ネイティブの Logic デバッガーにもアクセスできます。これにより、評価で特定の結果が生成された理由を理解できます。これは、評価ツールで LLM-as-a-judge を使用している場合に特に役立ちます。

以下のスクリーンショットの例では、カスタム関数のルーブリック採点評価ツールは合格しませんでした。結果の 8 が、定義された最小しきい値の 9 を超えなかったためです。Logic デバッガーを確認すると、レスポンスが引用符で囲まれていたため、LLM の判定が 8 点にとどまったことがわかります。より高いスコアを得るには、プロンプトを改善する必要があります。

対象関数間で結果を比較する

評価スイートに複数の対象関数が設定されている場合、AIP Evals で異なる対象の実行結果を選択して比較できます。これは、同じテストケースに対して異なる関数実装がどのような性能を示すかを分析するのに役立ちます。

AI FDE で結果を分析する

AI FDE を使用して、失敗したテストケースを分析し、根本原因のパターンを特定し、プロンプトを改善するための候補を受け取ることができます。

AIP Evals から分析する

1. 評価スイートのページで結果タブを開きます。
2. 失敗したテストケースを含む実行を1件選択し、テストケースタブを選択します。
3. AI FDE で分析を選択します。

AIP Logic から分析する

1. AIP Evals サイドバーから実行結果ダイアログの表示を開きます。
2. AI FDE で分析を選択します。

実行結果のコンテキストを含む AI FDE が新規タブで開きます。AI FDE の詳細については、AI FDE のドキュメントを参照してください。