注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
評価対象の関数やワークフローによっては、評価スイートの実行結果をプラットフォームのほかの場所で表示する必要があります。たとえば、分野の専門家が AIP Evals で結果を分析するための技術知識を十分に持っておらず、専用の Workshop アプリケーションでほかの情報とともに実行データを表示したい場合があります。
このニーズに対応するため、AIP Evals は実行結果のデータセットへの書き込みに対応しています。
プロジェクトスコープ実行で評価スイートを実行すると、AIP Evals は設定されたデータセットに実行結果を自動的に書き込みます。これには、関数の出力、評価ツールの結果、ユーザーが指定したメタデータと自動的に取得されたメタデータ、およびエラーが含まれます。設定した目標に基づく各メトリクスの passed および failed の結果には、まだ対応していません。テスト対象の関数がオントロジーを編集する場合、関数の出力は生成されません。LLM-as-a-judge 評価ツールの推論など、評価ツールのデバッグ出力はデータセットに書き込まれません。評価スイート全体の実行のみが記録され、単一のテストケースの実行は記録されません。AIP Chatbot 関数など、プロジェクトスコープ実行に対応していない対象は、結果をデータセットに書き込めません。
実行結果データセットを使用すると、生成されたデータを最大限に柔軟に活用できます。既存の Foundry ツールを使用して、データをより複雑な計算に利用できます。たとえば、データをオブジェクトに書き込んで Workshop に表示したり、Contour でより詳細な分析を実行したりできます。
実行結果をデータセットに書き込むには、プロジェクトスコープ実行モードで評価スイートを実行する必要があります。また、実行結果データセットは評価スイートと同じプロジェクト内にある必要があります。そうでない場合、AIP Evals はデータセットにデータを書き込めません。
実行結果データセットを設定するには、次の手順に沿って進めます。
これらの手順が完了すると、データセットを使用できるようになり、プロジェクトスコープ実行モードで評価スイートを実行すると、結果がデータセットに書き込まれます。
実行結果データセットを設定から外すと、再度選択することはできません。新しいデータセットを作成する必要があります。
