注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

実行結果をデータセットに書き込む

評価対象の関数やワークフローによっては、評価スイートの実行結果をプラットフォームのほかの場所で表示する必要があります。たとえば、分野の専門家が AIP Evals で結果を分析するための技術知識を十分に持っておらず、専用の Workshop アプリケーションでほかの情報とともに実行データを表示したい場合があります。

このニーズに対応するため、AIP Evals は実行結果のデータセットへの書き込みに対応しています。

プロジェクトスコープ実行で評価スイートを実行すると、AIP Evals は設定されたデータセットに実行結果を自動的に書き込みます。これには、関数の出力、評価ツールの結果、ユーザーが指定したメタデータと自動的に取得されたメタデータ、およびエラーが含まれます。設定した目標に基づく各メトリクスの passed および failed の結果には、まだ対応していません。テスト対象の関数がオントロジーを編集する場合、関数の出力は生成されません。LLM-as-a-judge 評価ツールの推論など、評価ツールのデバッグ出力はデータセットに書き込まれません。評価スイート全体の実行のみが記録され、単一のテストケースの実行は記録されません。AIP Chatbot 関数など、プロジェクトスコープ実行に対応していない対象は、結果をデータセットに書き込めません。

実行結果データセットを使用すると、生成されたデータを最大限に柔軟に活用できます。既存の Foundry ツールを使用して、データをより複雑な計算に利用できます。たとえば、データをオブジェクトに書き込んで Workshop に表示したり、Contour でより詳細な分析を実行したりできます。

実行結果をデータセットに書き込むには、プロジェクトスコープ実行モードで評価スイートを実行する必要があります。また、実行結果データセットは評価スイートと同じプロジェクト内にある必要があります。そうでない場合、AIP Evals はデータセットにデータを書き込めません。

実行結果データセットを設定する

実行結果データセットを設定するには、次の手順に沿って進めます。

  1. 評価スイートのページを開きます。
    • AIP Logic で、AIP Logic のサイドバーから評価スイート名を選択します。
    • または、ファイルシステムから評価スイートを開きます。
  2. 詳細パネルの実行履歴データセットセクションで、データセットを作成を選択します。
  3. データセットの名前と保存場所を指定し、確定します。

これらの手順が完了すると、データセットを使用できるようになり、プロジェクトスコープ実行モードで評価スイートを実行すると、結果がデータセットに書き込まれます。

実行結果データセットを設定から外すと、再度選択することはできません。新しいデータセットを作成する必要があります。

実行結果データセットを設定する。