注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
評価スイートを実行すると、各テストケースはそれぞれ専用のオントロジーシミュレーションで実行されます。テストケースの実行中に行われたオントロジーの編集(オブジェクトの作成、編集、削除など)は、そのシミュレーションにのみ適用されます。これにより、テストと評価の実行中に実際のオントロジーが変更されることはありません。
オントロジーの編集を行う AIP Logic 関数では、TypeScript でカスタム評価関数を設定するか、中間パラメーターを使用する必要があります。カスタム評価関数は、ブール値または数値のデータ型を返す必要があります。また、ブール値または数値のデータ型で構成される struct を返すことで、1個の評価関数から複数のメトリクスを返すこともできます。
オントロジーの編集を出力する関数に対して AIP Evals で評価ツールを追加する際は、中間出力を評価を選択できます。このオプションは、AIP Logic 関数でのみ利用可能です。または、カスタム評価関数を使用を選択して、公開済みの関数を選択します。以下のガイドを通じて、さまざまな種類のオントロジーの編集を探索し、その評価に TypeScript 関数を効果的に使用する方法を学びます。
オブジェクトを作成するオントロジーの編集では、作成されたオブジェクトはシミュレーション内のオントロジーにのみ存在します。そのため、作成されたオブジェクトをテストケースのパラメーターとして設定し、直接渡すことはできません。代わりに、オブジェクトを識別できるプロパティを使用して検索し、そのプロパティを確認します。
Copied!1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17@Function() public async checkTicketWasCreated( expectedRequester: string, expectedDate: LocalDate, expectedClassification: string, ): Promise<boolean> { const matches = Objects.search().supportTicket() .filter(ticket => ticket.ticketRequester.exactMatch(expectedRequester)) .filter(ticket => ticket.ticketCreationDate.exactMatch(expectedDate)) .all(); if (matches.length !== 1) { return false; } return matches[0].classification === expectedClassification; }
オブジェクト編集の出力タイプでは、編集されたオブジェクトは実際のオントロジーにすでに存在しています。シミュレーション内のオントロジーでは、以下に示すように、そのオブジェクトを関数に直接渡してプロパティを確認できます。
Copied!1 2 3 4 5 6 7@Function() public checkTicketClassification( ticket: SupportTicket, expectedClassification: string, ): boolean { return ticket.classification === expectedClassification; }
オブジェクトを削除するオントロジーの編集では、シミュレーション内のオントロジーからオブジェクトが削除されることが期待されるため、そのオブジェクトを評価関数に渡すことはできません。オブジェクトが実際に削除されたことを確認するには、オブジェクトを識別できるプロパティを渡して検索し、結果が返されないことを確認します。
Copied!1 2 3 4 5 6 7@Function() public async checkTicketWasDeleted(ticketId: string): Promise<boolean> { const count = await Objects.search().supportTicket() .filter(ticket => ticket.ticketId.exactMatch(ticketId)) .count(); return count === 0; }