注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
複数のパラメーター値のさまざまな組み合わせを体系的にテストすることは、LLM を活用した関数の評価と最適化において重要です。コストを最小限に抑えながら最も高いパフォーマンスを発揮するモデルや、最良の結果を生成するプロンプトを特定したい場合があります。
実験では、テスト対象の関数のパフォーマンスとコストを最適化できます。パラメーター値を定義すると、AIP Evals はグリッドサーチを使用し、個別の評価スイート実行ですべての組み合わせをテストします。その後、実験結果を分析して、最も高いパフォーマンスを発揮したパラメーター値を特定できます。

この例では、記事を要約する Logic 関数を使い、どのモデルとプロンプトの組み合わせが最も高いパフォーマンスを発揮するかを調べます。実験の対象は Logic 関数に限りません。
まず、モデルとプロンプトの両方をパラメーター化する必要があります。つまり、これらを入力として追加し、Logic 関数内のどこかで使用します。ここでは、プロンプトの表現の微妙な違いを試し、どの表現が最良の要約を生成するかを確認します。extraPromptContext を使って、元のプロンプトにコンテキストを追加します。

モデルについては、変数を必須から任意に変更することを推奨します。また、各 LLM を使用ブロックでモデル変数を使用するように設定する必要があります。これを行うには、UseLLM ブロックでモデルセレクターを選択し、登録済みタブ内のモデル変数に移動します。

Logic 関数をパラメーター化したら、実行設定ダイアログでトグルをオンにして実験を有効にします。

後から結果を簡単に見つけられるように、実験に名前を付けることができます。次に、実験パラメーターを追加します。これらは、異なる値でテストするパラメーターです。各パラメーターには、実験で探索する値の選択肢を複数指定できます。これにより、評価スイートでテストごとに設定されていた既存の値は上書きされます。

セクションの下部では、評価が何回実行されるかを確認できます。プレビューを表示を選択すると、実験でグリッドサーチを使用してテストするパラメーターの組み合わせがすべて表示されます。1つの実験には、最大25回の評価実行を含めることができます。

実験を実行するには、ダイアログを閉じて実験を実行を選択します。
実験が完了したら、サイドパネルの下部にある結果を選択します。AIP Evals アプリケーションに移動し、結果を分析できます。
AIP Logic の直近の実行カードには、一連の評価実行のうち最後の実行(この場合は6回中6回目)の結果のみが表示されます。結果全体を確認するには、AIP Evals からアクセスすることを推奨します。
AIP Evals では、単独の評価実行と実験の実行を結果 > 実行タブで確認できます。AIP Logic の結果(上図)から移動した場合、実行テーブルは直前に実行した実験に自動的に絞り込まれます。

グループ化するオプションでは、テーブルの列を選択して実行をグループ化し、グループごとの集計メトリクスを表示できます。たとえば、モデルでグループ化すると、すべてのメトリクスにわたって各モデルのパフォーマンスを簡単に比較できます。

テーブルヘッダーの右端にある列アイコンを使って、テーブルに表示する列を制御します。
実行テーブルから比較する実行を最大4回分選択し、テストケースを表示またはテストケースサブタブを選択すると、結果をさらに掘り下げることができます。

テストケースの比較は、実行間でテストケースの出力とメトリクスがどう異なるか、また、パラメーターの違いによってパフォーマンスとコストにどのようなトレードオフが生じうるかを調べるデバッグに役立ちます。選択した実行にホバーすると、使用された具体的なパラメーター値を確認できます。これらの値はテーブルでも確認できます。

関連するテストケースや反復をグループ化することで、行の表示方法を変更できます。
列セレクターを使うと、用途に合わせて列の表示と非表示を切り替えられます。たとえば、メトリクスを高密度に表示したい場合は、入力と関数の出力を含む列を非表示にできます。

行にホバーすると、デバッグオプションが表示されます。これを使ってさらに掘り下げ、テストケースの実行を把握してデバッグできます。

これによりドロワーが開き、関数の実行とスイート内の評価ツールの両方について、入力、出力、ログが表示されます。
比較表示は、テーブルのグループ化方法によって異なります。比較対象の実行が個別の行として表示されている場合、デバッガーには選択した行の実行のみが表示されます。
