注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

実験を実行する

複数のパラメーター値のさまざまな組み合わせを体系的にテストすることは、LLM を使用する関数を評価し、最適化するうえで重要です。コストを最小限に抑えながら最も優れた性能を発揮するモデルや、最良の結果を生成するプロンプトを特定したい場合があります。

実験を使うと、テスト対象の関数の性能とコストを最適化できます。AIP Evals でテストするパラメーター値を定義すると、グリッドサーチを使い、それぞれ個別の評価スイートの実行ですべての組み合わせをテストできます。その後、実験結果を分析して、最も優れた性能を発揮したパラメーター値を特定できます。

実験のプロセスを説明する図。

実験を設定する

関数を準備する

この例では、記事を要約する Logic 関数を使い、どのモデルとプロンプトの組み合わせが最も優れた性能を発揮するかを特定します。実験の対象は Logic 関数に限定されません。

まず、モデルとプロンプトの両方をパラメーター化する必要があります。これは、両方を入力として追加し、Logic 関数内で使用することを意味します。この例では、プロンプトの言い回しを少しずつ変えて実験し、どれが最良の要約を生成するかを確認します。extraPromptContext を使って、元のプロンプトに追加のコンテキストを加えます。

Logic 関数にモデルを任意の入力として、extraPromptContext を必須の入力として追加する。

モデルについては、変数を必須から任意に変更することを推奨します。また、各 LLM を使用ブロックでモデル変数を使用するように設定する必要があります。これを行うには、UseLLM ブロックのモデルセレクターを選択し、登録済みタブでモデル変数に移動します。

「登録済み」タブにモデル変数が表示されている UseLLM ブロックのモデルセレクター。

実験を有効にする

Logic 関数をパラメーター化したら、実行設定ダイアログのトグルをオンにして実験を有効にします。

「実行設定」ダイアログで「実験」トグルを有効にする。

実験を定義する

実験に名前を付けると、後から結果を簡単に見つけられます。次に、実験パラメーターを追加します。これらは、異なる値でテストするパラメーターです。各パラメーターには、実験で探索する値の選択肢を複数指定できます。これにより、評価スイートのテストごとに設定されていた既存の値が上書きされます。

実験名とパラメーターの入力欄がある「実行設定」ダイアログ。

このセクションの下部では、評価が何回実行されるかを確認できます。また、プレビューを開いて、実験でグリッドサーチを使ってテストするパラメーターのすべての組み合わせを表示できます。

評価の総実行回数のプレビュー。

実験を実行する

実験を実行するには、ダイアログを閉じて実験を実行を選択します。

実験結果を表示して分析する

実験が完了したら、サイドパネルの下部にある結果を選択します。AIP Evals アプリケーションに移動し、結果を分析できます。

AIP Logic の直近の実行カードには、一連の評価のうち最後の実行結果のみが表示されます（この例では、6回中6回目の実行）。結果の全体を表示するには、AIP Evals からアクセスすることを推奨します。

実行を比較する

AIP Evals では、単独の評価実行と実験の実行を結果 > 実行タブで表示できます。AIP Logic の結果（上図）から移動した場合、実行テーブルは、直前に実行した実験に自動的に絞り込まれます。

最新の実験に絞り込まれた Evals の「実行」テーブル。

グループ化するでは、テーブルの列を選択してその列で実行をグループ化し、グループごとに集計されたメトリクスを表示できます。たとえば、モデルでグループ化すると、すべてのメトリクスについてモデルごとの性能を簡単に比較できます。

モデルでグループ化して集計されたメトリクスを表示する。

テーブルヘッダーの右端にある列アイコンを使って、テーブルに表示する列を制御します。

テストケースを比較する

実行テーブルから比較する実行を最大4件選択し、テストケースを表示またはテストケースサブタブを選択して、結果をさらに詳しく確認できます。

「テストケースを表示」。

テストケースの比較は、実行間でテストケースの出力やメトリクスがどのように異なるか、また、異なるパラメーター間で性能とコストにどのようなトレードオフが生じる可能性があるかを調べるデバッグに役立ちます。選択した実行にホバーすると、使用された具体的なパラメーター値を確認できます。テーブル内でも確認できます。

モデルとプロンプトの実験タグにホバーすると表示される実験のメタデータ。