注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
以下のコアコンセプトは、AIP Agent Studio を理解し、最大限に活用するために不可欠です。これらのコンセプトを適用する方法については、開始手順チュートリアルをご覧ください。
AIP エージェントは、企業固有の情報とツールを備えたインタラクティブなアシスタントです。
システムプロンプトは、大規模言語モデル (LLM) に対する指示を自然言語で記述したものです。タスクの概要など、最も重要な情報から始め、その後、必要なデータやアプリケーション状態およびツールの使用方法についてのガイダンスを続けます。LLM は、ユーザーが具体的に提供する情報にのみアクセスできることを忘れないでください。
プロンプト戦略とは、LLM を効果的に導くためにプロンプトを構成する方法を指します。プロンプト戦略には、単発生成（single completion）やさらに複雑な反復プロセスを通じて、望ましい結果を達成するためのプロンプトの構造化が含まれます。
単発生成は、LLM が反復ステップなしで 1 回の試行で応答を生成する戦略です。これは、単純なタスクに適しており、最初のトークンまでの時間 (TTFT)を短縮します。
チェーンオブソート推論は、プロンプトに追加の指示を挿入して、LLM がツールを使用し、複数の反復ステップを実行して目標を達成できるようにするアプローチです。このアプローチは、複雑なタスクを管理可能なステップに分解して処理しますが、複雑さが増すため、TTFTが長くなる可能性があります。AIP Agent Studio では、この反復プロセスを推論の検査オプションで確認できます。
検索強化生成は、外部データソースを活用して、LLM に関連情報を動的に提供する手法です。この方法により、LLM の応答が最も最新かつ文脈に適したデータに基づいていることが保証されます。
検索コンテキストは、各メッセージに応じて取得される特定の情報を指し、それを使用して応答を生成します。プロセスは次のとおりです。
このプロセスは、単発生成のプロンプト戦略と互換性があり、チェーンオブソートよりも速いTTFTを提供します。検索コンテキストドキュメントをご覧ください。
最初のトークンまでの時間 (TTFT) は、LLM がプロンプトを受け取った後、応答を生成し始めるまでの速度を測定します。TTFT が短いほど、応答時間が速くなり、スムーズなユーザーエクスペリエンスの維持に重要です。TTFT の最適化には、プロンプトの複雑さと長さを最小限に抑え、関連コンテキストの効率的な取得を確保することが含まれます。チェーンオブソート推論は、複雑さが増すため、TTFT が長くなる可能性があります。
以前は パラメーター として知られていたアプリケーション状態は、プロンプト内のアプリケーション変数であり、LLM の動作をカスタマイズおよび制御します。これにより、タスクの要件に基づいて動的な入力が可能になります。
ツールは、LLM が基本機能を超えて特定のアクションを実行したり情報を取得したりするために使用できる外部機能や API です。ツールが設定された AIP エージェントは、チェーンオブソート推論を使用します。
埋め込みは、テキストの意味を数値で表現したもので、意味的な意味を捉えます。これにより、類似したテキストを効率的に比較および検索できます。AIP Agent Studio では、埋め込みを使用して関連するドキュメントやコンテキストを特定し、正確な応答を提供します。
コンテキストウィンドウは、LLM が 1 度に処理できるテキストの量（通常はトークンで測定）を指します。AIP Agent Studio では、コンテキストウィンドウにはシステムプロンプト、会話履歴、および LLM を支援するために注入される情報（検索コンテキスト、アプリケーション状態、ツールを含む）が含まれます。コンテキストウィンドウを超えるとエラーが発生し、ユーザーは新しいセッションを作成して対話を続ける必要があります。