Pipeline Builder で LLM ノードを使用する

Pipeline Builder で LLM ノードを使用することで、大規模言語モデル (LLM) をデータに対してスケーラブルに実行する便利な方法を提供します。このノードを Pipeline Builder に統合することで、さまざまなデータトランスフォームの間に LLM 処理ロジックをシームレスに組み込むことができ、コードを書く必要なくパイプラインに LLM を統合することが簡単になります。

Use LLM ノードには、事前に設計されたプロンプトテンプレートが含まれています。これらのテンプレートは、経験豊富なプロンプトエンジニアの専門知識を活用した、LLM の初心者向けのスタートを提供します。また、トライアルランを実行して、モデルを全データセットに対して実行する前にプロンプトを繰り返し調整することができます。このプレビュー機能は数秒で計算され、フィードバックループを高速化し、全体的な開発プロセスを強化します。

使用するには、プラットフォーム管理者からカスタムワークフローのための AIP 機能の権限を付与される必要があります。

データセットを選択する

データセットに LLM を適用するには、ワークスペース内のデータセットノードを選択し、Use LLM を選択します。

プロンプトを選択する

以下に、利用可能なテンプレートプロンプトのさまざまな例を示します。独自のプロンプトを作成するには、Empty prompt を選択します。

分類

データをさまざまなカテゴリーに分類したい場合、分類プロンプトを使用します。

以下の例は、レストランのレビューを「サービス」「食べ物」「雰囲気」の 3 個のカテゴリーに分類するためのプロンプトの記入方法を示しています。

Multiplicity フィールドでは、出力列に 1 個のカテゴリー、複数のカテゴリー、または正確な数のカテゴリーを含めるかどうかを選択できます。この例では、レビューが該当するすべてのカテゴリーを含めたいので、One or more categories オプションを選択します。

Context フィールドには、データの説明を入力します。この例では「Restaurant Review」と入力します。

Categories フィールドには、データを割り当てたい個別のカテゴリーを入力します。この例では「Food」「Service」「Atmosphere」の 3 個のカテゴリーを指定します。

Column to classify フィールドでは、分類したいデータを含む列を選択します。この例では、レストランレビューを含む review 列を選択します。

要約

要約テンプレートを使用すると、データを指定された長さに要約できます。

このテンプレートでは、要約の長さを指定できます。単語、文、段落のいずれかを選択し、Summarization size フィールドにサイズを指定します。

この例では、レストランレビューの 1 文の要約が必要なので、要約サイズに 1 と指定し、ドロップダウンから Sentences を選択します。

翻訳

データを別の言語に翻訳するには、翻訳プロンプトを使用します。Language フィールドに翻訳したい言語を指定します。以下の例では、レストランレビューをスペイン語に翻訳するので、Language フィールドに Spanish と指定します。

感情分析

データに対する感情の正または負に基づいて数値スコアを割り当てたい場合、感情分析プロンプトを使用します。

このテンプレートでは、出力スコアのスケールを設定できます。以下の例では、レビューが最も肯定的な場合は 5、最も否定的な場合は 0 というスコアを取得したいと考えています。

エンティティ抽出

データから特定の要素を抽出したい場合、エンティティ抽出プロンプトを使用します。この例では、レストランレビューから food、service、および times visited の要素を抽出したいと考えています。

特に、すべての食べ物の要素を String Array として、サービスの質を String として、その人がレストランを訪れた回数を示す Integer として抽出したいと考えています。

これらの結果を得るために、Entities to extract フィールドを更新します。Entity name に food、service、および number visited を入力し、以下のプロパティを指定します。

• food には、Type に Array を指定し、その配列のタイプとして String を選択します。
• service には、タイプとして String を選択します。
• number visited には、タイプとして Integer を選択します。

この例では、LLM の出力が指定したタイプに従うように設定されています。

プロンプトページの Output type の下で、抽出されたエンティティのタイプを調整することもできます。

空のプロンプト

プロンプトテンプレートがどれもユーザーの使用ケースに合わない場合は、Empty prompt を選択して独自のプロンプトを作成できます。

Vision

現在、Pipeline Builder の GPT-4o モデルはビジョン機能を必要とするプロンプトをサポートしています。つまり、モデルは画像を取り込み、それらを分析し、視覚入力に基づいて質問に答えることができます。

このビジョン機能を使用するには、空のプロンプトテンプレートの Provide input data セクションにメディアリファレンス列を入力し、モデルとして GPT-4o を選択します。

オプション設定

出力タイプ

プロンプトページで、LLM 出力が従うべき出力タイプを指定できます。画面下部近くにある Output type オプションを選択し、ドロップダウンメニューから希望するタイプを選びます。

エラーを含める

また、プロンプトページで、出力値と共に LLM エラーを表示するように出力を設定できます。この設定により、出力タイプが元の出力タイプとエラーストリングから成る構造体に変わります。LLM エラーを含めるには、Include errors の横にあるボックスにチェックを入れます。

エラーなしで元の出力に戻すには、Include errors ボックスのチェックを外します。

既に処理された行の計算をスキップする

計算コストと時間を節約するために、Skip recomputing rows を切り替えて既に処理された行の計算をスキップできます。

Skip recomputing rows が有効な場合、入力プロンプトに渡された列およびパラメーターに基づいて行が以前に処理された行と比較されます。同じ列およびパラメーター値を持つ一致する行は、将来のデプロイメントで再処理することなくキャッシュされた出力値を取得します。

プロンプトに変更が加えられ、すべての行を再計算する必要がある場合は、キャッシュをクリアできます。LLM ビューの上に警告バナーが表示されます。

キャッシュをクリアするには、赤いゴミ箱アイコンを選択します。キャッシュがクリアされると、次回のデプロイメントですべての行が再処理されます。

出力タイプが変更された場合、キャッシュは自動的にクリアされます。この場合、警告バナーが表示されます。間違って変更した場合は、バナーの undo change を選択できます。

キャッシュの状態に変更がある場合、ブランチをマージするときに Changes ページに表示されます。

複数の下流出力を持つ Use LLM ノードで Skip recomputing rows が有効になっている場合、これらの出力を同じジョブグループに配置する必要があります。そうしないと、デプロイメントを試みると次のエラーが発生します。

このエラーを修正するには、新しいジョブグループを作成してデフォルトのジョブグループの外に配置します。

[高度な設定] モデルの設定を表示する

各プロンプトごとに、その Use LLM ノードで使用されるモデルを設定できます。

• Model Type: GPT インスタンスのモデルタイプ (3.5 や 4 など)。Use LLM ノードは、Mistral AI の Mixtral 8x7b などのオープンソースモデルもサポートしています。
• Temperature: 値が高いほど出力がランダムになり、値が低いほど出力が集中し、決定的になります。
• Max Tokens: 出力内のトークン数を制限します。トークンは、言語モデルが書かれた言語を理解し処理するための構成要素として使用する小さなテキストの断片と考えることができます。
• Stop Sequence: ストップシーケンス値のいずれかに達した場合、LLM の生成を停止します。最大 4 個のストップシーケンスを設定できます。

トライアルラン

各 Use LLM ボードの下部に、特定の LLM を例でテストするオプションがあります。Trial run タブを選択し、左側にテストしたい値を入力します。その後、Run を選択します。

さらに多くの例をテストするには、Add trial run を選択します。

入力データから直接例を追加するには、Input table タブに移動し、トライアルランで使用したい行を選択します。Use rows for trial run を選択すると、選択した行がトライアルランとして自動的に Trial run tab に戻されます。

トライアルランを実行した後、モデルに送信された生のプロンプトと生の出力を見ることができます。選択されたトライアルランの右側にある </> アイコンを選択します。

これにより、詳細を含むダイアログが開きます。詳細には以下が含まれます。

• 初期プロンプト: バックエンドが行う修正や追加を含む、モデルに送信される正確なプロンプト。
• 中間 LLM 出力: 失敗した出力を含む、LLM からのすべての出力。
• 修正: 失敗に対して行われた修正の詳細。
• 最終出力: LLM が提供する最終結果。

左側のそれぞれのタイトルを選択して、パネルの右側に生のテキストを表示します。

プレビューと作成

5 個のテンプレートのいずれかを使用する場合、Preview タブを選択してプロンプトの指示を作成する前にプレビューできます。Preview タブでは、指示を見ることはできますが編集することはできません。テンプレートを編集するには、Configure タブに戻ります。

Create prompt を選択して、新しい出力列の名前を編集し、Output column で結果をプレビューします。

出力列の名前を変更するには、Output column セクションを編集します。出力テーブルプレビューに適用された変更を表示するには、Applied を選択します。出力テーブルをプレビューするには、Output table タブを選択します。このプレビューでは、最初の 50 行のみが表示されます。

最後に、Use LLM ノードの設定が完了したら、右上の Apply を選択します。これにより、LLM ボードの出力にトランスフォームロジックを追加し、メインの Pipeline Builder ワークスペースで LLM ボードを選択したときに最初の 50 行のプレビューを表示できます。