Pipeline Builder の AIP 機能

Pipeline Builder には、ユーザーのパイプラインの理解、構築、および管理を支援するために設計された AIP 支援機能が多数あります。これらの機能により、1 つのプロンプトで新しいデータ変換ロジックを生成したり、パイプライン開発のステップを説明したり、名前や説明を提案したり、正規表現を作成および編集したり、タイムスタンプをキャストしたりすることができます。

Pipeline Builder アシスタント機能

生成

生成機能を使用して、ユーザーのプロンプトに基づいて新しいデータ変換ロジックを作成します。AIP は Pipeline Builder 全体で利用可能なすべてのデータ変換を活用し、特定のニーズに最適なものを推奨します。これにより、元データを公開することなく、変換を提案するために使用される理由と根拠に透明性を持たせることができます。最後に、AIP 変換は通常のデータ変換と同様にパイプラインロジックに保存され、既存のワークフローにシームレスに統合されます。

生成機能を使用するには、Pipeline Builder グラフの中央上部にある 2 つの星の紫色のアイコン AIP を選択します。ポップアップ ウィンドウの指示に従って、入力としてグラフ上のノードを選択します。cmd (MacOS) または ctrl (Windows) を押しながらノードを選択して、選択に追加または削除します。

次に、AIP に評価させるプロンプトを入力し、Generate を選択して実行を開始します。

これにより、1 つ以上のトランスフォームノードが紫色で強調表示され、生成されたトランスフォームの説明が表示されます。

トランスフォームを続行するには、Back to generate を選択します。次のノードセットを選択し、次のプロンプトを入力してパイプラインの構築を続行します。

最近のプロンプトを振り返るには、入力ボックスを選択します。履歴エントリを選択することで、元の入力が自動的に選択され、プロンプトを再試行できます。

説明

説明機能を使用して、開発プロセスの各ステップでパイプラインの説明を動的に取得します。現在の状態を共同作業者と同期させたり、新しい承認者に貴重なコンテキストを提供したり、新しいチームメンバー間での知識移転を最小限のメンテナンスで促進したりすることができます。

説明を使用するには、Pipeline Builder グラフの中央上部にある紫色の電球 AIP を選択します。ポップアップ ウィンドウの指示に従って、入力としてグラフ上のテーブルを選択します。ノードを選択して追加または削除するには、ノードを押し続けます。選択には少なくとも 1 つのトランスフォームノードを含め、単一の出力を持つ接続されたノードセットである必要があります。

ノードを選択して追加または削除するには、ノードを押し続けます。選択には少なくとも 1 つのトランスフォームノードを含め、単一の出力を持つ接続されたノードセットである必要があります。

最後に、Explain xx nodes を選択してトランスフォームの説明を生成します。

単一のノードを説明するには、それを選択し、右側のメニューに表示される紫色の Explain ボタンを選択します。

さらに、ノード内のトランスフォームセットを説明することもできます。

Pipeline Builder のトランスフォームについてさらに学びます。

名前と説明を提案

Pipeline Builder で AIP を使用して、トランスフォームノードの名前と説明を生成し、作業を迅速に文書化できます。

デフォルトのトランスフォーム名の横にある紫色の AIP 星アイコンを選択して、提案された名前を生成します。

この例では、Open claims by landlord... という提案された名前は、Transform path よりも多くの情報を追加します。

紫色の Generate ボタンを選択して、提案された説明を生成します。

この例では、説明は家主 ID によってクレームデータをグループ化するトランスフォームについて詳細を提供します。

生成された提案はトランスフォームパスの短い要約です。生成された名前や説明を保存すると、その情報は自動的にパイプラインに保存され、共同作業者に表示されます。

一度に最大 10 個のノードを提案するには、画面下部の Suggestions タブを開きます。

パイプライン上の 1 つ以上のノードを選択して、名前と説明を生成します (既に存在しない場合)。

各提案を保存するには、Apply を選択します。

トランスフォーム アシスト

トランスフォーム アシスト機能は、Pipeline Builder で利用できる多くの変換オプションを最大限に活用するのに役立ちます。AIP の力を借りて、正規表現ヘルパーは入力に基づいて正規表現を生成し、既存の表現を更新できます。さらに、タイムスタンプフォーマッターを使用すると、文字列からタイムスタンプに迅速にキャストボード値を変換できます。

正規表現ヘルパー

正規表現ヘルパーは、正確で効率的な正規表現パターンを提供して、データ内の文字列を抽出、置換、および検索することにより、データパイプラインの作成プロセスを簡素化します。正規表現のパラメーター (regex extract、regex extract all、regex replace、regex find、regex match) を使用する新しいトランスフォームボードを最初に作成します。以下の例では、email_string 列の正規表現抽出トランスフォームを使用します。

Pattern フィールドの横にある紫色の AIP 星アイコンを選択し、作成したい正規表現を説明します。この例では、メールドメインを検索します。

紫色の Generate ボタンを選択して結果を表示します。

既存の表現を更新

正規表現ヘルパーを使用して既存の正規表現を更新することもできます。

Pattern フィールドの横にある紫色の AIP 星アイコンを選択します。次に、修正する正規表現と修正を入力します。以下の例では、正規表現 @([\da-z\.-]+\.([a-z\.]{2,63}) に大文字を含める必要があります。

紫色の Generate ボタンを選択して結果を表示します。

タイムスタンプフォーマッター

タイムスタンプフォーマッターは、キャストボードで文字列をタイムスタンプに迅速にキャストするための時間節約のソリューションを提供します。タイムスタンプフォーマッターを使用するには、最初に文字列からタイムスタンプにキャストするように構成された新しいキャストボードを作成します。以下の例では、異なる形式のタイムスタンプがあります。

次に、紫色の Generate ボタンを選択して、キャストで使用する解析形式の例を入力します。この例では、5 つのタイムスタンプすべてを貼り付けます。

AIP はこれらのタイムスタンプに一致する形式のセットを生成し、それらをキャストボードに入力します。Apply を選択します。

次に、文字列列がタイムスタンプ列に解析されます。

Pipeline Builder のトランスフォームについてさらに学びます。

提案説明を生成

Pipeline Builder で AIP を使用して、提案を作成する際に変更内容を迅速に説明するための提案説明を生成することもできます。

これを行うには、最初に右上隅の Propose を選択します。これにより、提案作成ビューに移動します。

次に、紫色の Generate ボタンを選択します。AIP は、ユーザーのブランチ上のパイプラインに対する変更の提案説明を作成します。

この例では、いくつかのパイプライン設定の変更を含む複数の変更がありました。AIP はそれらすべてを説明します。

追加のコンテキストを入力したり、特定の変更に注意を引いたり、テキストボックスに大まかな提案説明を書き始めたりすることもできます。AIP はこれを使用して提案説明を強化します。生成された説明はユーザーのテキストの下に明確な区切りで追加されます。

再生成するか、提供した説明を変更するには、Generate を選択する前に、関連するテキストのみがテキストボックスにあることを確認します。最良の結果を得るには、以前に生成された説明を含むすべてのテキストを削除する必要があります。

カスタムワークフロー用の AIP 機能

以下の機能を使用するには、プラットフォーム管理者によってカスタムワークフロー用の AIP 機能の権限を付与されている必要があります。

Text to embeddings

Text to embeddings 式を使用して、テキストをベクトルとして埋め込むことができます。Text embedding ada-002 埋め込みモデルを使用して埋め込みベクトルに変換する文字列を提供します。これらのベクトルは、単語やフレーズの意味を捉えるように設計されており、高度なテキスト分析や操作を可能にします。

テキストの埋め込みは計算コストが高く、プレビューやビルドが遅くなる可能性があります。

Use LLM node

Use LLM node 機能は、大規模言語モデル (LLM) を大規模にデータに対して実行するための便利な方法を提供し、さまざまなデータ変換の間に LLM 処理ロジックをシームレスに組み込むことができ、コードを必要とせずにパイプラインに LLM を統合することが簡単になります。

---

注: AIP 機能の利用可能性は変更される可能性があり、顧客間で異なる場合があります。