Pipeline Builder で Python 関数を使用する

前提条件

このガイドでは、Python 関数を既に作成して公開していることを前提としています。チュートリアルについては、Python 関数のはじめ方 ドキュメントを確認してください。

アーキテクチャ

Python 関数は Pipeline Builder パイプラインでサイドカーコンテナとして実行されます。これにより、関数をデプロイする必要がなく、パイプラインの規模に応じて動的にスケールします。組み込み関数は他のトランスフォームと同様に Pipeline Builder でプレビューできます。

Pipeline Builder パイプラインで関数を使用する

以下の手順に従って、パイプラインで Python 関数を準備および設定します。

1. Python 関数を使用したい Pipeline Builder パイプラインを開きます。

2. 次のいずれかの方法で Pipeline Builder に UDF をインポートします。
   • グラフビューから:
     1. パイプライングラフの上部から Reusables を選択し、次に ユーザー定義関数 を選択します。
        
        
     
     
     2. Import UDF を選択し、利用可能な関数を検索して使用したい関数を見つけます。
     3. 関数名の横にある Add を選択します。関数には Imported タグが表示されます。
        
        
     
     
     4. インポートダイアログを閉じ、関数を使用したい Pipeline Builder グラフの Transform を選択します。
     5. トランスフォームのリストから、インポートした関数を表示するために左側にある UDFs タブを見つけます。
   • トランスフォームピッカーを使用する:
     1. パイプラインビルダーグラフ上の Transform を選択します。
     2. インポートしたい UDF の名前を入力します。
        
        
     
     
     3. Search unimported UDFs を選択します。
     4. 希望する UDF の上にカーソルを合わせて Import を選択します。
        
        
     
     
     
3. 入力列とパラメーターを指定してトランスフォーム定義を記入し、Apply を選択します。

これで、Pipeline Builder グラフに Python 関数が表示され、関数の出力をプレビューできます。

Pipeline Builder での外部 API 呼び出し

Pipeline Builder から外部システムに API 呼び出しを行うには、外部システムへのアクセスを持つ Python 関数 を公開できます。これにより、外部システムと通信するロジックを記述し、パイプラインの一部として使用できます。

Pipeline Builder でユーザー定義関数 (UDF) として使用するには、関数で使用するすべてのソースがパイプラインにインポート可能なように設定されている必要があります。この設定を構成するには、Data Connection のソースに移動し、Connection settings > Code import configuration タブに進みます。

ソースでこのオプションを有効にして Python 関数を公開すると、他の Python 関数と同様にパイプラインで使用できるようになります。