注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
コードリポジトリにエクスポートする
Python および SQL コードは、Code Workbook からコードリポジトリにエクスポートできます。コードリポジトリでは、Git による完全なバージョン管理と高度なパイプラインツールが利用できるため、コードの移行は本番パイプラインに役立ちます。Code Repositories について詳しくはこちら。
エクスポート時には、Code Workbook のコードをコードリポジトリで使用できる形式に変換したコードを含む新しいブランチが、リポジトリに作成されます。この変換はベストエフォートで行われるため、ファイルの移動、データセット名やパスの変更、インポートするパッケージの調整など、コードの修正が必要になる場合があります。
このエクスポートは、1回限りの一方向のエクスポートです。Code Workbook に加えた変更はコードリポジトリに自動的にプッシュされず、同じデータセットを同じリポジトリに再度エクスポートすることには対応していません。コードリポジトリから Code Workbook にコードをエクスポートすることはできません。また、エクスポートを実行するユーザーには、エクスポート先のコードリポジトリに対して少なくとも編集者権限が必要です。
サポート対象の種類
現在、SQL ノード、または Pandas もしくは Spark のデータフレームを入力と出力に使用する Python コードノードのみがサポートされています。エクスポートするノードは、インポートされたデータセットをルートとして、互いに接続されている必要があります。
入力の種類が Python トランスフォーム入力またはオブジェクトのノードには対応していません。
コードをコードリポジトリにエクスポートする前に、必要な言語がコードリポジトリでサポートされていることを確認してください。たとえば、SQL ノードと Python ノードの両方をエクスポートする場合、SQL のみ、または Python のみのリポジトリに新しいサブプロジェクトを追加する必要がある場合があります。
エクスポートする方法
エクスポートするには、Code Workbook で設定の歯車アイコン > コードリポジトリへのエクスポートヘルパーに移動します。
リポジトリを選択をクリックし、コードリポジトリを選択します。
左側のパネルのチェックボックスで、エクスポートするデータセットを選択します。
グラフには、エクスポート可能なデータセット（白）とエクスポートできないデータセット（グレー）が表示されます。エクスポート対象は連結したグラフである必要があるため、選択対象にノードを追加すると、さらにほかのノードがエクスポート可能になる場合があります。無効なノードにカーソルを合わせると、選択できない理由が表示されます。
エクスポートの準備ができたら、プルリクエストを作成をクリックします。
選択したコードリポジトリに、Code Workbook からエクスポートされたコードを含む新しいブランチが作成されます。「プルリクエストを表示」をクリックして、コードリポジトリでプルリクエストを開きます。
ここでエクスポートされたコードを確認し、データセットのパスや名前など、必要な修正を行えます。
transforms-python/src/codeWorkbookExport 内のエクスポートされたデータセットがインポートされ、transforms-python/src/myproject/pipeline.py のパイプラインに意図どおりに追加されていることを確認します。
Code Workbook 内のカスタムパッケージのバージョンは、transforms-python/conda_recipe/meta.yml に追加されます。
Code Workbook と Code Repositories でサポートされるパッケージは、完全には一致しません。大部分のパッケージは正常に動作するはずですが、一部のパッケージはリポジトリのチェックに失敗する場合があります。
準備ができたら、PR を作成し、通常の手順に従ってエクスポートされたコードをパイプラインにマージできます。
同じデータセットに書き込む
デフォルトでは、コードリポジトリへのエクスポートによって、新しいデータセットに書き込まれます。Code Workbook と同じデータセットに書き込みたい場合は、以下の手順に従ってください。
- コードリポジトリにエクスポートアクションによってリポジトリに作成されたブランチに移動します。出力データセットのパスを、目的のデータセットのパスに変更します。
- 各データセットについて、データセットページの詳細タブに移動し、データセットの Job Spec を削除します。これは、リポジトリがデータセットの所有権を取得できるようにするために必要です。
- PR を作成し、通常の手順に従ってコードをパイプラインにマージします。リポジトリで CI チェックが実行されると、対象のデータセットに新しい Job Spec が作成されます。
これらのデータセットをリポジトリに移管すると、元の Code Workbook を使用してデータセットに書き込むことができなくなります。 混乱を避けるため、エクスポートしたノードを削除することを検討してください。