注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
MODULE_UNREACHABLE
のため失敗しています。どうすればよいですか?<TABLE_NAME>
を追加しましたが、パイプラインのビルド時に AssertionError: 0 instances of <TABLE_NAME> found in 'objects' metadata table
というエラーが発生していますはい、SDDIリポジトリでコードをデバッグおよびプレビューできます。SDDIリポジトリで /transforms-bellhop/src/software_defined_data_integrations/transforms/pipeline_builder.py
ファイルに移動し、Preview ボタンからプレビューしたいトランスフォームを選択します。
SDDIリポジトリは、リポジトリによって生成されたすべての最終データセットに接続された BUILD
というデータセットを生成します。新しく取り込まれたすべてのテーブルがビルドされることを保証するために、この BUILD
データセットをターゲットとする新しいフルビルドスケジュール(上流のデータセットを含む)を作成します。スマートスケジューラーは、生データが再読み込みされたパイプラインの部分のビルドのみを開始します。
MODULE_UNREACHABLE
のため失敗しています。どうすればよいですか?MODULE_UNREACHABLE
は、Spark環境のDRIVER_MEMORYが不足している兆候です。SourceConfig.yamlファイルで選択されたテーブルに対してSparkプロファイルを適用できます。詳細は設定リファレンスを参照してください。最初に割り当てられたプロファイルをリポジトリ設定にインポートするのを忘れないでください。
<TABLE_NAME>
を追加しましたが、パイプラインのビルド時に AssertionError: 0 instances of <TABLE_NAME> found in 'objects' metadata table
というエラーが発生しています新しいテーブルが取り込まれてSDDIパイプラインに追加された後、メタデータデータセット objects
、links
、fields
、diffs
を再実行してください。
いいえ、Bellhopの構成ファイルに新しいテーブルを追加してもセマンティックバージョンを増やす必要はありません。ただし、メタデータデータセット objects
、links
、fields
、diffs
を再ビルドする必要があります。
はい。外部キー生成、エンリッチメントステージ、およびリネーミングステージは PipelineConfigファイルのパラメーター を使用して無効にできます。変更を有効にするにはdeploymentSemanticVersion
を増やす必要があります。
これらのステップのいずれかまたはすべてを無効にすると、データスキーマに影響が生じ、データの下流使用に障害が発生する可能性があります。