注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
MODULE_UNREACHABLE
で失敗していますが、どうすればよいですか?<TABLE_NAME>
をパイプラインに追加しましたが、パイプラインをビルドしようとすると AssertionError: 0 instances of <TABLE_NAME> found in 'objects' metadata table
で失敗していますはい、SDDIリポジトリでコードをデバッグおよびプレビューできます。SDDIリポジトリで、ファイル /transforms-bellhop/src/software_defined_data_integrations/transforms/pipeline_builder.py
に移動し、Preview ボタンからプレビューしたい変換を選択してください。
SDDIリポジトリは、リポジトリで生成されたすべての最終データセットに接続された BUILD
というデータセットを生成します。新しく取り込まれたテーブルがすべてビルドされることを保証するために、この BUILD
データセットをターゲットとする新しいフルビルドスケジュール(上流データセットを含む)を作成します。スマートスケジューラーは、生データが更新されたパイプラインの部分だけビルドを開始します。
MODULE_UNREACHABLE
で失敗していますが、どうすればよいですか?MODULE_UNREACHABLE
は、Spark 環境の DRIVER_MEMORY が不足していることを示すことがよくあります。SourceConfig.yaml ファイルで選択したテーブルに対して Spark プロファイルを適用できます。詳細については、設定リファレンスを参照してください。リポジトリ設定に割り当てられたプロファイルをインポートするのを忘れないでください。
<TABLE_NAME>
をパイプラインに追加しましたが、パイプラインをビルドしようとすると AssertionError: 0 instances of <TABLE_NAME> found in 'objects' metadata table
で失敗しています新しいテーブルが取り込まれ、SDDIパイプラインに追加された後に、メタデータデータセット objects
、links
、fields
、および diffs
を再実行したことを確認してください。
いいえ、Bellhop 設定ファイルに新しいテーブルを追加した後、セマンティックバージョンを上げる必要はありません。ただし、メタデータデータセット objects
、links
、fields
、および diffs
を再構築する必要があります。
はい。外部キー生成、エンリッチメントステージ、およびリネームステージは、PipelineConfigファイルのパラメーターを使用して無効にできます。変更が反映されるためには、deploymentSemanticVersion
をインクリメントする必要があります。
これらのステップをいずれかまたはすべて無効にすると、データスキーマに影響があり、データの下流での使用が中断される可能性があります。