データ統合HyperAuto (SDDI)HyperAuto V1HyperAuto V1 FAQ

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

HyperAuto V1 FAQ

一般的な使用方法とガイダンス

SDDIリポジトリでコードをデバッグおよびプレビューできますか?

はい、SDDIリポジトリでコードをデバッグおよびプレビューできます。SDDIリポジトリで、ファイル /transforms-bellhop/src/software_defined_data_integrations/transforms/pipeline_builder.py に移動し、Preview ボタンからプレビューしたい変換を選択してください。

新しいテーブルが自動的に追加されるスケジュールを設定できますか?

SDDIリポジトリは、リポジトリで生成されたすべての最終データセットに接続された BUILD というデータセットを生成します。新しく取り込まれたテーブルがすべてビルドされることを保証するために、この BUILD データセットをターゲットとする新しいフルビルドスケジュール(上流データセットを含む)を作成します。スマートスケジューラーは、生データが更新されたパイプラインの部分だけビルドを開始します。

テーブル / derived_element のいずれかが MODULE_UNREACHABLE で失敗していますが、どうすればよいですか?

MODULE_UNREACHABLE は、Spark 環境の DRIVER_MEMORY が不足していることを示すことがよくあります。SourceConfig.yaml ファイルで選択したテーブルに対して Spark プロファイルを適用できます。詳細については、設定リファレンスを参照してください。リポジトリ設定に割り当てられたプロファイルをインポートするのを忘れないでください。

テーブル <TABLE_NAME> をパイプラインに追加しましたが、パイプラインをビルドしようとすると AssertionError: 0 instances of <TABLE_NAME> found in 'objects' metadata table で失敗しています

新しいテーブルが取り込まれ、SDDIパイプラインに追加された後に、メタデータデータセット objectslinksfields、および diffs を再実行したことを確認してください。

Bellhop 設定ファイルに新しいテーブルを追加した場合、セマンティックバージョンを上げる必要がありますか?

いいえ、Bellhop 設定ファイルに新しいテーブルを追加した後、セマンティックバージョンを上げる必要はありません。ただし、メタデータデータセット objectslinksfields、および diffs を再構築する必要があります。

SDDIリポジトリによって生成される中間ステージの一部を無効にできますか?

はい。外部キー生成、エンリッチメントステージ、およびリネームステージは、PipelineConfigファイルのパラメーターを使用して無効にできます。変更が反映されるためには、deploymentSemanticVersionをインクリメントする必要があります。

これらのステップをいずれかまたはすべて無効にすると、データスキーマに影響があり、データの下流での使用が中断される可能性があります。