Goggle Pub/Sub

Foundry を Google Pub/Sub に接続して、リアルタイムでトピックからデータを Foundry ストリームに読み込みます。

サポートされている機能

データモデル

コネクタはメッセージの内容を解析せず、任意のタイプのデータを Foundry に同期できます。すべてのコンテンツは、未解析のまま data 行にアップロードされます。下流のストリーミング変換（例えば、Pipeline Builder の parse_json）を使用してデータを解析します。id 行には、Pub/Sub から受信したメッセージ ID が表示されます。

同期を設定する際、Foundry のデータセットのスキーマは上記のスキーマと一致する必要があります。

パフォーマンスと制限

コネクタはシングルコンシューマスレッドを使用して Pub/Sub からメッセージを同期します。Foundry から Pub/Sub へのデータエクスポート時には、Foundry データストリームのパーティションごとに 1 つのスレッドが使用されます。

ストリーミング同期は一貫性のある、長期にわたるジョブを目指しています。ストリーミング同期が中断されると、期待される結果によってはアウトエージが発生する可能性があります。

Foundry でストリーミング同期を設定する前に、以下の点を考慮してください。

• エージェント接続からのジョブは、アップグレードを取り込むために、メンテナンスウィンドウ（通常は週に一度）で再起動します。これらの再起動中の予想されるダウンタイムは 5 分未満です。
• 直接接続からのジョブは、少なくとも 48 時間ごとに再起動します。リソースの利用可能性がジョブの即時再開を許す場合、予想されるダウンタイムは 10 分未満です。

設定

1. データ接続 アプリケーションを開き、画面右上の + 新規ソース を選択します。
2. 利用可能なコネクタタイプから Pub/Sub を選択します。
3. インターネット経由で 直接接続 を使用するか、または 中間エージェント経由 で接続するかを選択します。
4. 以下のセクションの情報を使用して、コネクタの設定を続けるための追加の設定プロンプトに従います。

Foundry での コネクタの設定 について詳しくはこちらをご覧ください。

認証

2 つの利用可能な認証方法から選択してください：

• GCP インスタンスアカウント： Google Cloud ドキュメンテーション（外部）を参照して、インスタンスベースの認証の設定方法を学びます。

  • GCP インスタンス認証は、GCP で適切に設定されたインスタンス上で実行されるエージェントを通じて操作する接続でのみ機能します。

• サービスアカウントキーファイル： Google Cloud ドキュメンテーション（外部）を参照して、サービスアカウントキーファイル認証の設定方法を学びます。キーファイルは JSON または PKCS8 の資格情報として提供できます。

設定された資格情報は以下にアクセスできる必要があります：

• 同期の場合：
  • roles/pubsub.viewer
  • roles/pubsub.subscriber
  • projects.subscriptions.create
• エクスポートの場合：
  • roles/pubsub.publisher

接続詳細

以下の設定オプションは、Pub/Sub コネクタに利用可能です：

Pub/Sub からのデータ同期

ストリーミング同期の設定 チュートリアルで、Pub/Sub との同期の設定方法を学びます。

同期を設定する際、データセットのスキーマは、上記の (データモデルセクション)[#data-model] で説明されているスキーマと一致する必要があります。

Pub/Sub へのデータエクスポート

コネクタは、データ接続を介して Pub/Sub へのストリームのエクスポートをサポートしています。

Pub/Sub へのエクスポートを行うには、まず Pub/Sub コネクタで エクスポートを有効にします。次に、新しいエクスポートを作成します。

エクスポート設定オプション