Google Pub/Sub

Foundry と Google Pub/Sub を接続して、リアルタイムでトピックからのデータを Foundry ストリームに読み込む。

対応している機能

データモデル

コネクタはメッセージの内容をパースせず、任意のタイプのデータを Foundry に同期することができます。すべての内容は、データ列の下にアップロードされ、未解析のままです。データをパースするために、下流のストリーミングトランスフォーム（例：Pipeline Builderの parse_json）を使用してください。id列には、Pub/Sub から受信したメッセージIDが表示されます。

同期を設定する際、Foundry のデータセットのスキーマは上記のスキーマと一致している必要があります。

パフォーマンスと制限

コネクタは、シングルコンシューマースレッドを使用して Pub/Sub からメッセージを同期します。Foundry から Pub/Sub へのデータエクスポートでは、Foundry のデータストリームのパーティションごとに1つのスレッドが使用されます。

ストリーミング同期は、一貫性のある長期間実行されるジョブを意図しています。ストリーミング同期が中断されると、期待される結果によっては、潜在的なアウトエージが発生する可能性があります。

Foundry でストリーミング同期を設定する前に、以下の点を考慮してください：

• エージェント接続からのジョブは、アップグレードを適用するためにメンテナンスウィンドウ（通常は週に1回）で再起動します。これらの再起動中の予想されるダウンタイムは5分未満です。
• 直接接続からのジョブは、少なくとも48時間ごとに1回再起動します。リソースの可用性がジョブの即時再起動を許可する場合、予想されるダウンタイムは10分未満です。

設定

1. Data Connection アプリケーションを開き、画面の右上隅にある + New Source を選択します。
2. 利用可能なコネクタータイプから Pub/Sub を選択します。
3. インターネット経由で 直接接続 を使用するか、あるいは 中継エージェント経由 で接続するかを選択します。
4. 以下のセクションにある情報を使用して、コネクタの設定を続けるための追加の設定プロンプトに従います。

Foundry でコネクタを設定する方法については、こちらを参照してください。

認証

2つの利用可能な認証方法から選択します：

• GCP インスタンスアカウント： インスタンスベースの認証の設定方法については、Google Cloud ドキュメンテーション ↗ を参照してください。

  • GCP インスタンス認証は、GCP で適切に設定されたインスタンス上で動作するエージェントを通じて操作する接続のみで機能します。

• サービスアカウントキーファイル： サービスアカウントキーファイル認証の設定方法については、Google Cloud ドキュメンテーション ↗ を参照してください。キーファイルは JSON または PKCS8 の資格情報として提供できます。

設定された資格情報は、以下の項目にアクセスできる必要があります：

• 同期の場合：
  • roles/pubsub.viewer
  • roles/pubsub.subscriber
  • projects.subscriptions.create
• エクスポートの場合：
  • roles/pubsub.publisher

接続詳細

Pub/Sub コネクタには、以下の設定オプションが利用可能です：

Pub/Sub からのデータ同期

ストリーミング同期の設定のチュートリアルで、Pub/Sub との同期の設定方法を学びます。

同期を設定する際、データセットのスキーマは上記のデータモデルセクションで説明したスキーマと一致している必要があります。

Pub/Sub へのデータエクスポート

コネクタは、Data Connection を通じて Pub/Sub へのストリームのエクスポートをサポートしています。

Pub/Sub にエクスポートするには、まず、Pub/Sub コネクタのエクスポートを有効にします。次に、新しいエクスポートを作成します。

エクスポート設定オプション