注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

Amazon Kinesis [Beta]

Beta

Kinesis コネクタはベータ版の状態であり、ユーザーの Foundry エンロールメントでは利用できない可能性があります。Data Connection の 新規ソース ページで Kinesis を見つけることができない場合は、Palantir サポートに連絡してアクセスを有効にしてください。

Foundry を Amazon Kinesis に接続して、Kinesis ストリームからのデータをリアルタイムで Foundry ストリームに読み込みます。

サポートされる機能

機能	状態
ストリーミング同期	🟢 一般公開
探索	🟢 一般公開

データモデル

partition_key (文字列)	data (文字列)	kinesis_ingestion_timestamp (タイムスタンプ)	foundry_ingestion_timestamp (タイムスタンプ)
London	{"firstName": "John", "lastName": "Doe"}	2023-07-12T15:12:42.371Z	2023-07-12T15:12:42.512Z
Paris	{"firstName": "Jean", "lastName": "DuPont"}	2023-07-12T15:12:42.418Z	2023-07-12T15:12:42.512Z

Kinesis コネクタはメッセージの内容をユニコード文字列に解析します。構造化データを解析するには、下流のストリーミング変換（例えば、Pipeline Builderの parse_json）を使用します。

partition_key 行には、メッセージを Kinesis に投稿するために使用されたパーティションキーが含まれます。
kinesis_ingestion_timestamp 行には、メッセージが Kinesis に投稿された時刻が含まれます。
foundry_ingestion_timestamp 行には、メッセージが Foundry に取り込まれた時刻が含まれます。

パフォーマンスと制限

コネクタは常に、ソース Kinesis ストリームのアクティブなシャードごとに単一のコンシューマスレッドを使用します。

ストリーミング同期は、一貫性のある長期間稼働するジョブを意図しています。ストリーミング同期に対する任意の中断は、期待される結果により、潜在的なアウトエージです。

現在、ストリーミング同期には以下の制限があります：

エージェント接続からのジョブは、アップグレードを取り込むためにメンテナンスウィンドウ（通常は週1回）中に再起動します。予想されるダウンタイムは5分未満です。
直接接続からのジョブは、48時間ごとに少なくとも一度再起動します。予想されるダウンタイムは、シングルデジットの分数（リソースの可用性がジョブの即時再起動を許す場合）です。

ダウンタイムを最小限に抑えるために、ソースごとに2つのエージェントを介して接続することをお勧めします。エージェントが重複したメンテナンスウィンドウを持っていないことを確認してください。

メッセージの順序

Kinesis コネクタは、同じ partition_key を持つメッセージに対してメッセージの配信順序を保証します。異なる partition_key 値を持つメッセージは、任意の順序で処理される可能性があります。

セットアップ

Data Connection アプリケーションを開き、画面の右上隅にある + 新規ソース を選択します。
利用可能なコネクタタイプから Kinesis を選択します。
インターネット経由で直接接続を使用するか、または仲介エージェントを介して接続を選択します。
- ダウンタイムを最小限に抑えるために、ソースごとに2つのエージェントを介して接続することをお勧めします。エージェントが重複したメンテナンスウィンドウを持っていないことを確認してください。
以下のセクションの情報を使用して、追加の設定プロンプトに従ってコネクタの設定を続けます。

Foundry でコネクタの設定について詳しくはこちらをご覧ください。

接続設定

パラメーター	必須?	デフォルト	説明
AWS Region	はい	us-east-1	Kinesis ストリームが存在する AWS リージョン。

認証

Kinesis 接続のための認証方法を選択します：AWS インスタンスまたは静的資格情報。

以下は、Foundry が Kinesis ストリームから読み取るために必要な許可を持つサンプル IAM ポリシーです。

Copied!1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
{
  "Version": "2012-10-17", // ポリシーのバージョン
  "Statement": [
    {
      "Sid": "ReadKinesisStream", // ステートメントのID
      "Effect": "Allow", // 効果（この場合は許可）
      "Action": [ // 操作
        "kinesis:ListShards", // シャードのリストを取得
        "kinesis:GetShardIterator", // シャードイテレータを取得
        "kinesis:GetRecords", // レコードを取得
        "kinesis:DescribeStream" // ストリームの詳細を取得
      ],
      "Resource": "arn:aws:kinesis:us-east-1:123456789012:stream/stream-name" // 対象リソースのARN
    }
  ]
}

上記のJSONは、AWSのIAMポリシーを表しています。このポリシーは、特定のKinesisストリームに対する読み取り権限を許可するものです。

AWS インスタンス

AWS インスタンス認証は、エージェント経由の接続時のみ利用可能であり、直接接続では利用できません。

ユーザーの Foundry エージェントがプロビジョニングされた IAM ロール（例：EC2 インスタンス）を持つ AWS リソース上で実行されている場合、Kinesis コネクタはプロビジョニングされた IAM ロールを使用して Kinesis ストリームに接続します。追加の設定は必要ありません。

静的な資格情報

静的な資格情報とは、IAM ユーザーに紐付けられたアクセスキー ID とシークレットアクセスキーを用いた標準的な AWS 認証を指します。

パラメーター	必須?	デフォルト
アクセスキー ID	はい	いいえ
シークレットアクセスキー	はい	いいえ

STS ロール

Kinesis コネクタは、オプションとして STS ロールを仮定して Kinesis ストリームに接続することができます。これらのパラメーターに関する詳細は、AWS ドキュメンテーションを参照してください。

パラメーター	必須?	デフォルト
ロール ARN	はい	いいえ
ロールセッション名	はい	いいえ
ロールセッションの期間	はい	900
外部 ID	いいえ	いいえ

ネットワーキング

コネクタは AWS Kinesis API にアクセスできる必要があり、STS ロールを使用している場合はオプションとして AWS STS API にもアクセスできる必要があります。

Kinesis API: https://kinesis.<region>.amazonaws.com
STS API: https://sts.<region>.amazonaws.com

Kinesis からのデータ同期

ストリーミング同期の設定のチュートリアルで Kinesis との同期の設定方法を学びましょう。