Documentation
ドキュメントの検索
karat

+

K

APIリファレンス ↗
プロダクトに関するFAQData Connection

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

Data Connection

システムから Agent を完全にアンインストールするにはどうすればよいですか？

Agent を完全にアンインストールするには、ユーザーインターフェースでの Agent の再インストールまたはアップグレードに関するドキュメントを参照してください。Agent のディレクトリを削除する前に、関連するすべてのプロセスを停止し、プロキシ設定などのローカル設定をコピーしてください。また、Agent のセットアップドキュメントに記載されているとおりに、cron ジョブをクリアしてください。

タイムスタンプ： 2024年2月13日

S3 からデータセットをインポートし、Foundry でスキーマを適用する際に「java.lang.NullPointerException」および「SchemaColumnConvertNotSupportedException」エラーが発生する原因として、何が考えられますか？

Foundry でスキーマを適用する際に、列のデータ型が誤って解釈されている可能性があります。デバッグするには、Parquet ファイルをダウンロードし、Python コードを使って、適用したスキーマでデータを読み込みます。エラーメッセージに列名が記載されている場合は、問題のある列をスキーマから除外して、残りの列が正しく読み込まれるか確認できます。

タイムスタンプ： 2024年2月13日

Foundry を使用する際に、古いファイルに新しいファイルを追加せず、S3 バケットに最新のエクスポートデータだけが含まれるようにするにはどうすればよいですか？

S3 バケットに最新のエクスポートデータだけが含まれるようにするには、外部トランスフォームを使って AWS API を直接呼び出し、クリーンアップや前処理・後処理のためのカスタムロジックを実装できます。たとえば、エクスポート前にバケット内のすべてを削除する、新しいディレクトリを作成する、内容を移動するといった処理が考えられます。また、Foundry からエクスポートする前に S3 バケットの内容を削除するスクリプトを作成することもできます。

タイムスタンプ： 2024年2月13日

1つの同期に複数の Agent がある場合、作業はどのように分担されますか？Agent 間で並列処理は行われますか？

2個の Agent 間で並列処理は行われません。同期は、利用可能な正常な Agent に対して、ランダムに、またはキュー内の同期が少ない Agent を優先してスケジュールされます。この方式は設定できます。各 Agent は、割り当てられたリソースに応じて、設定可能な数の同期を同時に実行できます。

タイムスタンプ： 2024年2月13日

IP の変更による SQL Server 接続のタイムアウトを解決するにはどうすればよいですか？代わりにコンピューター名を使って接続できますか？

URL にコンピューター名を使用することも含め、新しい情報でソースを再設定することで解決できます。

タイムスタンプ： 2024年2月13日

Service Now コネクターを使って、Service Now インスタンスにチケットを自動作成できますか？

Service Now コネクターは、現在バッチ同期にのみ対応しています。チケットの自動作成など、Service Now への書き込みを行うには、REST API ソースタイプまたは外部トランスフォームを使って、Service Now の API を直接利用する処理を作成できます。

タイムスタンプ： 2024年2月14日

現在、Data Connection ソースは Agent からマーキングを継承しますか？

いいえ、現在、Data Connection ソースは Agent からマーキングを継承しません。

タイムスタンプ： 2024年2月13日

インクリメンタル（差分）同期用のタイムスタンプをインポートする際に、Data Connection でマイクロ秒の精度が失われることに対処し、重複エントリーを回避するにはどうすればよいですか？

タイムスタンプを文字列値として格納する文字列列を追加し、元のタイムスタンプ列の代わりに、その文字列列でインクリメンタル同期を実行します。

タイムスタンプ： 2024年2月20日

同じリージョン内の S3 接続では、Foundry で AWS PrivateLink の追加セットアップが必要ですか？

Foundry インスタンスと顧客の AWS VPC が同じリージョンにある場合、AWS はデータをインターネットに公開せずに転送するため、AWS PrivateLink の追加セットアップは必要ありません。

タイムスタンプ： 2024年2月13日

ジョブの実行時にカスタムプラグインが認識されないのはなぜですか？

プラグインと bootvisor の Java バージョンの違いが原因である可能性があります。

タイムスタンプ： 2024年2月23日

Blob ストレージ間でデータを転送できるように、Globus を使って新しい種類のデータ接続を設定するにはどうすればよいですか？

Python の外部トランスフォームを使って Globus Python SDK と連携する必要があります。

タイムスタンプ： 2024年2月13日

Foundry から Microsoft SQL Server への JDBC ソースのエクスポートには、どのような選択肢がありますか？

JDBC エクスポートでは、現在、JDBC コネクターを使ったレガシーのエクスポートタスクのみが利用可能です。

タイムスタンプ： 2024年2月21日

Oracle EBS 接続用の jar をアップロードしようとすると、「The uploaded Jar was not signed correctly」というエラーが表示されるのはなぜですか？

Palantir が署名した jar のみを使用してください。

タイムスタンプ： 2024年2月13日

data-proxy の制限である1000万行を超えるデータセットをエクスポートするにはどうすればよいですか？

Foundry のトランスフォームでデータセットを Parquet から CSV に変換し、ファイルベースのエクスポート（Data Connection のエクスポート）を使って、S3 などのファイルベースの宛先、または Kafka などのストリーミングシステムにデータを書き込みます。

タイムスタンプ： 2024年2月13日

移行中に同期をそのまま維持しながら、標準の HDFS ソースタイプをカスタム ABFS ソースタイプに更新できますか？

はい、同期をそのまま維持しながらソースタイプを更新できます。既存の設定を保存し、問題が発生した場合は元に戻すことを推奨します。また、実際のソースに変更を適用する前に、まずテスト用ソースで更新を試してください。

タイムスタンプ： 2024年2月13日

共有アクセス署名と Blob SAS トークンを使って ABFS ソースに接続できないのはなぜですか？

ABFS ソースで soft-delete が有効になっている場合、共有アクセス署名と Blob SAS トークンを使って ABFS に接続することはできません。これは Azure で許可されている設定によるものです。

タイムスタンプ： 2024年4月16日

新しいエクスポートフレームワークは表形式の宛先に対応していませんが、レガシータスクを使って表形式のデータソースにデータをエクスポートできますか？

はい、表形式のデータソースに JDBC ドライバーがある場合、JDBC エクスポートタスクを使ってデータをエクスポートできます。

タイムスタンプ： 2024年4月25日

MS OneLake に接続するにはどうすればよいですか？

ABFS コネクターを使うか、外部トランスフォームで OneLake が提供する Python クライアントを利用することで、MS OneLake に接続できます。

タイムスタンプ： 2025年6月25日

データコネクター経由で接続している場合、Foundry 側からデータベース内のストアドプロシージャを表示したり、アクセスしたりできますか？

いいえ、データコネクター経由で接続している場合、Foundry 側からデータベース内のストアドプロシージャを直接表示したり、アクセスしたりすることはできません。ただし、同期の設定時に「SQL クエリ」オプションを使って実行できます。

タイムスタンプ： 2024年4月16日

初回のインストールと起動後に、Agent が追加ファイルのダウンロードを開始するのはなぜですか？

Agent は、bootstrapper / bootvisor / agent バイナリの更新版、および管理対象プラグインのバイナリの初期バージョンまたは更新版をダウンロードする必要があります。これらのうち、常にダウンロードされるものもあれば、そのタイプのソースが Agent に割り当てられた場合にのみダウンロードされるものもあります。

タイムスタンプ： 2024年4月24日

同期 UI のインクリメンタルセクションに表示されないバイナリ型の列 $start を使って、SQL Server の CDC テーブルでインクリメンタル（差分連携）取り込みを設定するにはどうすればよいですか？

切り詰めを避けるため、バイナリ型の列 $start を varchar(max) にキャストし、その列を同期 UI のインクリメンタルセクションで使用します。

タイムスタンプ： 2024年4月16日

Azure にデータをエクスポートする際に、rewritePaths を正しく使ってファイル名を変更するにはどうすればよいですか？また、1個のファイルしかエクスポートされないのはなぜですか？

ファイルベースのエクスポートには、新しいエクスポート機能を使用してください。この機能は rewritePaths に対応していません。代わりに、必要なファイル名の変更やデータの加工は、エクスポート処理の上流で行います。レガシーのエクスポートタスクは設定やデバッグがより難しいため、この方法を推奨します。

タイムスタンプ： 2024年4月16日

Agent を2つのホスト間で移行するにはどうすればよいですか？

Agent を2つのホスト間で移行するには、まず古いホストで ./auto_restart.sh clear; ./init.sh stop を実行し、cron ジョブを削除してブートストラッパーを停止することで、Agent を適切にシャットダウンします。次に、両方のホストが稼働していて接続できることを前提に、scp などのツールを使って、Agent を含むディレクトリ全体を新しいホストにコピーします。

タイムスタンプ： 2024年4月18日

SQL クエリがデータセットの値に基づいて動的に変化する場合、JDBC を使用して Foundry にデータをインポートするにはどうすればよいですか？

Foundry にデータをインポートするには、JDBC でサポートされている同期/抽出を使用します。SQL クエリが動的に変化するユースケースでは、外部トランスフォームを使用して、同期設定を変更するのではなく、データ取り込み用のカスタムロジックを記述します。この方法は、制約があるため推奨されていない Data Connection タスクよりも推奨されます。

タイムスタンプ： 2024年4月16日

Postgres から配列型の列を取り込む際に推奨される方法は何ですか？

配列型の列を文字列として取り込み、その後 Pipeline Builder でパースする方法が推奨されます。

タイムスタンプ： 2024年4月24日

Agent を作成するには、どのプロジェクトレベルの権限が必要ですか？

Agent を作成するには、プロジェクトの所有者権限が必要です。

タイムスタンプ： 2024年4月16日

JDBC ソースを探索しようとして「ExplorationRuntimeReadinessService」エラーが発生した場合、どうすればよいですか？

問題は一時的なものである可能性があり、サービスを数回更新すると解決できる場合があります。

タイムスタンプ： 2024年4月16日

Oracle JDBC ドライバー接続の SSL パラメーターには何を使用すればよいですか？

Oracle JDBC ドライバー接続に必要な SSL パラメーターは CONNECTION_PROPERTY_THIN_NET_ENCRYPTION_LEVEL です。

タイムスタンプ： 2024年5月23日

インクリメンタル（差分）同期で取り込むファイル数を制限し、ファイルが選択される順序を保証するにはどうすればよいですか？

次のフィルター：

- type: sortByLastModified
  order: DESCENDING

を使用すると、取り込むファイル数を制限し、ファイルが選択される順序を保証できます。

タイムスタンプ： 2024年4月24日

Data Connection の Agent は AWS Fargate（サーバーレス ECS または EKS）にインストールできますか？

Palantir は、Data Connection の Agent をデプロイするインフラストラクチャーとして AWS Fargate（サーバーレス ECS または EKS）を推奨していません。主な理由は、デフォルトでアタッチされるボリュームがないためです。これらのサービスを使用してコンテナに Agent をデプロイする構成は、正式にはサポートされていません。

タイムスタンプ： 2024年9月5日

コードベースの外部トランスフォームを使用して Databricks に接続しようとしたときに発生する「Only single connections are supported」エラーを解決するにはどうすればよいですか？

このエラーは、REST API 以外のソースで get_https_connection() を呼び出そうとすることが原因で発生します。解決するには、Databricks インスタンス用の REST API ソースを作成するか、接続用のカスタムクライアントを構築します。「汎用」ソースまたは REST API ソースに資格情報を保存する方法も有効です。

タイムスタンプ： 2024年12月18日