注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

LLM プロバイダー互換 API

Foundry は、主要な LLM プロバイダー向けのプロキシエンドポイントを提供し、各プロバイダーのネイティブ API と同じ形式のリクエストを受け付けます。これにより、レート制限、データガバナンス、使用状況の追跡などの Foundry の機能を活用しながら、オープンソースの SDK やツールを使用できます。

現在サポートされているプロバイダー API と、対応する Foundry エンドポイントは次のとおりです。

ベータ版のエンドポイント

xAI および Google (Gemini) のエンドポイントは現在ベータ版であり、開発が進められています。一部の機能やフィールドは、まだサポートされていない可能性があります。

前提条件

Palantir が提供する言語モデルを使用するには、次の条件を満たしていることを確認してください。

リクエストの形式

認証情報は、次の Bearer トークンヘッダーを使用して送信します。

Authorization: Bearer {FOUNDRY_TOKEN}

これらのエンドポイントへのリクエストは、対応するプロバイダーのエンドポイントと同じ形式にする必要があります。期待されるリクエスト形式については、プロバイダーのドキュメントを参照してください。

Google の streamGenerateContent プロキシエンドポイントは、現在 SSE レスポンス形式のみをサポートしているため、alt=sse クエリパラメーターを指定する必要があります。

Anthropic など、一部のプロバイダーは非標準の認証ヘッダーを使用します。これらの SDK を使用する場合は、代わりに Bearer トークンを使用するように認証方式を設定する必要がある場合があります。OpenAI など、すでに Bearer トークン認証を使用しているプロバイダーでは、特別な設定は必要ありません。

セッションアフィニティとプロンプトキャッシュ

Anthropic Messages、OpenAI Chat Completions、OpenAI Responses では、任意の X-Palantir-session-id ヘッダーを設定して、関連するリクエストを1つのセッションにまとめることができます。Foundry はこの識別子を使用して、可能な限り同じモデルプロバイダーのバックエンドにリクエストをルーティングします。これにより、プロンプトキャッシュのヒット率が向上する可能性があります。

Anthropic へのリクエストでは、Anthropic または Claude Code クライアントがすでに使用しているセッション識別子に加えて、X-Palantir-session-id を設定します。Palantir ヘッダーは Foundry のルーティングアフィニティを制御します。これらの公開エンドポイントでは、プロバイダーやクライアントのセッション識別子でこのヘッダーを代替することはできません。

セッション識別子を再利用するのは、同じ会話内のやり取りなど、共通のプロンプト接頭辞を共有する関連リクエストに限ってください。関連のない会話には、異なる識別子を使用します。関連のないトラフィックで1つの識別子を共有すると、キャッシュのメリットがないまま、1つのバックエンドにリクエストが集中する可能性があります。

256文字未満の不透明な識別子を使用します。ルーティングアフィニティはベストエフォート方式です。可用性を維持するためにリクエストが別のバックエンドに移動する場合があり、一定期間アクティビティがないとアフィニティは期限切れになります。このヘッダーはキャッシュヒットを保証するものではなく、プロバイダーのプロンプトキャッシュ要件を代替するものでもありません。

たとえば、FOUNDRY_HOSTNAME に Foundry のホスト名、FOUNDRY_TOKEN にトークン、SESSION_ID に会話の識別子を設定します。model フィールドにモデルのリソース識別子を使用して、有効な Anthropic Messages リクエスト ↗を request.json に保存します。

Copied!
1 2 3 4 5 6 curl --request POST \ "https://$FOUNDRY_HOSTNAME/api/v2/llm/proxy/anthropic/v1/messages" \ --header "Authorization: Bearer $FOUNDRY_TOKEN" \ --header "Content-Type: application/json" \ --header "X-Palantir-session-id: $SESSION_ID" \ --data @request.json

その会話で後続のリクエストを送信する際は、同じ SESSION_ID を使用します。

AIP 統合とデータガバナンス

これらのエンドポイントでは、ゼロデータリテンション (ZDR) や地理的制限の要件など、ほかの AIP の利用時と同じデータガバナンスが適用されます。これらの要件に対応するプロバイダー API の機能を選択的に有効にしています。

これらのエンドポイントを通じて利用できるのは、エンロールメントで有効になっているモデルとプロバイダーのみです。複数のプロバイダーが提供するモデルの場合、リクエストは有効になっているプロバイダーにのみルーティングされます。エンドポイントの使用状況は Resource Management アプリケーションに表示され、レート制限の対象となります。