注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
Foundry は、広く利用されている LLM プロバイダー向けのプロキシエンドポイントを提供し、プロバイダーのネイティブ API と同じ形式のリクエストを受け付けます。これにより、レート制限、データガバナンス、使用状況の追跡といった Foundry の機能を活用しながら、オープンソースの SDK やツールを使用できます。
現在サポートされているプロバイダー API と、それに対応する Foundry エンドポイントは次のとおりです。
/api/v2/llm/proxy/anthropic/v1/messages/api/v2/llm/proxy/openai/v1/chat/completions/api/v2/llm/proxy/openai/v1/responses/api/v2/llm/proxy/openai/v1/embeddings[Beta] xAI chat completions ↗: /api/v2/llm/proxy/xai/v1/chat/completions[Beta] xAI responses ↗: /api/v2/llm/proxy/xai/v1/responses[Beta] Google generateContent ↗: /api/v2/llm/proxy/google/v1/models/{model}:generateContent[Beta] Google streamGenerateContent ↗: /api/v2/llm/proxy/google/v1/models/{model}:streamGenerateContent?alt=ssexAI および Google（Gemini）のエンドポイントは現在ベータ版で、開発が進められています。一部の機能やフィールドはまだサポートされていない可能性があります。
Palantir が提供する言語モデルを使用するには、次の条件を満たしていることを確認してください。
認証情報は、次の Bearer トークンヘッダーを使用して送信します。
Authorization: Bearer {FOUNDRY_TOKEN}
これらのエンドポイントへのリクエストは、対応するプロバイダーのエンドポイントと同じ形式にする必要があります。期待されるリクエスト形式については、プロバイダーのドキュメントを参照してください。
Google の streamGenerateContent プロキシエンドポイントは、現在 SSE レスポンス形式のみをサポートしているため、alt=sse クエリパラメーターを指定する必要があります。
Anthropic など、一部のプロバイダーは非標準の認証ヘッダーを使用しています。こうしたプロバイダーの SDK を使用する場合、認証方法を変更して Bearer トークンを使用するように設定する必要がある場合があります。OpenAI など、すでに Bearer トークン認証を使用しているプロバイダーでは、特別な設定は不要です。
これらのエンドポイントには、ゼロデータ保持（ZDR）や地理的制限の要件など、ほかの AIP の使用と同じデータガバナンスが適用されます。これらの要件に対応するプロバイダー API の機能を選択的に有効にしています。
これらのエンドポイントを通じて利用できるのは、エンロールメントで有効になっているモデルとプロバイダーのみです。複数のプロバイダーが提供するモデルの場合、リクエストは有効なプロバイダーにのみルーティングされます。エンドポイントの使用状況は Resource Management アプリケーションに表示され、レート制限の対象となります。