データ接続と統合メディアセット(非構造化データ)メディアの使用コストと制限

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

メディアセットのコンピュート使用量

メディアセットには、すぐに使える高度な変換機能が数多く用意されています。メディア変換は、トランスフォームやパイプラインからトリガーされるだけでなく、メディアアイテムのプレビューなど、プラットフォーム内でメディアアイテムを操作することでもトリガーされます。また、メディアアイテムの内容全体をダウンロードまたはストリーミングする際にもコストがかかります。

使用量は Foundry コンピュート秒単位で追跡されます。以下のテーブルでは、利用可能な各変換について、処理するデータ1ギガバイトあたりのコンピュート秒で使用量のレートを示しています。

Palantir とエンタープライズ契約を締結している場合は、使用量の計算を進める前に Palantir の担当者にお問い合わせください。

変換

使用量のレートは、1 GB あたりのコンピュート秒で測定されます。

すべて

変換使用率
ダウンロード / ストリーム2

画像

変換使用率
PDF を生成40
サイズを変更40
境界ボックス内でサイズを変更40
回転40
コントラストを調整75
注釈を追加75
切り抜き / チップ化75
暗号化 / 復号75
地理タイル75
グレースケール75
DICOM 画像レイヤーをレンダリング75
テキストを抽出 (OCR)275
埋め込みを生成275
テキストを抽出 v2 (OCR)275
レイアウトを考慮して抽出 v2275

音声

変換使用率
チャンク化75
チャネルを選択75
HLS でストリーミング75
トランスコード75
波形の生成75
文字起こし275

動画

変換使用率
シーンフレームのタイムスタンプを取得40
音声を抽出75
タイムスタンプを指定してフレームを抽出75
チャンク化275
すべてのシーンフレームを抽出275
HLS でストリーミング275
トランスコード275

ドキュメント

変換使用率
PDF のページ数を取得40
PDF のページ寸法を取得40
ページを画像としてレンダリング40
境界ボックス内でページを画像としてレンダリング40
すべてのテキストを抽出(生)75
フォームフィールドを抽出75
目次を抽出75
ページからテキストを配列として抽出(生)75
ページ上のテキストを抽出(生)75
PDF の範囲を切り出し75
テキストを抽出 (OCR)275
ページからテキストを配列として抽出 (OCR)275
レイアウトを考慮してテキストを抽出(生 / OCR)275
VLM を使用してテキストを抽出 *275

* この使用量は、自動計算される VLM 使用量に加えて計上されます。

テキスト抽出変換

形式生テキストモードOCR モード自動*モード
テキスト75275275
Markdown/HTML275275275

* 自動モードでは、ページごとに、テキストを直接抽出できるか、OCR が必要かを判定します。

スプレッドシート

変換使用率
シートを JSON に変換275

メディアを大規模に使用する

メディアセットの制限

  • メディアセットにアップロードできるメディアアイテムの数に制限はありません。
  • トランザクション型メディアセットには、1トランザクションあたり10,000個のメディアアイテムというアップロード上限があります。
  • 非トランザクション型メディアセットには、メディアアイテムのアップロード数の上限はありません(トランザクションがないためです)。
  • メディアセット内のメディアアイテムのパスは256文字を超えることはできません。256文字を超えるパスを持つメディアアイテムをメディアセットに追加しようとすると、MediaSet:MediaItemPathInvalid エラーが発生します。
  • 各メディアアイテムの最大ファイルサイズは 50 GB です。
  • インクリメンタル(差分処理)トランスフォームでは、メディアセット入力のバッチサイズの制限がサポートされています。

スロットリング

数百万個のメディアアイテムのアップロードや変換など、メディアセットを大規模に操作することは可能ですが、パイプラインの安定性を確保するためにエラー処理を実装する必要があります。メディアセットを大規模に操作する場合、メディアセットサービスは、ステータスコードが429または503の Quality of Service (QoS) エラーを返してスロットリングを行うことがあります。これは、メディアセットサービスがその時点でストレージまたはコンピュートの負荷を処理できないことを示します。

サービスがスロットリングを行った際に QoS エラーで処理を失敗させるのではなく、クライアントに適切な再試行の仕組みを実装する必要があります。

たとえば、クライアントが /{mediaSetRid}/items に PUT リクエストを送信して数百万個のメディアアイテムをアップロードする場合、QoS エラーを受信したメディアアイテムのアップロードリクエストを再試行する必要があります。

Python トランスフォームで transforms-media ライブラリを使用する場合、通常、再試行の仕組みはすでに用意されています。たとえば、カタログデータセットからメディアセットにメディアファイルをアップロードする場合、ライブラリで提供されるメソッドには、QoS エラーに対処するための再試行ロジックがすでに備わっています。

Copied!
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 from transforms.api import transform, Input, Output from transforms.mediasets import MediaSetOutput @transform( input_files=Input('/examples/image_files'), output_media_set=MediaSetOutput('/examples/image_media_set'), uploaded_media_record=Output('/examples/uploaded_media_record'), ) def compute(input_files, output_media_set, uploaded_media_record): uploaded_media_items = output_media_set.put_dataset_files_and_get_dataframe_of_uploads( input_files, ignore_items_not_matching_schema=False, ignore_items_failing_to_convert=False, ) uploaded_media_record.write_dataframe(uploaded_media_items)