メディアセット

メディアセットを使用すると、メディアファイルを保存、加工、操作できます。メディアセットはプラットフォーム全体で利用でき、ワークフローを支えます。

メディアをワークフローに統合する方法については、関連するドキュメントを参照してください。

• メディアを Foundry にインポートする
• Code Repositories または Pipeline Builder でメディアを加工する
• オントロジーでメディアを使用する
• Workshop でメディアを使用する
• Functions でメディアをアップロードして使用する
• メディアセットでラスターデータを使用する

メディアを使用したエンドツーエンドのワークフローを構築するウォークスルーについては、ワークフローの例を参照してください。

サポート対象のメディアセットスキーマ

メディアセットにはスキーマタイプがあり、ドキュメント、画像、音声など、そのメディアセットに保存できるファイルの種類を定義します。また、すべてのメディアセットには主要形式があり、メディアセット内のすべてのファイルが従う必要のあるファイル形式を指定します。

メディアセットでサポートされているファイル形式は次のとおりです。

• 音声
  • WAV (.wav)
  • FLAC (.flac)
  • MP3 (.mp3)
  • MP4 (.mp4)
  • NIST SPHERE (.sph)
  • WEBM (.webm)
• DICOM
  • DICOM (.dcm)
• ドキュメント
  • PDF (.pdf)
  • DOCX (.docx)（追加入力形式として）
  • PPTX (.pptx)（追加入力形式として）
  • TXT (.txt)（追加入力形式として）
• メール
  • EML (.eml)
• 画像
  • PNG (.png)
  • JPEG (.jpg, .jpeg)
  • JP2K (.jp2)
  • BMP (.bmp)
  • TIFF (.tiff, .tif)
  • NITF (.nitf)
• スプレッドシート
  • XLSX (.xlsx)
• 動画
  • MP4 (.mp4)
  • MOV (.mov)
  • TS (.ts)
  • MKV (.mkv)

一部の形式には追加の制限があります。メディアセットは、表示に独自の機能が必要な PDF ファイルや、パスワード、デジタル署名、暗号化で保護された PDF ファイルに対応していません。XLSX ファイルについては、複雑な数式や、画像を含む埋め込みファイルなど、一部の高度な機能に対応していません。

追加入力形式

メディアセットには追加入力形式を設定することもでき、ほかのファイル形式をメディアセットに受け入れられるようになります。これらのファイルは、アップロード時に主要形式へ自動的に変換されます。アップロード時に受け入れられるのは、指定された追加入力形式のみです。

追加入力形式は、メディアセットの作成時、およびメディアセットの詳細タブで設定できます。

仮想メディアセットには追加入力形式を指定できません。

一部のファイル形式は、追加入力形式としてのみ処理できます。たとえば、DOCX (.docx)、PPTX (.pptx)、TXT (.txt) ファイルは、主要ファイル形式には対応していませんが、追加入力ファイル形式として PDF (.pdf) メディアセットにアップロードできます。

すべての主要形式が追加入力形式に対応しているわけではありません。

マルチモーダルメディアセット

メディアセットをマルチモーダルメディアセットとして設定することもでき、任意のファイル形式をアップロードできるようになります。これは、複数のメディアスキーマタイプのファイルを必要とするワークフローに役立ちます。

マルチモーダルメディアセットにはいくつかの制限があります。プラットフォーム内でのプレビューは、サポート対象のスキーマタイプを使用するメディアアイテムでのみ利用できます。また、仮想マルチモーダルメディアセットを使用する場合、追加入力形式のプレビューには対応していません。アクセスパターンは、サポート対象のスキーマタイプを使用するメディアアイテムで機能しますが、最初にスキーマを検証するか、スキーマで絞り込む必要があります。サポート対象外のスキーマタイプのメディアアイテムは、アクセスパターンで使用できません。

Media Reference

メディアセット内の項目は、Media Reference を使用して参照できます。Media Reference を使用すると、メディアアイテム自体をコピーせずに、Foundry でメディアアイテムを使用できます。

Media Reference を使用して、データセット内でメディアセットの項目を参照できます。これは、メディアアイテムをメタデータやその他の情報と表形式で関連付ける場合に役立ちます。たとえば、元の PDF を、追加の列として格納したファイル名、ページ数、抽出テキストと関連付けることができます。

また、Media Reference を、バッチ推論パイプラインのモデルアダプターへの入力として使用することもできます。

メディアセットの Media Reference のリストを生成するには、Pipeline Builder のメディアセットをテーブル行に変換データ加工を使用します。また、Python トランスフォームで transforms-media ライブラリをインポートし、list_media_items_by_path_with_media_reference メソッドを呼び出して、Media Reference を生成することもできます。

パスが新しいアップロードによって上書きされた場合でも、「上書きされた」メディアアイテムへの保存済みの Media Reference は、引き続き元の項目を表示し、参照します。

Media Reference の種類

Media Reference は、次の2つの場所のいずれかを参照できます。

• メディアセット内のメディアアイテム。これは、前述のメディアセットをテーブル行に変換データ加工と list_media_items_by_path_with_media_reference メソッドによって生成される参照の種類です。メディアアイテムは、PDF テキスト抽出や OCR など、Pipeline Builder のメディアのデータ加工と式のすべてに対応しています。
• メディアセットではなく、通常の Foundry データセット（プラットフォームのカタログサービスに基づいています）内のファイル。この種類の参照は、Pipeline Builder の Media Reference を取得（データセット） データ加工によって生成されます。このデータ加工は、ファイルのデータセットを読み込み、ファイルごとに Media Reference と基本的なメタデータを生成します。これらの参照は、表形式のデータセットでファイルのメタデータを関連付ける場合に役立ちますが、Pipeline Builder のメディアのデータ加工と式への入力としては受け入れられません。これらには実際のメディアセットの項目が必要です。

データセット内のファイルを Pipeline Builder のメディアのデータ加工で使用する必要がある場合は、まずファイルをメディアセットに読み込みます（たとえば、MediaSetOutput を使用する Python トランスフォームで）。次に、ソースデータセットではなく、そのメディアセットから Media Reference を生成します。

Copied!
1
2
3
4
5
6
7
8
9
10
11
12
13
from pyspark.sql import functions as F
from transforms.api import transform, Input, Output
from transforms.mediasets import MediaSetInput


@transform(
    metadata_out=Output("{YOUR_OUTPUT_METADATA_DATASET}"),
    mediaset_in=MediaSetInput("{YOUR_MEDIA_SET_RID}")
)
def compute(ctx, mediaset_in, metadata_out):
    media_references = mediaset_in.list_media_items_by_path_with_media_reference(ctx)
    column_typeclasses = {'mediaReference': [{'kind': 'reference', 'name': 'media_reference'}]} # データセットでインラインのサムネイル表示を有効にします
    metadata_out.write_dataframe(media_references, column_typeclasses=column_typeclasses)

メディアセットからメディアアイテムを削除する

メディアセットからメディアアイテムを削除するには、削除するメディアアイテムを選択し、削除アクションを選択します。誤って削除することを防ぐため、このアクションでは、ポップアップで再度削除を選択して、メディアアイテムを削除する意思を確認する必要があります。

項目が正常に削除されると、メディアセットが更新され、成功メッセージが表示されます。これで、削除したメディアアイテムを含まないメディアセットを表示できます。

メディアセットの関連資料

メディアセットの詳細については、次を参照してください。

• メディアセットの詳細設定
• メディアの使用コストと制限