データセット

パイプラインを作成するには、出発点となるデータ入力を選択します。パイプラインにデータ入力を追加した後、データをクレンジング、加工し、ほかのデータと組み合わせてデプロイすることで、プラットフォーム全体でさらに活用できます（たとえば、オントロジーの一部として）。

Pipeline Builder は、構造化、半構造化、非構造化データ形式のデータ入力をサポートしています。

構造化データは通常、表形式のデータを含むファイルと、データセット内の列に関するメタデータで構成されるデータセットの形式です。列のメタデータは、対応するデータセットとともにスキーマとして保存されます。Pipeline Builder は、手動で入力したデータ、アップロードしたデータ、データ同期、仮想テーブルの形式での構造化データの入力もサポートしています。

半構造化データとは、スキーマのないファイルで構成されるデータセットを指し、データは表形式ではありません。そのため、半構造化データセットは「スキーマレス」データセットと呼ばれることもあります。Pipeline Builder は、CSV、JSON、GeoJSON、XML、Microsoft Excel、KML、シェープファイル、プレーンテキスト、メールファイルの形式で半構造化データをサポートしています。パース用のデータ加工関数を使用して半構造化ファイルを表形式に変換すると、スキーマによる安全性を活用できます。たとえば、Excel ファイルから行を抽出のデータ加工は、.xls、.xlt、.xltm、.xltx、.xlsx、.xlsm ファイルを読み取ります。XML データの場合、Pipeline Builder は XSD ファイルからスキーマを自動生成できます。XSD ファイルを生データセットにアップロードし、XML をパースのデータ加工内で参照すると、適切なスキーマ構造が自動的に作成されます。パイプライン内のデータを加工する方法をご覧ください。

非構造化データとは、視覚メディア、PDF ドキュメント、音声など、その他の表形式ではないデータを指します。Pipeline Builder は、メディアセットの形式で非構造化データの入力をサポートしています。

Pipeline Builder でワークフローを定義するための最初のステップは、ワークスペースに1個以上のデータ入力を追加することです。以下のドキュメントで、データを追加する方法や入力の計算モードを変更する方法をご覧ください。Foundry のデータについて詳しくは、データ統合をご覧ください。