5A. [Repositories] Code Repositories での生ファイルの取り扱い6 - 演習のまとめ

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

6 - 演習のまとめ

✅ 演習での成果物

  1. Datasource Project: Passengers プロジェクト。
  2. passengers_logic コードリポジトリ。
  3. 生の、未解析のJSON とCSV ファイルの“ローカル”プロジェクトコピーを作成するPython トランスフォーム。
  4. Master ブランチで作成された “Raw” データセットファイル。

✅ 学習した内容

  • Foundry のデータセットは、最もよく Parquet ファイルから構成されており、これは Spark に最適化されています。
  • データセットには、スキーマなしの生のCSV とJSON ファイルを含むことができます。
  • Foundry Explorer ヘルパーは、すべてのファイルとフォルダーを素早くブラウズし、選択したデータセットをプレビューできるファイルナビゲーションインターフェースです。