データの出力形式
S3をデスティネーションに設定する場合、以下の出力形式を選択できます。
1. S3への出力設定
S3をデスティネーションに設定する場合、以下の出力形式を選択できます。
| 出力形式 | 特徴 | 適したユースケース |
|---|---|---|
| JSON | 外部サービスの元データ構造を保持。可読性が高い | データの内容確認、後続でGlueによる変換を行う場合 |
| CSV | テキストベースで汎用性が高い | Excelでの確認、軽量なデータ連携 |
| Parquet | 列指向で圧縮効率が高い。分析に最適 | Athenaでの直接クエリ、大規模データ |
| 💡 ポイント |
|---|
| 後続でAthenaによる分析を行う場合は、Parquet形式で出力するのが最も効率的です。ただし、データの内容を確認したい段階ではJSON形式で出力し、内容を確認した後にParquet形式に切り替えるというアプローチも有効です。 |
2. ファイルの集約設定
フロー実行時のデータ出力方法として、以下の設定を選択できます。
| 設定 | 説明 |
|---|---|
| 単一ファイル | すべてのデータを1つのファイルに出力する |
| 分割出力 | データ量に応じて複数のファイルに分割して出力する |
小規模なデータであれば単一ファイル、大規模なデータであれば分割出力が適しています。