データの出力形式

S3をデスティネーションに設定する場合、以下の出力形式を選択できます。

1. S3への出力設定

S3をデスティネーションに設定する場合、以下の出力形式を選択できます。

出力形式 特徴 適したユースケース
JSON 外部サービスの元データ構造を保持。可読性が高い データの内容確認、後続でGlueによる変換を行う場合
CSV テキストベースで汎用性が高い Excelでの確認、軽量なデータ連携
Parquet 列指向で圧縮効率が高い。分析に最適 Athenaでの直接クエリ、大規模データ
💡 ポイント
後続でAthenaによる分析を行う場合は、Parquet形式で出力するのが最も効率的です。ただし、データの内容を確認したい段階ではJSON形式で出力し、内容を確認した後にParquet形式に切り替えるというアプローチも有効です。

2. ファイルの集約設定

フロー実行時のデータ出力方法として、以下の設定を選択できます。

設定 説明
単一ファイル すべてのデータを1つのファイルに出力する
分割出力 データ量に応じて複数のファイルに分割して出力する

小規模なデータであれば単一ファイル、大規模なデータであれば分割出力が適しています。