データ形式とパフォーマンス
Athena のクエリ性能に大きく影響するデータ形式について、CSV・JSON・Parquet・ORC の違いを整理します。
1. データ形式によるパフォーマンスの違い
Athenaのクエリパフォーマンスとコストは、データの保存形式によって大きく変わります。
| データ形式 | スキャン量 | クエリ速度 | コスト |
|---|---|---|---|
| CSV(非圧縮) | 大 | 遅い | 高い |
| JSON(非圧縮) | 大 | 遅い | 高い |
| CSV(gzip圧縮) | 中 | やや遅い | 中 |
| Parquet | 小 | 速い | 低い |
Parquet形式は列指向ストレージであるため、必要なカラムのみを読み取ることができ、スキャン量が大幅に削減されます。さらに、Parquet自体が高い圧縮率を持つため、同じデータでもCSVと比較してファイルサイズが1/5〜1/10程度になります。
| 💡 ポイント |
|---|
| Athenaで分析するデータは、可能な限りParquet形式で保存することを推奨します。Glueジョブで生データ(CSV/JSON)をParquet形式に変換し、変換後のデータに対してAthenaでクエリを実行する構成が、パフォーマンスとコストの両面で最適です。 |
2. ファイルサイズの最適化
Athenaのパフォーマンスは、ファイルサイズにも影響を受けます。
- ファイルが小さすぎると、ファイルのオープン・クローズのオーバーヘッドが大きくなり、処理が遅くなる
- ファイルが大きすぎると、並列処理の効率が下がる
一般的に、128MB〜512MB程度のファイルサイズが最適とされています。小さなファイルが大量にある場合は、GlueジョブやCTASでファイルをマージすることを検討してください。AWS公式のOptimize data(Amazon Athena公式ドキュメント)にも「loading a single bigger file from Amazon S3 is faster than loading the same records from many smaller files」と明記されており、小さいファイルを大量に持つよりも適度に大きいファイルにまとめる方が高速であることが示されています。