パーティションによるクエリの最適化
Athena でスキャン量とコストを抑えるためのパーティションの考え方と、具体的な設計方針を整理します。
1. パーティションとは
パーティションは、データを特定のキー(日付、地域など)で分割して保存する仕組みです。パーティションを設定すると、クエリ実行時に必要なパーティションのデータのみを読み取るため、スキャンするデータ量が大幅に削減されます。
例えば、売上データを日付(年/月/日)でパーティション分割する場合、S3上のデータは以下のようなディレクトリ構造で保存されます。
s3://my-bucket/sales/
├── year=2025/
│ ├── month=01/
│ │ ├── day=01/
│ │ │ └── data.parquet
│ │ ├── day=02/
│ │ │ └── data.parquet
│ │ └── ...
│ ├── month=02/
│ │ └── ...
│ └── ...
└── year=2024/
└── ...
2. パーティションの効果
パーティションなしの場合、WHERE order_date = '2025-01-15'というクエリを実行すると、全データをスキャンする必要があります。しかし、日付でパーティション分割されていれば、year=2025/month=01/day=15/のデータのみをスキャンすれば済みます。
| パーティション | スキャン対象 | スキャン量(例) |
|---|---|---|
| なし | 全データ | 100 GB |
| 年/月/日で分割 | 該当日のデータのみ | 0.3 GB |
Athenaはスキャン量に応じて課金されるため、パーティションの設定はコスト削減に直結します。
| 📝 パーティション設計の注意点 |
|---|
| パーティションの分割が細かすぎると、小さなファイルが大量に生成され、かえってパフォーマンスが低下することがあります。一般的には、日付(year/month/day)での分割が最も広く使われるパターンです。AWS公式のOptimize data(Amazon Athena公式ドキュメント)にも「Having too many partition keys can result in fragmented datasets with too many files and files that are too small.」と記載されており、過剰なパーティション分割が小さいファイルの量産につながることが明示されています。 |
3. パーティションテーブルの作成
パーティション付きテーブルの作成例です。
CREATE EXTERNAL TABLE IF NOT EXISTS sales_db.sales_partitioned (
order_id STRING,
customer_id STRING,
product_name STRING,
amount INT
)
PARTITIONED BY (year STRING, month STRING, day STRING)
STORED AS PARQUET
LOCATION 's3://my-bucket/sales/';
PARTITIONED BYでパーティションキーを指定します。パーティションキーは通常のカラムとは別に定義される点に注意してください。
パーティションテーブルを作成した後は、以下のコマンドでS3上の既存パーティションを自動検出して登録します。
MSCK REPAIR TABLE sales_db.sales_partitioned;