データの蓄積

変換されたデータを、分析基盤として一元的に蓄積するプロセスです。蓄積先は、データの形式や分析の目的に応じてデータレイクとデータウェアハウスを使い分けます。

データレイク(AWSではS3)には、Glueなどで変換されたParquet形式のデータや、変換前の生データ(ログなど)が蓄積されます。あらゆる形式のデータを柔軟に格納でき、探索的な分析やデータの長期保存に適しています。

データウェアハウス(AWSではRedshift)には、分析用に構造化・整理されたデータが格納されます。定型的な集計クエリやBIレポーティングなど、高速な分析が求められるケースに適しています。

ETL/ELTの節で解説したとおり、ETLではデータウェアハウスに、ELTではデータレイクにデータを格納するのが一般的なパターンです。

1. Parquet形式とは

**Parquet**(**パーケット**)は、データ分析に最適化された**列指向**(カラムナ)のファイルフォーマットです。Apache Software Foundationが開発したオープンソースのフォーマットで、AWS以外の環境でも広く使われています。主にデータレイク(S3)にデータを蓄積する際の標準的なフォーマットとして利用されます。

従来のCSVやJSONは行指向のフォーマットです。1行ずつデータを格納するため、「特定の1行のすべてのカラムを読み取る」処理には適していますが、「全行の特定のカラムだけを読み取る」処理では、不要なカラムのデータまで読み込む必要があります。

一方、Parquetは列(カラム)単位でデータを格納します。これにより、分析クエリで必要なカラムだけを効率的に読み取ることができます。

1.1 行指向と列指向の違い

例えば、以下のようなテーブルがあるとします。

id name age city
1 田中 30 東京
2 鈴木 25 大阪
3 佐藤 35 福岡

行指向(CSV/JSON) の場合、データは以下のように格納されます。

1, 田中, 30, 東京 → 2, 鈴木, 25, 大阪 → 3, 佐藤, 35, 福岡

列指向(Parquet) の場合、データは以下のように格納されます。

id:   1, 2, 3
name: 田中, 鈴木, 佐藤
age:  30, 25, 35
city: 東京, 大阪, 福岡

ここで「全ユーザの age の平均を求める」というクエリを実行する場合、行指向では全カラムを読み込む必要がありますが、列指向では age カラムだけを読み込めば済みます。

1.2 Parquet形式のメリット

Parquet形式には、データ分析において大きなメリットがあります。

まず、必要なカラムだけを読み取るため、不要なデータの読み込みをスキップでき、クエリが高速化されます。また、Athenaなどスキャン量に応じた課金のサービスでは、読み取りデータ量が減ることで直接コスト削減につながります。CSVと比較してコストを90%以上削減できるケースもあります。Athenaにおける列指向フォーマットの効果については、Optimize data(Amazon Athena公式ドキュメント)の「Use columnar file formats」セクションに詳しい説明があります。

さらに、同じカラムのデータは似た値が並ぶため圧縮効率が非常に高く、ストレージコストの削減にも貢献します。加えて、カラム名やデータ型の情報がファイル自体に埋め込まれているため、スキーマ(データの構造情報)を保持でき、データの整合性を保てます。

このため、S3にデータを蓄積する際はParquet形式に変換することがベストプラクティスとされています。

2. 蓄積に関連するAWSサービス

### Amazon S3

容量無制限・高耐久性のオブジェクトストレージサービスです。あらゆる形式のデータを低コストに保存でき、データレイクの基盤として最も広く利用されています。Glueで変換されたParquetデータの格納先としてはもちろん、ログなどの生データの蓄積先としても利用されます。

2.1 Amazon Redshift

フルマネージドのデータウェアハウスサービスです。大量の構造化データに対して高速な分析クエリを実行できます。S3(データレイク)があらゆる形式のデータをそのまま蓄積するのに対し、Redshiftは分析用に構造化・整理されたデータを格納し、複雑な集計クエリやBI向けのレポーティングに適しています。