データの変換
収集されたデータは、そのままでは分析に適した形式になっていないことがほとんどです。そのため、収集されたデータを、分析しやすい形式に加工するプロセスが必要です。
具体的には、データのクレンジング(不正なデータの除去や欠損値の補完)、フォーマットの統一、データの結合・集計などを行います。
1. ETL/ELTとは
データの変換プロセスは、一般的に**ETL**または**ELT**と呼ばれるパターンで実行されます。ETLとELTの処理フローの違いを以下に示します。
1.1 ETL
ETLは、データを分析可能な状態にするための3つのプロセスの頭文字を取ったものです。
- Extract(抽出): データソースからデータを取り出す
- Transform(変換): データを分析に適した形式に加工・変換する
- Load(ロード): 変換したデータを保存先(データウェアハウスなど)に格納する
例えば、複数の業務システムのデータベースからデータを抽出し、日付形式の統一やNULL値の補完などの変換を行い、分析用のデータウェアハウスにロードする、という一連の流れがETLです。ETLでは、変換済みのデータのみを格納するため、格納先には構造化データの分析に適したデータウェアハウス(AWSではRedshift)が使われるのが一般的です。
| 📝 データウェアハウス(DWH)とは |
|---|
| 分析用に構造化・整理されたデータを保管する場所のことです。データを格納する際にスキーマ(テーブル定義やデータ型)を事前に定義する「スキーマオンライト」方式を採用しており、複雑な集計クエリやBI向けのレポーティングに適しています。AWSではAmazon Redshiftがデータウェアハウスサービスとして利用されます。 |
1.2 ELT
ELTは、ETLの順序を変えたもので、まずデータをそのままの形式でデータレイク(AWSではS3)にロードし、その後にデータレイク上で変換を行う方式です。
クラウドの登場により、大量のデータを安価に保存できるようになったため、「まず全データを保存してから、必要に応じて変換する」というELTのアプローチが主流になりつつあります。生データも保持されるため、後から新しい観点で分析をやり直すことも可能です。
| 📝 データレイクとは |
|---|
| あらゆる形式のデータを加工せずに「そのまま」蓄積する保管場所のことです。構造化データ(データベースのテーブルなど)だけでなく、半構造化データ(JSON、CSVなど)や非構造化データ(ログ、画像など)もそのまま格納できます。分析時にスキーマを定義する「スキーマオンリード」方式を採用しており、柔軟性が高くコストが安いのが特徴です。AWSではAmazon S3がデータレイクの基盤として利用されます。 |
| 比較項目 | ETL | ELT |
|---|---|---|
| 変換のタイミング | ロード前に変換 | ロード後に変換 |
| 格納先 | データウェアハウス(Redshift) | データレイク(S3) |
| ストレージ要件 | 変換済みデータのみ保存 | 生データも保存 |
| 柔軟性 | 定義済みの変換のみ | 後から変換ルールを追加可能 |
| 適したシナリオ | 定型の分析レポート | 探索的分析、多目的利用 |
2. 変換に関連するAWSサービス
### [AWS Glue](/analytics/glue)フルマネージドのETL/ELTサービスです。RDSやDynamoDBなどのデータベースからデータを直接取得し、クレンジングや変換・加工を行った上で、S3(Parquet形式)やAmazon Redshiftなどに出力できます。S3に蓄積済みのログデータを変換する用途にも利用されます。また、データカタログ機能により、データソースのメタデータ(テーブル定義やスキーマ情報)を一元管理できます。