GlueジョブによるETL処理

Glue ジョブを使って、データの抽出・変換・格納(ETL)をどのように実行するかを整理します。

1. Glueジョブとは

Glueジョブは、データの抽出・変換・ロードを行う処理の実行単位です。主にPythonで記述されたスクリプトを、Glueのマネージド環境上で実行します。使用する実行エンジンに応じて複数のジョブタイプが用意されており、データの規模や用途に合わせて選択できます。

2. ジョブの種類

Glueジョブには、使用する実行エンジンによって主に3つの種類があります。

2.1 Spark

1つ目はSparkです。Apache Sparkベースの分散処理エンジンを使用し、大量データの変換に最適なジョブタイプです。大規模なETL処理や、複数のデータセットの結合・集計といった処理に使用されます。Sparkジョブのスクリプトは、PySpark(PythonでSparkを扱うためのライブラリ)またはScalaで記述します。

📝 Apache Sparkとは
Apache Sparkは、大規模なデータを複数のマシンに分散して高速に処理するためのオープンソースの分散処理フレームワークです。データを分割して複数のノードで並列処理するため、単一マシンでは処理しきれないような大量データでも効率的に扱うことができます。Glueでは、このApache Sparkの実行環境をマネージドで提供しており、ユーザはインフラの構築や管理を意識することなくSparkの処理能力を利用できます。

2.2 Python Shell

2つ目はPython Shellです。軽量なPythonスクリプトを実行するジョブタイプで、小〜中規模のデータ処理に向いています。pandasやboto3などの標準的なPythonライブラリをそのまま使えるため、Spark固有のAPIを学ぶ必要がなく、シンプルで可読性の高いコードを書くことができます。簡単なデータ変換や外部APIの呼び出しなど、Sparkほどの処理能力を必要としない場面で使用されます。

2.3 Ray

3つ目はRayです。Rayフレームワークによる分散処理を行うジョブタイプで、主に機械学習のデータ前処理に使用されます。

📝 Rayとは
Rayは、Pythonベースの分散処理フレームワークです。Apache Sparkがデータの変換・集計処理に強みを持つのに対し、Rayは機械学習のモデル学習やデータ前処理など、Python中心のワークロードに特化しています。既存のPythonコードを少ない変更で分散処理に対応させることができる点が特徴です。

3. Glue Studio

Glue Studioは、GlueジョブをGUI(グラフィカルユーザインターフェース)で視覚的に作成できるツールです。ドラッグ&ドロップの操作でETLパイプラインを構築でき、コードを書くことなくデータの変換処理を定義できます。

通常、SparkベースのGlueジョブを作成するにはPySparkなどでコードを記述する必要がありますが、Glue Studioを使えばコードを書かずに画面操作のみでGlueジョブを作成することができます。

Glue Studioでは、データソース、変換処理、出力先をノードとして配置し、それらを線で繋げることでETLフローを定義します。各ノードの設定画面でカラムの選択、フィルタリング条件、変換ルールなどを指定できます。

作成したビジュアルジョブは、自動的にPySparkスクリプトとして生成されるため、必要に応じてスクリプトを直接編集することも可能です。

4. Glueが扱うデータ形式

Glueジョブでは、さまざまなデータ形式を扱います。データ分析でよく使われるファイル形式は以下の通りです。

形式 特徴 用途
CSV テキストベース。可読性が高い。圧縮効率が低い データの受け渡し、小規模データ
JSON テキストベース。ネスト構造に対応。柔軟性が高い APIレスポンス、ログデータ
Parquet 列指向バイナリ形式。圧縮効率が高く、クエリが高速 分析用データ、大規模データ

前のセクションで学んだ通り、データ分析基盤では列指向で圧縮効率の高いParquet形式の利用が推奨されています。GlueジョブでCSVやJSONの生データをParquet形式に変換してS3に保存し、Athenaでクエリを実行する、というパターンがデータ分析基盤の基本構成です。