Glueの概要

AWS Glue とは何か、データ分析基盤の中でどのような役割を担うサービスなのかを整理します。

1. AWS Glueとは

AWS Glueは、データの検出・準備・変換・ロードを行うETL/ELTサービスです。サーバのプロビジョニングや管理が不要で、データ分析基盤の中核を担うサービスです。

Glueの主な役割は大きく分けて2つあります。

1つ目はGlueジョブです。さまざまなデータソースからデータを抽出(Extract)し、分析に適した形式に変換(Transform)したうえで、指定した保存先にロード(Load)する一連の処理を自動化する機能です。例えば、CSV形式の生データをParquet形式に変換してS3に保存する、といった処理を定期的に実行できます。

2つ目はデータカタログです。データレイク(S3など)に保存されているデータの「メタデータ(データに関する情報)」を一元管理する機能です。具体的には、データがどこに保存されているか、どのような構造(カラム名やデータ型)を持っているかといった情報を管理し、AthenaなどからSQLでデータにアクセスできるようにします。

2. なぜGlueが必要なのか

データ分析基盤では、さまざまなデータソースから異なる形式のデータが集まります。あるデータはCSV形式、別のデータはJSON形式、また別のデータはデータベースのテーブルとして存在しています。

これらのデータをそのまま分析に使おうとすると、以下の問題が発生します。

まず、データの所在がわからないという問題があります。どのストレージに、どのようなデータが保存されているのかが管理されていないと、必要なデータを探すだけで多くの時間がかかってしまいます。

次に、データの構造がわからないという問題があります。各ファイルにどのようなカラム(列)が含まれていて、それぞれがどのようなデータ型なのかが不明だと、データを正しく読み取ることができません。

最後に、データの形式が統一されていないという問題があります。CSV、JSON、ログファイルなど、バラバラの形式のデータがそのままでは分析に使えず、事前に形式を揃える作業が必要になります。

Glueは、データカタログでデータの「所在と構造」を管理し、Glueジョブでデータの「形式と品質」を整えることで、これらの問題を解決します。