Glueと連携するAWSサービス

Glueを中心としたAWSサービスの連携関係を以下に示します。

Glueは単体で使うサービスではなく、さまざまなAWSサービスと連携して動作します。ここでは、Glueジョブの入力元・出力先となるサービスと、データカタログを参照するサービスについて紹介します。

1. データソース(入力元)

Glueジョブは、以下のようなサービスからデータを抽出できます。

サービス 説明
Amazon S3 データレイクに蓄積されたCSV、JSON、Parquetなどのファイルを読み込む。最も一般的なデータソース
Amazon RDS / Aurora リレーショナルデータベースからJDBC接続でデータを抽出する。オンプレミスのデータベースにも対応可能
Amazon DynamoDB NoSQLデータベースからデータを抽出する
Amazon Kinesis Data Streams ストリーミングデータをリアルタイムに取り込む

2. 出力先

変換後のデータの出力先としても、さまざまなサービスを指定できます。

サービス 説明
Amazon S3 Parquet形式などに変換したデータを保存する。Athenaで分析するパターンが最も一般的
Amazon Redshift データウェアハウスにデータを直接ロードする。大量データの集計・分析用途
Amazon RDS / Aurora 変換・集計したデータをリレーショナルデータベースに書き戻す。アプリケーションからの参照用途

3. データカタログを参照するサービス

Glueデータカタログに登録されたメタデータは、複数の分析サービスから共通の辞書として参照されます。

サービス 説明
Amazon Athena データカタログのテーブル定義をもとに、S3上のデータに対してSQLクエリを実行する
Amazon Redshift Spectrum データカタログを参照して、S3上のデータをRedshiftから直接クエリする

このように、Glueはデータの変換(Glueジョブ)とメタデータの管理(データカタログ)を通じて、AWSのデータ分析基盤全体をつなぐハブのような役割を果たしています。