Glueと連携するAWSサービス
Glueを中心としたAWSサービスの連携関係を以下に示します。
Glueは単体で使うサービスではなく、さまざまなAWSサービスと連携して動作します。ここでは、Glueジョブの入力元・出力先となるサービスと、データカタログを参照するサービスについて紹介します。
1. データソース(入力元)
Glueジョブは、以下のようなサービスからデータを抽出できます。
| サービス | 説明 |
|---|---|
| Amazon S3 | データレイクに蓄積されたCSV、JSON、Parquetなどのファイルを読み込む。最も一般的なデータソース |
| Amazon RDS / Aurora | リレーショナルデータベースからJDBC接続でデータを抽出する。オンプレミスのデータベースにも対応可能 |
| Amazon DynamoDB | NoSQLデータベースからデータを抽出する |
| Amazon Kinesis Data Streams | ストリーミングデータをリアルタイムに取り込む |
2. 出力先
変換後のデータの出力先としても、さまざまなサービスを指定できます。
| サービス | 説明 |
|---|---|
| Amazon S3 | Parquet形式などに変換したデータを保存する。Athenaで分析するパターンが最も一般的 |
| Amazon Redshift | データウェアハウスにデータを直接ロードする。大量データの集計・分析用途 |
| Amazon RDS / Aurora | 変換・集計したデータをリレーショナルデータベースに書き戻す。アプリケーションからの参照用途 |
3. データカタログを参照するサービス
Glueデータカタログに登録されたメタデータは、複数の分析サービスから共通の辞書として参照されます。
| サービス | 説明 |
|---|---|
| Amazon Athena | データカタログのテーブル定義をもとに、S3上のデータに対してSQLクエリを実行する |
| Amazon Redshift Spectrum | データカタログを参照して、S3上のデータをRedshiftから直接クエリする |
このように、Glueはデータの変換(Glueジョブ)とメタデータの管理(データカタログ)を通じて、AWSのデータ分析基盤全体をつなぐハブのような役割を果たしています。