データの抽出と格納
このセクションでは、テスト用のRDSからデータを抽出し、S3に格納するまでの一連のETL処理を行います。具体的には、データを格納するS3バケット、Glueに権限を与えるIAMロール、Glue用のサブネット、S3に接続するためのエンドポイントなどの下準備を行った後、Glueの設定を行いETL処理を実行します。
1. S3バケットの作成
まずは、データを格納するためのS3バケットを事前に作成していきます。
1.1 バケットの作成
S3のダッシュボードから、バケットの作成をクリックします。

バケット名は任意ですが、今回はglue-data-<アカウントID>とします。<アカウントID>の部分はご自身のAWSアカウントIDに置き換えてください。これは、S3バケットは全世界で一意になる必要があるためです。

それ以外の項目は今回デフォルトで構いませんので、バケットを作成をクリックします。

無事にS3バケットが作成されればここまでの操作は完了です。

1.2 フォルダの作成
続いて、データを格納するためのフォルダを作成します。
先ほど作成したバケットをクリックします。

次に、フォルダの作成をクリックします。

フォルダ名にrawdataと入力し、「フォルダの作成」をクリックします。

無事にフォルダが作成されたら、続けてrawdataフォルダの中に入り、さらにusersフォルダを作成します。同じ手順で「フォルダの作成」をクリックし、フォルダ名にusersと入力して作成してください。
最終的に、以下のようなフォルダ構成になっていれば完了です。
s3://glue-data-(識別子)/
└── rawdata/
└── users/

| 💡 ポイント |
|---|
rawdataは「生データ(未加工データ)」を意味します。データ分析基盤では、データソースから抽出したデータをそのままの形で保存する領域としてrawdataフォルダを設けるのが一般的です。生データを加工せずに保持しておくことで、後から別の変換ロジックを適用したり、加工ミスがあった場合に元データから再処理したりすることが可能になります。rawdataの下にはテーブルごとのフォルダ(users、ordersなど)を作成し、データを分けて管理します。実際にはrawdataの他に、加工済みデータを格納するprocessedや、分析用に整形したデータを格納するcuratedなどのフォルダを用途ごとに分けて管理します。 |
2. IAMの作成
続いて、Glueに割り当てるためのIAMロールを作成します。GlueはETLジョブの実行時に、割り当てられたIAMロールの権限を使ってAWSリソースを操作します。今回はGlueがRDSからデータを読み取り、S3に書き込む必要があるため、これらのアクセスを許可するIAMポリシーを作成し、それをIAMロールに紐づけます。
2.1 IAMポリシーの作成
まずは、IAMロールに割り当てるためのIAMポリシーを作成していきます。
IAMのダッシュボードを開き、左側のメニューから「ポリシー」を選択し、「ポリシーの作成」をクリックします。

アクセス許可の指定では「JSON」を選択し、以下のJSONを貼り付けて「次へ」をクリックします。
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"glue:*",
"rds:DescribeDBInstances",
"ec2:*",
"s3:PutObject",
"s3:PutObjectAcl",
"s3:GetObject",
"s3:ListBucket",
"logs:CreateLogGroup",
"logs:CreateLogStream",
"logs:PutLogEvents"
],
"Resource": "*"
}
]
}
このポリシーの内容を簡単に表にまとめています。
| アクション | 許可する内容 | 必要な理由 |
|---|---|---|
glue:* |
Glueの全操作 | ジョブの実行やデータカタログの操作を行うため |
rds:DescribeDBInstances |
RDSインスタンス情報の参照 | 接続先RDSのエンドポイントなどの情報を取得するため |
ec2:* |
EC2関連リソースの全操作 | GlueをVPC内で実行する際にENI(ネットワークインターフェース)を作成・管理するため |
s3:PutObject / s3:PutObjectAcl |
S3へのオブジェクトの書き込み | 抽出・変換したデータをS3に保存するため |
s3:GetObject / s3:ListBucket |
S3からのオブジェクトの読み取り・一覧取得 | S3上のデータやETLスクリプトを読み取るため |
logs:CreateLogGroup / CreateLogStream / PutLogEvents |
CloudWatch Logsへのログ出力 | Glueジョブの実行ログを記録・確認できるようにするため |

ポリシー名にglue-test-policyと入力し、「ポリシーの作成」をクリックします。

IAMポリシーが作成されれば、ここまでの操作は完了です。

2.2 IAMロールの作成
続いて、Glueに設定するためのIAMロールを作成します。
IAMのダッシュボードにて、左側のメニューから「ロール」を選択し、「ロールを作成」をクリックします。

信頼されたエンティティタイプにはAWSのサービスを選択し、次へをクリックします。

許可ポリシーでは、先程作成したglue-test-policyを選択し、次へをクリックします。

ロール名にはglue-test-roleを入力し、ロールの作成をクリックします。

IAMロールが作成されれば、ここまでの操作は完了です。

3. Glue用サブネットの作成
続いて、Glueを配置するためのサブネットを作成します。今回はRDSからのデータ取得を行うため、GlueをVPC内のサブネットに配置する必要があります。
| 💡ポイント |
|---|
| Glueは、データソースがVPC内にある場合(RDS、Redshift、ElastiCacheなど)にのみサブネットへの配置が必要です。VPC内のリソースはインターネットから直接アクセスできないため、Glue自身も同じVPC内に配置して通信する必要があります。一方、S3やDynamoDBなどパブリックなエンドポイントを持つサービスのみを扱う場合は、サブネットへの配置は不要です。 |
VPCのダッシュボードを開き、左側のメニューから「サブネット」をクリックし、「サブネットを作成」をクリックします。

下記の内容を設定してください。
| 設定項目 | 値 | 設定の基準 |
|---|---|---|
| VPC | my-vpc | RDSが配置されているVPCを指定するため |
| サブネット名 | glue-subnet | Glue用のサブネットであることを識別するため |
| アベイラビリティーゾーン | ap-northeast-1a | RDSと同じAZに配置するため |
| IPv4サブネットCIDRブロック | 10.0.3.0/24 | 他のサブネットと重複しない範囲を指定するため |
入力が完了したらサブネットを作成をクリックします。

サブネットが作成されれば、ここまでの操作は完了です。

4. Glue用セキュリティグループの作成
続いて、Glueに設定するためのセキュリティグループを作成します。GlueをVPC内のサブネットに配置する場合、セキュリティグループの割り当てが必須です。このセキュリティグループによって、Glueがどのリソースと通信できるかが制御されます。
4.1 セキュリティグループの作成
Glue用のセキュリティグループを作成します。
VPCのダッシュボードを開き、左側のメニューから「セキュリティグループ」を選択し、「セキュリティグループを作成」をクリックします。

下記の内容を設定してください。
| 設定項目 | 値 | 設定の基準 |
|---|---|---|
| セキュリティグループ名 | glue-sg | Glue用であることを識別するため |
| VPC | my-vpc | 作成したVPC内のリソースに適用するため |
なお、インバウンドルールは今回少し特殊な設定を行うため、一度セキュリティグループを作った後に再設定する必要があります。
入力が完了したら「セキュリティグループを作成」をクリックします。

セキュリティグループが作成されれば、ここまでの操作は完了です。

4.2 インバウンドルールの編集
続いて、インバウンドルールの設定を行います。
インバウンドルールの編集をクリックします。

まずは設定を行いながら、その設定の説明を行います。
ルールを追加をクリックし、タイプからすべてのトラフィックをクリックします。
| 💡 ポイント |
|---|
Glueジョブは内部的にApache Sparkで動作しており、複数のワーカーノードがタスクの分散・シャッフル・集約などさまざまな通信を行います。これらの通信は動的にポートが割り当てられるため、特定のポートだけを許可することができません。そのため、同一セキュリティグループ内に限定した上で「すべてのトラフィック」を許可しています。ソースに自分自身のセキュリティグループ(glue-sg)を指定することで、外部からのアクセスは遮断しつつ、ワーカー間の通信のみを許可する安全な設定になっています。 |
続いてソースを設定します。ここでは自分自身のセキュリティグループ(glue-sg)を選択します。
| 💡 ポイント |
|---|
ソースに自分自身のセキュリティグループを指定する設定を自己参照(セルフリファレンス) と呼びます。これは「同じセキュリティグループに属するリソース同士の通信を許可する」という意味です。Glueジョブは複数のワーカーノードが並列で起動しますが、すべてのワーカーが同じglue-sgに属しているため、この自己参照ルールによってワーカー同士が互いに通信できるようになります。 |
入力が完了したらルールを保存をクリックします。

無事にインバウンドルールの更新が完了したら、ここまでの操作は成功です。

5. RDSのセキュリティグループを更新
続いて、RDSのセキュリティグループを更新します。GlueからRDSに接続してデータを取得するためには、RDSのセキュリティグループに対してGlueのセキュリティグループからの通信を許可する必要があります。
VPCのダッシュボードにて、左側のメニューから「セキュリティグループ」を選択し、db-sgのセキュリティグループIDのリンクをクリックします。なお、このdb-sgは、先程CloudFormationで作ったセキュリティグループです。

続いて、インバウンドルールを編集をクリックします。

ルールを追加をクリックし、タイプにMySQL/Aurora、ソースにglue-sgを指定します。これにより、RDSに対して、Glueからデータの参照を行うことができるようになります。
入力が完了したらルールを保存をクリックします。

無事にインバウンドルールの更新が完了したら、ここまでの操作は成功です。

6. S3エンドポイントの作成
続いて、S3エンドポイントを作成します。GlueはPrivate Subnetに配置するため、インターネット経由でS3にアクセスすることはできません。そのため、VPCエンドポイント(Gateway型)を作成し、GlueからS3へアクセスできるようにします。
VPCのダッシュボードを開き、左側のメニューから「エンドポイント」をクリックし、「エンドポイントを作成」をクリックします。

下記の内容を設定してください。
| 設定項目 | 値 | 設定の基準 |
|---|---|---|
| 名前タグ | glue-endpoint | エンドポイントを識別するため |
| サービスカテゴリ | AWSのサービス | AWS提供のサービスに接続するため |
| サービス | com.amazonaws.ap-northeast-1.s3(Gateway) | S3にGateway型で接続するため |
| VPC | my-vpc | 作成したVPC内で使用するため |
| ルートテーブル | glue-subnetが使用しているルートテーブル(VPCのメインルートテーブル) |
Glueサブネットからの通信がS3エンドポイントを経由するようにするため |
| ポリシー | フルアクセス | S3への読み書きを許可するため |
| 💡 ポイント |
|---|
glue-subnetにはカスタムルートテーブルを明示的に関連付けていないため、VPCのメインルートテーブルが使用されています。ルートテーブルの一覧でapi-route-tableではなく、名前が設定されていない方のルートテーブル(VPCのメインルートテーブル)を選択してください。誤ったルートテーブルを選択すると、GlueからS3へのテスト接続時に「Could not find S3 endpoint or NAT gateway...」というエラーが発生します。 |
入力が完了したらエンドポイントを作成をクリックします。

VPCエンドポイントが作成されれば、ここまでの操作は完了です。

7. Data Connectionの作成
続いて、GlueのConnectionを作成します。Connectionは、GlueからRDSなどの外部データベースに接続するための設定です。接続先のエンドポイントやポート、認証情報、利用するVPCのサブネットやセキュリティグループなどを指定します。
7.1 Connectionの作成
Glueのダッシュボードを開き、左側のメニューからData connectionsをクリックし、Create connectionをクリックします。

「Choose data source」でjdbcを選択し、Nextをクリックします。

「Configure connection」に下記の内容を設定してください。
| 設定項目 | 値 | 設定の基準 |
|---|---|---|
| JDBC URL | jdbc:mysql://(RDSのエンドポイント):3306/datalake_test | RDSのdatalake_testデータベースに接続するため |
| Credential type | Username and password | ユーザ名とパスワードで認証するため |
| Username | admin | RDS作成時に指定したマスターユーザ名 |
| Password | (RDSのパスワード) | RDS作成時に指定したパスワード |
| VPC | my-vpc | RDSが配置されているVPCを指定するため |
| Subnet | glue-subnet | Glue用に作成したサブネットを指定するため |
| Security groups | glue-sg | Glue用に作成したセキュリティグループを指定するため |

nameはglue-connectionと入力し、次へをクリックします。

確認画面が表示されるため、問題なければcreate connectionをクリックします。

7.2 接続確認
続いて、作成したglue-connectionの動作確認を行っていきます。
glue-connectionをチェックし、ActionからTest Connectionを選択します。

ここで、Glueの実行で使用するIAM Roleの選択が求められます。ここでは、先程作成したglue-test-roleを選択し、Confirmをクリックします。

しばらく経過すると、以下のような接続成功の表示がされればOKです。

8. ETLジョブの作成と実行
それではいよいよ、GlueによるETL処理を作成していきます。RDSからデータを抽出(Extract)し、Parquet形式に変換(Transform)したうえで、S3に格納(Load)する一連の処理を設定します。
8.1 ETLジョブの作成
まずはETLジョブを作成する画面を開きます。
Glueのダッシュボードにて、左側のメニューからVirtual ETLを選択し、表示されるメニューからVirtual ETLを選択します。

8.2 入力(ソース)を設定
続いて、入力(ソース)を指定していきます。今回は、CloudFormationで作成したRDSインスタンスを使用します。
Add Nodeのボタン(+で表記されていると思います)を選択し、MySQLを選択します。ここで、MySQLにはSourceとTargetの二つが該当するので、間違いなくSourceの方を選んでください。Targetの方は、出力で使用するものなので、設定が異なります。

左側にプロパティメニューが表示されるので、下記の内容を設定してください。
| 設定項目 | 値 | 設定の基準 |
|---|---|---|
| JDBC source | JDBC connection details | JDBC接続を使用するため |
| Connection name | glue-connection | 先ほど作成したConnectionを使用するため |
| Table name | users | テストデータを登録したテーブルを指定するため |
| IAM Role | glue-test-role | Glueに権限を付与するため |

数分経過すると、テーブルの値がプレビューされます。

8.3 出力先(ターゲット)を設定
続いて、出力先となるS3バケットを指定していきます。
Add nodesからS3を選択します。このときも、SOURCEとTARGETで二つのS3があるため、TARGETの方を選択してください。

左側にプロパティメニューが表示されるので、各項目を設定していきます。
まず、Node parentsにMySQLを選択します。これにより、先ほど設定した入力ノード(RDSのusersテーブル)からデータを受け取る構成になります。
次に、FormatでParquetを選択します。Parquetは列指向のファイル形式で、圧縮効率が高く分析処理に適しているため、データレイクへの格納形式として広く使われています。
最後に、S3 Target Locationを設定します。ここで、先ほど作成したrawdata/usersフォルダを指定してください。パスはs3://glue-data-(識別子)/rawdata/users/の形式になります。このフォルダにRDSから抽出・変換されたデータがParquet形式で保存されます。
| 💡 ポイント |
|---|
S3 Target Locationでは、必ずrawdata/users/フォルダを指定してください。rawdata/の下にテーブルごとのフォルダを分けておくことで、後からテーブルが増えた場合もクローラがrawdata/配下を一括スキャンするだけで、テーブルごとに自動でデータカタログを作成してくれます。 |
入力が終わったら、ジョブの名前にtest-jobと入力したうえで、Saveをクリックして変更内容を保存します。

無事にジョブが作成されれば、ここまでは成功です。

8.4 ETLの実行
続いて、実際にETL処理を実行していきます。
まず、Runsのタブをクリックし、そこに表示されるRunをクリックします。

実行が開始されると、Run StatusがRunningとなります。実行完了までしばらく待ちます。

実行が完了したら、Run statusがSucceededとなります。

最後に、先程作ったS3バケットのrawdata/usersフォルダを開くと、parquet拡張子のデータがいくつか作成されていることが確認できます。

ここまでで、Glueを用いてRDSからデータを抽出し、S3にParquet形式で格納する処理が完了しました。