データの抽出と格納

このセクションでは、テスト用のRDSからデータを抽出し、S3に格納するまでの一連のETL処理を行います。具体的には、データを格納するS3バケット、Glueに権限を与えるIAMロール、Glue用のサブネット、S3に接続するためのエンドポイントなどの下準備を行った後、Glueの設定を行いETL処理を実行します。

1. S3バケットの作成

まずは、データを格納するためのS3バケットを事前に作成していきます。

1.1 バケットの作成

S3のダッシュボードから、バケットの作成をクリックします。

バケット名は任意ですが、今回はglue-data-<アカウントID>とします。<アカウントID>の部分はご自身のAWSアカウントIDに置き換えてください。これは、S3バケットは全世界で一意になる必要があるためです。

それ以外の項目は今回デフォルトで構いませんので、バケットを作成をクリックします。

無事にS3バケットが作成されればここまでの操作は完了です。

1.2 フォルダの作成

続いて、データを格納するためのフォルダを作成します。

先ほど作成したバケットをクリックします。

次に、フォルダの作成をクリックします。

フォルダ名にrawdataと入力し、「フォルダの作成」をクリックします。

無事にフォルダが作成されたら、続けてrawdataフォルダの中に入り、さらにusersフォルダを作成します。同じ手順で「フォルダの作成」をクリックし、フォルダ名にusersと入力して作成してください。

最終的に、以下のようなフォルダ構成になっていれば完了です。

s3://glue-data-(識別子)/
  └── rawdata/
        └── users/

💡 ポイント
rawdataは「生データ(未加工データ)」を意味します。データ分析基盤では、データソースから抽出したデータをそのままの形で保存する領域としてrawdataフォルダを設けるのが一般的です。生データを加工せずに保持しておくことで、後から別の変換ロジックを適用したり、加工ミスがあった場合に元データから再処理したりすることが可能になります。rawdataの下にはテーブルごとのフォルダ(users、ordersなど)を作成し、データを分けて管理します。実際にはrawdataの他に、加工済みデータを格納するprocessedや、分析用に整形したデータを格納するcuratedなどのフォルダを用途ごとに分けて管理します。

2. IAMの作成

続いて、Glueに割り当てるためのIAMロールを作成します。GlueはETLジョブの実行時に、割り当てられたIAMロールの権限を使ってAWSリソースを操作します。今回はGlueがRDSからデータを読み取り、S3に書き込む必要があるため、これらのアクセスを許可するIAMポリシーを作成し、それをIAMロールに紐づけます。

2.1 IAMポリシーの作成

まずは、IAMロールに割り当てるためのIAMポリシーを作成していきます。

IAMのダッシュボードを開き、左側のメニューから「ポリシー」を選択し、「ポリシーの作成」をクリックします。

アクセス許可の指定では「JSON」を選択し、以下のJSONを貼り付けて「次へ」をクリックします。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "glue:*",
                "rds:DescribeDBInstances",
                "ec2:*",
                "s3:PutObject",
                "s3:PutObjectAcl",
                "s3:GetObject",
                "s3:ListBucket",
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents"
            ],
            "Resource": "*"
        }
    ]
}

このポリシーの内容を簡単に表にまとめています。

アクション 許可する内容 必要な理由
glue:* Glueの全操作 ジョブの実行やデータカタログの操作を行うため
rds:DescribeDBInstances RDSインスタンス情報の参照 接続先RDSのエンドポイントなどの情報を取得するため
ec2:* EC2関連リソースの全操作 GlueをVPC内で実行する際にENI(ネットワークインターフェース)を作成・管理するため
s3:PutObject / s3:PutObjectAcl S3へのオブジェクトの書き込み 抽出・変換したデータをS3に保存するため
s3:GetObject / s3:ListBucket S3からのオブジェクトの読み取り・一覧取得 S3上のデータやETLスクリプトを読み取るため
logs:CreateLogGroup / CreateLogStream / PutLogEvents CloudWatch Logsへのログ出力 Glueジョブの実行ログを記録・確認できるようにするため

ポリシー名にglue-test-policyと入力し、「ポリシーの作成」をクリックします。

IAMポリシーが作成されれば、ここまでの操作は完了です。

2.2 IAMロールの作成

続いて、Glueに設定するためのIAMロールを作成します。

IAMのダッシュボードにて、左側のメニューから「ロール」を選択し、「ロールを作成」をクリックします。

信頼されたエンティティタイプにはAWSのサービスを選択し、次へをクリックします。

許可ポリシーでは、先程作成したglue-test-policyを選択し、次へをクリックします。

ロール名にはglue-test-roleを入力し、ロールの作成をクリックします。

IAMロールが作成されれば、ここまでの操作は完了です。

3. Glue用サブネットの作成

続いて、Glueを配置するためのサブネットを作成します。今回はRDSからのデータ取得を行うため、GlueをVPC内のサブネットに配置する必要があります。

💡ポイント
Glueは、データソースがVPC内にある場合(RDS、Redshift、ElastiCacheなど)にのみサブネットへの配置が必要です。VPC内のリソースはインターネットから直接アクセスできないため、Glue自身も同じVPC内に配置して通信する必要があります。一方、S3やDynamoDBなどパブリックなエンドポイントを持つサービスのみを扱う場合は、サブネットへの配置は不要です。

VPCのダッシュボードを開き、左側のメニューから「サブネット」をクリックし、「サブネットを作成」をクリックします。

下記の内容を設定してください。

設定項目 値 設定の基準
VPC my-vpc RDSが配置されているVPCを指定するため
サブネット名 glue-subnet Glue用のサブネットであることを識別するため
アベイラビリティーゾーン ap-northeast-1a RDSと同じAZに配置するため
IPv4サブネットCIDRブロック 10.0.3.0/24 他のサブネットと重複しない範囲を指定するため

入力が完了したらサブネットを作成をクリックします。

サブネットが作成されれば、ここまでの操作は完了です。

4. Glue用セキュリティグループの作成

続いて、Glueに設定するためのセキュリティグループを作成します。GlueをVPC内のサブネットに配置する場合、セキュリティグループの割り当てが必須です。このセキュリティグループによって、Glueがどのリソースと通信できるかが制御されます。

4.1 セキュリティグループの作成

Glue用のセキュリティグループを作成します。

VPCのダッシュボードを開き、左側のメニューから「セキュリティグループ」を選択し、「セキュリティグループを作成」をクリックします。

下記の内容を設定してください。

設定項目 値 設定の基準
セキュリティグループ名 glue-sg Glue用であることを識別するため
VPC my-vpc 作成したVPC内のリソースに適用するため

なお、インバウンドルールは今回少し特殊な設定を行うため、一度セキュリティグループを作った後に再設定する必要があります。

入力が完了したら「セキュリティグループを作成」をクリックします。

セキュリティグループが作成されれば、ここまでの操作は完了です。

4.2 インバウンドルールの編集

続いて、インバウンドルールの設定を行います。

インバウンドルールの編集をクリックします。

まずは設定を行いながら、その設定の説明を行います。

ルールを追加をクリックし、タイプからすべてのトラフィックをクリックします。

💡 ポイント
Glueジョブは内部的にApache Sparkで動作しており、複数のワーカーノードがタスクの分散・シャッフル・集約などさまざまな通信を行います。これらの通信は動的にポートが割り当てられるため、特定のポートだけを許可することができません。そのため、同一セキュリティグループ内に限定した上で「すべてのトラフィック」を許可しています。ソースに自分自身のセキュリティグループ(glue-sg)を指定することで、外部からのアクセスは遮断しつつ、ワーカー間の通信のみを許可する安全な設定になっています。

続いてソースを設定します。ここでは自分自身のセキュリティグループ(glue-sg)を選択します。

💡 ポイント
ソースに自分自身のセキュリティグループを指定する設定を自己参照(セルフリファレンス) と呼びます。これは「同じセキュリティグループに属するリソース同士の通信を許可する」という意味です。Glueジョブは複数のワーカーノードが並列で起動しますが、すべてのワーカーが同じglue-sgに属しているため、この自己参照ルールによってワーカー同士が互いに通信できるようになります。

入力が完了したらルールを保存をクリックします。

無事にインバウンドルールの更新が完了したら、ここまでの操作は成功です。

5. RDSのセキュリティグループを更新

続いて、RDSのセキュリティグループを更新します。GlueからRDSに接続してデータを取得するためには、RDSのセキュリティグループに対してGlueのセキュリティグループからの通信を許可する必要があります。

VPCのダッシュボードにて、左側のメニューから「セキュリティグループ」を選択し、db-sgのセキュリティグループIDのリンクをクリックします。なお、このdb-sgは、先程CloudFormationで作ったセキュリティグループです。

続いて、インバウンドルールを編集をクリックします。

ルールを追加をクリックし、タイプにMySQL/Aurora、ソースにglue-sgを指定します。これにより、RDSに対して、Glueからデータの参照を行うことができるようになります。

入力が完了したらルールを保存をクリックします。

無事にインバウンドルールの更新が完了したら、ここまでの操作は成功です。

6. S3エンドポイントの作成

続いて、S3エンドポイントを作成します。GlueはPrivate Subnetに配置するため、インターネット経由でS3にアクセスすることはできません。そのため、VPCエンドポイント(Gateway型)を作成し、GlueからS3へアクセスできるようにします。

VPCのダッシュボードを開き、左側のメニューから「エンドポイント」をクリックし、「エンドポイントを作成」をクリックします。

下記の内容を設定してください。

設定項目 値 設定の基準
名前タグ glue-endpoint エンドポイントを識別するため
サービスカテゴリ AWSのサービス AWS提供のサービスに接続するため
サービス com.amazonaws.ap-northeast-1.s3(Gateway) S3にGateway型で接続するため
VPC my-vpc 作成したVPC内で使用するため
ルートテーブル glue-subnetが使用しているルートテーブル(VPCのメインルートテーブル) Glueサブネットからの通信がS3エンドポイントを経由するようにするため
ポリシー フルアクセス S3への読み書きを許可するため
💡 ポイント
glue-subnetにはカスタムルートテーブルを明示的に関連付けていないため、VPCのメインルートテーブルが使用されています。ルートテーブルの一覧でapi-route-tableではなく、名前が設定されていない方のルートテーブル(VPCのメインルートテーブル)を選択してください。誤ったルートテーブルを選択すると、GlueからS3へのテスト接続時に「Could not find S3 endpoint or NAT gateway...」というエラーが発生します。

入力が完了したらエンドポイントを作成をクリックします。

VPCエンドポイントが作成されれば、ここまでの操作は完了です。

7. Data Connectionの作成

続いて、GlueのConnectionを作成します。Connectionは、GlueからRDSなどの外部データベースに接続するための設定です。接続先のエンドポイントやポート、認証情報、利用するVPCのサブネットやセキュリティグループなどを指定します。

7.1 Connectionの作成

Glueのダッシュボードを開き、左側のメニューからData connectionsをクリックし、Create connectionをクリックします。

「Choose data source」でjdbcを選択し、Nextをクリックします。

「Configure connection」に下記の内容を設定してください。

設定項目 値 設定の基準
JDBC URL jdbc:mysql://(RDSのエンドポイント):3306/datalake_test RDSのdatalake_testデータベースに接続するため
Credential type Username and password ユーザ名とパスワードで認証するため
Username admin RDS作成時に指定したマスターユーザ名
Password (RDSのパスワード) RDS作成時に指定したパスワード
VPC my-vpc RDSが配置されているVPCを指定するため
Subnet glue-subnet Glue用に作成したサブネットを指定するため
Security groups glue-sg Glue用に作成したセキュリティグループを指定するため

nameはglue-connectionと入力し、次へをクリックします。

確認画面が表示されるため、問題なければcreate connectionをクリックします。

7.2 接続確認

続いて、作成したglue-connectionの動作確認を行っていきます。

glue-connectionをチェックし、ActionからTest Connectionを選択します。

ここで、Glueの実行で使用するIAM Roleの選択が求められます。ここでは、先程作成したglue-test-roleを選択し、Confirmをクリックします。

しばらく経過すると、以下のような接続成功の表示がされればOKです。

8. ETLジョブの作成と実行

それではいよいよ、GlueによるETL処理を作成していきます。RDSからデータを抽出(Extract)し、Parquet形式に変換(Transform)したうえで、S3に格納(Load)する一連の処理を設定します。

8.1 ETLジョブの作成

まずはETLジョブを作成する画面を開きます。

Glueのダッシュボードにて、左側のメニューからVirtual ETLを選択し、表示されるメニューからVirtual ETLを選択します。

8.2 入力(ソース)を設定

続いて、入力(ソース)を指定していきます。今回は、CloudFormationで作成したRDSインスタンスを使用します。

Add Nodeのボタン(+で表記されていると思います)を選択し、MySQLを選択します。ここで、MySQLにはSourceとTargetの二つが該当するので、間違いなくSourceの方を選んでください。Targetの方は、出力で使用するものなので、設定が異なります。

左側にプロパティメニューが表示されるので、下記の内容を設定してください。

設定項目 値 設定の基準
JDBC source JDBC connection details JDBC接続を使用するため
Connection name glue-connection 先ほど作成したConnectionを使用するため
Table name users テストデータを登録したテーブルを指定するため
IAM Role glue-test-role Glueに権限を付与するため

数分経過すると、テーブルの値がプレビューされます。

8.3 出力先(ターゲット)を設定

続いて、出力先となるS3バケットを指定していきます。

Add nodesからS3を選択します。このときも、SOURCEとTARGETで二つのS3があるため、TARGETの方を選択してください。

左側にプロパティメニューが表示されるので、各項目を設定していきます。

まず、Node parentsにMySQLを選択します。これにより、先ほど設定した入力ノード(RDSのusersテーブル)からデータを受け取る構成になります。

次に、FormatでParquetを選択します。Parquetは列指向のファイル形式で、圧縮効率が高く分析処理に適しているため、データレイクへの格納形式として広く使われています。

最後に、S3 Target Locationを設定します。ここで、先ほど作成したrawdata/usersフォルダを指定してください。パスはs3://glue-data-(識別子)/rawdata/users/の形式になります。このフォルダにRDSから抽出・変換されたデータがParquet形式で保存されます。

💡 ポイント
S3 Target Locationでは、必ずrawdata/users/フォルダを指定してください。rawdata/の下にテーブルごとのフォルダを分けておくことで、後からテーブルが増えた場合もクローラがrawdata/配下を一括スキャンするだけで、テーブルごとに自動でデータカタログを作成してくれます。

入力が終わったら、ジョブの名前にtest-jobと入力したうえで、Saveをクリックして変更内容を保存します。

無事にジョブが作成されれば、ここまでは成功です。

8.4 ETLの実行

続いて、実際にETL処理を実行していきます。

まず、Runsのタブをクリックし、そこに表示されるRunをクリックします。

実行が開始されると、Run StatusがRunningとなります。実行完了までしばらく待ちます。

実行が完了したら、Run statusがSucceededとなります。

最後に、先程作ったS3バケットのrawdata/usersフォルダを開くと、parquet拡張子のデータがいくつか作成されていることが確認できます。

ここまでで、Glueを用いてRDSからデータを抽出し、S3にParquet形式で格納する処理が完了しました。