Glueクローラーによるデータカタログの作成

Lake Formationの初期設定が完了したので、Glueでデータカタログを作成します。S3にデータを配置しただけでは、Lake FormationやAthenaはそのデータの構造(カラム名やデータ型など)を認識できません。データの構造を自動的に解析してカタログ化するために、Glueクローラーを使用します。ここで作成されるデータカタログが、後のセクションでLF-Tagによるアクセス制御を設定する対象になります。

1. データベースの作成

Glueクローラーがテーブル情報を登録する先として、まずGlueデータカタログ上にデータベースを作成します。

Glueのダッシュボードを開き、左メニューから「Data Catalog」>「Database」を選択し、「Add database」をクリックします。

下記表に従い、設定を行ってください。

設定項目 値 設定の基準
Name lf_handson_db ハンズオン用のデータベースであることがわかる名前

設定後、「Create database」をクリックします。

無事に lf_handson_db が作成されていれば、ここまでの操作は完了です。

2. クローラー用ロールへのLake Formation権限付与

前のセクションでLake Formationの権限モデルを有効にしたため、Glueクローラーがデータベースにテーブルを作成するには、Lake Formation側でクローラーのIAMロールに権限を付与する必要があります。

まず、クローラーで使用するIAMロールを先に作成します。IAMのダッシュボードを開き、左メニューから「ロール」を選択し、「ロールを作成」をクリックします。

設定項目 値 設定の基準
信頼されたエンティティタイプ AWSのサービス Glueサービスが使用するロール
サービス Glue クローラーがGlueサービスとして実行されるため
許可ポリシー AWSGlueServiceRole Glueの基本的なアクセス権限
ロール名 AWSGlueServiceRole-lf-handson Glueサービスロールの命名規則に従う

また、このロールにS3バケットへの読み取り権限を追加します。ロールを開き、「許可を追加」>「インラインポリシーを作成」から、以下のポリシーを追加してください。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::lf-handson-data-{自分の名前}",
                "arn:aws:s3:::lf-handson-data-{自分の名前}/*"
            ]
        }
    ]
}

{自分の名前} の部分は、実際のバケット名に合わせて変更してください。

次に、Lake Formationでこのロールにデータベースへの権限を付与します。Lake Formationのダッシュボードを開き、「Permissions」>「Data permissions」から「Grant」をクリックします。

下記表に従い、設定を行ってください。

設定項目 値 設定の基準
Principals IAM users and roles IAMロールに権限を付与するため
IAM users and roles AWSGlueServiceRole-lf-handson クローラー用ロールを選択
Named Data Catalog resources Databases: lf_handson_db 対象のデータベースを指定
Database permissions Create table, Describe テーブル作成とメタデータ参照を許可

設定後、「Grant」をクリックします。

「Data permissions」画面に AWSGlueServiceRole-lf-handson への権限エントリが表示されていれば、クローラー用の権限付与は完了です。

3. クローラーの作成と実行

データベースとクローラー用の権限が準備できたので、S3上のCSVファイルを自動的に解析してテーブルとして登録するクローラーを作成します。クローラーは、CSVのヘッダ行からカラム名を、データの内容からデータ型を自動的に判別してくれます。

左メニューから「Data Catalog」>「Crawlers」を選択し、「Create crawler」をクリックします。

3.1 ステップ1: クローラーのプロパティの設定

下記表に従い、設定を行ってください。

設定項目 値 設定の基準
Name lf-handson-crawler ハンズオン用のクローラーであることがわかる名前

設定後、「Next」をクリックします。

3.2 ステップ2: データソースの設定

「Add a data source」をクリックし、下記表に従い設定を行ってください。

設定項目 値 設定の基準
Data source S3 CSVファイルがS3に保存されているため
S3 path s3://lf-handson-data-{自分の名前}/customers/ 先ほど作成したフォルダを指定

設定後、「Add an S3 data source」をクリックし、「Next」をクリックします。

3.3 ステップ3: セキュリティ設定

クローラーがS3やGlueデータカタログにアクセスするためのIAMロールを設定します。

「Choose an existing IAM role」を選択し、先ほど作成した AWSGlueServiceRole-lf-handson を指定します。

設定後、「Next」をクリックします。

3.4 ステップ4: 出力の設定

下記表に従い、設定を行ってください。

設定項目 値 設定の基準
Target database lf_handson_db 先ほど作成したデータベースを指定

設定後、「Next」をクリックします。

3.5 ステップ5: 確認と作成

設定内容を確認し、「Create crawler」をクリックします。

クローラーが作成されたら、「Run crawler」をクリックして実行します。

実行が完了するまで数分かかります。

ステータスが「Completed」になったら完了です。

4. テーブルの確認

クローラーの実行が完了したら、CSVファイルの構造が正しくデータカタログに登録されたかを確認します。

左メニューから「Data Catalog」>「Tables」を選択し、lf_handson_db データベースに customers というテーブルが作成されていることを確認します。テーブルを開くと、CSVファイルのカラム(customer_id, name, email, phone, region, total_purchases, birth_date, address, credit_card_last4)が認識されていることを確認できます。

テーブルが作成され、9つのカラムがすべて表示されていれば、データカタログの作成は完了です。

5. Athenaでデータを確認する

Lake Formationのアクセス制御(LF-Tag)を設定する前に、現時点でAthenaからすべてのカラムが参照できることを確認しておきましょう。この状態がLF-Tag設定後にどう変わるかを比較するためです。

Athenaのダッシュボードを開き、クエリエディタで以下のクエリを実行します。

💡 ポイント
Athenaを初めて使用する場合、クエリ結果の保存先が未設定のためエラーになります。「Settings」タブから「Manage」をクリックし、「Location of query result」に任意のS3バケットを指定してください。
SELECT * FROM lf_handson_db.customers;

customer_id、name、email、phone、region、total_purchases、birth_date、address、credit_card_last4 の9つのカラムすべてが表示されることを確認してください。現時点ではLF-Tagによるアクセス制御が設定されていないため、全カラムを参照できる状態です。

この後のセクションでLF-Tagによるアクセス制御を設定すると、ロールに応じて参照できるカラムが制限されるようになります。

💡 ポイント
「Permissions」>「Data permissions」を開いた際に、lf_handson_db に対する IAMAllowedPrincipals というエントリが表示されている場合は、選択して「Revoke」で取り消してください。IAMAllowedPrincipals はLake Formationを介さずにIAMポリシーのみでアクセスを許可する特別なグループで、この権限が残っているとLF-Tagのアクセス制御が機能しません。今回の手順ではData Catalog settingsを先に変更しているため、通常は付与されません。