Glueクローラーによるデータカタログの作成
Lake Formationの初期設定が完了したので、Glueでデータカタログを作成します。S3にデータを配置しただけでは、Lake FormationやAthenaはそのデータの構造(カラム名やデータ型など)を認識できません。データの構造を自動的に解析してカタログ化するために、Glueクローラーを使用します。ここで作成されるデータカタログが、後のセクションでLF-Tagによるアクセス制御を設定する対象になります。
1. データベースの作成
Glueクローラーがテーブル情報を登録する先として、まずGlueデータカタログ上にデータベースを作成します。
Glueのダッシュボードを開き、左メニューから「Data Catalog」>「Database」を選択し、「Add database」をクリックします。

下記表に従い、設定を行ってください。
| 設定項目 | 値 | 設定の基準 |
|---|---|---|
| Name | lf_handson_db | ハンズオン用のデータベースであることがわかる名前 |
設定後、「Create database」をクリックします。

無事に lf_handson_db が作成されていれば、ここまでの操作は完了です。

2. クローラー用ロールへのLake Formation権限付与
前のセクションでLake Formationの権限モデルを有効にしたため、Glueクローラーがデータベースにテーブルを作成するには、Lake Formation側でクローラーのIAMロールに権限を付与する必要があります。
まず、クローラーで使用するIAMロールを先に作成します。IAMのダッシュボードを開き、左メニューから「ロール」を選択し、「ロールを作成」をクリックします。
| 設定項目 | 値 | 設定の基準 |
|---|---|---|
| 信頼されたエンティティタイプ | AWSのサービス | Glueサービスが使用するロール |
| サービス | Glue | クローラーがGlueサービスとして実行されるため |
| 許可ポリシー | AWSGlueServiceRole | Glueの基本的なアクセス権限 |
| ロール名 | AWSGlueServiceRole-lf-handson | Glueサービスロールの命名規則に従う |
また、このロールにS3バケットへの読み取り権限を追加します。ロールを開き、「許可を追加」>「インラインポリシーを作成」から、以下のポリシーを追加してください。
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:ListBucket"
],
"Resource": [
"arn:aws:s3:::lf-handson-data-{自分の名前}",
"arn:aws:s3:::lf-handson-data-{自分の名前}/*"
]
}
]
}
{自分の名前} の部分は、実際のバケット名に合わせて変更してください。
次に、Lake Formationでこのロールにデータベースへの権限を付与します。Lake Formationのダッシュボードを開き、「Permissions」>「Data permissions」から「Grant」をクリックします。
下記表に従い、設定を行ってください。
| 設定項目 | 値 | 設定の基準 |
|---|---|---|
| Principals | IAM users and roles | IAMロールに権限を付与するため |
| IAM users and roles | AWSGlueServiceRole-lf-handson | クローラー用ロールを選択 |
| Named Data Catalog resources | Databases: lf_handson_db | 対象のデータベースを指定 |
| Database permissions | Create table, Describe | テーブル作成とメタデータ参照を許可 |
設定後、「Grant」をクリックします。
「Data permissions」画面に AWSGlueServiceRole-lf-handson への権限エントリが表示されていれば、クローラー用の権限付与は完了です。
3. クローラーの作成と実行
データベースとクローラー用の権限が準備できたので、S3上のCSVファイルを自動的に解析してテーブルとして登録するクローラーを作成します。クローラーは、CSVのヘッダ行からカラム名を、データの内容からデータ型を自動的に判別してくれます。
左メニューから「Data Catalog」>「Crawlers」を選択し、「Create crawler」をクリックします。

3.1 ステップ1: クローラーのプロパティの設定
下記表に従い、設定を行ってください。
| 設定項目 | 値 | 設定の基準 |
|---|---|---|
| Name | lf-handson-crawler | ハンズオン用のクローラーであることがわかる名前 |
設定後、「Next」をクリックします。

3.2 ステップ2: データソースの設定
「Add a data source」をクリックし、下記表に従い設定を行ってください。
| 設定項目 | 値 | 設定の基準 |
|---|---|---|
| Data source | S3 | CSVファイルがS3に保存されているため |
| S3 path | s3://lf-handson-data-{自分の名前}/customers/ | 先ほど作成したフォルダを指定 |

設定後、「Add an S3 data source」をクリックし、「Next」をクリックします。

3.3 ステップ3: セキュリティ設定
クローラーがS3やGlueデータカタログにアクセスするためのIAMロールを設定します。
「Choose an existing IAM role」を選択し、先ほど作成した AWSGlueServiceRole-lf-handson を指定します。
設定後、「Next」をクリックします。

3.4 ステップ4: 出力の設定
下記表に従い、設定を行ってください。
| 設定項目 | 値 | 設定の基準 |
|---|---|---|
| Target database | lf_handson_db | 先ほど作成したデータベースを指定 |
設定後、「Next」をクリックします。

3.5 ステップ5: 確認と作成
設定内容を確認し、「Create crawler」をクリックします。

クローラーが作成されたら、「Run crawler」をクリックして実行します。

実行が完了するまで数分かかります。

ステータスが「Completed」になったら完了です。

4. テーブルの確認
クローラーの実行が完了したら、CSVファイルの構造が正しくデータカタログに登録されたかを確認します。
左メニューから「Data Catalog」>「Tables」を選択し、lf_handson_db データベースに customers というテーブルが作成されていることを確認します。テーブルを開くと、CSVファイルのカラム(customer_id, name, email, phone, region, total_purchases, birth_date, address, credit_card_last4)が認識されていることを確認できます。
テーブルが作成され、9つのカラムがすべて表示されていれば、データカタログの作成は完了です。


5. Athenaでデータを確認する
Lake Formationのアクセス制御(LF-Tag)を設定する前に、現時点でAthenaからすべてのカラムが参照できることを確認しておきましょう。この状態がLF-Tag設定後にどう変わるかを比較するためです。
Athenaのダッシュボードを開き、クエリエディタで以下のクエリを実行します。
| 💡 ポイント |
|---|
| Athenaを初めて使用する場合、クエリ結果の保存先が未設定のためエラーになります。「Settings」タブから「Manage」をクリックし、「Location of query result」に任意のS3バケットを指定してください。 |
SELECT * FROM lf_handson_db.customers;
customer_id、name、email、phone、region、total_purchases、birth_date、address、credit_card_last4 の9つのカラムすべてが表示されることを確認してください。現時点ではLF-Tagによるアクセス制御が設定されていないため、全カラムを参照できる状態です。

この後のセクションでLF-Tagによるアクセス制御を設定すると、ロールに応じて参照できるカラムが制限されるようになります。
| 💡 ポイント |
|---|
「Permissions」>「Data permissions」を開いた際に、lf_handson_db に対する IAMAllowedPrincipals というエントリが表示されている場合は、選択して「Revoke」で取り消してください。IAMAllowedPrincipals はLake Formationを介さずにIAMポリシーのみでアクセスを許可する特別なグループで、この権限が残っているとLF-Tagのアクセス制御が機能しません。今回の手順ではData Catalog settingsを先に変更しているため、通常は付与されません。 |