(参考)Terraformで構築する場合
このセクションで作成したリソース(S3バケット、Glueデータベース・クローラー、IAMロール、Lake Formationの設定)をTerraformで構築する方法を紹介します。
ただし、Lake Formationの一部の設定(LF-Tagのカラムへの割り当て、LF-Tagベースの権限付与、データロケーション登録)はTerraformで管理できますが、Data Catalog settingsの変更(チェックボックスの切り替え)はTerraformでは対応していないため、手動で実施する必要があります。
1. 事前に手動で実施する設定
Terraformを実行する前に、以下の2点をAWSマネジメントコンソールで設定してください。
- Lake Formationのダッシュボードで「Add myself」にチェックを入れて、データレイク管理者を登録する
- 「Administration」>「Data Catalog settings」で2つのチェックボックスを外し、Data Catalog settingsを変更する
詳細な手順は、ハンズオン本編の「Lake Formationの初期設定」セクションに記載があります。
2. Terraformコード
本章では、以下のコードを main.tf として保存してください。
# ==============================================================
# Provider(プロバイダ設定)
# ==============================================================
terraform {
required_providers {
aws = {
source = "hashicorp/aws"
version = "~> 6.0"
}
}
}
provider "aws" {
region = "ap-northeast-1" # 東京リージョン
}
# ==============================================================
# Variables(入力変数)
# ==============================================================
variable "bucket_suffix" {
description = "S3バケット名のサフィックス(グローバルで一意にするため)"
type = string
}
# ==============================================================
# S3(データ格納用バケット)
# ==============================================================
# データ格納用S3バケット
resource "aws_s3_bucket" "data" {
bucket = "lf-handson-data-${var.bucket_suffix}"
force_destroy = true # terraform destroy時にオブジェクトごと削除
}
# customers/フォルダ(プレフィックス)を作成
resource "aws_s3_object" "customers_folder" {
bucket = aws_s3_bucket.data.id
key = "customers/"
}
# サンプルCSVデータをS3にアップロード
resource "aws_s3_object" "customers_csv" {
bucket = aws_s3_bucket.data.id
key = "customers/customers.csv"
content = <<-CSV
customer_id,name,email,phone,region,total_purchases,birth_date,address,credit_card_last4
C001,田中太郎,tanaka@example.com,090-1234-5678,東京,150000,1985-03-15,東京都渋谷区神宮前1-1-1,1234
C002,佐藤花子,sato@example.com,080-2345-6789,大阪,230000,1990-07-22,大阪府大阪市北区梅田2-2-2,5678
C003,鈴木一郎,suzuki@example.com,070-3456-7890,福岡,80000,1978-11-08,福岡県福岡市博多区博多駅前3-3-3,9012
C004,山田美咲,yamada@example.com,090-4567-8901,東京,310000,1995-01-30,東京都新宿区西新宿4-4-4,3456
C005,高橋健太,takahashi@example.com,080-5678-9012,名古屋,120000,1988-09-12,愛知県名古屋市中区栄5-5-5,7890
CSV
}
# Athenaクエリ結果保存用S3バケット
resource "aws_s3_bucket" "athena_results" {
bucket = "lf-handson-athena-results-${var.bucket_suffix}"
force_destroy = true
}
# ==============================================================
# IAM(権限管理)
# ==============================================================
# --- Glueクローラー用IAMロール ---
resource "aws_iam_role" "glue_crawler" {
name = "AWSGlueServiceRole-lf-handson"
assume_role_policy = jsonencode({
Version = "2012-10-17"
Statement = [{
Action = "sts:AssumeRole"
Effect = "Allow"
Principal = { Service = "glue.amazonaws.com" }
}]
})
}
# Glueの基本権限をアタッチ
resource "aws_iam_role_policy_attachment" "glue_service" {
role = aws_iam_role.glue_crawler.name
policy_arn = "arn:aws:iam::aws:policy/service-role/AWSGlueServiceRole"
}
# S3データバケットへの読み取り権限
resource "aws_iam_role_policy" "glue_s3_access" {
name = "glue-s3-data-access"
role = aws_iam_role.glue_crawler.id
policy = jsonencode({
Version = "2012-10-17"
Statement = [{
Effect = "Allow"
Action = ["s3:GetObject", "s3:ListBucket"]
Resource = [
aws_s3_bucket.data.arn,
"${aws_s3_bucket.data.arn}/*"
]
}]
})
}
# --- 3つの業務ロール(マーケティング・サポート・データ管理者) ---
locals {
roles = {
marketing = "lf-handson-marketing"
support = "lf-handson-support"
data_admin = "lf-handson-data-admin"
}
}
# 各ロールの作成(Athenaからの利用を想定)
resource "aws_iam_role" "business" {
for_each = local.roles
name = each.value
assume_role_policy = jsonencode({
Version = "2012-10-17"
Statement = [{
Action = "sts:AssumeRole"
Effect = "Allow"
Principal = { Service = "athena.amazonaws.com" }
}, {
Action = "sts:AssumeRole"
Effect = "Allow"
Principal = { AWS = data.aws_caller_identity.current.arn }
}]
})
}
data "aws_caller_identity" "current" {}
# 各ロールにAthenaFullAccessをアタッチ
resource "aws_iam_role_policy_attachment" "athena_access" {
for_each = local.roles
role = aws_iam_role.business[each.key].name
policy_arn = "arn:aws:iam::aws:policy/AmazonAthenaFullAccess"
}
# 各ロールにAthenaクエリ結果バケットへの書き込み権限を付与
resource "aws_iam_role_policy" "athena_results_access" {
for_each = local.roles
name = "athena-results-access"
role = aws_iam_role.business[each.key].id
policy = jsonencode({
Version = "2012-10-17"
Statement = [{
Effect = "Allow"
Action = ["s3:PutObject", "s3:GetObject", "s3:GetBucketLocation"]
Resource = [
aws_s3_bucket.athena_results.arn,
"${aws_s3_bucket.athena_results.arn}/*"
]
}]
})
}
# ==============================================================
# Glue Data Catalog(データカタログ)
# ==============================================================
# データベースの作成
resource "aws_glue_catalog_database" "main" {
name = "lf_handson_db"
}
# クローラーの作成
resource "aws_glue_crawler" "main" {
name = "lf-handson-crawler"
role = aws_iam_role.glue_crawler.arn
database_name = aws_glue_catalog_database.main.name
s3_target {
path = "s3://${aws_s3_bucket.data.id}/customers/"
}
depends_on = [
aws_lakeformation_permissions.glue_crawler_db
]
}
# ==============================================================
# Lake Formation(アクセス制御)
# ==============================================================
# --- クローラー用ロールへのデータベース権限 ---
resource "aws_lakeformation_permissions" "glue_crawler_db" {
principal = aws_iam_role.glue_crawler.arn
permissions = ["CREATE_TABLE", "DESCRIBE"]
database {
name = aws_glue_catalog_database.main.name
}
}
# --- LF-Tagの作成 ---
resource "aws_lakeformation_lf_tag" "sensitivity" {
key = "sensitivity"
values = ["general", "personal", "sensitive"]
}
# --- LF-Tagベースの権限付与 ---
# マーケティング担当: generalのみ
resource "aws_lakeformation_permissions" "marketing" {
principal = aws_iam_role.business["marketing"].arn
permissions = ["DESCRIBE"]
lf_tag_policy {
resource_type = "DATABASE"
expression {
key = "sensitivity"
values = ["general"]
}
}
}
resource "aws_lakeformation_permissions" "marketing_table" {
principal = aws_iam_role.business["marketing"].arn
permissions = ["SELECT", "DESCRIBE"]
lf_tag_policy {
resource_type = "TABLE"
expression {
key = "sensitivity"
values = ["general"]
}
}
}
# カスタマーサポート担当: general + personal
resource "aws_lakeformation_permissions" "support" {
principal = aws_iam_role.business["support"].arn
permissions = ["DESCRIBE"]
lf_tag_policy {
resource_type = "DATABASE"
expression {
key = "sensitivity"
values = ["general", "personal"]
}
}
}
resource "aws_lakeformation_permissions" "support_table" {
principal = aws_iam_role.business["support"].arn
permissions = ["SELECT", "DESCRIBE"]
lf_tag_policy {
resource_type = "TABLE"
expression {
key = "sensitivity"
values = ["general", "personal"]
}
}
}
# データ管理者: すべて
resource "aws_lakeformation_permissions" "data_admin" {
principal = aws_iam_role.business["data_admin"].arn
permissions = ["DESCRIBE"]
lf_tag_policy {
resource_type = "DATABASE"
expression {
key = "sensitivity"
values = ["general", "personal", "sensitive"]
}
}
}
resource "aws_lakeformation_permissions" "data_admin_table" {
principal = aws_iam_role.business["data_admin"].arn
permissions = ["SELECT", "DESCRIBE"]
lf_tag_policy {
resource_type = "TABLE"
expression {
key = "sensitivity"
values = ["general", "personal", "sensitive"]
}
}
}
# --- データロケーション登録 ---
resource "aws_lakeformation_resource" "data_location" {
arn = aws_s3_bucket.data.arn
}
# ==============================================================
# Outputs(出力値)
# terraform apply後にコンソールに表示される情報
# ==============================================================
output "data_bucket_name" {
description = "データ格納先のS3バケット名"
value = aws_s3_bucket.data.id
}
output "athena_results_bucket_name" {
description = "Athenaクエリ結果の保存先S3バケット名"
value = aws_s3_bucket.athena_results.id
}
output "crawler_name" {
description = "Glueクローラー名"
value = aws_glue_crawler.main.name
}
3. Terraformで管理するリソースの解説
| リソース | Terraformリソース名 | 説明 |
|---|---|---|
| S3バケット(データ用) | aws_s3_bucket / aws_s3_object |
CSVデータの格納先。customers/フォルダとCSVファイルをインラインで作成 |
| S3バケット(Athena用) | aws_s3_bucket |
Athenaのクエリ結果保存用バケット |
| Glueクローラー用ロール | aws_iam_role / aws_iam_role_policy |
Glueクローラーの実行ロール。AWSGlueServiceRoleポリシーとS3読み取り権限をアタッチ |
| 3つの業務ロール | aws_iam_role(for_each) |
マーケティング・サポート・データ管理者用ロール。AmazonAthenaFullAccessとAthena結果バケットへの書き込み権限を付与 |
| Glueデータベース | aws_glue_catalog_database |
データカタログのデータベース(lf_handson_db) |
| Glueクローラー | aws_glue_crawler |
S3上のCSVを解析してテーブルを自動作成 |
| LF-Tag | aws_lakeformation_lf_tag |
sensitivityタグ(general / personal / sensitive) |
| LF-Tagベース権限 | aws_lakeformation_permissions |
各ロールに対するLF-Tagベースのアクセス権限(DATABASE / TABLE) |
| データロケーション | aws_lakeformation_resource |
S3バケットをLake Formationの管理下に登録 |
| 💡 ポイント |
|---|
| LF-Tagのカラムへの割り当てはTerraformでは対応していないため、Terraform実行後にAWSマネジメントコンソールから手動で設定する必要があります。手順はハンズオン本編の「カラムへのLF-Tag割り当て」セクションに記載があります。 |
4. 実行方法
4.1 Terraform実行
terraform.tfvarsを作成し、変数を設定します。
bucket_suffix = "yamada" # ご自身の名前に置き換えてください
以下のコマンドで、Terraform がインストールされていることを確認します。
terraform --version
以下のように Terraform のバージョンが表示されれば、インストールは確認できています。
Terraform vX.X.X
on darwin_arm64
バージョンが表示されない場合は、Terraformのインストール を先に実施してください。
インストールが確認できたら、Terraformの初期化を行います。プロバイダのダウンロードなどが実行されます。
terraform init
次に、作成されるリソースの実行計画を確認します。どのようなリソースが作成されるかを事前に確認できます。
terraform plan
問題がなければ、実際にリソースを作成します。確認プロンプトが表示されるので、yesと入力してください。
terraform apply
4.2 Glueクローラーの実行
Terraformでリソースを作成しただけではクローラーは自動実行されません。AWSマネジメントコンソールから手動で実行します。
AWSマネジメントコンソールで「AWS Glue」を開き、左メニューから「Crawlers」を選択します。クローラー一覧から lf-handson-crawler を選択し、「Run」ボタンをクリックして実行します。ステータスが「Completed」になったら、「Data Catalog」>「Tables」に customers テーブルが自動作成されます。
4.3 LF-Tagのカラム割り当て(手動)
クローラーの実行が完了したら、ハンズオン本編の「カラムへのLF-Tag割り当て」セクションの手順に従って、各カラムにLF-Tagを割り当ててください。
4.4 Athenaで動作確認
LF-Tagのカラム割り当てが完了したら、ハンズオン本編の「Athenaで動作確認」セクションの手順に従って、各ロールでクエリを実行し、アクセス制御が機能していることを確認してください。
4.5 リソースの削除
環境を削除する場合は、以下のコマンドを実行します。
terraform destroy
force_destroy = trueを設定しているため、S3バケット内にオブジェクトがあっても削除されます。
| 💡 ポイント |
|---|
terraform destroyではLake FormationのData Catalog settings(チェックボックス)は元に戻りません。Lake Formationを引き続き使用しない場合は、ハンズオン本編の「(任意)Lake Formationの権限モデルを無効にする」セクションの手順で手動で戻してください。 |