(参考)Terraformで構築する場合

このセクションで作成したリソース(S3バケット、Glueデータベース・クローラー、IAMロール、Lake Formationの設定)をTerraformで構築する方法を紹介します。

ただし、Lake Formationの一部の設定(LF-Tagのカラムへの割り当て、LF-Tagベースの権限付与、データロケーション登録)はTerraformで管理できますが、Data Catalog settingsの変更(チェックボックスの切り替え)はTerraformでは対応していないため、手動で実施する必要があります。

1. 事前に手動で実施する設定

Terraformを実行する前に、以下の2点をAWSマネジメントコンソールで設定してください。

  1. Lake Formationのダッシュボードで「Add myself」にチェックを入れて、データレイク管理者を登録する
  2. 「Administration」>「Data Catalog settings」で2つのチェックボックスを外し、Data Catalog settingsを変更する

詳細な手順は、ハンズオン本編の「Lake Formationの初期設定」セクションに記載があります。

2. Terraformコード

本章では、以下のコードを main.tf として保存してください。

# ==============================================================
# Provider(プロバイダ設定)
# ==============================================================
terraform {
  required_providers {
    aws = {
      source  = "hashicorp/aws"
      version = "~> 6.0"
    }
  }
}

provider "aws" {
  region = "ap-northeast-1" # 東京リージョン
}

# ==============================================================
# Variables(入力変数)
# ==============================================================
variable "bucket_suffix" {
  description = "S3バケット名のサフィックス(グローバルで一意にするため)"
  type        = string
}

# ==============================================================
# S3(データ格納用バケット)
# ==============================================================

# データ格納用S3バケット
resource "aws_s3_bucket" "data" {
  bucket        = "lf-handson-data-${var.bucket_suffix}"
  force_destroy = true # terraform destroy時にオブジェクトごと削除
}

# customers/フォルダ(プレフィックス)を作成
resource "aws_s3_object" "customers_folder" {
  bucket = aws_s3_bucket.data.id
  key    = "customers/"
}

# サンプルCSVデータをS3にアップロード
resource "aws_s3_object" "customers_csv" {
  bucket  = aws_s3_bucket.data.id
  key     = "customers/customers.csv"
  content = <<-CSV
customer_id,name,email,phone,region,total_purchases,birth_date,address,credit_card_last4
C001,田中太郎,tanaka@example.com,090-1234-5678,東京,150000,1985-03-15,東京都渋谷区神宮前1-1-1,1234
C002,佐藤花子,sato@example.com,080-2345-6789,大阪,230000,1990-07-22,大阪府大阪市北区梅田2-2-2,5678
C003,鈴木一郎,suzuki@example.com,070-3456-7890,福岡,80000,1978-11-08,福岡県福岡市博多区博多駅前3-3-3,9012
C004,山田美咲,yamada@example.com,090-4567-8901,東京,310000,1995-01-30,東京都新宿区西新宿4-4-4,3456
C005,高橋健太,takahashi@example.com,080-5678-9012,名古屋,120000,1988-09-12,愛知県名古屋市中区栄5-5-5,7890
  CSV
}

# Athenaクエリ結果保存用S3バケット
resource "aws_s3_bucket" "athena_results" {
  bucket        = "lf-handson-athena-results-${var.bucket_suffix}"
  force_destroy = true
}

# ==============================================================
# IAM(権限管理)
# ==============================================================

# --- Glueクローラー用IAMロール ---
resource "aws_iam_role" "glue_crawler" {
  name = "AWSGlueServiceRole-lf-handson"

  assume_role_policy = jsonencode({
    Version = "2012-10-17"
    Statement = [{
      Action = "sts:AssumeRole"
      Effect = "Allow"
      Principal = { Service = "glue.amazonaws.com" }
    }]
  })
}

# Glueの基本権限をアタッチ
resource "aws_iam_role_policy_attachment" "glue_service" {
  role       = aws_iam_role.glue_crawler.name
  policy_arn = "arn:aws:iam::aws:policy/service-role/AWSGlueServiceRole"
}

# S3データバケットへの読み取り権限
resource "aws_iam_role_policy" "glue_s3_access" {
  name = "glue-s3-data-access"
  role = aws_iam_role.glue_crawler.id

  policy = jsonencode({
    Version = "2012-10-17"
    Statement = [{
      Effect   = "Allow"
      Action   = ["s3:GetObject", "s3:ListBucket"]
      Resource = [
        aws_s3_bucket.data.arn,
        "${aws_s3_bucket.data.arn}/*"
      ]
    }]
  })
}

# --- 3つの業務ロール(マーケティング・サポート・データ管理者) ---
locals {
  roles = {
    marketing  = "lf-handson-marketing"
    support    = "lf-handson-support"
    data_admin = "lf-handson-data-admin"
  }
}

# 各ロールの作成(Athenaからの利用を想定)
resource "aws_iam_role" "business" {
  for_each = local.roles
  name     = each.value

  assume_role_policy = jsonencode({
    Version = "2012-10-17"
    Statement = [{
      Action = "sts:AssumeRole"
      Effect = "Allow"
      Principal = { Service = "athena.amazonaws.com" }
    }, {
      Action = "sts:AssumeRole"
      Effect = "Allow"
      Principal = { AWS = data.aws_caller_identity.current.arn }
    }]
  })
}

data "aws_caller_identity" "current" {}

# 各ロールにAthenaFullAccessをアタッチ
resource "aws_iam_role_policy_attachment" "athena_access" {
  for_each   = local.roles
  role       = aws_iam_role.business[each.key].name
  policy_arn = "arn:aws:iam::aws:policy/AmazonAthenaFullAccess"
}

# 各ロールにAthenaクエリ結果バケットへの書き込み権限を付与
resource "aws_iam_role_policy" "athena_results_access" {
  for_each = local.roles
  name     = "athena-results-access"
  role     = aws_iam_role.business[each.key].id

  policy = jsonencode({
    Version = "2012-10-17"
    Statement = [{
      Effect   = "Allow"
      Action   = ["s3:PutObject", "s3:GetObject", "s3:GetBucketLocation"]
      Resource = [
        aws_s3_bucket.athena_results.arn,
        "${aws_s3_bucket.athena_results.arn}/*"
      ]
    }]
  })
}

# ==============================================================
# Glue Data Catalog(データカタログ)
# ==============================================================

# データベースの作成
resource "aws_glue_catalog_database" "main" {
  name = "lf_handson_db"
}

# クローラーの作成
resource "aws_glue_crawler" "main" {
  name          = "lf-handson-crawler"
  role          = aws_iam_role.glue_crawler.arn
  database_name = aws_glue_catalog_database.main.name

  s3_target {
    path = "s3://${aws_s3_bucket.data.id}/customers/"
  }

  depends_on = [
    aws_lakeformation_permissions.glue_crawler_db
  ]
}

# ==============================================================
# Lake Formation(アクセス制御)
# ==============================================================

# --- クローラー用ロールへのデータベース権限 ---
resource "aws_lakeformation_permissions" "glue_crawler_db" {
  principal   = aws_iam_role.glue_crawler.arn
  permissions = ["CREATE_TABLE", "DESCRIBE"]

  database {
    name = aws_glue_catalog_database.main.name
  }
}

# --- LF-Tagの作成 ---
resource "aws_lakeformation_lf_tag" "sensitivity" {
  key    = "sensitivity"
  values = ["general", "personal", "sensitive"]
}

# --- LF-Tagベースの権限付与 ---

# マーケティング担当: generalのみ
resource "aws_lakeformation_permissions" "marketing" {
  principal   = aws_iam_role.business["marketing"].arn
  permissions = ["DESCRIBE"]

  lf_tag_policy {
    resource_type = "DATABASE"
    expression {
      key    = "sensitivity"
      values = ["general"]
    }
  }
}

resource "aws_lakeformation_permissions" "marketing_table" {
  principal   = aws_iam_role.business["marketing"].arn
  permissions = ["SELECT", "DESCRIBE"]

  lf_tag_policy {
    resource_type = "TABLE"
    expression {
      key    = "sensitivity"
      values = ["general"]
    }
  }
}

# カスタマーサポート担当: general + personal
resource "aws_lakeformation_permissions" "support" {
  principal   = aws_iam_role.business["support"].arn
  permissions = ["DESCRIBE"]

  lf_tag_policy {
    resource_type = "DATABASE"
    expression {
      key    = "sensitivity"
      values = ["general", "personal"]
    }
  }
}

resource "aws_lakeformation_permissions" "support_table" {
  principal   = aws_iam_role.business["support"].arn
  permissions = ["SELECT", "DESCRIBE"]

  lf_tag_policy {
    resource_type = "TABLE"
    expression {
      key    = "sensitivity"
      values = ["general", "personal"]
    }
  }
}

# データ管理者: すべて
resource "aws_lakeformation_permissions" "data_admin" {
  principal   = aws_iam_role.business["data_admin"].arn
  permissions = ["DESCRIBE"]

  lf_tag_policy {
    resource_type = "DATABASE"
    expression {
      key    = "sensitivity"
      values = ["general", "personal", "sensitive"]
    }
  }
}

resource "aws_lakeformation_permissions" "data_admin_table" {
  principal   = aws_iam_role.business["data_admin"].arn
  permissions = ["SELECT", "DESCRIBE"]

  lf_tag_policy {
    resource_type = "TABLE"
    expression {
      key    = "sensitivity"
      values = ["general", "personal", "sensitive"]
    }
  }
}

# --- データロケーション登録 ---
resource "aws_lakeformation_resource" "data_location" {
  arn = aws_s3_bucket.data.arn
}

# ==============================================================
# Outputs(出力値)
# terraform apply後にコンソールに表示される情報
# ==============================================================
output "data_bucket_name" {
  description = "データ格納先のS3バケット名"
  value       = aws_s3_bucket.data.id
}

output "athena_results_bucket_name" {
  description = "Athenaクエリ結果の保存先S3バケット名"
  value       = aws_s3_bucket.athena_results.id
}

output "crawler_name" {
  description = "Glueクローラー名"
  value       = aws_glue_crawler.main.name
}

3. Terraformで管理するリソースの解説

リソース Terraformリソース名 説明
S3バケット(データ用) aws_s3_bucket / aws_s3_object CSVデータの格納先。customers/フォルダとCSVファイルをインラインで作成
S3バケット(Athena用) aws_s3_bucket Athenaのクエリ結果保存用バケット
Glueクローラー用ロール aws_iam_role / aws_iam_role_policy Glueクローラーの実行ロール。AWSGlueServiceRoleポリシーとS3読み取り権限をアタッチ
3つの業務ロール aws_iam_role(for_each) マーケティング・サポート・データ管理者用ロール。AmazonAthenaFullAccessとAthena結果バケットへの書き込み権限を付与
Glueデータベース aws_glue_catalog_database データカタログのデータベース(lf_handson_db)
Glueクローラー aws_glue_crawler S3上のCSVを解析してテーブルを自動作成
LF-Tag aws_lakeformation_lf_tag sensitivityタグ(general / personal / sensitive)
LF-Tagベース権限 aws_lakeformation_permissions 各ロールに対するLF-Tagベースのアクセス権限(DATABASE / TABLE)
データロケーション aws_lakeformation_resource S3バケットをLake Formationの管理下に登録
💡 ポイント
LF-Tagのカラムへの割り当てはTerraformでは対応していないため、Terraform実行後にAWSマネジメントコンソールから手動で設定する必要があります。手順はハンズオン本編の「カラムへのLF-Tag割り当て」セクションに記載があります。

4. 実行方法

4.1 Terraform実行

terraform.tfvarsを作成し、変数を設定します。

bucket_suffix = "yamada"  # ご自身の名前に置き換えてください

以下のコマンドで、Terraform がインストールされていることを確認します。

terraform --version

以下のように Terraform のバージョンが表示されれば、インストールは確認できています。

Terraform vX.X.X
on darwin_arm64

バージョンが表示されない場合は、Terraformのインストール を先に実施してください。

インストールが確認できたら、Terraformの初期化を行います。プロバイダのダウンロードなどが実行されます。

terraform init

次に、作成されるリソースの実行計画を確認します。どのようなリソースが作成されるかを事前に確認できます。

terraform plan

問題がなければ、実際にリソースを作成します。確認プロンプトが表示されるので、yesと入力してください。

terraform apply

4.2 Glueクローラーの実行

Terraformでリソースを作成しただけではクローラーは自動実行されません。AWSマネジメントコンソールから手動で実行します。

AWSマネジメントコンソールで「AWS Glue」を開き、左メニューから「Crawlers」を選択します。クローラー一覧から lf-handson-crawler を選択し、「Run」ボタンをクリックして実行します。ステータスが「Completed」になったら、「Data Catalog」>「Tables」に customers テーブルが自動作成されます。

4.3 LF-Tagのカラム割り当て(手動)

クローラーの実行が完了したら、ハンズオン本編の「カラムへのLF-Tag割り当て」セクションの手順に従って、各カラムにLF-Tagを割り当ててください。

4.4 Athenaで動作確認

LF-Tagのカラム割り当てが完了したら、ハンズオン本編の「Athenaで動作確認」セクションの手順に従って、各ロールでクエリを実行し、アクセス制御が機能していることを確認してください。

4.5 リソースの削除

環境を削除する場合は、以下のコマンドを実行します。

terraform destroy

force_destroy = trueを設定しているため、S3バケット内にオブジェクトがあっても削除されます。

💡 ポイント
terraform destroyではLake FormationのData Catalog settings(チェックボックス)は元に戻りません。Lake Formationを引き続き使用しない場合は、ハンズオン本編の「(任意)Lake Formationの権限モデルを無効にする」セクションの手順で手動で戻してください。