(参考)Terraformで構築する場合

このセクションで構築した環境は、Terraformを使ってコードで管理することもできます。以下に、S3バケット・IAMロール・GlueジョブのすべてのリソースをTerraformで構築するサンプルコードを示します。

注意: サンプルCSVデータの作成とS3へのアップロードは、Terraformの範囲外のため手動で行う必要があります。

1. Terraformコード

本章では、以下のコードをmain.tfとして保存してください。

# ==============================================================
# Provider(プロバイダ設定)
# Terraformが使用するAWSプロバイダのバージョンとリージョンを指定
# ==============================================================
terraform {
  required_providers {
    aws = {
      source  = "hashicorp/aws"
      version = "~> 6.0"
    }
  }
}

provider "aws" {
  region = "ap-northeast-1" # 東京リージョン
}

# ==============================================================
# Variables(入力変数)
# terraform.tfvars または実行時に値を指定する
# ==============================================================

# S3バケット名の末尾に付ける識別子(バケット名はグローバルで一意にする必要があるため)
variable "bucket_suffix" {
  type        = string
  description = "S3 bucket suffix (e.g. yamada-20250120)"
}

# ==============================================================
# S3(データ格納先)
# サンプルCSVの入力先とGlueジョブの出力先
# ==============================================================

# S3バケットの作成
resource "aws_s3_bucket" "glue_data" {
  bucket        = "glue-etl-handson-${var.bucket_suffix}"
  force_destroy = true # ハンズオン用: バケット内にオブジェクトがあっても削除可能にする
  tags          = { Name = "glue-etl-handson-${var.bucket_suffix}" }
}

# inputフォルダの作成(サンプルCSVのアップロード先)
resource "aws_s3_object" "input_folder" {
  bucket = aws_s3_bucket.glue_data.id
  key    = "input/"
}

# outputフォルダの作成(Glueジョブの出力先)
resource "aws_s3_object" "output_folder" {
  bucket = aws_s3_bucket.glue_data.id
  key    = "output/"
}

# scriptsフォルダの作成(PySparkスクリプトの格納先)
resource "aws_s3_object" "scripts_folder" {
  bucket = aws_s3_bucket.glue_data.id
  key    = "scripts/"
}

# PySparkスクリプトをS3にアップロード
resource "aws_s3_object" "etl_script" {
  bucket = aws_s3_bucket.glue_data.id
  key    = "scripts/etl_job.py"
  content = <<-PYSPARK
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from awsglue.context import GlueContext
from awsglue.dynamicframe import DynamicFrame
from pyspark.context import SparkContext
from pyspark.sql.functions import col, lit, concat, sum, count, when, regexp_replace, sha2, to_date, year, month

# ===== 初期化 =====
args = getResolvedOptions(sys.argv, ["JOB_NAME", "INPUT_PATH", "OUTPUT_PATH"])
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session

input_path = args["INPUT_PATH"]
output_path = args["OUTPUT_PATH"]

# ===== Extract(抽出) =====
tokyo_df = spark.read.csv(f"{input_path}/tokyo_sales.csv", header=True, inferSchema=True)
osaka_df = spark.read.csv(f"{input_path}/osaka_sales.csv", header=True, inferSchema=True)

tokyo_df = tokyo_df.withColumn("branch", lit("東京"))
osaka_df = osaka_df.withColumn("branch", lit("大阪"))

df = tokyo_df.union(osaka_df)

print(f"=== 結合後のデータ件数: {df.count()} 件 ===")
df.show()

# ===== Transform(変換) =====
df = df.withColumn("email_hash", sha2(col("email"), 256))
df = df.withColumn("phone_masked",
    regexp_replace(col("phone"), r"^\d{3}-\d{4}", "***-****")
)
df = df.drop("email", "phone")

df = df.withColumn("order_date", to_date(col("order_date"), "yyyy-MM-dd"))
df = df.withColumn("year", year(col("order_date")))
df = df.withColumn("month", month(col("order_date")))
df = df.withColumn("total_price", col("quantity") * col("unit_price"))

df.createOrReplaceTempView("sales")

summary_df = spark.sql("""
    SELECT
        branch,
        category,
        COUNT(*) AS order_count,
        SUM(total_price) AS total_sales,
        AVG(unit_price) AS avg_unit_price
    FROM sales
    GROUP BY branch, category
    ORDER BY branch, total_sales DESC
""")

print("=== 支店別・カテゴリ別の売上集計(Spark SQL) ===")
summary_df.show()

# ===== Load(出力) =====
df.write.partitionBy("branch").parquet(
    f"{output_path}/detail/",
    mode="overwrite"
)

summary_df.write.parquet(
    f"{output_path}/summary/",
    mode="overwrite"
)

print("=== ETL処理が完了しました ===")
  PYSPARK
}

# ==============================================================
# IAM(権限管理)
# GlueジョブがS3やCloudWatch Logsにアクセスするための権限
# ==============================================================

# Glue用IAMロール
resource "aws_iam_role" "glue" {
  name = "glue-etl-handson-role"

  # Glueサービスがこのロールを引き受けることを許可
  assume_role_policy = jsonencode({
    Version = "2012-10-17"
    Statement = [{
      Action = "sts:AssumeRole"
      Effect = "Allow"
      Principal = { Service = "glue.amazonaws.com" }
    }]
  })

  tags = { Name = "glue-etl-handson-role" }
}

# AWSGlueServiceRole(Glueジョブの実行に必要なAWS管理ポリシー)をアタッチ
resource "aws_iam_role_policy_attachment" "glue_service" {
  role       = aws_iam_role.glue.name
  policy_arn = "arn:aws:iam::aws:policy/service-role/AWSGlueServiceRole"
}

# AmazonS3FullAccess(S3バケットの読み書きに必要)をアタッチ
resource "aws_iam_role_policy_attachment" "glue_s3" {
  role       = aws_iam_role.glue.name
  policy_arn = "arn:aws:iam::aws:policy/AmazonS3FullAccess"
}

# ==============================================================
# Glue ETL Job(ETLジョブ)
# S3上のCSVデータを変換しParquet形式で出力するジョブ
# ==============================================================
resource "aws_glue_job" "etl" {
  name     = "glue-etl-handson"
  role_arn = aws_iam_role.glue.arn

  command {
    name            = "glueetl"
    script_location = "s3://${aws_s3_bucket.glue_data.id}/scripts/etl_job.py"
    python_version  = "3"
  }

  # スクリプトに渡すパラメータ
  default_arguments = {
    "--job-language" = "python"
    "--INPUT_PATH"   = "s3://${aws_s3_bucket.glue_data.id}/input"
    "--OUTPUT_PATH"  = "s3://${aws_s3_bucket.glue_data.id}/output"
    "--TempDir"      = "s3://${aws_s3_bucket.glue_data.id}/temp/"
  }

  glue_version      = "5.0"  # Glue 5.0(ハンズオン本編と同じバージョン)
  worker_type       = "G.1X" # ワーカータイプ(G.1X = 4 vCPU, 16 GB メモリ)
  number_of_workers = 2      # ワーカー数(小規模データのため最小構成)
}

# ==============================================================
# Outputs(出力値)
# terraform apply後にコンソールに表示される情報
# ==============================================================
output "s3_bucket_name" {
  description = "データ格納先のS3バケット名"
  value       = aws_s3_bucket.glue_data.id
}

output "glue_job_name" {
  description = "GlueジョブのETLジョブ名"
  value       = aws_glue_job.etl.name
}

2. Glueリソースの解説

Terraformコードのうち、このセクションの主題であるGlue関連のリソースについて解説します。

リソース Terraformリソース名 説明
S3バケット aws_s3_bucket / aws_s3_object Glueの入出力先となるS3バケットを作成。aws_s3_objectでinput/・output/・scripts/フォルダを作成
ETLスクリプト aws_s3_object(etl_script) PySparkで記述されたETLスクリプトをS3にアップロード。ハンズオン本編と同じスクリプトをインラインで定義
IAMロール aws_iam_role / aws_iam_role_policy_attachment Glueジョブの実行に使用するロール。AWSGlueServiceRoleとAmazonS3FullAccessの2つのポリシーをアタッチ
Glue ETLジョブ aws_glue_job Glueジョブの定義。スクリプトの場所、IAMロール、Glueバージョン、ワーカータイプ・数を指定。default_argumentsでスクリプトに渡すパラメータ(入出力先S3パス)を設定

3. 実行方法

3.1 Terraform実行

terraform.tfvarsを作成し、変数を設定します。

bucket_suffix = "yamada-20250120"  # ご自身の名前と日付に置き換えてください

以下のコマンドで、Terraform がインストールされていることを確認します。

terraform --version

以下のように Terraform のバージョンが表示されれば、インストールは確認できています。

Terraform vX.X.X
on darwin_arm64

バージョンが表示されない場合は、Terraformのインストール を先に実施してください。

インストールが確認できたら、Terraformの初期化を行います。プロバイダのダウンロードなどが実行されます。

terraform init

次に、作成されるリソースの実行計画を確認します。どのようなリソースが作成されるかを事前に確認できます。

terraform plan

問題がなければ、実際にリソースを作成します。確認プロンプトが表示されるので、yesと入力してください。

terraform apply

実行が完了すると、S3バケット名とGlueジョブ名が出力されます。

3.2 サンプルデータのアップロード

Terraformでリソースを作成した後、ハンズオン本編と同じサンプルCSVファイル(tokyo_sales.csv・osaka_sales.csv)を作成し、S3のinput/フォルダにアップロードしてください。

以下のコマンドで、AWS CLI がインストールされていることを確認します。

aws --version

以下のように AWS CLI のバージョンが表示されれば、インストールは確認できています。

aws-cli/2.x.x Python/3.x.x Darwin/xx.x.x source/arm64

バージョンが表示されない場合は、AWS CLIのインストール を先に実施してください。

インストールが確認できたら、以下のコマンドでAWS CLIを使ってアップロードできます。

aws s3 cp tokyo_sales.csv s3://glue-etl-handson-<bucket_suffix>/input/
aws s3 cp osaka_sales.csv s3://glue-etl-handson-<bucket_suffix>/input/

3.3 Glue ETLジョブを実行

Glue ETLジョブはTerraformでリソースを作成しただけでは自動実行されません。AWSマネジメントコンソールから手動で実行します。

AWSマネジメントコンソールで「AWS Glue」を開き、左メニューから「ETL jobs」を選択します。ジョブ一覧からglue-etl-handsonを選択し、画面右上の「Run」ボタンをクリックしてジョブを実行します。「Runs」タブでジョブの実行状況を確認でき、ステータスが「Succeeded」になれば完了です。

3.4 リソースの削除

環境を削除する場合は、以下のコマンドを実行します。

terraform destroy

force_destroy = trueを設定しているため、S3バケット内にオブジェクトがあっても削除されます。