(参考)Terraformで構築する場合
このセクションで構築した環境は、Terraformを使ってコードで管理することもできます。以下に、S3バケット・IAMロール・GlueジョブのすべてのリソースをTerraformで構築するサンプルコードを示します。
注意: サンプルCSVデータの作成とS3へのアップロードは、Terraformの範囲外のため手動で行う必要があります。
1. Terraformコード
本章では、以下のコードをmain.tfとして保存してください。
# ==============================================================
# Provider(プロバイダ設定)
# Terraformが使用するAWSプロバイダのバージョンとリージョンを指定
# ==============================================================
terraform {
required_providers {
aws = {
source = "hashicorp/aws"
version = "~> 6.0"
}
}
}
provider "aws" {
region = "ap-northeast-1" # 東京リージョン
}
# ==============================================================
# Variables(入力変数)
# terraform.tfvars または実行時に値を指定する
# ==============================================================
# S3バケット名の末尾に付ける識別子(バケット名はグローバルで一意にする必要があるため)
variable "bucket_suffix" {
type = string
description = "S3 bucket suffix (e.g. yamada-20250120)"
}
# ==============================================================
# S3(データ格納先)
# サンプルCSVの入力先とGlueジョブの出力先
# ==============================================================
# S3バケットの作成
resource "aws_s3_bucket" "glue_data" {
bucket = "glue-etl-handson-${var.bucket_suffix}"
force_destroy = true # ハンズオン用: バケット内にオブジェクトがあっても削除可能にする
tags = { Name = "glue-etl-handson-${var.bucket_suffix}" }
}
# inputフォルダの作成(サンプルCSVのアップロード先)
resource "aws_s3_object" "input_folder" {
bucket = aws_s3_bucket.glue_data.id
key = "input/"
}
# outputフォルダの作成(Glueジョブの出力先)
resource "aws_s3_object" "output_folder" {
bucket = aws_s3_bucket.glue_data.id
key = "output/"
}
# scriptsフォルダの作成(PySparkスクリプトの格納先)
resource "aws_s3_object" "scripts_folder" {
bucket = aws_s3_bucket.glue_data.id
key = "scripts/"
}
# PySparkスクリプトをS3にアップロード
resource "aws_s3_object" "etl_script" {
bucket = aws_s3_bucket.glue_data.id
key = "scripts/etl_job.py"
content = <<-PYSPARK
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from awsglue.context import GlueContext
from awsglue.dynamicframe import DynamicFrame
from pyspark.context import SparkContext
from pyspark.sql.functions import col, lit, concat, sum, count, when, regexp_replace, sha2, to_date, year, month
# ===== 初期化 =====
args = getResolvedOptions(sys.argv, ["JOB_NAME", "INPUT_PATH", "OUTPUT_PATH"])
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
input_path = args["INPUT_PATH"]
output_path = args["OUTPUT_PATH"]
# ===== Extract(抽出) =====
tokyo_df = spark.read.csv(f"{input_path}/tokyo_sales.csv", header=True, inferSchema=True)
osaka_df = spark.read.csv(f"{input_path}/osaka_sales.csv", header=True, inferSchema=True)
tokyo_df = tokyo_df.withColumn("branch", lit("東京"))
osaka_df = osaka_df.withColumn("branch", lit("大阪"))
df = tokyo_df.union(osaka_df)
print(f"=== 結合後のデータ件数: {df.count()} 件 ===")
df.show()
# ===== Transform(変換) =====
df = df.withColumn("email_hash", sha2(col("email"), 256))
df = df.withColumn("phone_masked",
regexp_replace(col("phone"), r"^\d{3}-\d{4}", "***-****")
)
df = df.drop("email", "phone")
df = df.withColumn("order_date", to_date(col("order_date"), "yyyy-MM-dd"))
df = df.withColumn("year", year(col("order_date")))
df = df.withColumn("month", month(col("order_date")))
df = df.withColumn("total_price", col("quantity") * col("unit_price"))
df.createOrReplaceTempView("sales")
summary_df = spark.sql("""
SELECT
branch,
category,
COUNT(*) AS order_count,
SUM(total_price) AS total_sales,
AVG(unit_price) AS avg_unit_price
FROM sales
GROUP BY branch, category
ORDER BY branch, total_sales DESC
""")
print("=== 支店別・カテゴリ別の売上集計(Spark SQL) ===")
summary_df.show()
# ===== Load(出力) =====
df.write.partitionBy("branch").parquet(
f"{output_path}/detail/",
mode="overwrite"
)
summary_df.write.parquet(
f"{output_path}/summary/",
mode="overwrite"
)
print("=== ETL処理が完了しました ===")
PYSPARK
}
# ==============================================================
# IAM(権限管理)
# GlueジョブがS3やCloudWatch Logsにアクセスするための権限
# ==============================================================
# Glue用IAMロール
resource "aws_iam_role" "glue" {
name = "glue-etl-handson-role"
# Glueサービスがこのロールを引き受けることを許可
assume_role_policy = jsonencode({
Version = "2012-10-17"
Statement = [{
Action = "sts:AssumeRole"
Effect = "Allow"
Principal = { Service = "glue.amazonaws.com" }
}]
})
tags = { Name = "glue-etl-handson-role" }
}
# AWSGlueServiceRole(Glueジョブの実行に必要なAWS管理ポリシー)をアタッチ
resource "aws_iam_role_policy_attachment" "glue_service" {
role = aws_iam_role.glue.name
policy_arn = "arn:aws:iam::aws:policy/service-role/AWSGlueServiceRole"
}
# AmazonS3FullAccess(S3バケットの読み書きに必要)をアタッチ
resource "aws_iam_role_policy_attachment" "glue_s3" {
role = aws_iam_role.glue.name
policy_arn = "arn:aws:iam::aws:policy/AmazonS3FullAccess"
}
# ==============================================================
# Glue ETL Job(ETLジョブ)
# S3上のCSVデータを変換しParquet形式で出力するジョブ
# ==============================================================
resource "aws_glue_job" "etl" {
name = "glue-etl-handson"
role_arn = aws_iam_role.glue.arn
command {
name = "glueetl"
script_location = "s3://${aws_s3_bucket.glue_data.id}/scripts/etl_job.py"
python_version = "3"
}
# スクリプトに渡すパラメータ
default_arguments = {
"--job-language" = "python"
"--INPUT_PATH" = "s3://${aws_s3_bucket.glue_data.id}/input"
"--OUTPUT_PATH" = "s3://${aws_s3_bucket.glue_data.id}/output"
"--TempDir" = "s3://${aws_s3_bucket.glue_data.id}/temp/"
}
glue_version = "5.0" # Glue 5.0(ハンズオン本編と同じバージョン)
worker_type = "G.1X" # ワーカータイプ(G.1X = 4 vCPU, 16 GB メモリ)
number_of_workers = 2 # ワーカー数(小規模データのため最小構成)
}
# ==============================================================
# Outputs(出力値)
# terraform apply後にコンソールに表示される情報
# ==============================================================
output "s3_bucket_name" {
description = "データ格納先のS3バケット名"
value = aws_s3_bucket.glue_data.id
}
output "glue_job_name" {
description = "GlueジョブのETLジョブ名"
value = aws_glue_job.etl.name
}
2. Glueリソースの解説
Terraformコードのうち、このセクションの主題であるGlue関連のリソースについて解説します。
| リソース | Terraformリソース名 | 説明 |
|---|---|---|
| S3バケット | aws_s3_bucket / aws_s3_object |
Glueの入出力先となるS3バケットを作成。aws_s3_objectでinput/・output/・scripts/フォルダを作成 |
| ETLスクリプト | aws_s3_object(etl_script) |
PySparkで記述されたETLスクリプトをS3にアップロード。ハンズオン本編と同じスクリプトをインラインで定義 |
| IAMロール | aws_iam_role / aws_iam_role_policy_attachment |
Glueジョブの実行に使用するロール。AWSGlueServiceRoleとAmazonS3FullAccessの2つのポリシーをアタッチ |
| Glue ETLジョブ | aws_glue_job |
Glueジョブの定義。スクリプトの場所、IAMロール、Glueバージョン、ワーカータイプ・数を指定。default_argumentsでスクリプトに渡すパラメータ(入出力先S3パス)を設定 |
3. 実行方法
3.1 Terraform実行
terraform.tfvarsを作成し、変数を設定します。
bucket_suffix = "yamada-20250120" # ご自身の名前と日付に置き換えてください
以下のコマンドで、Terraform がインストールされていることを確認します。
terraform --version
以下のように Terraform のバージョンが表示されれば、インストールは確認できています。
Terraform vX.X.X
on darwin_arm64
バージョンが表示されない場合は、Terraformのインストール を先に実施してください。
インストールが確認できたら、Terraformの初期化を行います。プロバイダのダウンロードなどが実行されます。
terraform init
次に、作成されるリソースの実行計画を確認します。どのようなリソースが作成されるかを事前に確認できます。
terraform plan
問題がなければ、実際にリソースを作成します。確認プロンプトが表示されるので、yesと入力してください。
terraform apply
実行が完了すると、S3バケット名とGlueジョブ名が出力されます。
3.2 サンプルデータのアップロード
Terraformでリソースを作成した後、ハンズオン本編と同じサンプルCSVファイル(tokyo_sales.csv・osaka_sales.csv)を作成し、S3のinput/フォルダにアップロードしてください。
以下のコマンドで、AWS CLI がインストールされていることを確認します。
aws --version
以下のように AWS CLI のバージョンが表示されれば、インストールは確認できています。
aws-cli/2.x.x Python/3.x.x Darwin/xx.x.x source/arm64
バージョンが表示されない場合は、AWS CLIのインストール を先に実施してください。
インストールが確認できたら、以下のコマンドでAWS CLIを使ってアップロードできます。
aws s3 cp tokyo_sales.csv s3://glue-etl-handson-<bucket_suffix>/input/
aws s3 cp osaka_sales.csv s3://glue-etl-handson-<bucket_suffix>/input/
3.3 Glue ETLジョブを実行
Glue ETLジョブはTerraformでリソースを作成しただけでは自動実行されません。AWSマネジメントコンソールから手動で実行します。
AWSマネジメントコンソールで「AWS Glue」を開き、左メニューから「ETL jobs」を選択します。ジョブ一覧からglue-etl-handsonを選択し、画面右上の「Run」ボタンをクリックしてジョブを実行します。「Runs」タブでジョブの実行状況を確認でき、ステータスが「Succeeded」になれば完了です。
3.4 リソースの削除
環境を削除する場合は、以下のコマンドを実行します。
terraform destroy
force_destroy = trueを設定しているため、S3バケット内にオブジェクトがあっても削除されます。