(参考)Terraformで構築する場合

このセクションで構築した環境は、Terraformを使ってコードで管理することもできます。以下に、VPC・RDS・EC2を含むすべてのリソースをTerraformで構築するサンプルコードを示します。

注意: QuickSightのセットアップとテストデータの登録(MySQLクライアントのインストール・SQLによるデータ投入)は、Terraformの範囲外のため手動で行う必要があります。

1. Terraformコード

本章では、以下のコードをmain.tfとして保存してください。

# ==============================================================
# Provider(プロバイダ設定)
# Terraformが使用するAWSプロバイダのバージョンとリージョンを指定
# ==============================================================
terraform {
  required_providers {
    aws = {
      source  = "hashicorp/aws"
      version = "~> 6.0"
    }
  }
}

provider "aws" {
  region = "ap-northeast-1" # 東京リージョン
}

# ==============================================================
# Variables(入力変数)
# terraform.tfvars または実行時に値を指定する
# ==============================================================

# RDSのマスターパスワード(sensitive = true でログに表示されない)
variable "db_master_password" {
  type        = string
  sensitive   = true
  description = "RDS master user password"
}

# S3バケット名の末尾に付けるAWSアカウントID(バケット名はグローバルで一意にする必要があるため)
variable "s3_bucket_suffix" {
  type        = string
  description = "AWS account ID for S3 bucket suffix (e.g. 123456789012)"
}

# ==============================================================
# VPC(仮想ネットワーク)
# すべてのリソースを配置するネットワーク基盤
# ==============================================================
resource "aws_vpc" "main" {
  cidr_block           = "10.0.0.0/21"
  enable_dns_support   = true  # VPC内でDNS解決を有効化
  enable_dns_hostnames = true  # DNSホスト名の自動割り当てを有効化
  tags                 = { Name = "my-vpc" }
}

# ==============================================================
# Subnets(サブネット)
# 用途ごとにネットワークを分割する
# ==============================================================

# RDS用サブネット1(AZ-a)- RDSのマルチAZ対応のため2つ作成
resource "aws_subnet" "db_01" {
  vpc_id            = aws_vpc.main.id
  cidr_block        = "10.0.0.0/24"
  availability_zone = "ap-northeast-1a"
  tags              = { Name = "db-subnet-01" }
}

# RDS用サブネット2(AZ-c)- DBサブネットグループには2つ以上のAZが必要
resource "aws_subnet" "db_02" {
  vpc_id            = aws_vpc.main.id
  cidr_block        = "10.0.1.0/24"
  availability_zone = "ap-northeast-1c"
  tags              = { Name = "db-subnet-02" }
}

# 踏み台サーバ(EC2)用のパブリックサブネット
resource "aws_subnet" "api" {
  vpc_id                  = aws_vpc.main.id
  cidr_block              = "10.0.2.0/24"
  availability_zone       = "ap-northeast-1a"
  map_public_ip_on_launch = true # パブリックIPを自動付与(EC2 Instance Connect用)
  tags                    = { Name = "api-subnet" }
}

# Glue用のプライベートサブネット(RDSと同じAZに配置)
resource "aws_subnet" "glue" {
  vpc_id            = aws_vpc.main.id
  cidr_block        = "10.0.3.0/24"
  availability_zone = "ap-northeast-1a"
  tags              = { Name = "glue-subnet" }
}

# ==============================================================
# Internet Gateway / Route Table(インターネット接続設定)
# 踏み台サーバからインターネットへの通信経路を確保する
# ==============================================================

# インターネットゲートウェイ(VPCとインターネットの接続口)
resource "aws_internet_gateway" "main" {
  vpc_id = aws_vpc.main.id
  tags   = { Name = "my-internet-gateway" }
}

# パブリックルートテーブル(0.0.0.0/0 → IGWへルーティング)
resource "aws_route_table" "public" {
  vpc_id = aws_vpc.main.id
  route {
    cidr_block = "0.0.0.0/0"
    gateway_id = aws_internet_gateway.main.id
  }
  tags = { Name = "api-route-table" }
}

# api-subnetにパブリックルートテーブルを関連付け
resource "aws_route_table_association" "api" {
  subnet_id      = aws_subnet.api.id
  route_table_id = aws_route_table.public.id
}

# ==============================================================
# Security Groups(セキュリティグループ)
# リソースごとに通信を制御するファイアウォール設定
# ==============================================================

# --- RDS用セキュリティグループ ---
# インバウンドルールは別途 aws_security_group_rule で追加
resource "aws_security_group" "db" {
  name        = "db-sg"
  description = "Security group for RDS"
  vpc_id      = aws_vpc.main.id
  egress {
    from_port   = 0
    to_port     = 0
    protocol    = "-1"
    cidr_blocks = ["0.0.0.0/0"]
  }
  tags = { Name = "db-sg" }
}

# --- 踏み台サーバ用セキュリティグループ ---
# SSH(ポート22)を許可し、EC2 Instance Connectでのログインを可能にする
resource "aws_security_group" "jump" {
  name        = "jump-sg"
  description = "Security group for Jump Server"
  vpc_id      = aws_vpc.main.id
  ingress {
    from_port   = 22
    to_port     = 22
    protocol    = "tcp"
    cidr_blocks = ["0.0.0.0/0"]
  }
  egress {
    from_port   = 0
    to_port     = 0
    protocol    = "-1"
    cidr_blocks = ["0.0.0.0/0"]
  }
  tags = { Name = "jump-sg" }
}

# --- Glue用セキュリティグループ ---
resource "aws_security_group" "glue" {
  name        = "glue-sg"
  description = "Security group for Glue"
  vpc_id      = aws_vpc.main.id
  egress {
    from_port   = 0
    to_port     = 0
    protocol    = "-1"
    cidr_blocks = ["0.0.0.0/0"]
  }
  tags = { Name = "glue-sg" }
}

# Glueの自己参照ルール: ワーカーノード間の通信を許可
# Glue(Spark)は複数ワーカーが並列動作するため、同一SG内の全通信を許可する
resource "aws_security_group_rule" "glue_self" {
  type                     = "ingress"
  from_port                = 0
  to_port                  = 0
  protocol                 = "-1"
  source_security_group_id = aws_security_group.glue.id
  security_group_id        = aws_security_group.glue.id
}

# RDSへの接続許可: 踏み台サーバ → RDS(MySQL 3306番ポート)
resource "aws_security_group_rule" "db_from_jump" {
  type                     = "ingress"
  from_port                = 3306
  to_port                  = 3306
  protocol                 = "tcp"
  source_security_group_id = aws_security_group.jump.id
  security_group_id        = aws_security_group.db.id
}

# RDSへの接続許可: Glue → RDS(MySQL 3306番ポート)
resource "aws_security_group_rule" "db_from_glue" {
  type                     = "ingress"
  from_port                = 3306
  to_port                  = 3306
  protocol                 = "tcp"
  source_security_group_id = aws_security_group.glue.id
  security_group_id        = aws_security_group.db.id
}

# ==============================================================
# RDS(データベース)
# 分析対象のテストデータを格納するMySQLインスタンス
# ==============================================================

# DBサブネットグループ(RDSの配置先サブネットを指定)
resource "aws_db_subnet_group" "main" {
  name       = "my-subnet-group"
  subnet_ids = [aws_subnet.db_01.id, aws_subnet.db_02.id]
  tags       = { Name = "my-subnet-group" }
}

# RDSインスタンス本体
resource "aws_db_instance" "main" {
  identifier             = "testdb"
  engine                 = "mysql"
  instance_class         = "db.t3.micro"
  allocated_storage      = 20               # ストレージ容量(GB)
  username               = "admin"
  password               = var.db_master_password
  db_subnet_group_name   = aws_db_subnet_group.main.name
  vpc_security_group_ids = [aws_security_group.db.id]
  publicly_accessible    = false             # プライベートサブネットに配置
  availability_zone      = "ap-northeast-1a"
  skip_final_snapshot    = true              # 削除時にスナップショットを作成しない(ハンズオン用)
}

# ==============================================================
# EC2(踏み台サーバ)
# RDSにログインしてテストデータを登録するために使用
# ==============================================================

# SSM Parameter Storeから最新のAmazon Linux 2023のAMI IDを取得
data "aws_ssm_parameter" "ami" {
  name = "/aws/service/ami-amazon-linux-latest/al2023-ami-kernel-6.1-x86_64"
}

resource "aws_instance" "jump" {
  ami                    = data.aws_ssm_parameter.ami.value
  instance_type          = "t3.micro"
  subnet_id              = aws_subnet.api.id
  vpc_security_group_ids = [aws_security_group.jump.id]
  tags                   = { Name = "JumpServer" }
}

# ==============================================================
# S3 Bucket(データレイク用ストレージ)
# GlueのETL処理で抽出・変換したデータの保存先
# ==============================================================

# Glueの出力先バケット
resource "aws_s3_bucket" "glue_data" {
  bucket = "glue-data-${var.s3_bucket_suffix}"
}

# rawdata/users/ フォルダ(プレフィックス)を作成
# ETL処理の出力先として使用する
resource "aws_s3_object" "rawdata_folder" {
  bucket = aws_s3_bucket.glue_data.id
  key    = "rawdata/users/"
}

# ==============================================================
# IAM(Glue用の権限設定)
# GlueがRDS・S3・CloudWatch Logsなどにアクセスするための権限
# ==============================================================

# Glue用のIAMポリシー
resource "aws_iam_policy" "glue" {
  name = "glue-test-policy"
  policy = jsonencode({
    Version = "2012-10-17"
    Statement = [
      {
        Effect = "Allow"
        Action = [
          "glue:*",                    # Glueの全操作(ジョブ実行、データカタログ操作)
          "rds:DescribeDBInstances",   # RDSの接続情報を参照
          "ec2:*",                     # VPC内でENI(ネットワークインターフェース)を管理
          "s3:PutObject",              # S3にデータを書き込み
          "s3:PutObjectAcl",           # S3オブジェクトのACLを設定
          "s3:GetObject",              # S3からデータを読み取り
          "s3:ListBucket",             # S3バケットの一覧取得
          "logs:CreateLogGroup",       # CloudWatch Logsにロググループを作成
          "logs:CreateLogStream",      # CloudWatch Logsにログストリームを作成
          "logs:PutLogEvents"          # CloudWatch Logsにログを出力
        ]
        Resource = "*"
      }
    ]
  })
}

# Glue用のIAMロール(信頼ポリシーでGlueサービスからの引き受けを許可)
resource "aws_iam_role" "glue" {
  name = "glue-test-role"
  assume_role_policy = jsonencode({
    Version = "2012-10-17"
    Statement = [
      {
        Effect    = "Allow"
        Principal = { Service = "glue.amazonaws.com" }
        Action    = "sts:AssumeRole"
      }
    ]
  })
}

# IAMポリシーをIAMロールにアタッチ
resource "aws_iam_role_policy_attachment" "glue" {
  role       = aws_iam_role.glue.name
  policy_arn = aws_iam_policy.glue.arn
}

# ==============================================================
# VPC Endpoint(S3 Gatewayエンドポイント)
# Glueはプライベートサブネットに配置されるため、
# VPCエンドポイント経由でS3にアクセスする必要がある
# ==============================================================
resource "aws_vpc_endpoint" "s3" {
  vpc_id            = aws_vpc.main.id
  service_name      = "com.amazonaws.ap-northeast-1.s3"
  vpc_endpoint_type = "Gateway"
  # glue-subnetが使用するルートテーブル(VPCのメインルートテーブル)を指定
  route_table_ids   = [aws_vpc.main.main_route_table_id]
  tags              = { Name = "glue-endpoint" }
}

# ==============================================================
# Glue Connection(データベース接続設定)
# GlueからRDSにJDBC接続するための設定
# ==============================================================
resource "aws_glue_connection" "main" {
  name            = "glue-connection"
  connection_type = "JDBC"

  connection_properties = {
    # RDSのエンドポイントはaws_db_instance.main.addressで自動参照
    JDBC_CONNECTION_URL = "jdbc:mysql://${aws_db_instance.main.address}:3306/datalake_test"
    USERNAME            = "admin"
    PASSWORD            = var.db_master_password
  }

  # Glueを配置するネットワーク設定
  physical_connection_requirements {
    availability_zone      = "ap-northeast-1a"
    security_group_id_list = [aws_security_group.glue.id]
    subnet_id              = aws_subnet.glue.id
  }
}

# ==============================================================
# Glue Crawler(クローラ)
# S3上のParquetデータを自動スキャンし、データカタログにテーブル定義を作成
# ==============================================================
resource "aws_glue_crawler" "users" {
  name          = "test-crawler"
  role          = aws_iam_role.glue.arn
  database_name = "default"

  # クローラのスキャン対象(ETLジョブの出力先S3パス)
  s3_target {
    path = "s3://${aws_s3_bucket.glue_data.id}/rawdata/users/"
  }
}

# ==============================================================
# Glue ETL Job(ETLジョブ)
# RDSからデータを抽出し、Parquet形式に変換してS3に格納する
# ※ ハンズオンではVisual ETLで作成するが、Terraformではスクリプトで定義する
# ==============================================================

# ETLスクリプト(PySpark)をS3にアップロード
resource "aws_s3_object" "etl_script" {
  bucket  = aws_s3_bucket.glue_data.id
  key     = "scripts/etl_job.py"
  content = <<-PYTHON
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job

# ジョブ引数の取得(ジョブ名とS3出力先パス)
args = getResolvedOptions(sys.argv, ['JOB_NAME', 's3_target_path'])

# Spark / Glueコンテキストの初期化
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

# RDSからデータを抽出(Glue Connectionを使用してJDBC接続)
datasource = glueContext.create_dynamic_frame.from_options(
    connection_type="mysql",
    connection_options={
        "useConnectionProperties": "true",
        "dbtable": "users",
        "connectionName": "glue-connection"
    }
)

# S3にParquet形式で書き出し
glueContext.write_dynamic_frame.from_options(
    frame=datasource,
    connection_type="s3",
    connection_options={"path": args['s3_target_path']},
    format="parquet"
)

job.commit()
PYTHON
}

# Glue ETLジョブの定義
resource "aws_glue_job" "etl" {
  name     = "test-job"
  role_arn = aws_iam_role.glue.arn

  command {
    name            = "glueetl"
    script_location = "s3://${aws_s3_bucket.glue_data.id}/scripts/etl_job.py"
    python_version  = "3"
  }

  # スクリプトに渡すパラメータ
  default_arguments = {
    "--job-language"   = "python"
    "--s3_target_path" = "s3://${aws_s3_bucket.glue_data.id}/rawdata/users/"
    "--TempDir"        = "s3://${aws_s3_bucket.glue_data.id}/temp/"
  }

  connections       = [aws_glue_connection.main.name]
  glue_version      = "4.0"       # Glue 4.0(Spark 3.3ベース)
  worker_type       = "G.1X"      # ワーカータイプ(G.1X = 4 vCPU, 16 GB メモリ)
  number_of_workers = 2           # ワーカー数(小規模データのため最小構成)
}

# ==============================================================
# Outputs(出力値)
# terraform apply後にコンソールに表示される情報
# ==============================================================
output "rds_endpoint" {
  description = "RDSのエンドポイントアドレス(テストデータ登録時に使用)"
  value       = aws_db_instance.main.address
}

output "jump_server_instance_id" {
  description = "踏み台サーバのインスタンスID(EC2 Instance Connect時に使用)"
  value       = aws_instance.jump.id
}

output "s3_bucket_name" {
  description = "データ格納先のS3バケット名"
  value       = aws_s3_bucket.glue_data.id
}

2. Glueリソースの解説

Terraform コードのうち、このセクションの主題であるGlue関連のリソースについて解説します。

リソース Terraformリソース名 説明
S3バケット aws_s3_bucket / aws_s3_object Glueが出力するParquetデータの保存先となるS3バケットを作成。aws_s3_objectでバケット内にrawdata/users/フォルダ(プレフィックス)を作成
IAMポリシー aws_iam_policy Glueデータカタログ・RDS・S3・EC2(VPCネットワーキング用)・CloudWatch Logs(実行ログ出力用)へのアクセス権限を定義
IAMロール aws_iam_role / aws_iam_role_policy_attachment Glueジョブおよびクローラの実行に使用するロール。assume_role_policyでGlueサービスからの引き受けを許可し、上記のIAMポリシーをアタッチ
VPCエンドポイント aws_vpc_endpoint GlueはPrivate Subnetに配置されるため、Gateway型のVPCエンドポイントを作成してVPC内部からS3への通信経路を確保。route_table_idsにはGlueサブネットが使用するルートテーブル(VPCのメインルートテーブル)を指定
Glue Connection aws_glue_connection GlueからRDSにJDBC接続するための設定。connection_propertiesにJDBC URL・ユーザ名・パスワードを設定し、physical_connection_requirementsでGlue用のサブネットとセキュリティグループを指定。RDSのエンドポイントはaws_db_instance.main.addressで自動参照されるため、手動でのコピーが不要
Glueクローラ aws_glue_crawler S3上のParquetデータを自動スキャンし、データカタログにテーブル定義(スキーマ)を自動作成する。s3_targetにETLジョブの出力先パス(rawdata/users/)を指定。ハンズオン本編と同じクローラ方式で、手動でのスキーマ定義が不要
ETLスクリプト aws_s3_object(etl_script) PySparkで記述されたETLスクリプトをS3にアップロード。JDBC Connection経由でRDSのusersテーブルからデータを抽出し、S3にParquet形式で保存する。ハンズオンのVisual ETLで自動生成されるスクリプトと同等の処理
Glue ETLジョブ aws_glue_job Glueジョブの定義。スクリプトの場所、IAMロール、Glueバージョン、ワーカータイプ・数などを指定。default_argumentsでスクリプトに渡すパラメータ(出力先S3パスなど)を設定

3. 実行方法

3.1 Terraform実行

terraform.tfvarsを作成し、変数を設定します。

db_master_password = "your-password-here"
s3_bucket_suffix   = "123456789012"  # ご自身のAWSアカウントIDに置き換えてください

以下のコマンドで、Terraform がインストールされていることを確認します。

terraform --version

以下のように Terraform のバージョンが表示されれば、インストールは確認できています。

Terraform vX.X.X
on darwin_arm64

バージョンが表示されない場合は、Terraformのインストール を先に実施してください。

インストールが確認できたら、Terraformの初期化を行います。プロバイダのダウンロードなどが実行されます。

terraform init

次に、作成されるリソースの実行計画を確認します。どのようなリソースが作成されるかを事前に確認できます。

terraform plan

問題がなければ、実際にリソースを作成します。確認プロンプトが表示されるので、yesと入力してください。

terraform apply

実行が完了すると、RDSのエンドポイントや踏み台サーバのインスタンスIDが出力されます。

以下のコマンドで、RDSのエンドポイントを確認します。この値は次のステップで使用するため、コピーしておいてください。

terraform output rds_endpoint

3.2 踏み台サーバにアクセスしてテストデータを登録

踏み台サーバ(JumpServer)にEC2 Instance Connectで接続し、ハンズオン本編と同じ手順でテストデータを登録します。

踏み台サーバに接続したら、MySQLクライアントをインストールします。

sudo dnf install -y mariadb105

RDSに接続します。<RDSのエンドポイント>の部分は、ステップ1で確認したRDSエンドポイントの値に置き換えてください。

mysql -h <RDSのエンドポイント> -u admin -p

パスワードの入力を求められるので、terraform.tfvarsに設定したdb_master_passwordの値を入力します。

接続できたら、データベースを作成します。

CREATE DATABASE datalake_test;

続いて、テーブルを作成します。

CREATE TABLE datalake_test.users (
    id INT AUTO_INCREMENT PRIMARY KEY,
    name VARCHAR(255) NOT NULL,
    age INT,
    gender INT
);

最後に、テストデータを投入します。

INSERT INTO datalake_test.users (name, age, gender) VALUES
('Yamada Taro',      28, 1),
('Suzuki Hanako',    25, 2),
('Sato Kenji',       34, 1),
('Tanaka Yuki',      22, 2),
('Kobayashi Shota',  31, 1),
('Watanabe Aiko',    29, 2),
('Ito Naoki',        40, 1),
('Nakamura Mika',    27, 2),
('Kato Kenta',       36, 1),
('Yamamoto Rina',    33, 2);

3.3 Glue ETLジョブを実行

Glue ETLジョブはTerraformでリソースを作成しただけでは自動実行されません。AWSマネジメントコンソールから手動で実行します。

AWSマネジメントコンソールで「AWS Glue」を開き、左メニューから「ETL jobs」を選択します。ジョブ一覧からtest-jobを選択し、画面右上の「Run」ボタンをクリックしてジョブを実行します。「Runs」タブでジョブの実行状況を確認でき、ステータスが「Succeeded」になれば完了です。

3.4 Glueクローラを実行

ETLジョブが完了したら、S3に出力されたParquetデータのスキーマを自動検出するため、クローラを実行します。

AWSマネジメントコンソールで「AWS Glue」の左メニューから「Crawlers」を選択します。クローラ一覧からtest-crawlerを選択し、「Run」ボタンをクリックして実行します。数分経過するとステータスが「Completed」になり、「Data Catalog」>「Tables」にusersテーブルが自動作成されます。

3.5 Athenaでデータを確認

クローラの実行が完了したら、Athenaのダッシュボードを開き、usersテーブルに対してSQLクエリを実行できます。

SELECT * FROM users;
💡 ポイント
QuickSightはTerraformでの管理に対応していないため、可視化を行う場合はハンズオン本編の「データの可視化」セクションの手順に従って手動でセットアップしてください。

3.6 リソースの削除

環境を削除する場合は、以下のコマンドを実行します。

terraform destroy
ご注意ください QuickSightを作成した場合は、terraform destroyの前にQuickSightのアカウントを手動で削除してください。QuickSightは月額課金のため、放置すると料金が発生し続けます。