Glueジョブの作成

Glueジョブで実行するPySparkスクリプトを作成します。以下の内容をローカルに etl_job.py として保存してください。

1. PySparkスクリプトの作成

Glueジョブで実行するPySparkスクリプトを作成します。以下の内容をローカルに etl_job.py として保存してください。

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from awsglue.context import GlueContext
from awsglue.dynamicframe import DynamicFrame
from pyspark.context import SparkContext
from pyspark.sql.functions import col, lit, concat, sum, count, when, regexp_replace, sha2, to_date, year, month

# ===== 初期化 =====
args = getResolvedOptions(sys.argv, ["JOB_NAME", "INPUT_PATH", "OUTPUT_PATH"])
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session

input_path = args["INPUT_PATH"]
output_path = args["OUTPUT_PATH"]

# ===== Extract(抽出) =====
# 東京支店と大阪支店のCSVファイルを個別に読み込み
tokyo_df = spark.read.csv(f"{input_path}/tokyo_sales.csv", header=True, inferSchema=True)
osaka_df = spark.read.csv(f"{input_path}/osaka_sales.csv", header=True, inferSchema=True)

# 支店名カラムを追加
tokyo_df = tokyo_df.withColumn("branch", lit("東京"))
osaka_df = osaka_df.withColumn("branch", lit("大阪"))

# 2つのDataFrameを結合
df = tokyo_df.union(osaka_df)

print(f"=== 結合後のデータ件数: {df.count()} 件 ===")
df.show()

# ===== Transform(変換) =====

# --- 個人情報のマスキング ---
# メールアドレス: SHA-256でハッシュ化
df = df.withColumn("email_hash", sha2(col("email"), 256))

# 電話番号: 下4桁以外をマスク(例: ***-****-9012)
df = df.withColumn("phone_masked",
    regexp_replace(col("phone"), r"^\d{3}-\d{4}", "***-****")
)

# 元のemail・phoneカラムを削除
df = df.drop("email", "phone")

print("=== マスキング後のデータ ===")
df.select("order_id", "customer_name", "email_hash", "phone_masked").show(truncate=False)

# --- データ型の変換 ---
# 日付型への変換と年・月の抽出
df = df.withColumn("order_date", to_date(col("order_date"), "yyyy-MM-dd"))
df = df.withColumn("year", year(col("order_date")))
df = df.withColumn("month", month(col("order_date")))

# 注文金額の算出
df = df.withColumn("total_price", col("quantity") * col("unit_price"))

# --- Spark SQLによる集計 ---
# DataFrameを一時ビューとして登録
df.createOrReplaceTempView("sales")

# SQLで支店別・カテゴリ別の売上集計
summary_df = spark.sql("""
    SELECT
        branch,
        category,
        COUNT(*) AS order_count,
        SUM(total_price) AS total_sales,
        AVG(unit_price) AS avg_unit_price
    FROM sales
    GROUP BY branch, category
    ORDER BY branch, total_sales DESC
""")

print("=== 支店別・カテゴリ別の売上集計(Spark SQL) ===")
summary_df.show()

# ===== Load(出力) =====
# 明細データをParquet形式で出力(支店でパーティション分割)
df.write.partitionBy("branch").parquet(
    f"{output_path}/detail/",
    mode="overwrite"
)

# 集計データをParquet形式で出力
summary_df.write.parquet(
    f"{output_path}/summary/",
    mode="overwrite"
)

print("=== ETL処理が完了しました ===")

2. スクリプトの解説

コードを解説します。

args = getResolvedOptions(sys.argv, ["JOB_NAME", "INPUT_PATH", "OUTPUT_PATH"])

getResolvedOptions は、Glueジョブの実行時にパラメータを受け取るための関数です。INPUT_PATH と OUTPUT_PATH をパラメータとして受け取ることで、入出力先のS3パスをジョブ実行時に柔軟に変更できます。

tokyo_df = tokyo_df.withColumn("branch", lit("東京"))
osaka_df = osaka_df.withColumn("branch", lit("大阪"))
df = tokyo_df.union(osaka_df)

lit() はリテラル値(固定値)のカラムを追加する関数です。各支店のDataFrameに支店名カラムを追加してから、union() で2つのDataFrameを縦方向に結合しています。

df = df.withColumn("email_hash", sha2(col("email"), 256))
df = df.withColumn("phone_masked",
    regexp_replace(col("phone"), r"^\d{3}-\d{4}", "***-****")
)
df = df.drop("email", "phone")

個人情報のマスキング処理です。メールアドレスは sha2() でSHA-256ハッシュに変換し、元のアドレスを復元できないようにしています。電話番号は regexp_replace() で先頭部分をアスタリスクに置換し、下4桁のみ残しています。処理後、元のカラムは drop() で削除しています。

📝 個人情報のマスキングとは
マスキングとは、個人情報や機密データを分析に支障のない形に加工する処理のことです。データ分析基盤にデータを格納する際、氏名やメールアドレス、電話番号などの個人情報をそのまま保存すると情報漏洩のリスクがあります。ハッシュ化や部分的な置換を行うことで、個人を特定できないようにしつつ、集計や分析には利用できるデータに変換します。
df.createOrReplaceTempView("sales")
summary_df = spark.sql("""
    SELECT branch, category, COUNT(*) AS order_count, ...
    FROM sales
    GROUP BY branch, category
""")

Spark SQLを使った集計処理です。createOrReplaceTempView() でDataFrameをSQLのテーブルとして登録すると、spark.sql() で標準的なSQLクエリを実行できます。前回のセクションで学んだ groupBy().agg() と同じ結果が得られますが、SQLに慣れている方にとってはこちらのほうが直感的に書けます。

df.write.partitionBy("branch").parquet(f"{output_path}/detail/", mode="overwrite")

partitionBy("branch") を指定すると、branch=東京/、branch=大阪/ のようにフォルダが分割されて出力されます。分析時に特定の支店のデータだけを読み込む場合、不要なデータを読み飛ばせるためパフォーマンスが向上します。

3. Glueジョブの作成

AWSマネジメントコンソールの検索ボックスで「AWS Glue」と入力し、Glueのコンソールを開きます。

左メニューの「ETLジョブ」をクリックし、「Script editor」を選択します。

下記の内容を設定してください。

設定項目 値 設定の基準
エンジン Spark PySparkスクリプトを実行するため
オプション Upload and edit an existing script(既存のスクリプトをアップロード) 作成済みのスクリプトを使用するため
ファイルのアップロード etl_job.py 先ほど作成したスクリプト

入力が完了したら「Create script」をクリックします。

スクリプトエディタが開き、アップロードしたスクリプトの内容が表示されます。

3.1 ジョブの詳細設定

続いて、ジョブの詳細を設定します。画面上部の「Job details」タブをクリックしてください。

下記の内容を設定してください。

設定項目 値 設定の基準
Name glue-etl-handson ジョブを識別するため
IAM Role glue-etl-handson-role 先ほど作成したIAMロール
Glue version Glue 5.0 最新バージョンを使用するため
Language Python 3 PySparkスクリプトのため
Worker type G.1X 最小構成
Requested number of workers 2 最小構成(コストを抑えるため)

3.2 ジョブパラメータの設定

同じ「Job details」タブの下部にある「Advanced properties」を展開し、「Job parameters」セクションを表示します。

「Add new parameter」をクリックして、以下の2つのパラメータを追加します。キーと値をそれぞれ入力してください。

キー 値
--INPUT_PATH s3://{バケット名}/input
--OUTPUT_PATH s3://{バケット名}/output

バケット名は先ほど作成したバケット名に置き換えてください。キーの先頭に --(ハイフン2つ)が必要です。

📝 パラメータのキーにはハイフン2つが必要です
Glueのジョブパラメータでは、キーの先頭に --(ハイフン2つ)を付ける必要があります。INPUT_PATH ではなく --INPUT_PATH と入力してください。ハイフンが不足しているとジョブ実行時にエラーになります。

すべての設定が完了したら、画面上部の「Save」をクリックしてジョブを保存します。