Glueジョブの実行

ジョブが保存されたら、「Run」をクリックしてジョブを実行します。

1. ジョブの実行

ジョブが保存されたら、「Run」をクリックしてジョブを実行します。

画面上部の「Runs」タブをクリックすると、実行状況を確認できます。ステータスがRunningとなり、ジョブが実行中であることがわかります。

ジョブの実行には2〜5分程度かかります。ステータスが「Succeeded」になれば、ジョブの実行は成功です。

⚠️ ジョブの実行に失敗する場合
(1)IAMロールに AmazonS3FullAccess と AWSGlueServiceRole が付与されているか確認してください。
(2)Job parametersの --INPUT_PATH と --OUTPUT_PATH のS3パスが正しいか確認してください。キーの先頭に -- が付いているかも確認してください。
(3)S3の input/ フォルダに2つのCSVファイルがアップロードされているか確認してください。

2. 実行ログの確認

ジョブが成功したら、実行ログを確認します。「Runs」タブで実行IDをクリックし、「Output logs」のリンクからCloudWatch Logsを開きます。

スクリプト内の print() で出力したメッセージがログに記録されています。以下の3つのポイントを確認してください。

  • 結合後のデータ件数が10件であること(東京5件 + 大阪5件)
  • マスキング後のデータで、メールアドレスがハッシュ値に、電話番号が***-****-XXXXの形式に変換されていること
  • 支店別・カテゴリ別の集計結果が出力されていること

これらが確認できれば、ETL処理は正しく動作しています。

3. 出力データの確認

続いて、S3に出力されたデータを確認します。S3コンソールでバケットの output/ フォルダを開きます。

output/detail/ フォルダには、支店ごとにパーティション分割されたParquetファイルが格納されています。

partitionBy("branch") の指定により、支店ごとにフォルダが分割されていることがわかります。detail/ フォルダの中に branch=東京/ と branch=大阪/ の2つのフォルダが作成されていれば、パーティション分割は正しく動作しています。

summary/ フォルダには、支店別・カテゴリ別の集計データがParquet形式で格納されています。

💡 ポイント
Parquetファイルはバイナリ形式のため、S3からダウンロードしてもテキストエディタでは中身を確認できません。データの内容を確認したい場合は、AthenaでSQLクエリを実行するか、S3の「クエリでプレビュー」機能を使用してください。