Glueジョブの実行
ジョブが保存されたら、「Run」をクリックしてジョブを実行します。
1. ジョブの実行
ジョブが保存されたら、「Run」をクリックしてジョブを実行します。

画面上部の「Runs」タブをクリックすると、実行状況を確認できます。ステータスがRunningとなり、ジョブが実行中であることがわかります。

ジョブの実行には2〜5分程度かかります。ステータスが「Succeeded」になれば、ジョブの実行は成功です。

| ⚠️ ジョブの実行に失敗する場合 |
|---|
(1)IAMロールに AmazonS3FullAccess と AWSGlueServiceRole が付与されているか確認してください。(2)Job parametersの --INPUT_PATH と --OUTPUT_PATH のS3パスが正しいか確認してください。キーの先頭に -- が付いているかも確認してください。(3)S3の input/ フォルダに2つのCSVファイルがアップロードされているか確認してください。 |
2. 実行ログの確認
ジョブが成功したら、実行ログを確認します。「Runs」タブで実行IDをクリックし、「Output logs」のリンクからCloudWatch Logsを開きます。

スクリプト内の print() で出力したメッセージがログに記録されています。以下の3つのポイントを確認してください。

- 結合後のデータ件数が10件であること(東京5件 + 大阪5件)
- マスキング後のデータで、メールアドレスがハッシュ値に、電話番号が
***-****-XXXXの形式に変換されていること - 支店別・カテゴリ別の集計結果が出力されていること
これらが確認できれば、ETL処理は正しく動作しています。
3. 出力データの確認
続いて、S3に出力されたデータを確認します。S3コンソールでバケットの output/ フォルダを開きます。
output/detail/ フォルダには、支店ごとにパーティション分割されたParquetファイルが格納されています。
partitionBy("branch") の指定により、支店ごとにフォルダが分割されていることがわかります。detail/ フォルダの中に branch=東京/ と branch=大阪/ の2つのフォルダが作成されていれば、パーティション分割は正しく動作しています。
summary/ フォルダには、支店別・カテゴリ別の集計データがParquet形式で格納されています。

| 💡 ポイント |
|---|
| Parquetファイルはバイナリ形式のため、S3からダウンロードしてもテキストエディタでは中身を確認できません。データの内容を確認したい場合は、AthenaでSQLクエリを実行するか、S3の「クエリでプレビュー」機能を使用してください。 |