まとめ
この章では、AWS Glueを使ったS3上のCSVデータのETL処理を体験しました。
- S3上の複数のCSVファイル(東京支店・大阪支店)を読み込み、
union()で結合できる - メールアドレスのハッシュ化と電話番号のマスキングにより、個人情報の保護を行える
createOrReplaceTempView()とspark.sql()によるSpark SQLで、集計クエリを実行できる- 処理結果を
partitionBy()で支店ごとにフォルダ分割し、Parquet形式でS3に出力できる - PySparkの操作(
withColumn・filter・groupByなど)を、Glueジョブでそのまま活用できる
次の章では、外部サービスとAWSの間でデータ連携する Amazon AppFlow について学びます。