まとめ

この章では、AWS Glueを使ったS3上のCSVデータのETL処理を体験しました。

  • S3上の複数のCSVファイル(東京支店・大阪支店)を読み込み、union() で結合できる
  • メールアドレスのハッシュ化と電話番号のマスキングにより、個人情報の保護を行える
  • createOrReplaceTempView() と spark.sql() によるSpark SQLで、集計クエリを実行できる
  • 処理結果を partitionBy() で支店ごとにフォルダ分割し、Parquet形式でS3に出力できる
  • PySparkの操作(withColumn・filter・groupBy など)を、Glueジョブでそのまま活用できる

次の章では、外部サービスとAWSの間でデータ連携する Amazon AppFlow について学びます。