まとめ

この章では、Apache SparkとPySparkによるデータ処理の基本を学びつつ、実際にコードで扱いを確かめました。

  • Apache Sparkは、インメモリの分散処理フレームワークで、Driver・Executor・Cluster Managerの3つのコンポーネントで構成される
  • Docker環境により、Javaのインストールなしで PySpark の実行環境をすぐに構築できる
  • DataFrameはSparkの主要なデータ構造で、select・filter・groupBy・join などのSQLライクな操作でデータを処理できる
  • CSVファイルの読み込み・書き出しや、withColumn によるカラム追加、when / otherwise による条件分岐など、実務で必要なデータ変換パターンを実行できる
  • Spark SQLにより、DataFrameに対してSQLクエリを直接実行でき、DataFrame APIと使い分けられる
  • 遅延評価により、Sparkはアクション実行時に最適化された実行計画で処理を行う
  • 本章で学んだPySparkのコードは、AWS GlueのETLジョブでそのまま活用できる

次の章では、PySparkでGlueジョブを作る流れをハンズオン形式で体験します。