まとめ
この章では、Apache SparkとPySparkによるデータ処理の基本を学びつつ、実際にコードで扱いを確かめました。
- Apache Sparkは、インメモリの分散処理フレームワークで、Driver・Executor・Cluster Managerの3つのコンポーネントで構成される
- Docker環境により、Javaのインストールなしで PySpark の実行環境をすぐに構築できる
- DataFrameはSparkの主要なデータ構造で、
select・filter・groupBy・joinなどのSQLライクな操作でデータを処理できる - CSVファイルの読み込み・書き出しや、
withColumnによるカラム追加、when/otherwiseによる条件分岐など、実務で必要なデータ変換パターンを実行できる - Spark SQLにより、DataFrameに対してSQLクエリを直接実行でき、DataFrame APIと使い分けられる
- 遅延評価により、Sparkはアクション実行時に最適化された実行計画で処理を行う
- 本章で学んだPySparkのコードは、AWS GlueのETLジョブでそのまま活用できる
次の章では、PySparkでGlueジョブを作る流れをハンズオン形式で体験します。