Sparkの概要
Apache Spark とは何か、大規模データ処理のエンジンとしてどのような特徴があるかを整理します。
1. Apache Sparkとは
Apache Sparkは、大規模データを高速に分散処理するためのオープンソースフレームワークです。従来のHadoop MapReduceがディスクベースの処理であったのに対し、Sparkはインメモリ処理(データをメモリ上に保持して処理する方式)を採用しており、大幅に高速な処理が可能です。
| 📝 Hadoop MapReduceとは |
|---|
| Hadoop MapReduceは、Sparkが登場する以前から使われていた大規模データの分散処理フレームワークです。処理の途中結果をディスク(ハードディスク)に書き出しながら進めるため、安定性は高い一方で、ディスクの読み書きがボトルネックとなり処理速度に限界がありました。Sparkはこの課題をインメモリ処理で解決し、Hadoop MapReduceに比べて最大100倍高速に処理できるとされています。 |
Sparkは複数のプログラミング言語に対応しており、Python(PySpark)、Scala、Java、Rで利用できます。本セクションでは、最も広く使われており、AWS Glueでも採用されているPySpark(PythonからSparkを操作するインターフェース)を中心に解説します。
2. Sparkのアーキテクチャ
SparkはDriver、Cluster Manager、Executorの3つのコンポーネントで構成されています。以下の図は、各コンポーネントの関係を示しています。
それぞれのコンポーネントについて説明します。
2.1 ドライバ(Driver)
Driverは、Sparkアプリケーション全体の司令塔です。ユーザが書いたPySparkのコードを受け取り、どのような順序でどのようにデータを処理するかという実行計画を作成します。実行計画ができたら、処理を小さなタスクに分割し、Cluster Managerを通じて複数のExecutorに配布します。すべてのタスクの進捗管理や、最終結果の取りまとめもDriverが行います。
2.2 クラスタマネージャ(Cluster Manager)
Cluster Managerは、クラスタ全体のリソース管理を担当します。Driverからタスクの実行要求を受けると、各ExecutorにどれだけのメモリやCPUを割り当てるかを決定し、タスクを適切なExecutorに振り分けます。Executorの起動・停止もCluster Managerが管理します。
2.3 エグゼキュータ(Executor)
Executorは、実際のデータ処理を行うワーカプロセスです。Driverから割り当てられたタスクを受け取り、データの読み込み、フィルタリング、集計などの処理を実行します。各Executorはそれぞれ独立してメモリを持ち、担当するデータをインメモリで保持しながら処理を行います。複数のExecutorが並列に動くことで、大規模なデータでも高速に処理できる仕組みです。
Sparkアプリケーションが実行されると、Driverが処理全体の実行計画を作成し、Cluster Managerを通じて複数のExecutorにタスクを分散します。この一連の流れはSparkが自動的に行うため、ユーザはPySparkのコードを書くことに集中できます。
| 💡 ポイント |
|---|
| AWS Glueを使う場合、Cluster Managerの管理はGlueが自動で行うため、ユーザがクラスタの構築や管理を意識する必要はありません。Glueジョブで指定するDPU(Data Processing Unit)の数に応じて、Executorの数やメモリが自動的に割り当てられます。 |
3. なぜSparkを学ぶのか
「データ分析基盤を構築しよう」のハンズオンでは、AWS GlueのGUI(ビジュアルエディタ)を使ってETLジョブを作成しました。GUIでは、データソースの指定や出力先の設定をマウス操作だけで行えるため、Sparkを意識する必要はありませんでした。
しかし、実際にはGUIだけでは対応しきれないケースが出てきます。たとえば、複数のデータソースを結合して集計したり、条件に応じてデータを加工したり、パフォーマンスを考慮した出力形式を指定したりする場合には、PySparkでコードを直接書く必要があります。AWS GlueのETLジョブは内部的にApache Sparkで動作しているため、PySparkを学ぶことがGlueを使いこなすための鍵になります。
Sparkの仕組みとPySparkの操作方法を理解しておくことで、以下のメリットがあります。
- GUIでは実現できない複雑なデータ変換や集計処理をコードで柔軟に実装できるようになる
- ジョブの実行が遅い場合に、原因の特定とパフォーマンスの改善ができるようになる
- Sparkの知識はAWS Glueだけでなく、Amazon EMRやDatabricksなど他のプラットフォームでも活用できる
4. RDDとDataFrame
Sparkには主に2つのデータ構造があります。それぞれの特徴を理解したうえで、適切なデータ構造を選択することが重要です。
4.1 RDD(Resilient Distributed Dataset)
RDDは、Sparkの最も基本的なデータ構造です。名前の「Resilient(回復力のある)Distributed(分散された)Dataset(データの集合)」が示すとおり、データを複数のノードに分散して保持し、一部のノードに障害が発生しても自動的に復旧できる仕組みを持っています。
RDDは型の制約がない柔軟なデータ構造で、map、filter、reduce などの関数型APIを使って操作します。自由度が高い反面、Sparkの内部オプティマイザが効きにくく、パフォーマンスの最適化は開発者自身が行う必要があります。
4.2 DataFrame
DataFrameは、RDDの上に構築されたより高レベルなデータ構造です。データベースのテーブルのように、列名とデータ型を持つ構造化されたデータを扱います。select、filter、groupBy などのSQLライクなAPIで操作でき、Pythonのpandasライブラリに馴染みのある方にとっても直感的に使えます。
DataFrameの大きな利点は、Sparkの内部オプティマイザであるCatalystが実行計画を自動的に最適化してくれる点です。開発者が手動でチューニングしなくても、高いパフォーマンスが得られます。
4.3 RDDとDataFrameの比較
以下の表に、RDDとDataFrameの違いをまとめます。
| 比較項目 | RDD | DataFrame |
|---|---|---|
| データ構造 | 型なしの分散コレクション | 列名とデータ型を持つ構造化データ |
| 操作方法 | map、filter、reduceなどの関数型API | select、filter、groupByなどのSQLライクなAPI |
| パフォーマンス | 手動での最適化が必要 | Catalystオプティマイザによる自動最適化 |
| 主な用途 | 非構造化データ、細かい制御が必要な場合 | 構造化データの分析、ETL処理 |
| 💡 ポイント |
|---|
| 本セクションでは、実務で最も使われるDataFrame APIを中心に解説します。ETL処理やデータ分析のほとんどのユースケースはDataFrame APIで対応できます。RDDは現在でも内部的に使われていますが、通常の開発で直接操作する機会はほとんどありません。 |