PySpark実行環境の構築

PySparkをローカルで実行するにはJavaのインストールが必要ですが、Docker環境を使えばJavaのセットアップなしですぐに始められます。ここでは、PySpark入りのDockerコンテナを起動して、対話シェルでコードを実行する環境を構築します。

1. サンプルデータの準備

まず、このセクションで使用するサンプルデータを用意します。任意の場所にpyspark-handsonフォルダを作成し、その中にCSVファイルを作成してください。

pyspark-handson/  ← このフォルダを作成
├── sales.csv     ← このファイルを作成
└── products.csv  ← このファイルを作成

sales.csv に以下の内容を記述して保存してください。注文データ(10件)のサンプルです。

order_id,customer_name,product_id,quantity,unit_price,order_date,region
ORD001,田中太郎,P001,1,120000,2025-01-05,東京
ORD002,鈴木花子,P002,2,3000,2025-01-05,大阪
ORD003,山田一郎,P003,3,2500,2025-01-06,東京
ORD004,佐藤美咲,P004,5,1500,2025-01-06,福岡
ORD005,高橋健太,P005,1,8000,2025-01-07,東京
ORD006,田中太郎,P002,1,3500,2025-01-07,東京
ORD007,鈴木花子,P004,2,4000,2025-01-08,大阪
ORD008,山田一郎,P001,1,35000,2025-01-08,東京
ORD009,佐藤美咲,P002,3,2800,2025-01-09,福岡
ORD010,高橋健太,P003,10,1200,2025-01-09,東京

products.csv に以下の内容を記述して保存してください。商品マスタ(5件)のサンプルです。

product_id,product_name,category
P001,ノートPC,電子機器
P002,プログラミング入門,書籍
P003,マウス,電子機器
P004,Tシャツ,衣類
P005,キーボード,電子機器

2. Dockerコンテナの起動

このセクションでは、Jupyterプロジェクトが提供するpyspark-notebookというDockerイメージを使用します。このイメージにはPython、Java、Apache Spark、PySparkがすべてプリインストールされているため、個別のセットアップなしでPySparkを実行できます。

📝 pyspark-notebookとは
pyspark-notebookは、Jupyter Docker Stacksプロジェクトが提供する公式Dockerイメージの一つです。本来はJupyter Notebook上でPySparkを実行するためのイメージですが、今回はNotebookは使わず、コンテナ内のbashシェルからPySparkの対話シェルを直接操作します。

コマンドプロンプト(Windows)またはターミナル(Mac)を開き、pyspark-handsonフォルダに移動します。

cd pyspark-handson

以下のコマンドで、Docker Desktop がインストールされていることを確認します。

docker --version

以下のように Docker のバージョンが表示されれば、インストールは確認できています。

Docker version 27.x.x, build xxxxxxx

バージョンが表示されない場合は、Docker Desktopのインストール を先に実施してください。

インストールが確認できたら、以下のコマンドでDockerコンテナを起動し、コンテナ内のbashにログインします。

docker run -it -v $(pwd):/work -w /work quay.io/jupyter/pyspark-notebook bash

初回実行時はローカルにイメージが存在しないため、レジストリ(quay.io)から自動的にダウンロードされます。イメージサイズが大きいため、ダウンロードに数分かかる場合があります。2回目以降はローカルのイメージが使われるため、すぐに起動します。

以下のようなプロンプトが表示されれば、コンテナ内にログインできています。

jovyan@xxxxxxxxxxxx:/work$

コマンドの各オプションの意味は以下のとおりです。

オプション 説明
-it コンテナ内で対話的に操作できるようにする
-v $(pwd):/work 現在のフォルダ(pyspark-handson)をコンテナ内の/workにマウントする
-w /work コンテナ内の作業ディレクトリを/workに設定する
quay.io/jupyter/pyspark-notebook PySpark がプリインストールされたDockerイメージ
bash コンテナ内でbashシェルを起動する

サンプルデータがマウントされていることを確認します。

ls

以下のように sales.csv と products.csv が表示されれば、ローカルのファイルがコンテナ内から参照できる状態です。

products.csv  sales.csv
⚠️ Windowsのコマンドプロンプトを使用している場合
$(pwd) はMac/Linuxのコマンドです。Windowsのコマンドプロンプトでは $(pwd) の代わりに %cd% を、PowerShellでは ${PWD} を使用してください。

3. PySparkシェルの起動

コンテナ内で以下のコマンドを実行し、PySparkの対話シェルを起動します。

pyspark

以下のようなSparkのロゴとプロンプトが表示されれば、PySparkの準備は完了です。

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version x.x.x
      /_/

Using Python version x.x.x
SparkSession available as 'spark'.
>>>

SparkSession available as 'spark'. と表示されているとおり、spark という変数にSparkSessionが自動的に設定されています。以降のコードでは、この spark をそのまま使用します。

📝 SparkSessionとは
SparkSessionは、Sparkアプリケーションのエントリポイント(入り口)です。データの読み込みやDataFrameの作成など、すべてのSpark操作はSparkSessionを通じて行います。PySparkシェルでは自動的に作成されますが、AWS Glueでは GlueContext 経由で取得します。