PySpark実行環境の構築
PySparkをローカルで実行するにはJavaのインストールが必要ですが、Docker環境を使えばJavaのセットアップなしですぐに始められます。ここでは、PySpark入りのDockerコンテナを起動して、対話シェルでコードを実行する環境を構築します。
1. サンプルデータの準備
まず、このセクションで使用するサンプルデータを用意します。任意の場所にpyspark-handsonフォルダを作成し、その中にCSVファイルを作成してください。
pyspark-handson/ ← このフォルダを作成
├── sales.csv ← このファイルを作成
└── products.csv ← このファイルを作成
sales.csv に以下の内容を記述して保存してください。注文データ(10件)のサンプルです。
order_id,customer_name,product_id,quantity,unit_price,order_date,region
ORD001,田中太郎,P001,1,120000,2025-01-05,東京
ORD002,鈴木花子,P002,2,3000,2025-01-05,大阪
ORD003,山田一郎,P003,3,2500,2025-01-06,東京
ORD004,佐藤美咲,P004,5,1500,2025-01-06,福岡
ORD005,高橋健太,P005,1,8000,2025-01-07,東京
ORD006,田中太郎,P002,1,3500,2025-01-07,東京
ORD007,鈴木花子,P004,2,4000,2025-01-08,大阪
ORD008,山田一郎,P001,1,35000,2025-01-08,東京
ORD009,佐藤美咲,P002,3,2800,2025-01-09,福岡
ORD010,高橋健太,P003,10,1200,2025-01-09,東京
products.csv に以下の内容を記述して保存してください。商品マスタ(5件)のサンプルです。
product_id,product_name,category
P001,ノートPC,電子機器
P002,プログラミング入門,書籍
P003,マウス,電子機器
P004,Tシャツ,衣類
P005,キーボード,電子機器
2. Dockerコンテナの起動
このセクションでは、Jupyterプロジェクトが提供するpyspark-notebookというDockerイメージを使用します。このイメージにはPython、Java、Apache Spark、PySparkがすべてプリインストールされているため、個別のセットアップなしでPySparkを実行できます。
| 📝 pyspark-notebookとは |
|---|
| pyspark-notebookは、Jupyter Docker Stacksプロジェクトが提供する公式Dockerイメージの一つです。本来はJupyter Notebook上でPySparkを実行するためのイメージですが、今回はNotebookは使わず、コンテナ内のbashシェルからPySparkの対話シェルを直接操作します。 |
コマンドプロンプト(Windows)またはターミナル(Mac)を開き、pyspark-handsonフォルダに移動します。
cd pyspark-handson
以下のコマンドで、Docker Desktop がインストールされていることを確認します。
docker --version
以下のように Docker のバージョンが表示されれば、インストールは確認できています。
Docker version 27.x.x, build xxxxxxx
バージョンが表示されない場合は、Docker Desktopのインストール を先に実施してください。
インストールが確認できたら、以下のコマンドでDockerコンテナを起動し、コンテナ内のbashにログインします。
docker run -it -v $(pwd):/work -w /work quay.io/jupyter/pyspark-notebook bash
初回実行時はローカルにイメージが存在しないため、レジストリ(quay.io)から自動的にダウンロードされます。イメージサイズが大きいため、ダウンロードに数分かかる場合があります。2回目以降はローカルのイメージが使われるため、すぐに起動します。
以下のようなプロンプトが表示されれば、コンテナ内にログインできています。
jovyan@xxxxxxxxxxxx:/work$
コマンドの各オプションの意味は以下のとおりです。
| オプション | 説明 |
|---|---|
-it |
コンテナ内で対話的に操作できるようにする |
-v $(pwd):/work |
現在のフォルダ(pyspark-handson)をコンテナ内の/workにマウントする |
-w /work |
コンテナ内の作業ディレクトリを/workに設定する |
quay.io/jupyter/pyspark-notebook |
PySpark がプリインストールされたDockerイメージ |
bash |
コンテナ内でbashシェルを起動する |
サンプルデータがマウントされていることを確認します。
ls
以下のように sales.csv と products.csv が表示されれば、ローカルのファイルがコンテナ内から参照できる状態です。
products.csv sales.csv
| ⚠️ Windowsのコマンドプロンプトを使用している場合 |
|---|
$(pwd) はMac/Linuxのコマンドです。Windowsのコマンドプロンプトでは $(pwd) の代わりに %cd% を、PowerShellでは ${PWD} を使用してください。 |
3. PySparkシェルの起動
コンテナ内で以下のコマンドを実行し、PySparkの対話シェルを起動します。
pyspark
以下のようなSparkのロゴとプロンプトが表示されれば、PySparkの準備は完了です。
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/__ / .__/\_,_/_/ /_/\_\ version x.x.x
/_/
Using Python version x.x.x
SparkSession available as 'spark'.
>>>
SparkSession available as 'spark'. と表示されているとおり、spark という変数にSparkSessionが自動的に設定されています。以降のコードでは、この spark をそのまま使用します。
| 📝 SparkSessionとは |
|---|
SparkSessionは、Sparkアプリケーションのエントリポイント(入り口)です。データの読み込みやDataFrameの作成など、すべてのSpark操作はSparkSessionを通じて行います。PySparkシェルでは自動的に作成されますが、AWS Glueでは GlueContext 経由で取得します。 |