DataFrameの操作
ここからは、読み込んだ売上データ(df)を使って、DataFrameの基本的な操作を学びます。各コードはPySparkシェルでそのまま実行できます。
1. カラムの選択(select)
特定のカラムだけを取り出す場合は select() を使用します。
df.select("カラム名1", "カラム名2").show()
実際に試してみましょう。customer_name と unit_price カラムだけを取り出します。
df.select("customer_name", "unit_price").show()
以下のような実行結果が表示されます。
+-------------+----------+
|customer_name|unit_price|
+-------------+----------+
| 田中太郎| 120000|
| 鈴木花子| 3000|
| 山田一郎| 2500|
| 佐藤美咲| 1500|
| 高橋健太| 8000|
| 田中太郎| 3500|
| 鈴木花子| 4000|
| 山田一郎| 35000|
| 佐藤美咲| 2800|
| 高橋健太| 1200|
+-------------+----------+
2. フィルタリング(filter / where)
条件に合う行だけを抽出する場合は filter() または where() を使用します。どちらも同じ動作をします。
df.filter(col("カラム名") 条件式).show()
実際に試してみましょう。まず col 関数をインポートします。col() はカラムを指定するための関数で、以降のセクションでも頻繁に使用します。
from pyspark.sql.functions import col
2.1 filterによる抽出
単価が5,000円以上の注文を抽出します。
df.filter(col("unit_price") >= 5000).show()
以下のような実行結果が表示されます。
+--------+-------------+----------+--------+----------+----------+------+
|order_id|customer_name|product_id|quantity|unit_price|order_date|region|
+--------+-------------+----------+--------+----------+----------+------+
| ORD001| 田中太郎| P001| 1| 120000|2025-01-05| 東京|
| ORD005| 高橋健太| P005| 1| 8000|2025-01-07| 東京|
| ORD008| 山田一郎| P001| 1| 35000|2025-01-08| 東京|
+--------+-------------+----------+--------+----------+----------+------+
2.2 whereによる抽出
where は filter のエイリアス(別名)で、同じ動作をします。東京の注文を抽出してみましょう。
df.where(col("region") == "東京").show()
以下のような実行結果が表示されます。
+--------+-------------+----------+--------+----------+----------+------+
|order_id|customer_name|product_id|quantity|unit_price|order_date|region|
+--------+-------------+----------+--------+----------+----------+------+
| ORD001| 田中太郎| P001| 1| 120000|2025-01-05| 東京|
| ORD003| 山田一郎| P003| 3| 2500|2025-01-06| 東京|
| ORD005| 高橋健太| P005| 1| 8000|2025-01-07| 東京|
| ORD006| 田中太郎| P002| 1| 3500|2025-01-07| 東京|
| ORD008| 山田一郎| P001| 1| 35000|2025-01-08| 東京|
| ORD010| 高橋健太| P003| 10| 1200|2025-01-09| 東京|
+--------+-------------+----------+--------+----------+----------+------+
3. カラムの追加・変換(withColumn)
既存のDataFrameに新しいカラムを追加したり、既存カラムの値を変換する場合は withColumn() を使用します。
df.withColumn("新しいカラム名", 値や式)
実際に試してみましょう。注文金額(数量 × 単価)を計算するカラムを追加します。
df.withColumn("total_price", col("quantity") * col("unit_price")).show()
以下のような実行結果が表示されます。total_price カラムが追加されていることがわかります。
+--------+-------------+----------+--------+----------+----------+------+-----------+
|order_id|customer_name|product_id|quantity|unit_price|order_date|region|total_price|
+--------+-------------+----------+--------+----------+----------+------+-----------+
| ORD001| 田中太郎| P001| 1| 120000|2025-01-05| 東京| 120000|
| ORD002| 鈴木花子| P002| 2| 3000|2025-01-05| 大阪| 6000|
| ORD003| 山田一郎| P003| 3| 2500|2025-01-06| 東京| 7500|
| ORD004| 佐藤美咲| P004| 5| 1500|2025-01-06| 福岡| 7500|
| ORD005| 高橋健太| P005| 1| 8000|2025-01-07| 東京| 8000|
| ORD006| 田中太郎| P002| 1| 3500|2025-01-07| 東京| 3500|
| ORD007| 鈴木花子| P004| 2| 4000|2025-01-08| 大阪| 8000|
| ORD008| 山田一郎| P001| 1| 35000|2025-01-08| 東京| 35000|
| ORD009| 佐藤美咲| P002| 3| 2800|2025-01-09| 福岡| 8400|
| ORD010| 高橋健太| P003| 10| 1200|2025-01-09| 東京| 12000|
+--------+-------------+----------+--------+----------+----------+------+-----------+
なお、カラム名を変更する場合は withColumnRenamed() を使用します。region カラムを area にリネームしてみましょう。
df.withColumnRenamed("region", "area").show()
以下のような実行結果が表示されます。region カラムが area に変わっていることがわかります。
+--------+-------------+----------+--------+----------+----------+----+
|order_id|customer_name|product_id|quantity|unit_price|order_date|area|
+--------+-------------+----------+--------+----------+----------+----+
| ORD001| 田中太郎| P001| 1| 120000|2025-01-05|東京|
| ORD002| 鈴木花子| P002| 2| 3000|2025-01-05|大阪|
| ORD003| 山田一郎| P003| 3| 2500|2025-01-06|東京|
| ORD004| 佐藤美咲| P004| 5| 1500|2025-01-06|福岡|
| ORD005| 高橋健太| P005| 1| 8000|2025-01-07|東京|
| ORD006| 田中太郎| P002| 1| 3500|2025-01-07|東京|
| ORD007| 鈴木花子| P004| 2| 4000|2025-01-08|大阪|
| ORD008| 山田一郎| P001| 1| 35000|2025-01-08|東京|
| ORD009| 佐藤美咲| P002| 3| 2800|2025-01-09|福岡|
| ORD010| 高橋健太| P003| 10| 1200|2025-01-09|東京|
+--------+-------------+----------+--------+----------+----------+----+
4. 集計(groupBy / agg)
データをグループ化して集計する場合は groupBy() と agg() を組み合わせます。
df.groupBy("グループ化するカラム名").agg(
集計関数("カラム名").alias("別名")
)
実際に試してみましょう。まず集計に必要な関数をインポートします。
from pyspark.sql.functions import sum, avg, count
まず、注文金額カラムを追加したDataFrameを作成します。
df_with_total = df.withColumn("total_price", col("quantity") * col("unit_price"))
このDataFrameを使って、地域ごとの注文数・合計金額・平均単価を集計します。
df_with_total.groupBy("region").agg(
count("*").alias("order_count"),
sum("total_price").alias("total_sales"),
avg("unit_price").alias("avg_unit_price")
).show()
以下のような実行結果が表示されます。
+------+-----------+-----------+------------------+
|region|order_count|total_sales| avg_unit_price|
+------+-----------+-----------+------------------+
| 大阪| 2| 14000| 3500.0|
| 東京| 6| 186000|28366.666666666668|
| 福岡| 2| 15900| 2150.0|
+------+-----------+-----------+------------------+
東京が6件で合計186,000円と最も多いことがわかります。
5. 並べ替え(orderBy)
データを特定のカラムで並べ替える場合は orderBy() を使用します。昇順はそのまま、降順は .desc() を付けます。
df.orderBy(col("カラム名").desc()).show()
実際に試してみましょう。単価の降順で並べ替えます。
df.orderBy(col("unit_price").desc()).show()
以下のような実行結果が表示されます。
+--------+-------------+----------+--------+----------+----------+------+
|order_id|customer_name|product_id|quantity|unit_price|order_date|region|
+--------+-------------+----------+--------+----------+----------+------+
| ORD001| 田中太郎| P001| 1| 120000|2025-01-05| 東京|
| ORD008| 山田一郎| P001| 1| 35000|2025-01-08| 東京|
| ORD005| 高橋健太| P005| 1| 8000|2025-01-07| 東京|
| ORD007| 鈴木花子| P004| 2| 4000|2025-01-08| 大阪|
| ORD006| 田中太郎| P002| 1| 3500|2025-01-07| 東京|
| ORD002| 鈴木花子| P002| 2| 3000|2025-01-05| 大阪|
| ORD009| 佐藤美咲| P002| 3| 2800|2025-01-09| 福岡|
| ORD003| 山田一郎| P003| 3| 2500|2025-01-06| 東京|
| ORD004| 佐藤美咲| P004| 5| 1500|2025-01-06| 福岡|
| ORD010| 高橋健太| P003| 10| 1200|2025-01-09| 東京|
+--------+-------------+----------+--------+----------+----------+------+
6. 結合(join)
2つのDataFrameを共通のキーで結合する場合は join() を使用します。
df.join(結合先のDataFrame, on="結合キーのカラム名", how="結合の種類")
実際に試してみましょう。売上データに商品マスタ(products.csv)を結合して、商品名やカテゴリを付加します。
products_df = spark.read.csv("products.csv", header=True, inferSchema=True)
内容を確認します。
products_df.show()
以下のように商品マスタが読み込まれます。
+----------+------------------+--------+
|product_id| product_name|category|
+----------+------------------+--------+
| P001| ノートPC|電子機器|
| P002| プログラミング入門| 書籍|
| P003| マウス|電子機器|
| P004| Tシャツ| 衣類|
| P005| キーボード|電子機器|
+----------+------------------+--------+
この商品マスタを売上データと product_id で結合します。
joined_df = df.join(products_df, on="product_id", how="left")
結合結果を確認します。
joined_df.show()
以下のような実行結果が表示されます。売上データに product_name と category が追加されていることがわかります。
+----------+--------+-------------+--------+----------+----------+------+------------------+--------+
|product_id|order_id|customer_name|quantity|unit_price|order_date|region| product_name|category|
+----------+--------+-------------+--------+----------+----------+------+------------------+--------+
| P001| ORD001| 田中太郎| 1| 120000|2025-01-05| 東京| ノートPC|電子機器|
| P001| ORD008| 山田一郎| 1| 35000|2025-01-08| 東京| ノートPC|電子機器|
| P002| ORD002| 鈴木花子| 2| 3000|2025-01-05| 大阪| プログラミング入門| 書籍|
| P002| ORD006| 田中太郎| 1| 3500|2025-01-07| 東京| プログラミング入門| 書籍|
| P002| ORD009| 佐藤美咲| 3| 2800|2025-01-09| 福岡| プログラミング入門| 書籍|
| ....| ......| ........| ....| .....|..........| ....| ........| ......|
+----------+--------+-------------+--------+----------+----------+------+------------------+--------+
結合の種類には以下のようなものがあります。SQL基本文法で学んだ JOIN と対応付けると理解しやすいです。
| PySparkの指定 | 対応するSQL | 説明 |
|---|---|---|
| inner | INNER JOIN | 両方のDataFrameに存在するキーのみを返す |
| left | LEFT JOIN | 左側のDataFrameの全行を保持し、右側に一致がない場合はnullとなる |
| right | RIGHT JOIN | 右側のDataFrameの全行を保持し、左側に一致がない場合はnullとなる |
| outer | FULL OUTER JOIN | 両方のDataFrameの全行を保持し、一致がない側はnullとなる |
7. 条件分岐(when / otherwise)
条件に応じて値を設定する場合は when() と otherwise() を使用します。SQLの CASE WHEN に相当する処理です。
df = df.withColumn("カラム名",
when(条件式1, 値1)
.when(条件式2, 値2)
.otherwise(デフォルト値)
)
実際に試してみましょう。まず when 関数をインポートします。
from pyspark.sql.functions import when
注文金額に応じてランクを設定します。
df_ranked = df.withColumn("total_price", col("quantity") * col("unit_price")) \
.withColumn("rank",
when(col("total_price") >= 50000, "プレミアム")
.when(col("total_price") >= 10000, "スタンダード")
.otherwise("ライト")
)
ランク列が追加されたか確認します。
df_ranked.select("order_id", "customer_name", "total_price", "rank").show()
以下のような実行結果が表示されます。
+--------+-------------+-----------+------------+
|order_id|customer_name|total_price| rank|
+--------+-------------+-----------+------------+
| ORD001| 田中太郎| 120000| プレミアム|
| ORD002| 鈴木花子| 6000| ライト|
| ORD003| 山田一郎| 7500| ライト|
| ORD004| 佐藤美咲| 7500| ライト|
| ORD005| 高橋健太| 8000| ライト|
| ORD006| 田中太郎| 3500| ライト|
| ORD007| 鈴木花子| 8000| ライト|
| ORD008| 山田一郎| 35000|スタンダード|
| ORD009| 佐藤美咲| 8400| ライト|
| ORD010| 高橋健太| 12000|スタンダード|
+--------+-------------+-----------+------------+
| 💡 ポイント |
|---|
DataFrameの操作は遅延評価(Lazy Evaluation)で実行されます。select や filter などの変換処理は、show() や count()、write などのアクションが呼ばれるまで実際には実行されません。これにより、Sparkは複数の変換処理をまとめて最適化してから実行できます。 |
8. Spark SQL
ここまで、select()、filter()、groupBy() などのDataFrame APIを使ってデータを操作してきました。PySparkにはもう一つの操作方法として、Spark SQLがあります。Spark SQLを使うと、DataFrameに対してSQLクエリを直接実行できます。SQLに慣れている方にとっては、DataFrame APIよりも直感的にデータ操作を記述できる場面があります。
Spark SQLはSQLの構文で記述しますが、内部的にはDataFrame APIと同じくSparkのCatalystオプティマイザによって最適化されます。つまり、Sparkのインメモリ分散処理や遅延評価といった恩恵はSpark SQLでもまったく同じように受けられます。通常のデータベースに対してSQLを実行するのとは異なり、大規模なデータに対しても高速に処理できるのがSpark SQLの強みです。
Spark SQLを使うには、まず createOrReplaceTempView() でDataFrameをSQLの一時テーブルとして登録し、その後 spark.sql() でSQLクエリを実行します。書式は以下のとおりです。
df.createOrReplaceTempView("テーブル名")
spark.sql("SELECT文").show()
実際に試してみましょう。先ほど結合した joined_df を一時テーブルとして登録します。
joined_df.createOrReplaceTempView("sales")
登録した sales テーブルに対して、SQLクエリを実行してみましょう。まず、全件を取得します。
spark.sql("SELECT * FROM sales LIMIT 5").show()
以下のような実行結果が表示されます。SQLの SELECT * FROM でDataFrameの内容をテーブルのように参照できていることがわかります。
+----------+--------+-------------+--------+----------+----------+------+------------------+--------+
|product_id|order_id|customer_name|quantity|unit_price|order_date|region| product_name|category|
+----------+--------+-------------+--------+----------+----------+------+------------------+--------+
| P001| ORD001| 田中太郎| 1| 120000|2025-01-05| 東京| ノートPC|電子機器|
| P001| ORD008| 山田一郎| 1| 35000|2025-01-08| 東京| ノートPC|電子機器|
| P002| ORD002| 鈴木花子| 2| 3000|2025-01-05| 大阪| プログラミング入門| 書籍|
| P002| ORD006| 田中太郎| 1| 3500|2025-01-07| 東京| プログラミング入門| 書籍|
| P002| ORD009| 佐藤美咲| 3| 2800|2025-01-09| 福岡| プログラミング入門| 書籍|
+----------+--------+-------------+--------+----------+----------+------+------------------+--------+
8.1 WHERE句による絞り込み
SQLの WHERE 句でデータを絞り込むことができます。東京の注文だけを抽出してみましょう。
spark.sql("SELECT order_id, customer_name, region FROM sales WHERE region = '東京'").show()
以下のような実行結果が表示されます。
+--------+-------------+------+
|order_id|customer_name|region|
+--------+-------------+------+
| ORD001| 田中太郎| 東京|
| ORD008| 山田一郎| 東京|
| ORD006| 田中太郎| 東京|
| ORD003| 山田一郎| 東京|
| ORD005| 高橋健太| 東京|
| ORD010| 高橋健太| 東京|
+--------+-------------+------+
これは、先ほど学んだ df.where(col("region") == "東京") と同じ結果です。
8.2 GROUP BYによる集計
SQLの GROUP BY で集計クエリも実行できます。カテゴリ別の注文数と売上合計を集計してみましょう。
spark.sql("""
SELECT
category,
COUNT(*) AS order_count,
SUM(quantity * unit_price) AS total_sales
FROM sales
GROUP BY category
ORDER BY total_sales DESC
""").show()
以下のような実行結果が表示されます。
+--------+-----------+-----------+
|category|order_count|total_sales|
+--------+-----------+-----------+
|電子機器| 5| 175500|
| 衣類| 2| 15500|
| 書籍| 3| 15300|
+--------+-----------+-----------+
これは、先ほど学んだ groupBy().agg() と同じ結果です。DataFrame APIとSpark SQLは用途に応じて使い分けることができます。
8.3 DataFrame APIとSpark SQLの使い分け
以下の表に、DataFrame APIとSpark SQLの違いをまとめます。
| 比較項目 | DataFrame API | Spark SQL |
|---|---|---|
| 記述方法 | メソッドチェーン(df.filter().groupBy().agg()) |
SQL文(SELECT ... FROM ... WHERE ...) |
| 適した場面 | 変換処理を段階的に組み立てる場合 | 複雑な集計や結合をSQLで直接書きたい場合 |
| 型チェック | コード実行前にある程度検出できる | SQLの構文エラーは実行時まで検出できない |
| 可読性 | Pythonに慣れている方にとって読みやすい | SQLに慣れている方にとって読みやすい |
| 💡 ポイント |
|---|
| 実際には、DataFrame APIとSpark SQLを混在させて使うことも一般的です。たとえば、DataFrame APIでデータの読み込みと前処理を行い、複雑な集計はSpark SQLで記述するといった使い分けがよく見られます。次のセクション「PySparkでGlueジョブを作ろう」でも、この組み合わせパターンを使用します。 |