DataFrameの操作

ここからは、読み込んだ売上データ(df)を使って、DataFrameの基本的な操作を学びます。各コードはPySparkシェルでそのまま実行できます。

1. カラムの選択(select)

特定のカラムだけを取り出す場合は select() を使用します。

df.select("カラム名1", "カラム名2").show()

実際に試してみましょう。customer_name と unit_price カラムだけを取り出します。

df.select("customer_name", "unit_price").show()

以下のような実行結果が表示されます。

+-------------+----------+
|customer_name|unit_price|
+-------------+----------+
|     田中太郎|    120000|
|     鈴木花子|      3000|
|     山田一郎|      2500|
|     佐藤美咲|      1500|
|     高橋健太|      8000|
|     田中太郎|      3500|
|     鈴木花子|      4000|
|     山田一郎|     35000|
|     佐藤美咲|      2800|
|     高橋健太|      1200|
+-------------+----------+

2. フィルタリング(filter / where)

条件に合う行だけを抽出する場合は filter() または where() を使用します。どちらも同じ動作をします。

df.filter(col("カラム名") 条件式).show()

実際に試してみましょう。まず col 関数をインポートします。col() はカラムを指定するための関数で、以降のセクションでも頻繁に使用します。

from pyspark.sql.functions import col

2.1 filterによる抽出

単価が5,000円以上の注文を抽出します。

df.filter(col("unit_price") >= 5000).show()

以下のような実行結果が表示されます。

+--------+-------------+----------+--------+----------+----------+------+
|order_id|customer_name|product_id|quantity|unit_price|order_date|region|
+--------+-------------+----------+--------+----------+----------+------+
|  ORD001|     田中太郎|      P001|       1|    120000|2025-01-05|  東京|
|  ORD005|     高橋健太|      P005|       1|      8000|2025-01-07|  東京|
|  ORD008|     山田一郎|      P001|       1|     35000|2025-01-08|  東京|
+--------+-------------+----------+--------+----------+----------+------+

2.2 whereによる抽出

where は filter のエイリアス(別名)で、同じ動作をします。東京の注文を抽出してみましょう。

df.where(col("region") == "東京").show()

以下のような実行結果が表示されます。

+--------+-------------+----------+--------+----------+----------+------+
|order_id|customer_name|product_id|quantity|unit_price|order_date|region|
+--------+-------------+----------+--------+----------+----------+------+
|  ORD001|     田中太郎|      P001|       1|    120000|2025-01-05|  東京|
|  ORD003|     山田一郎|      P003|       3|      2500|2025-01-06|  東京|
|  ORD005|     高橋健太|      P005|       1|      8000|2025-01-07|  東京|
|  ORD006|     田中太郎|      P002|       1|      3500|2025-01-07|  東京|
|  ORD008|     山田一郎|      P001|       1|     35000|2025-01-08|  東京|
|  ORD010|     高橋健太|      P003|      10|      1200|2025-01-09|  東京|
+--------+-------------+----------+--------+----------+----------+------+

3. カラムの追加・変換(withColumn)

既存のDataFrameに新しいカラムを追加したり、既存カラムの値を変換する場合は withColumn() を使用します。

df.withColumn("新しいカラム名", 値や式)

実際に試してみましょう。注文金額(数量 × 単価)を計算するカラムを追加します。

df.withColumn("total_price", col("quantity") * col("unit_price")).show()

以下のような実行結果が表示されます。total_price カラムが追加されていることがわかります。

+--------+-------------+----------+--------+----------+----------+------+-----------+
|order_id|customer_name|product_id|quantity|unit_price|order_date|region|total_price|
+--------+-------------+----------+--------+----------+----------+------+-----------+
|  ORD001|     田中太郎|      P001|       1|    120000|2025-01-05|  東京|     120000|
|  ORD002|     鈴木花子|      P002|       2|      3000|2025-01-05|  大阪|       6000|
|  ORD003|     山田一郎|      P003|       3|      2500|2025-01-06|  東京|       7500|
|  ORD004|     佐藤美咲|      P004|       5|      1500|2025-01-06|  福岡|       7500|
|  ORD005|     高橋健太|      P005|       1|      8000|2025-01-07|  東京|       8000|
|  ORD006|     田中太郎|      P002|       1|      3500|2025-01-07|  東京|       3500|
|  ORD007|     鈴木花子|      P004|       2|      4000|2025-01-08|  大阪|       8000|
|  ORD008|     山田一郎|      P001|       1|     35000|2025-01-08|  東京|      35000|
|  ORD009|     佐藤美咲|      P002|       3|      2800|2025-01-09|  福岡|       8400|
|  ORD010|     高橋健太|      P003|      10|      1200|2025-01-09|  東京|      12000|
+--------+-------------+----------+--------+----------+----------+------+-----------+

なお、カラム名を変更する場合は withColumnRenamed() を使用します。region カラムを area にリネームしてみましょう。

df.withColumnRenamed("region", "area").show()

以下のような実行結果が表示されます。region カラムが area に変わっていることがわかります。

+--------+-------------+----------+--------+----------+----------+----+
|order_id|customer_name|product_id|quantity|unit_price|order_date|area|
+--------+-------------+----------+--------+----------+----------+----+
|  ORD001|     田中太郎|      P001|       1|    120000|2025-01-05|東京|
|  ORD002|     鈴木花子|      P002|       2|      3000|2025-01-05|大阪|
|  ORD003|     山田一郎|      P003|       3|      2500|2025-01-06|東京|
|  ORD004|     佐藤美咲|      P004|       5|      1500|2025-01-06|福岡|
|  ORD005|     高橋健太|      P005|       1|      8000|2025-01-07|東京|
|  ORD006|     田中太郎|      P002|       1|      3500|2025-01-07|東京|
|  ORD007|     鈴木花子|      P004|       2|      4000|2025-01-08|大阪|
|  ORD008|     山田一郎|      P001|       1|     35000|2025-01-08|東京|
|  ORD009|     佐藤美咲|      P002|       3|      2800|2025-01-09|福岡|
|  ORD010|     高橋健太|      P003|      10|      1200|2025-01-09|東京|
+--------+-------------+----------+--------+----------+----------+----+

4. 集計(groupBy / agg)

データをグループ化して集計する場合は groupBy() と agg() を組み合わせます。

df.groupBy("グループ化するカラム名").agg(
    集計関数("カラム名").alias("別名")
)

実際に試してみましょう。まず集計に必要な関数をインポートします。

from pyspark.sql.functions import sum, avg, count

まず、注文金額カラムを追加したDataFrameを作成します。

df_with_total = df.withColumn("total_price", col("quantity") * col("unit_price"))

このDataFrameを使って、地域ごとの注文数・合計金額・平均単価を集計します。

df_with_total.groupBy("region").agg(
    count("*").alias("order_count"),
    sum("total_price").alias("total_sales"),
    avg("unit_price").alias("avg_unit_price")
).show()

以下のような実行結果が表示されます。

+------+-----------+-----------+------------------+
|region|order_count|total_sales|    avg_unit_price|
+------+-----------+-----------+------------------+
|  大阪|          2|      14000|            3500.0|
|  東京|          6|     186000|28366.666666666668|
|  福岡|          2|      15900|            2150.0|
+------+-----------+-----------+------------------+

東京が6件で合計186,000円と最も多いことがわかります。

5. 並べ替え(orderBy)

データを特定のカラムで並べ替える場合は orderBy() を使用します。昇順はそのまま、降順は .desc() を付けます。

df.orderBy(col("カラム名").desc()).show()

実際に試してみましょう。単価の降順で並べ替えます。

df.orderBy(col("unit_price").desc()).show()

以下のような実行結果が表示されます。

+--------+-------------+----------+--------+----------+----------+------+
|order_id|customer_name|product_id|quantity|unit_price|order_date|region|
+--------+-------------+----------+--------+----------+----------+------+
|  ORD001|     田中太郎|      P001|       1|    120000|2025-01-05|  東京|
|  ORD008|     山田一郎|      P001|       1|     35000|2025-01-08|  東京|
|  ORD005|     高橋健太|      P005|       1|      8000|2025-01-07|  東京|
|  ORD007|     鈴木花子|      P004|       2|      4000|2025-01-08|  大阪|
|  ORD006|     田中太郎|      P002|       1|      3500|2025-01-07|  東京|
|  ORD002|     鈴木花子|      P002|       2|      3000|2025-01-05|  大阪|
|  ORD009|     佐藤美咲|      P002|       3|      2800|2025-01-09|  福岡|
|  ORD003|     山田一郎|      P003|       3|      2500|2025-01-06|  東京|
|  ORD004|     佐藤美咲|      P004|       5|      1500|2025-01-06|  福岡|
|  ORD010|     高橋健太|      P003|      10|      1200|2025-01-09|  東京|
+--------+-------------+----------+--------+----------+----------+------+

6. 結合(join)

2つのDataFrameを共通のキーで結合する場合は join() を使用します。

df.join(結合先のDataFrame, on="結合キーのカラム名", how="結合の種類")

実際に試してみましょう。売上データに商品マスタ(products.csv)を結合して、商品名やカテゴリを付加します。

products_df = spark.read.csv("products.csv", header=True, inferSchema=True)

内容を確認します。

products_df.show()

以下のように商品マスタが読み込まれます。

+----------+------------------+--------+
|product_id|      product_name|category|
+----------+------------------+--------+
|      P001|          ノートPC|電子機器|
|      P002|  プログラミング入門|    書籍|
|      P003|            マウス|電子機器|
|      P004|          Tシャツ|    衣類|
|      P005|        キーボード|電子機器|
+----------+------------------+--------+

この商品マスタを売上データと product_id で結合します。

joined_df = df.join(products_df, on="product_id", how="left")

結合結果を確認します。

joined_df.show()

以下のような実行結果が表示されます。売上データに product_name と category が追加されていることがわかります。

+----------+--------+-------------+--------+----------+----------+------+------------------+--------+
|product_id|order_id|customer_name|quantity|unit_price|order_date|region|      product_name|category|
+----------+--------+-------------+--------+----------+----------+------+------------------+--------+
|      P001|  ORD001|     田中太郎|       1|    120000|2025-01-05|  東京|          ノートPC|電子機器|
|      P001|  ORD008|     山田一郎|       1|     35000|2025-01-08|  東京|          ノートPC|電子機器|
|      P002|  ORD002|     鈴木花子|       2|      3000|2025-01-05|  大阪|  プログラミング入門|    書籍|
|      P002|  ORD006|     田中太郎|       1|      3500|2025-01-07|  東京|  プログラミング入門|    書籍|
|      P002|  ORD009|     佐藤美咲|       3|      2800|2025-01-09|  福岡|  プログラミング入門|    書籍|
|      ....|  ......|     ........|    ....|     .....|..........|  ....|          ........|  ......|
+----------+--------+-------------+--------+----------+----------+------+------------------+--------+

結合の種類には以下のようなものがあります。SQL基本文法で学んだ JOIN と対応付けると理解しやすいです。

PySparkの指定 対応するSQL 説明
inner INNER JOIN 両方のDataFrameに存在するキーのみを返す
left LEFT JOIN 左側のDataFrameの全行を保持し、右側に一致がない場合はnullとなる
right RIGHT JOIN 右側のDataFrameの全行を保持し、左側に一致がない場合はnullとなる
outer FULL OUTER JOIN 両方のDataFrameの全行を保持し、一致がない側はnullとなる

7. 条件分岐(when / otherwise)

条件に応じて値を設定する場合は when() と otherwise() を使用します。SQLの CASE WHEN に相当する処理です。

df = df.withColumn("カラム名",
    when(条件式1, 値1)
    .when(条件式2, 値2)
    .otherwise(デフォルト値)
)

実際に試してみましょう。まず when 関数をインポートします。

from pyspark.sql.functions import when

注文金額に応じてランクを設定します。

df_ranked = df.withColumn("total_price", col("quantity") * col("unit_price")) \
    .withColumn("rank",
        when(col("total_price") >= 50000, "プレミアム")
        .when(col("total_price") >= 10000, "スタンダード")
        .otherwise("ライト")
    )

ランク列が追加されたか確認します。

df_ranked.select("order_id", "customer_name", "total_price", "rank").show()

以下のような実行結果が表示されます。

+--------+-------------+-----------+------------+
|order_id|customer_name|total_price|        rank|
+--------+-------------+-----------+------------+
|  ORD001|     田中太郎|     120000|  プレミアム|
|  ORD002|     鈴木花子|       6000|      ライト|
|  ORD003|     山田一郎|       7500|      ライト|
|  ORD004|     佐藤美咲|       7500|      ライト|
|  ORD005|     高橋健太|       8000|      ライト|
|  ORD006|     田中太郎|       3500|      ライト|
|  ORD007|     鈴木花子|       8000|      ライト|
|  ORD008|     山田一郎|      35000|スタンダード|
|  ORD009|     佐藤美咲|       8400|      ライト|
|  ORD010|     高橋健太|      12000|スタンダード|
+--------+-------------+-----------+------------+
💡 ポイント
DataFrameの操作は遅延評価(Lazy Evaluation)で実行されます。select や filter などの変換処理は、show() や count()、write などのアクションが呼ばれるまで実際には実行されません。これにより、Sparkは複数の変換処理をまとめて最適化してから実行できます。

8. Spark SQL

ここまで、select()、filter()、groupBy() などのDataFrame APIを使ってデータを操作してきました。PySparkにはもう一つの操作方法として、Spark SQLがあります。Spark SQLを使うと、DataFrameに対してSQLクエリを直接実行できます。SQLに慣れている方にとっては、DataFrame APIよりも直感的にデータ操作を記述できる場面があります。

Spark SQLはSQLの構文で記述しますが、内部的にはDataFrame APIと同じくSparkのCatalystオプティマイザによって最適化されます。つまり、Sparkのインメモリ分散処理や遅延評価といった恩恵はSpark SQLでもまったく同じように受けられます。通常のデータベースに対してSQLを実行するのとは異なり、大規模なデータに対しても高速に処理できるのがSpark SQLの強みです。

Spark SQLを使うには、まず createOrReplaceTempView() でDataFrameをSQLの一時テーブルとして登録し、その後 spark.sql() でSQLクエリを実行します。書式は以下のとおりです。

df.createOrReplaceTempView("テーブル名")
spark.sql("SELECT文").show()

実際に試してみましょう。先ほど結合した joined_df を一時テーブルとして登録します。

joined_df.createOrReplaceTempView("sales")

登録した sales テーブルに対して、SQLクエリを実行してみましょう。まず、全件を取得します。

spark.sql("SELECT * FROM sales LIMIT 5").show()

以下のような実行結果が表示されます。SQLの SELECT * FROM でDataFrameの内容をテーブルのように参照できていることがわかります。

+----------+--------+-------------+--------+----------+----------+------+------------------+--------+
|product_id|order_id|customer_name|quantity|unit_price|order_date|region|      product_name|category|
+----------+--------+-------------+--------+----------+----------+------+------------------+--------+
|      P001|  ORD001|     田中太郎|       1|    120000|2025-01-05|  東京|          ノートPC|電子機器|
|      P001|  ORD008|     山田一郎|       1|     35000|2025-01-08|  東京|          ノートPC|電子機器|
|      P002|  ORD002|     鈴木花子|       2|      3000|2025-01-05|  大阪|  プログラミング入門|    書籍|
|      P002|  ORD006|     田中太郎|       1|      3500|2025-01-07|  東京|  プログラミング入門|    書籍|
|      P002|  ORD009|     佐藤美咲|       3|      2800|2025-01-09|  福岡|  プログラミング入門|    書籍|
+----------+--------+-------------+--------+----------+----------+------+------------------+--------+

8.1 WHERE句による絞り込み

SQLの WHERE 句でデータを絞り込むことができます。東京の注文だけを抽出してみましょう。

spark.sql("SELECT order_id, customer_name, region FROM sales WHERE region = '東京'").show()

以下のような実行結果が表示されます。

+--------+-------------+------+
|order_id|customer_name|region|
+--------+-------------+------+
|  ORD001|     田中太郎|  東京|
|  ORD008|     山田一郎|  東京|
|  ORD006|     田中太郎|  東京|
|  ORD003|     山田一郎|  東京|
|  ORD005|     高橋健太|  東京|
|  ORD010|     高橋健太|  東京|
+--------+-------------+------+

これは、先ほど学んだ df.where(col("region") == "東京") と同じ結果です。

8.2 GROUP BYによる集計

SQLの GROUP BY で集計クエリも実行できます。カテゴリ別の注文数と売上合計を集計してみましょう。

spark.sql("""
    SELECT
        category,
        COUNT(*) AS order_count,
        SUM(quantity * unit_price) AS total_sales
    FROM sales
    GROUP BY category
    ORDER BY total_sales DESC
""").show()

以下のような実行結果が表示されます。

+--------+-----------+-----------+
|category|order_count|total_sales|
+--------+-----------+-----------+
|電子機器|          5|     175500|
|    衣類|          2|      15500|
|    書籍|          3|      15300|
+--------+-----------+-----------+

これは、先ほど学んだ groupBy().agg() と同じ結果です。DataFrame APIとSpark SQLは用途に応じて使い分けることができます。

8.3 DataFrame APIとSpark SQLの使い分け

以下の表に、DataFrame APIとSpark SQLの違いをまとめます。

比較項目 DataFrame API Spark SQL
記述方法 メソッドチェーン(df.filter().groupBy().agg()) SQL文(SELECT ... FROM ... WHERE ...)
適した場面 変換処理を段階的に組み立てる場合 複雑な集計や結合をSQLで直接書きたい場合
型チェック コード実行前にある程度検出できる SQLの構文エラーは実行時まで検出できない
可読性 Pythonに慣れている方にとって読みやすい SQLに慣れている方にとって読みやすい
💡 ポイント
実際には、DataFrame APIとSpark SQLを混在させて使うことも一般的です。たとえば、DataFrame APIでデータの読み込みと前処理を行い、複雑な集計はSpark SQLで記述するといった使い分けがよく見られます。次のセクション「PySparkでGlueジョブを作ろう」でも、この組み合わせパターンを使用します。