データ変換の実践
ここまで学んだDataFrameの基本操作だけでも多くのことができますが、実際のデータは「日付が文字列のまま」「値が欠損している」「同じ顧客が複数回登場する」など、そのままでは分析に使えない状態であることがほとんどです。こうした「汚れたデータ」をきれいに整える処理こそがETLの「Transform(変換)」にあたり、データ分析の品質を左右する重要な工程です。
ここでは、実務のETL処理でよく使われるデータ変換のパターンを紹介します。引き続きPySparkシェルで実行してください。
1. データ型の変換
CSVファイルから読み込んだデータは、日付や金額のカラムが文字列型のまま取り込まれることがあります。文字列型のままでは、日付の比較や年・月の抽出、数値の計算などが正しく動作しません。データ型を適切に変換することで、これらの操作が可能になります。
1.1 日付型への変換(to_date)
文字列を日付型に変換するには to_date() を使用します。書式は以下のとおりです。
df.withColumn("カラム名", to_date(col("元のカラム名"), "日付フォーマット"))
第2引数の日付フォーマットには、元の文字列の形式を指定します。たとえば "2025-01-05" のような形式であれば "yyyy-MM-dd" と指定します。
日付型に変換したカラムからは、year() や month() で年・月を抽出できます。
df.withColumn("カラム名", year(col("日付カラム名")))
実際に試してみましょう。まず日付関連の関数をインポートし、売上データを読み込み直します。
from pyspark.sql.functions import col, to_date, year, month, dayofmonth
df = spark.read.csv("sales.csv", header=True, inferSchema=True)
文字列型の order_date を日付型に変換します。
df = df.withColumn("order_date", to_date(col("order_date"), "yyyy-MM-dd"))
変換した日付カラムから年を抽出します。
df = df.withColumn("year", year(col("order_date")))
同様に月を抽出します。
df = df.withColumn("month", month(col("order_date")))
日も抽出します。dayofmonth() を使用します。
df = df.withColumn("day", dayofmonth(col("order_date")))
結果を確認します。
df.select("order_id", "order_date", "year", "month", "day").show()
以下のような実行結果が表示されます。
+--------+----------+----+-----+---+
|order_id|order_date|year|month|day|
+--------+----------+----+-----+---+
| ORD001|2025-01-05|2025| 1| 5|
| ORD002|2025-01-05|2025| 1| 5|
| ORD003|2025-01-06|2025| 1| 6|
| ORD004|2025-01-06|2025| 1| 6|
| ORD005|2025-01-07|2025| 1| 7|
| ORD006|2025-01-07|2025| 1| 7|
| ORD007|2025-01-08|2025| 1| 8|
| ORD008|2025-01-08|2025| 1| 8|
| ORD009|2025-01-09|2025| 1| 9|
| ORD010|2025-01-09|2025| 1| 9|
+--------+----------+----+-----+---+
order_date が文字列から日付型に変換され、そこから year、month、day が正しく抽出されていることがわかります。変換に失敗した場合は order_date が null になるため、すべての行に日付が表示されていれば変換は成功です。
1.2 汎用的な型変換(cast)
日付以外のデータ型を変換するには cast() を使用します。書式は以下のとおりです。
df.withColumn("カラム名", col("カラム名").cast("変換先の型名"))
cast() には "int"(整数)、"double"(小数)、"string"(文字列)などの型名を文字列で指定します。たとえば、inferSchema で文字列型として読み込まれてしまった金額カラムを整数型に変換する場合は、以下のように記述します。
実際に試してみましょう。cast() の動作を確認するために、unit_price を一度文字列型に変換してから、整数型に戻してみます。まず文字列型に変換します。
df_str = df.withColumn("unit_price", col("unit_price").cast("string"))
printSchema() で型を確認します。
df_str.printSchema()
以下のように unit_price が string 型になっていることがわかります。
root
|-- order_id: string (nullable = true)
|-- customer_name: string (nullable = true)
|-- product_id: string (nullable = true)
|-- quantity: integer (nullable = true)
|-- unit_price: string (nullable = true)
|-- order_date: date (nullable = true)
|-- region: string (nullable = true)
|-- year: integer (nullable = true)
|-- month: integer (nullable = true)
|-- day: integer (nullable = true)
この文字列型の unit_price を整数型に戻します。
df_int = df_str.withColumn("unit_price", col("unit_price").cast("int"))
再度 printSchema() で確認します。
df_int.printSchema()
以下のように unit_price が integer 型に戻っていれば成功です。
root
|-- order_id: string (nullable = true)
|-- customer_name: string (nullable = true)
|-- product_id: string (nullable = true)
|-- quantity: integer (nullable = true)
|-- unit_price: integer (nullable = true)
|-- order_date: date (nullable = true)
|-- region: string (nullable = true)
|-- year: integer (nullable = true)
|-- month: integer (nullable = true)
|-- day: integer (nullable = true)
今回のサンプルデータでは inferSchema=True により数値カラムは自動的に整数型として推定されていますが、CSVの内容や設定によっては文字列型のまま取り込まれることがあるため、cast() による明示的な型変換は実務で頻繁に使用します。
2. null値の処理
実務のデータでは、値が入っていないレコード(null)が含まれていることがよくあります。nullが残ったまま集計すると、結果が不正確になったりエラーの原因になったりするため、事前に処理しておく必要があります。
null値を処理する方法は大きく2つあります。dropna() でnullを含む行を除去する方法と、fillna() でnullを別の値に置換する方法です。
2.1 nullを含む行の除去(dropna)
dropna() を使うと、nullを含む行をDataFrameから除去できます。書式は以下のとおりです。
df.dropna()
引数なしで実行すると、いずれかのカラムにnullが含まれる行がすべて除去されます。subset を指定すると、特定のカラムだけを対象にできます。
df.dropna(subset=["カラム名1", "カラム名2"])
今回のサンプルデータにはnullが含まれていないため、dropna() を実行しても結果は変わりません。ここでは書き方を確認しておきましょう。
nullを含む行をすべて除去する場合は以下のように記述します。
df_clean = df.dropna()
特定のカラムにnullがある行だけを除去することもできます。以下の例では order_id または unit_price がnullの行だけが除去されます。
df_clean = df.dropna(subset=["order_id", "unit_price"])
参考として、もし以下のようにnullを含むデータがあった場合の動作を示します。
+--------+-------------+----------+
|order_id|customer_name|unit_price|
+--------+-------------+----------+
| ORD001| 田中太郎| 120000|
| ORD002| null| 3000|
| ORD003| 山田一郎| null|
+--------+-------------+----------+
この状態で df.dropna() を実行すると、nullを含むORD002とORD003が除去され、ORD001の1件だけが残ります。
+--------+-------------+----------+
|order_id|customer_name|unit_price|
+--------+-------------+----------+
| ORD001| 田中太郎| 120000|
+--------+-------------+----------+
df.dropna(subset=["customer_name"]) とすれば、customer_name がnullのORD002だけが除去され、ORD001とORD003の2件が残ります。
+--------+-------------+----------+
|order_id|customer_name|unit_price|
+--------+-------------+----------+
| ORD001| 田中太郎| 120000|
| ORD003| 山田一郎| null|
+--------+-------------+----------+
2.2 nullの値の置換(fillna)
データを削除するのではなく、nullを別の値で埋めたい場合は fillna() を使用します。書式は以下のとおりです。辞書形式でカラムごとに置換する値を指定できます。
df.fillna({"カラム名1": 置換する値1, "カラム名2": 置換する値2})
こちらもサンプルデータにはnullがないため結果は変わりませんが、書き方を確認しておきましょう。以下の例では、unit_price がnullの場合は 0 に、region がnullの場合は "不明" に置換します。
df_filled = df.fillna({"unit_price": 0, "region": "不明"})
先ほどのnullを含むデータに対して df.fillna({"customer_name": "不明", "unit_price": 0}) を実行すると、以下のようにnullが指定した値に置き換わります。
+--------+-------------+----------+
|order_id|customer_name|unit_price|
+--------+-------------+----------+
| ORD001| 田中太郎| 120000|
| ORD002| 不明| 3000|
| ORD003| 山田一郎| 0|
+--------+-------------+----------+
dropna() と違いデータの件数が減らないため、集計結果への影響を最小限に抑えられます。
| 💡 ポイント |
|---|
dropna() はデータの件数が減るため、分析結果に影響を与える場合があります。nullの件数が少なければ除去しても問題ありませんが、nullが多い場合は fillna() で適切なデフォルト値に置換するほうが望ましいケースもあります。どちらを使うかはデータの性質と分析の目的に応じて判断してください。 |
3. 重複の除去
複数のデータソースを結合した際や、同じデータが二重に登録されている場合など、重複するレコードを除去する必要があることがあります。
重複する行を除去する場合は dropDuplicates() を使用します。書式は以下のとおりです。引数に指定したカラムの値が重複する行が除去され、最初に出現した行だけが残ります。
df.dropDuplicates(["重複を判定するカラム名"])
実際に試してみましょう。customer_name の値が重複する行を除去し、各顧客の最初の注文だけを残します。
df.dropDuplicates(["customer_name"]).select("order_id", "customer_name").show()
以下のような実行結果が表示されます。元のデータでは田中太郎(ORD001, ORD006)、鈴木花子(ORD002, ORD007)、山田一郎(ORD003, ORD008)、佐藤美咲(ORD004, ORD009)、高橋健太(ORD005, ORD010)がそれぞれ2件ずつありましたが、各顧客から1行ずつだけ残り、5件に絞り込まれています。
+--------+-------------+
|order_id|customer_name|
+--------+-------------+
| ORD001| 田中太郎|
| ORD002| 鈴木花子|
| ORD003| 山田一郎|
| ORD004| 佐藤美咲|
| ORD005| 高橋健太|
+--------+-------------+