データの書き出し

ここまで、CSVファイルからデータを読み込み、フィルタリングや集計、結合といったさまざまな操作を行ってきました。しかし、処理した結果がメモリ上にしか存在しなければ、PySparkシェルを終了した時点で消えてしまいます。処理結果を永続的に残すには、ファイルとして書き出す必要があります。

PySparkでは df.write を使ってDataFrameの内容をファイルに書き出すことができます。

df.write.csv("出力先のフォルダパス", header=True, mode="書き出しモード")

write.csv() の各引数の意味は以下のとおりです。

  • 第1引数: 出力先のフォルダパス。指定したフォルダが自動的に作成される
  • header: True にすると1行目にカラム名を出力する
  • mode: 出力先に既存のデータがある場合の動作を指定する

実際に試してみましょう。書き出しを試すために、先ほどの結合データを使ってカテゴリ別の売上集計を作成します。

category_sales = joined_df.withColumn("total_price", col("quantity") * col("unit_price")) \
    .groupBy("category").agg(
        count("*").alias("order_count"),
        sum("total_price").alias("total_sales")
    )

作成した集計結果をCSVファイルとして書き出します。今回は出力先を output/category_sales、ヘッダーあり、既存データがあれば上書きする設定で実行します。

category_sales.write.csv("output/category_sales", header=True, mode="overwrite")

書き出しが完了したら、コンテナ内で出力を確認してみましょう。一度PySparkシェルを抜けて確認します。

exit()

まず、出力先フォルダの中身を確認します。

ls output/category_sales/

part-00000-xxxxx.csv のようなファイルが表示されます。Sparkは並列処理のため、複数のファイルに分割して出力します。

続いて、出力されたCSVファイルの中身を確認します。

cat output/category_sales/*.csv

以下のように、カテゴリ別の集計結果が書き出されていることが確認できます。

category,order_count,total_sales
電子機器,5,175500
書籍,3,15300
衣類,2,15500

再びPySparkシェルに戻ります。

pyspark
📝 書き出し時のファイル分割について
Sparkは並列処理の仕組み上、データをパーティション(分割単位)ごとに個別のファイルとして出力します。出力ファイル数を制御したい場合は coalesce() を使って df.coalesce(1).write.csv(...) のように指定することで、1つのファイルにまとめて出力できます。ただし、大規模データの場合はメモリ不足になる可能性があるため、適切なファイル数を選択してください。

書き出し時のモードは以下のとおりです。

モード 説明
overwrite 既存データを上書きする
append 既存データに追加する
ignore 既存データがある場合は何もしない
error(デフォルト) 既存データがある場合はエラーを発生させる