データの書き出し
ここまで、CSVファイルからデータを読み込み、フィルタリングや集計、結合といったさまざまな操作を行ってきました。しかし、処理した結果がメモリ上にしか存在しなければ、PySparkシェルを終了した時点で消えてしまいます。処理結果を永続的に残すには、ファイルとして書き出す必要があります。
PySparkでは df.write を使ってDataFrameの内容をファイルに書き出すことができます。
df.write.csv("出力先のフォルダパス", header=True, mode="書き出しモード")
write.csv() の各引数の意味は以下のとおりです。
- 第1引数: 出力先のフォルダパス。指定したフォルダが自動的に作成される
header:Trueにすると1行目にカラム名を出力するmode: 出力先に既存のデータがある場合の動作を指定する
実際に試してみましょう。書き出しを試すために、先ほどの結合データを使ってカテゴリ別の売上集計を作成します。
category_sales = joined_df.withColumn("total_price", col("quantity") * col("unit_price")) \
.groupBy("category").agg(
count("*").alias("order_count"),
sum("total_price").alias("total_sales")
)
作成した集計結果をCSVファイルとして書き出します。今回は出力先を output/category_sales、ヘッダーあり、既存データがあれば上書きする設定で実行します。
category_sales.write.csv("output/category_sales", header=True, mode="overwrite")
書き出しが完了したら、コンテナ内で出力を確認してみましょう。一度PySparkシェルを抜けて確認します。
exit()
まず、出力先フォルダの中身を確認します。
ls output/category_sales/
part-00000-xxxxx.csv のようなファイルが表示されます。Sparkは並列処理のため、複数のファイルに分割して出力します。
続いて、出力されたCSVファイルの中身を確認します。
cat output/category_sales/*.csv
以下のように、カテゴリ別の集計結果が書き出されていることが確認できます。
category,order_count,total_sales
電子機器,5,175500
書籍,3,15300
衣類,2,15500
再びPySparkシェルに戻ります。
pyspark
| 📝 書き出し時のファイル分割について |
|---|
Sparkは並列処理の仕組み上、データをパーティション(分割単位)ごとに個別のファイルとして出力します。出力ファイル数を制御したい場合は coalesce() を使って df.coalesce(1).write.csv(...) のように指定することで、1つのファイルにまとめて出力できます。ただし、大規模データの場合はメモリ不足になる可能性があるため、適切なファイル数を選択してください。 |
書き出し時のモードは以下のとおりです。
| モード | 説明 |
|---|---|
| overwrite | 既存データを上書きする |
| append | 既存データに追加する |
| ignore | 既存データがある場合は何もしない |
| error(デフォルト) | 既存データがある場合はエラーを発生させる |