RDSからの読み込み(参考)
ここまでのハンズオンではS3のCSVファイルをデータソースとして使用しましたが、実際にはRDS(リレーショナルデータベース)からデータを取得するケースも多くあります。RDSからの読み込みにはJDBC接続を使用します。
以下は、RDS(MySQL)からデータを読み込むコードの例です。実際にはVPCの設定やGlue接続(Connection)の作成が別途必要になりますが、PySpark部分のコードは以下のようになります。
orders_df = spark.read.format("jdbc").options(
url="jdbc:mysql://my-rds-endpoint:3306/mydb",
dbtable="orders",
user="admin",
password="password",
driver="com.mysql.cj.jdbc.Driver"
).load()
読み込んだ後は、S3から読み込んだ場合と同じDataFrame操作が使えます。
orders_df.filter(col("status") == "完了").show()
orders_df.groupBy("category").agg(sum("amount").alias("total")).show()
| 💡 ポイント |
|---|
| RDSからの読み込みを行う場合、Glueジョブの設定で接続(Connection)を作成し、VPC・サブネット・セキュリティグループを指定する必要があります。また、パスワードはコードに直接記述せず、AWS Secrets Managerで管理することを推奨します。「データ分析基盤を構築しよう」のハンズオンでGlueからRDSに接続した際の設定が参考になります。 |