RDSからの読み込み(参考)

ここまでのハンズオンではS3のCSVファイルをデータソースとして使用しましたが、実際にはRDS(リレーショナルデータベース)からデータを取得するケースも多くあります。RDSからの読み込みにはJDBC接続を使用します。

以下は、RDS(MySQL)からデータを読み込むコードの例です。実際にはVPCの設定やGlue接続(Connection)の作成が別途必要になりますが、PySpark部分のコードは以下のようになります。

orders_df = spark.read.format("jdbc").options(
    url="jdbc:mysql://my-rds-endpoint:3306/mydb",
    dbtable="orders",
    user="admin",
    password="password",
    driver="com.mysql.cj.jdbc.Driver"
).load()

読み込んだ後は、S3から読み込んだ場合と同じDataFrame操作が使えます。

orders_df.filter(col("status") == "完了").show()
orders_df.groupBy("category").agg(sum("amount").alias("total")).show()
💡 ポイント
RDSからの読み込みを行う場合、Glueジョブの設定で接続(Connection)を作成し、VPC・サブネット・セキュリティグループを指定する必要があります。また、パスワードはコードに直接記述せず、AWS Secrets Managerで管理することを推奨します。「データ分析基盤を構築しよう」のハンズオンでGlueからRDSに接続した際の設定が参考になります。