まとめ

この章では、AWS Glue・Athena・QuickSight を使ったデータ分析基盤の構築を体験しました。

  • CloudFormationにより、VPC・RDS・EC2の環境をテンプレートから一括構築できる
  • 踏み台サーバからRDSに接続し、SQLでテストデータを登録できる
  • IAMロール・セキュリティグループにより、Glueに必要な権限とネットワーク設定を行える
  • AWS GlueのVisual ETLにより、RDSからデータを抽出し、Parquet形式でS3に格納できる
  • GlueクローラでS3上のデータを自動スキャンし、データカタログにテーブル定義を自動作成できる
  • Amazon AthenaでS3上のParquetデータにSQLクエリを実行できる
  • Amazon QuickSightで、Athenaのデータを円グラフや表で可視化できる

次の章では、大規模データの分散処理フレームワークである Apache Spark と PySpark を学びつつ、実際にコードで扱いを確かめます。