まとめ
この章では、AWS Glue・Athena・QuickSight を使ったデータ分析基盤の構築を体験しました。
- CloudFormationにより、VPC・RDS・EC2の環境をテンプレートから一括構築できる
- 踏み台サーバからRDSに接続し、SQLでテストデータを登録できる
- IAMロール・セキュリティグループにより、Glueに必要な権限とネットワーク設定を行える
- AWS GlueのVisual ETLにより、RDSからデータを抽出し、Parquet形式でS3に格納できる
- GlueクローラでS3上のデータを自動スキャンし、データカタログにテーブル定義を自動作成できる
- Amazon AthenaでS3上のParquetデータにSQLクエリを実行できる
- Amazon QuickSightで、Athenaのデータを円グラフや表で可視化できる
次の章では、大規模データの分散処理フレームワークである Apache Spark と PySpark を学びつつ、実際にコードで扱いを確かめます。