まとめ
この章では、AWSのETL/ELTサービスであるGlueについて学びました。
- AWS Glueは、データの検出・変換・ロードを行うフルマネージドのETL/ELTサービスである
- Glueデータカタログは、データの「所在と構造」を一元管理する目録で、AthenaやRedshiftから参照される
- クローラーは、S3のデータを自動スキャンし、スキーマを検出してデータカタログに登録する
- Glueジョブにより、PythonやSparkを使ったETL処理を実行できる
- Glue Studioにより、GUIで視覚的にETLパイプラインを構築できる
- 分析用データはParquet形式に変換することで、クエリ速度とコスト効率を大幅に改善できる
次の章では、S3上のデータにSQLクエリを実行できるAmazon Athenaについて学びます。