まとめ

この章では、AWSのETL/ELTサービスであるGlueについて学びました。

  • AWS Glueは、データの検出・変換・ロードを行うフルマネージドのETL/ELTサービスである
  • Glueデータカタログは、データの「所在と構造」を一元管理する目録で、AthenaやRedshiftから参照される
  • クローラーは、S3のデータを自動スキャンし、スキーマを検出してデータカタログに登録する
  • Glueジョブにより、PythonやSparkを使ったETL処理を実行できる
  • Glue Studioにより、GUIで視覚的にETLパイプラインを構築できる
  • 分析用データはParquet形式に変換することで、クエリ速度とコスト効率を大幅に改善できる

次の章では、S3上のデータにSQLクエリを実行できるAmazon Athenaについて学びます。