主なユースケース

Glueの代表的なユースケースを紹介します。

1. 業務データの変換

RDSやAuroraに蓄積された業務データ(受注データ、顧客データなど)をGlueジョブで抽出し、分析に適したParquet形式に変換してS3に保存します。業務システムのデータベースに直接分析クエリを実行すると負荷がかかりますが、Glueで定期的にデータを抽出・変換してS3に保存することで、業務システムに影響を与えずにAthenaで分析できるようになります。

2. ログデータの変換

アプリケーションやAWSサービスが出力するログデータ(JSON形式やテキスト形式)を、分析に適したParquet形式に変換してS3に保存します。変換後のデータはAthenaで効率的にクエリできるようになります。

3. データの統合・クレンジング

複数のデータソース(営業システム、在庫管理システム、顧客管理システムなど)のデータを統合し、形式の統一やデータクレンジングを行います。例えば、日付形式の統一、重複レコードの除去、不正な値の修正などを行い、統合されたデータをデータウェアハウスやデータレイクに保存することで、横断的な分析を可能にします。

また、個人情報(氏名、メールアドレスなど)を含むデータを分析用途で利用する際に、Glueジョブで該当カラムをマスキング(伏せ字化やハッシュ化)してから保存するといった使い方もあります。

📝 データクレンジングとは
データクレンジングは、データの中に含まれる誤り・重複・欠損・表記ゆれなどを検出し、修正・除去することでデータの品質を高める作業のことです。「データクリーニング」とも呼ばれます。