主なユースケース
Glueの代表的なユースケースを紹介します。
1. 業務データの変換
RDSやAuroraに蓄積された業務データ(受注データ、顧客データなど)をGlueジョブで抽出し、分析に適したParquet形式に変換してS3に保存します。業務システムのデータベースに直接分析クエリを実行すると負荷がかかりますが、Glueで定期的にデータを抽出・変換してS3に保存することで、業務システムに影響を与えずにAthenaで分析できるようになります。
2. ログデータの変換
アプリケーションやAWSサービスが出力するログデータ(JSON形式やテキスト形式)を、分析に適したParquet形式に変換してS3に保存します。変換後のデータはAthenaで効率的にクエリできるようになります。
3. データの統合・クレンジング
複数のデータソース(営業システム、在庫管理システム、顧客管理システムなど)のデータを統合し、形式の統一やデータクレンジングを行います。例えば、日付形式の統一、重複レコードの除去、不正な値の修正などを行い、統合されたデータをデータウェアハウスやデータレイクに保存することで、横断的な分析を可能にします。
また、個人情報(氏名、メールアドレスなど)を含むデータを分析用途で利用する際に、Glueジョブで該当カラムをマスキング(伏せ字化やハッシュ化)してから保存するといった使い方もあります。
| 📝 データクレンジングとは |
|---|
| データクレンジングは、データの中に含まれる誤り・重複・欠損・表記ゆれなどを検出し、修正・除去することでデータの品質を高める作業のことです。「データクリーニング」とも呼ばれます。 |