Glueデータカタログ
Glue データカタログの役割と、Athena など他のサービスとどう連携するかを整理します。
1. データカタログとは
Glueデータカタログは、データレイク内のデータのメタデータを一元管理する「データの目録」です。図書館の蔵書目録が「どの本が、どの棚に、どのような内容で存在するか」を管理しているように、データカタログは「どのデータが、どこに、どのような構造で存在するか」を管理します。
例えば、GlueジョブでCSVをParquetに変換してS3に保存したとします。しかし、S3上のファイルはそのままではただのデータであり、Athenaなどの分析サービスからは参照できません。データカタログにメタデータ(保存場所、カラム名、データ型など)を登録することで、初めてAthenaからSQLでクエリできるようになります。このように、Glueデータカタログはデータ分析基盤全体の「共通の辞書」としての役割を果たします。
2. データベースとテーブル
Glueデータカタログでは、メタデータをデータベースとテーブルの階層で管理します。
データベースはテーブルをグループ化するための論理的な入れ物です。リレーショナルデータベースの「データベース」と概念は似ていますが、実際のデータは保存されず、メタデータのみが管理されます。
テーブルは、データの構造(スキーマ)とデータの保存場所を定義するメタデータです。具体的には以下の情報を含みます。
| 情報 | 説明 | 例 |
|---|---|---|
| テーブル名 | データの識別名 | sales_data |
| カラム定義 | 各列の名前とデータ型 | id: string, amount: int, date: string |
| データの場所 | S3上のパス | s3://my-bucket/sales/ |
| データ形式 | ファイルのフォーマット | CSV, JSON, Parquet |
| パーティション | データの分割キー | year=2025/month=01 |
| 💡 ポイント |
|---|
| Glueデータカタログのテーブルは、実際のデータを保存しているわけではありません。データはS3に保存されたままで、テーブルはその「場所」と「構造」を記録しているだけです。これにより、データを移動することなく、AthenaなどからSQLでクエリできるようになります。 |
3. クローラー
クローラーは、S3やデータベースなどのデータソースを自動的にスキャンし、データの構造を検出してデータカタログにテーブルを自動登録する機能です。AWS公式のUsing crawlers to populate the Data Catalog(AWS Glue公式ドキュメント)では、クローラーが「Classifies data to determine the format, schema, and associated properties of the raw data」「Groups data into tables or partitions」「Writes metadata to the Data Catalog」という3つのアクションを行うと説明されており、形式・スキーマの自動判別からカタログへの書き込みまでを一気通貫で担うことが示されています。
手動でテーブルを定義することもできますが、データソースのファイル数が多い場合や、スキーマが頻繁に変更される場合は、クローラーによる自動検出が非常に便利です。
クローラーを実行すると、まず指定したデータソース(S3パスなど)をスキャンし、保存されているファイルの形式やカラム構造を自動的に検出します。検出が完了すると、その結果をもとにGlueデータカタログにテーブルを自動登録します。既にテーブルが登録されている場合は、前回との差分を検出し、カラムの追加や型の変更などスキーマに変更があれば自動的に更新します。
| 💡 ポイント |
|---|
| クローラーはスキャンするデータ量に応じてコストが発生します。不要な頻度で実行しないよう、スケジュールを適切に設定してください。新しいデータが追加されるタイミングに合わせて実行するのが効率的です。 |