データの分析

このセクションでは、S3バケットに保存されたParquet形式のデータをAthenaから参照できるようにします。Athena上でテーブルを作成し、S3上のデータに対してSQLクエリを実行できるようにするまでの手順を説明します。

1. データカタログの設定(クローラの作成と実行)

Athenaでテーブルを作成する方法はいくつかありますが、今回はGlueクローラを利用する方法で進めます。Glueクローラは、S3などのデータソースを自動的にスキャンし、データのスキーマ(カラム名やデータ型)を検出して、Glueデータカタログにテーブル定義を自動作成する機能です。

📝 Glueクローラとは
Glueクローラは、指定したデータソース(S3、RDSなど)を自動的にスキャンし、データの構造(スキーマ)を検出してGlueデータカタログにテーブル定義を作成・更新する機能です。手動でカラム名やデータ型を定義する必要がなく、データの形式を自動で判別してくれるため、大量のテーブルを扱う場合やスキーマの変更が頻繁な場合に特に有用です。

1.1 クローラの作成

Glueのダッシュボードを開き、左側のメニューから「Crawlers」を選択し、「Create crawler」をクリックします。

クローラ名にtest-crawlerと入力し、「Next」をクリックします。

1.2 データソースの設定

「Add a data source」をクリックし、下記の内容を設定してください。

設定項目 値 設定の基準
Data source S3 S3上のデータを読み取るため
S3 path s3://glue-data-(識別子)/rawdata/users/ ETL処理で出力したS3パスを指定するため

入力が終わったら、Add an S3 data sourceをクリックしてください。

入力が問題なければ、Nextをクリックしてください。

1.3 IAMロールの設定

Crawlerの実行で利用するIAMロールを設定します。今回は、事前に作成しているglue-test-roleを使用します。

選択が終わったらNextをクリックします。

1.4 出力先の設定

続いて、対象となるデータベースをクリックします。今回は、Athenaで最初から作られているdefaultデータベースを利用します。

Crawler scheduleについて、時刻起動など設定できますが、今回は手動で実行するOn demandを選択します。

入力が終わったらNextをクリックします。

確認画面が表示されるので、問題なければCreate crawlerをクリックします。

1.5 クローラの実行

作成されたCrawlerにて、Run crawlerボタンをクリックし、Crawlerを実行します。

数分経過すると、クローラの実行が完了し、StatusがCompletedになります。

1.6 テーブルの確認

左側のメニューから「Data Catalog」>「Tables」を開き、usersテーブルが自動作成されていることを確認します。テーブルをクリックすると、クローラが自動検出したスキーマ(カラム名・データ型)を確認できます。

2. Athenaでデータを参照

Athenaのダッシュボードを開きます。テーブル一覧の中に、先ほど作成したusersテーブルが表示されています。

右側の三点メニューから「テーブルをプレビュー」をクリックします。テーブルに保存されているデータが画面上に表示されることを確認できます。

以上で、Athenaを利用してS3に保存されたParquet形式のデータを参照する設定は完了です。