Athenaの仕組み

Athena で分析を行うための前提として、テーブル定義とデータソースの考え方を整理します。

1. Athenaで利用できるテーブルの作成

Athenaでクエリを実行するためには、テーブル定義(メタデータ)が必要です。テーブルを作成する方法は主に3つあります。

1.1 Glueクローラーで作成

Glueクローラーは、S3上のデータを自動的にスキャンし、データの形式やスキーマを解析してテーブル定義をGlueデータカタログに自動登録する機能です。大量のデータセットがある場合や、スキーマを手動で定義するのが手間な場合に便利です。Glueクローラーの詳細については、前のセクションで学習した内容に記載があります。

1.2 Glueコンソールで作成

Glueの管理画面(コンソール)から、テーブル名・カラム定義・データの保存場所・データ形式などを手動で入力してテーブルを定義する方法です。GUIで操作できるため、SQLに不慣れな場合でもテーブルを作成できます。

1.3 Athenaで直接作成

AthenaのクエリエディタからDDL(データ定義言語)のCREATE TABLE文を実行してテーブルを作成する方法です。SQLの知識があれば最も手軽にテーブルを作成でき、Athena上で完結します。具体的なCREATE TABLE文の書き方については、後のセクションで解説します。

2. クエリの実行フロー

Athenaのクエリ実行フローを以下に示します。

ユーザがSQLクエリをAthenaに送信すると、AthenaはまずGlueデータカタログからテーブルのメタデータ(スキーマやデータの保存場所)を取得します。次に、そのメタデータに基づいてS3から対象のデータを読み取り、分散処理エンジン(Trino/Presto)を使ってクエリを実行します。処理が完了すると、結果はユーザに返却されると同時に、クエリ結果用のS3バケットにも自動的に保存されます。

📝 Trino/Prestoとは
Athenaの内部ではTrino(旧Presto)という分散SQLクエリエンジンが使われています。Trinoは大量のデータを複数のノードで並列処理することで、高速なクエリ実行を実現します。ユーザはTrinoの存在を意識する必要はありませんが、Athenaで利用できるSQL構文やデータ型はTrinoの仕様に基づいています。

3. クエリ結果の保存先

Athenaのクエリ結果は、指定したS3バケットに自動的に保存されます。このバケットは「クエリ結果の場所」としてAthenaの設定で指定する必要があります。

クエリを実行するたびにCSV形式の結果ファイルが保存されるため、結果用のS3バケットが肥大化しないよう、S3ライフサイクルルールで古い結果を自動削除する設定を行うことを推奨します。

4. ワークグループ

ワークグループは、Athenaのクエリ実行環境をチームや用途ごとに分離して管理するための機能です。ワークグループごとに、クエリ結果の保存先(S3バケット)、1クエリあたりのデータスキャン量の上限、ワークグループ全体のデータスキャン量の上限などを個別に設定できます。

例えば、開発チームと分析チームでワークグループを分けることで、クエリ結果の保存先を別々に管理したり、チームごとにスキャン量の上限を設定してコストを制御したりできます。

Athenaにはデフォルトでprimaryというワークグループが用意されており、特にワークグループを指定しない場合はこのprimaryワークグループが使用されます。小規模な利用であればprimaryワークグループのみで問題ありませんが、複数のチームや用途でAthenaを利用する場合は、ワークグループを分けて管理することを推奨します。