Glueジョブの設定項目

Glueジョブを作成する際には、処理内容だけでなく、リソースや実行制御に関するさまざまな設定項目があります。ここでは、主な設定項目を紹介します。

1. リソース設定

Glueジョブの処理性能は、割り当てるリソースの種類と量によって決まります。

Sparkジョブでは、ワーカータイプとワーカー数を指定します。ワーカータイプは1台あたりのスペック(CPU・メモリ)を決める設定で、以下の種類があります。

ワーカータイプ vCPU メモリ 用途
G.1X 4 16 GB 一般的なETL処理
G.2X 8 32 GB メモリを多く使う変換処理
G.4X 16 64 GB 大規模データの処理や機械学習の前処理
G.8X 32 128 GB 非常に大規模なデータ処理

ワーカー数は並列で処理を行うワーカーの台数です。ワーカータイプでスペックを、ワーカー数で並列度を調整し、処理に必要なリソースを確保します。

Python Shellジョブでは、ワーカータイプの代わりにDPU(Data Processing Unit)を指定します。0.0625 DPU(メモリ1 GB)または1 DPU(メモリ16 GB)から選択でき、軽量な処理には0.0625 DPUで十分です。

💡 ポイント
リソースはコストに直結するため、最小限の設定から開始し、処理時間やエラーの状況を見ながら段階的に調整するのが基本です。

2. Glueバージョン

GlueジョブにはGlueバージョンの設定があり、利用できるApache SparkやPythonのバージョンが決まります。新規にジョブを作成する場合は、最新のGlueバージョンを選択することが推奨されています。各バージョンが対応するSpark・Python・JavaのバージョンはAWS Glue versions(AWS Glue公式ドキュメント)にまとまっています。

3. 実行制御

ジョブの実行に関する制御設定として、以下の項目があります。

設定項目 説明
タイムアウト ジョブの最大実行時間(分)。この時間を超えるとジョブは自動的に停止する。想定外の長時間実行によるコスト増加を防ぐために設定する
最大同時実行数 同じジョブが同時に実行できる数。デフォルトは1で、前の実行が完了するまで次の実行は待機する
リトライ回数 ジョブが失敗した際の自動リトライ回数(0〜10回)。一時的なエラーに対する耐障害性を高める

4. ジョブパラメータ

ジョブパラメータは、ジョブの実行時にキーと値のペアで渡す設定値です。環境変数のような役割を果たし、ジョブのスクリプト内から参照できます。

例えば、入力元のS3パスや出力先のS3パス、処理対象の日付などをジョブパラメータとして外部から渡すことで、同じスクリプトを異なる条件で再利用できます。開発環境と本番環境でパラメータを切り替えるといった使い方も一般的です。

5. ジョブブックマーク

ジョブブックマークは、前回のジョブ実行で処理済みのデータを記録し、次回の実行時に未処理のデータのみを処理する増分処理の機能です。

この機能を有効にすると、毎回すべてのデータを最初から処理する必要がなくなり、処理時間とコストを大幅に削減できます。日次で新しいデータが追加されるようなケースでは、ジョブブックマークの利用が推奨されています。