Glueジョブの設定項目
Glueジョブを作成する際には、処理内容だけでなく、リソースや実行制御に関するさまざまな設定項目があります。ここでは、主な設定項目を紹介します。
1. リソース設定
Glueジョブの処理性能は、割り当てるリソースの種類と量によって決まります。
Sparkジョブでは、ワーカータイプとワーカー数を指定します。ワーカータイプは1台あたりのスペック(CPU・メモリ)を決める設定で、以下の種類があります。
| ワーカータイプ | vCPU | メモリ | 用途 |
|---|---|---|---|
| G.1X | 4 | 16 GB | 一般的なETL処理 |
| G.2X | 8 | 32 GB | メモリを多く使う変換処理 |
| G.4X | 16 | 64 GB | 大規模データの処理や機械学習の前処理 |
| G.8X | 32 | 128 GB | 非常に大規模なデータ処理 |
ワーカー数は並列で処理を行うワーカーの台数です。ワーカータイプでスペックを、ワーカー数で並列度を調整し、処理に必要なリソースを確保します。
Python Shellジョブでは、ワーカータイプの代わりにDPU(Data Processing Unit)を指定します。0.0625 DPU(メモリ1 GB)または1 DPU(メモリ16 GB)から選択でき、軽量な処理には0.0625 DPUで十分です。
| 💡 ポイント |
|---|
| リソースはコストに直結するため、最小限の設定から開始し、処理時間やエラーの状況を見ながら段階的に調整するのが基本です。 |
2. Glueバージョン
GlueジョブにはGlueバージョンの設定があり、利用できるApache SparkやPythonのバージョンが決まります。新規にジョブを作成する場合は、最新のGlueバージョンを選択することが推奨されています。各バージョンが対応するSpark・Python・JavaのバージョンはAWS Glue versions(AWS Glue公式ドキュメント)にまとまっています。
3. 実行制御
ジョブの実行に関する制御設定として、以下の項目があります。
| 設定項目 | 説明 |
|---|---|
| タイムアウト | ジョブの最大実行時間(分)。この時間を超えるとジョブは自動的に停止する。想定外の長時間実行によるコスト増加を防ぐために設定する |
| 最大同時実行数 | 同じジョブが同時に実行できる数。デフォルトは1で、前の実行が完了するまで次の実行は待機する |
| リトライ回数 | ジョブが失敗した際の自動リトライ回数(0〜10回)。一時的なエラーに対する耐障害性を高める |
4. ジョブパラメータ
ジョブパラメータは、ジョブの実行時にキーと値のペアで渡す設定値です。環境変数のような役割を果たし、ジョブのスクリプト内から参照できます。
例えば、入力元のS3パスや出力先のS3パス、処理対象の日付などをジョブパラメータとして外部から渡すことで、同じスクリプトを異なる条件で再利用できます。開発環境と本番環境でパラメータを切り替えるといった使い方も一般的です。
5. ジョブブックマーク
ジョブブックマークは、前回のジョブ実行で処理済みのデータを記録し、次回の実行時に未処理のデータのみを処理する増分処理の機能です。
この機能を有効にすると、毎回すべてのデータを最初から処理する必要がなくなり、処理時間とコストを大幅に削減できます。日次で新しいデータが追加されるようなケースでは、ジョブブックマークの利用が推奨されています。