Glueジョブの実行方法
Glueジョブを実行する方法はいくつかあります。単発の実行から、イベント駆動、複雑なワークフロー制御まで、用途に応じて使い分けます。
1. トリガーによる実行
トリガーは、Glueに組み込まれたジョブの実行制御機能です。最もシンプルにGlueジョブを実行する方法で、以下の3種類があります。
| トリガーの種類 | 説明 | 用途 |
|---|---|---|
| スケジュール | cron式で定期実行 | 日次・週次の定期的なETL処理 |
| オンデマンド | 手動で即座に実行 | テスト実行、臨時のデータ処理 |
| イベント | 別のジョブの完了をきっかけに実行 | ジョブの連鎖(ジョブA完了後にジョブBを実行) |
シンプルな定期実行や、ジョブ同士の連鎖であればトリガーで十分対応できます。
2. EventBridgeによる実行
Amazon EventBridgeを使うと、AWS上のイベントをきっかけにGlueジョブを実行できます。例えば「S3バケットに新しいファイルがアップロードされたらGlueジョブを起動する」といったイベント駆動型の実行が可能です。
トリガーのスケジュール実行では「1時間ごと」のように時間ベースでしか制御できませんが、EventBridgeを使えば「データが届いたタイミング」で即座に処理を開始できるため、よりリアルタイムに近いデータ処理が実現できます。
3. Step Functionsによる実行
AWS Step Functionsは、複数のAWSサービスをステートマシン(状態遷移図)として組み合わせ、ワークフローを構築するサービスです。Glueジョブの実行をStep Functionsのステップとして組み込むことで、より複雑なパイプラインを構築できます。
例えば「S3にファイルが到着→Lambdaでバリデーション→Glueジョブで変換→成功したらSNSで通知、失敗したらエラー処理」のように、条件分岐やエラーハンドリングを含む高度なフローを定義できます。
GlueにはワークフローというGlue組み込みのパイプライン機能もありますが、Glueのワークフローはクローラーとジョブの連携に限定されます。Glue以外のサービス(Lambda、SNSなど)を含む複雑なパイプラインを構築する場合は、Step Functionsの利用が推奨されています。