フェーズ4: 手動承認の組み込み
フェーズ3で、自動テストの結果によって本番切り替えの可否を判定する仕組みができました。多くのシステムではこの構成で十分ですが、重要度の高いシステムではもう一段階安全装置を積みたいケースがあります。
たとえば以下のような場面です。
- 画面の見た目・操作感など、自動テストでは判定できない要素の最終確認を行う場合。テストはAPIレスポンスを見るだけなので、表示崩れやユーザ体験までは判定できない
- 「このタイミングでリリースして問題ないか」というビジネス要件の最終チェックは、人間の承認が必要になる
- システムの重要度によっては「誰がいつ承認したか」の承認記録が求められる
このような要件に応えるため、このフェーズでは自動テストに加えて人間の手動承認が揃わないと本番切り替えが進まない仕組みを構築します。
1. 構成の変更点
フェーズ3の「自動テスト合格 → 即本番切り替え」という仕組みに、人間の承認という新たなゲートを組み込みます。変更点は大きく3つで、それぞれがどう連携して「承認を待つ」挙動を実現するのかを理解しておくと、以降の実装がスムーズに進みます。
全体像を先に示すと、以下のようになります。ECSが30秒おきにメインLambdaを呼び出し、メインLambdaがDynamoDBの承認レコードを参照して結果を返す流れと、承認者がDynamoDBコンソールでレコードのステータスを直接書き換える流れの2系統が連携します。
ECSはメインLambdaがIN_PROGRESSを返すと同じステージで待機し、少し時間を置いてLambdaを再度呼び出します。このループによって「承認が来るまで本番切り替えを待つ」挙動が実現されます。
ここからは、3つの変更点を1つずつ詳しく見ていきます。
1.1 変更点1: DynamoDBに承認レコードを管理
まず、承認状態を保存する場所が必要になります。メインLambdaは30秒おきに呼び出されるため、「前回呼び出された時点で承認されたかどうか」をどこかに永続化しておく必要があるためです。この保存場所として、CloudFormationで事前に作成してあるbg-handson-approvalsというDynamoDBテーブルを利用します。
DynamoDBのレコードは、1件のデプロイメント(=1回の本番切り替え試行)に対して1レコードを持ちます。パーティションキーはdeployment_idで、ECSがライフサイクルフックから渡してくるtargetServiceRevisionArn(サービスリビジョンのARN)をそのまま利用します。サービスリビジョンARNはデプロイごとに一意のため、デプロイメントを識別するキーとして使えます。
レコードが持つステータスは以下の3種類です。
| ステータス | 意味 | メインLambdaの挙動 |
|---|---|---|
pending |
承認待ち(新規デプロイ時の初期値) | IN_PROGRESSを返し、30秒後に再度呼び出される |
approved |
承認済み | SUCCEEDEDを返し、本番切り替えへ進む |
rejected |
却下 | FAILEDを返し、自動ロールバックへ進む |
| 📝 DynamoDBについて |
|---|
| DynamoDBはAWSが提供するフルマネージドのNoSQLデータベースです。スキーマレスでレコード単位のデータ管理ができ、スケールや運用負荷を気にせず使えるのが特長です。今回は「承認レコード」を保管する用途で利用します。承認履歴を自動的に残せるため、監査要件のあるシステムにも対応しやすい利点があります。サービス全体の概要はWhat is Amazon DynamoDB?(AWS公式ドキュメント)に記載があります。 このセクションの目的はDynamoDB自体を習得することではなく、承認フローを実現するための手段として利用する点に注意してください。DynamoDBをより体系的に学びたい方は、後続のサーバレス講座やデータ分析講座で扱う予定です。 |
1.2 変更点2: メインLambdaの拡張
次に、フェーズ3で作成したメインLambda(bg-handson-e2e-test)を拡張して、自動テスト合格後に承認ステータスも確認するようにします。拡張後のメインLambdaが担う役割は以下のとおりです。
| 処理順 | 内容 |
|---|---|
| 1 | テストルート(X-Test-Traffic: trueヘッダー付き)経由でGreen環境にリクエストし、自動テストを実行 |
| 2 | テスト失敗 → FAILEDを返してデプロイ中止(フェーズ3と同じ挙動) |
| 3 | テスト合格 → DynamoDBから該当デプロイメントの承認レコードを取得(なければ新規作成してpendingにする) |
| 4 | pending → IN_PROGRESSを返して次回呼び出しを待つ |
| 5 | approved → SUCCEEDEDを返して本番切り替えへ進む |
| 6 | rejected → FAILEDを返して自動ロールバック |
特に重要なのが、IN_PROGRESSを返すことで「承認待ち状態」を表現している点です。フェーズ3の解説にあった「ライフサイクルフックの戻り値3種類」のうち、これまで使ってこなかったIN_PROGRESSがここで活きてきます。ECSはIN_PROGRESSを受け取ると、一定間隔(デフォルト30秒)で同じLambdaを何度も呼び出すため、承認が行われるまでデプロイが停止したように見える挙動になります。
また、処理順3で「レコードが無ければ新規作成してpendingにする」としている点にも意味があります。この承認フローでは、時系列的に最初に動くのはメインLambdaだからです。
| 順番 | 出来事 | 誰が動く |
|---|---|---|
| 1 | デプロイがTEST_TRAFFIC_SHIFTステージに到達 |
ECSがメインLambdaを呼ぶ(最初に動くのはこのLambda) |
| 2 | メインLambdaがレコード無しを検知 → pendingレコードを作成 → IN_PROGRESSを返す |
メインLambda |
| 3 | 承認者が承認操作を行う | 承認者(DynamoDBコンソールでstatusを直接書き換える) |
| 4 | ECSが30秒間隔でメインLambdaを再呼び出し、承認レコードを再確認 | ECS + メインLambda |
つまり、「レコードを最初に作れる立場にあるのはメインLambda」です。承認者がコンソールで書き換えるのはpendingレコードのstatus属性のみのため、もしメインLambda側で初回put_itemを省略すると、コンソールで書き換える対象レコードがそもそも存在せず承認フローが成立しません。そのため、メインLambdaが「あれば取得、無ければ新規作成」というget_or_createパターンで振る舞う必要があります。
1.3 変更点3: 承認操作(DynamoDBレコードの直接更新)
最後に、承認者(人間)がDynamoDBのステータスを更新する手段を用意します。本セクションでは、シンプルにDynamoDBコンソールから直接レコードのstatus属性をapprovedまたはrejectedに書き換える方式を採用します。
| 💡 ポイント |
|---|
本セクションでは、Blue/Greenデプロイメントの仕組みを掴むことを優先するため、承認操作を「DynamoDBコンソールでレコードを直接編集する」というシンプルな形にしています。ただし実業務では、以下の理由から承認専用のLambda関数を用意し、その関数経由でDynamoDBを更新するのが望ましい です。
|
2. Lambdaロールの権限追加
フェーズ3で作成したメインLambda実行ロールには、DynamoDBを読む権限がまだありません。権限を追加します。
IAMのダッシュボードでロールからbg-handson-lambda-roleを選択し、許可を追加 > インラインポリシーを作成をクリックします。
JSONエディタに以下のポリシーを貼り付けます。
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"dynamodb:GetItem",
"dynamodb:PutItem"
],
"Resource": "arn:aws:dynamodb:*:*:table/bg-handson-approvals"
}
]
}
ポリシー名をbg-handson-dynamodb-policyとして、ポリシーの作成をクリックします。
3. メインLambdaの拡張
まずは、フェーズ3で作成したメインLambda(bg-handson-e2e-test)を拡張し、自動テスト合格後にDynamoDBの承認ステータスを確認するようにします。承認フローを成立させるためには、最初に動くメインLambda側で承認レコードのget_or_createまで担う必要があります。
Lambdaコンソールでbg-handson-e2e-testを開き、コードタブでlambda_function.pyの内容を以下のように書き換えます。
import json
import os
import urllib.request
from datetime import datetime, timezone
import boto3
dynamodb = boto3.resource("dynamodb")
table = dynamodb.Table("bg-handson-approvals")
def lambda_handler(event, context):
print(f"Received event: {json.dumps(event)}")
# フェーズ3から引き継ぎ:自動テストの実行
test_url = get_test_url()
if not run_test(test_url):
return {
"hookStatus": "FAILED",
"statusReason": "Automated test failed",
}
# 追加:承認状態を確認する
deployment_id = get_deployment_id(event)
if not deployment_id:
return {
"hookStatus": "FAILED",
"statusReason": "Could not extract deployment_id from event",
}
status = get_or_create_approval_status(deployment_id)
print(f"Approval status: {status}")
if status == "approved":
return {
"hookStatus": "SUCCEEDED",
"statusReason": "Test passed and approved",
}
elif status == "rejected":
return {
"hookStatus": "FAILED",
"statusReason": "Approval rejected",
}
else:
# pending: 承認待ち。30秒後に再度呼び出してもらう
return {
"hookStatus": "IN_PROGRESS",
"callBackDelay": 30,
}
def get_deployment_id(event):
"""ECSライフサイクルフックのpayloadからデプロイメントIDを取得する。
AWSのpayload構造(新しい平坦構造/古いネスト構造)の両方に対応する。
"""
# 新しい平坦構造(AWS公式ドキュメント準拠)
if "targetServiceRevisionArn" in event:
return event["targetServiceRevisionArn"]
# 古いネスト構造へのフォールバック
details = event.get("executionDetails", {})
return details.get("targetServiceRevisionArn") or details.get("serviceDeploymentId")
def get_test_url():
"""テストルート(X-Test-Traffic: trueヘッダー付き)のURLを組み立てる(フェーズ3と同じ)"""
alb_dns_name = os.environ.get("ALB_DNS_NAME", "")
if not alb_dns_name:
return ""
return f"http://{alb_dns_name}/"
def run_test(url):
"""テストルート経由でGreen環境の動作確認を行う(フェーズ3と同じ)"""
if not url:
return False
try:
req = urllib.request.Request(
url,
method="GET",
headers={"X-Test-Traffic": "true"},
)
with urllib.request.urlopen(req, timeout=5) as response:
data = json.loads(response.read())
return "API呼び出しテストに成功しました" in data.get("message", "")
except Exception as e:
print(f"Test failed with exception: {e}")
return False
def get_or_create_approval_status(deployment_id):
"""DynamoDBから承認状態を取得する。初回呼び出し時はレコードを作成する"""
response = table.get_item(Key={"deployment_id": deployment_id})
if "Item" in response:
return response["Item"]["status"]
# 初回呼び出し:pendingレコードを作成する
now = datetime.now(timezone.utc).isoformat()
table.put_item(
Item={
"deployment_id": deployment_id,
"status": "pending",
"created_at": now,
}
)
return "pending"
追加したコードを解説します。
def get_deployment_id(event):
if "targetServiceRevisionArn" in event:
return event["targetServiceRevisionArn"]
details = event.get("executionDetails", {})
return details.get("targetServiceRevisionArn") or details.get("serviceDeploymentId")
ECSから渡されるeventからサービスリビジョンのARNを取得し、これをデプロイメントの一意な識別子として利用します。AWS公式のライフサイクルフックペイロード仕様では、targetServiceRevisionArnが「デプロイ対象のサービスリビジョンのARN」としてevent直下に定義されており、デプロイごとに一意になるためIDとして使えます。
| 💡 ポイント |
|---|
AWS公式のライフサイクルペイロード仕様では、targetServiceRevisionArnを含む各フィールドはイベントの直下に置かれた平坦構造として定義されています。本関数では将来的なpayload仕様の変更に備えてフォールバックも用意していますが、現時点では1つ目の分岐(event直下から取得)で取得できる想定です。実際に届いているpayload構造は、LambdaコンソールのモニタリングタブからCloudWatch Logsを表示で Received event: のログ行を確認できます。 |
deployment_id = get_deployment_id(event)
if not deployment_id:
return {"hookStatus": "FAILED", ...}
status = get_or_create_approval_status(deployment_id)
取得したデプロイメントIDに紐づく承認レコードをDynamoDBから取得し、レコードがなければ新規作成してステータスpendingでスタートします。万が一payload構造が想定外でデプロイメントIDが取得できなかった場合はFAILEDを返してロールバックさせます。
if status == "approved":
return {"hookStatus": "SUCCEEDED", ...}
elif status == "rejected":
return {"hookStatus": "FAILED", ...}
else:
return {"hookStatus": "IN_PROGRESS", "callBackDelay": 30}
承認ステータスに応じて3つのパターンで分岐しています。
approved: 承認済み →SUCCEEDEDで本番切り替えに進むrejected: 却下された →FAILEDでロールバック- それ以外(
pending): まだ承認されていない →IN_PROGRESSで30秒後に再度呼び出し
def get_or_create_approval_status(deployment_id):
response = table.get_item(Key={"deployment_id": deployment_id})
if "Item" in response:
return response["Item"]["status"]
# 初回呼び出し:pendingレコードを作成する
...
この関数は初回呼び出しのタイミングで承認待ちレコードを作成しています。メインLambdaは30秒おきに呼ばれますが、レコード作成は最初の1回だけで、以降は既存レコードのステータスを返します。
コードを変更したら、DeployボタンをクリックしてLambdaに反映します。
4. 動作確認:承認待ちの状態を作る
それでは、承認フローを実際に体験します。まずmain.pyのメッセージを(ver5)に書き換えます。
@app.get("/")
def root():
return {"message": "API呼び出しテストに成功しました(ver5)"}
イメージをビルド・プッシュします。
docker build --platform linux/amd64 -t bg-handson-repo .
docker tag bg-handson-repo:latest <アカウントID>.dkr.ecr.ap-northeast-1.amazonaws.com/bg-handson-repo:latest
docker push <アカウントID>.dkr.ecr.ap-northeast-1.amazonaws.com/bg-handson-repo:latest
続いて、フェーズ1と同じ手順でECSに新しいデプロイを開始させます。ECSのダッシュボードからbg-handson-cluster → bg-handson-serviceを開き、サービスの更新をクリックします。新しいデプロイの強制にチェックを入れ、更新をクリックします。
ECSのコンソールでbg-handson-serviceのデプロイタブを開きます。スケールアップが完了したあと、TEST_TRAFFIC_SHIFTステージで停止したように見えるはずです。
| 💡 ポイント |
|---|
TEST_TRAFFIC_SHIFTステージで長く停滞しているように見えるかもしれませんが、これは正しい挙動です。メインLambdaが30秒おきに呼び出されてDynamoDBの承認ステータスを確認し、pendingの間はIN_PROGRESSを返し続けているためです。手動承認を待つデプロイなので、むしろこの状態になるべきです。 |
5. DynamoDBで承認レコードを確認
メインLambdaがTEST_TRAFFIC_SHIFTステージで初回呼び出しされたタイミングで、DynamoDBにpendingレコードが自動作成されています。動作確認や承認操作に進む前に、レコードが正しく作成されたことを確認します。
AWSマネジメントコンソールでDynamoDBを開き、左側のメニューからテーブルを選択し、bg-handson-approvalsをクリックします。
画面右上のテーブルの詳細を表示から表示モードに切り替えるか、ナビゲーションペイン内の項目を探索を開くと、メインLambdaが作成したレコードが1件表示されているはずです。deployment_idにサービスリビジョンのARNが入り、statusがpendingになっていれば、承認待ちの状態が正しく作られています。
このレコードに対して、後ほど承認/却下の判断結果としてstatusを書き換えていきます。
6. テストルートで動作確認
承認を行う前に、テストルート(X-Test-Traffic: trueヘッダー付き)でGreen環境を動作確認します。テストルールはフェーズ3までの実装でGreen側に接続されているため、ver5の動作を確認できます。
テストルートと本番ルートの両方にアクセスしてみます。
curl -H "X-Test-Traffic: true" http://<ALBのDNS名>/
{"message":"API呼び出しテストに成功しました(ver5)"}
curl http://<ALBのDNS名>/
{"message":"API呼び出しテストに成功しました(ver3)"}
この時点での経路ごとの状態は以下のとおりです。
| 経路 | 接続先 | 期待される結果 |
|---|---|---|
| ヘッダーなし(本番ルール) | 旧TG(ver3が稼働中) | {"message":"API呼び出しテストに成功しました(ver3)"} |
X-Test-Traffic: trueヘッダー付き(テストルール) |
新TG(ver5が稼働中) | {"message":"API呼び出しテストに成功しました(ver5)"} |
ECSは承認が来るまで本番切り替えを止めている状態です。実業務ではこのタイミングで、画面の見た目やビジネスロジックなど自動テストではカバーできない確認を行います。
7. DynamoDBで承認状態を更新する
動作確認に問題がなければ、先ほど確認したpendingレコードのstatusをapprovedに書き換えて、本番切り替えを許可します。
bg-handson-approvalsテーブルの一覧画面で、該当レコードのチェックボックスを選択し、右上のアクションプルダウンから項目の編集をクリックします。
項目の編集画面が表示されます。status属性の値をpendingからapprovedに書き換え、画面右下の保存して閉じるをクリックします。
| 属性 | 操作 | 変更後の値 |
|---|---|---|
| status | 値を編集 | approved |
| 💡 ポイント |
|---|
任意でupdated_at(書き換え日時)、decided_by(承認者の識別子)、comment(レビューコメント)の3属性を新しい属性の追加から手動で足しておくと、承認履歴として残せます。実業務ではこの3属性をLambdaが自動で書き込みますが、本セクションでは「シンプルに動かす」ことを優先して手動操作の説明にとどめています。 |
一覧画面に戻り、画面上部に「項目は正常に保存されました。」のメッセージが表示され、該当レコードのstatus列がapprovedに変わっていれば、書き換え成功です。
8. 本番切り替え後の動作確認
DynamoDBレコードの書き換えから最大30秒以内に、メインLambdaがDynamoDBの変更を検知してSUCCEEDEDを返します。すると ECS は次のライフサイクルステージであるPRODUCTION_TRAFFIC_SHIFTを実行し、本番ルールが新しいタスクのターゲットグループに切り替わります。本番切り替えが完了すると、続いてベイク時間段階(旧タスクを30分間残しておく期間)に入ります。
ECSサービスbg-handson-serviceのデプロイタブを開くと、進行中のデプロイの「現在のデプロイ段階」がベイク時間になっていることが確認できます。ここまで進んでいれば、PRODUCTION_TRAFFIC_SHIFTは通過済みで本番リクエストが新バージョンに切り替わった状態です。
この状態で、両方の経路にアクセスして本番側もver5に切り替わっていることを確認します。
curl http://<ALBのDNS名>/
{"message":"API呼び出しテストに成功しました(ver5)"}
curl -H "X-Test-Traffic: true" http://<ALBのDNS名>/
{"message":"API呼び出しテストに成功しました(ver5)"}
| 経路 | 接続先 | 期待される結果 |
|---|---|---|
| ヘッダーなし(本番ルール) | 新TG(ver5が稼働中) | {"message":"API呼び出しテストに成功しました(ver5)"} |
X-Test-Traffic: trueヘッダー付き(テストルール) |
新TG(ver5が稼働中) | {"message":"API呼び出しテストに成功しました(ver5)"} |
両方のルールが(ver5)に切り替わりました。これで「自動テスト + 手動承認」のゲートを通過した安全なデプロイが完了です。
9. 参考:却下した場合の挙動
本セクションでは承認するフローを体験しました。もし動作確認で問題が見つかった場合は、DynamoDBコンソールでstatus属性をapprovedの代わりにrejectedに書き換えることで、デプロイを却下できます。
| 属性 | 操作 | 変更後の値 |
|---|---|---|
| status | 値を編集 | rejected |
ステータスがrejectedに変わると、次にメインLambdaが呼び出されたタイミングでFAILEDが返り、ECSが自動的にロールバックします。本番ルールは旧バージョンのままで、ユーザには新バージョンが一切見えない状態で安全にデプロイを止めることができます。
実業務では「レビューで懸念が見つかったので却下」「セキュリティチームから待ったがかかった」などのケースで活用されます。任意で追加できるcomment属性に却下理由を残しておくことで、後から「なぜこのデプロイは却下されたか」を遡って確認できる監査証跡としても機能します。
10. 参考:承認されないまま放置した場合
各ライフサイクルステージには24時間のタイムアウトがあり、さらにデプロイ全体としても36時間以内に完了する必要があります(Amazon ECS linear deployments(AWS公式ドキュメント))。承認レコードがpendingのまま放置されてこれらの上限を超えると、デプロイが自動的に失敗し、ロールバックされます。これは「承認を忘れている」「悪意ある第三者が承認を避けている」といった異常ケースへの安全装置です。本セクションではこの上限経過までは扱いませんが、実運用ではこの安全装置があることを覚えておいてください。
11. 承認履歴を残せるのがDynamoDBの強み
この仕組みの副次的なメリットとして、DynamoDBに承認履歴を残せることが挙げられます。承認操作の都度、以下のような属性をレコードに残しておくことで、後からデプロイ判断の経緯を辿れます。
| 属性 | 記録内容 |
|---|---|
deployment_id |
どのデプロイに対する承認か |
status |
approved / rejected |
created_at / updated_at |
承認待ち開始から判断までの所要時間 |
decided_by |
操作主体(承認者の識別子) |
comment |
承認/却下の根拠を表すレビューコメント |
これらの履歴は、以下のような運用に応用できます。
- 重要システムの監査証跡として活用(誰が・いつ・なぜ承認したかの記録)
- インシデント時の遡及調査(過去のどのデプロイで問題が混入したかの特定)
- 承認所要時間の統計分析(
created_atとupdated_atの差分の平均)
本セクションではstatus属性のみを手動で書き換える形にしていますが、実運用では承認専用Lambda(変更点3の💡 ポイント参照)がupdated_at・decided_by・commentを自動で書き込むよう設計するのが一般的です。decided_byにはSlackユーザ名・社員ID・メールアドレスなど実際の承認者の識別子が入ります。