ストリーミング応答

エージェントの応答が数百文字を超える長文になると、送信してから応答が返るまでの数秒〜十数秒の間、ユーザから見ると画面が完全に無反応になります。特にチャットUIでは、この待ち時間が「動いているのか固まったのか分からない」不安に繋がり、体感が大きく悪化します。

1. 概要

エージェントの応答が数百文字を超える長文になると、送信してから応答が返るまでの数秒〜十数秒の間、ユーザから見ると画面が完全に無反応になります。特にチャットUIでは、この待ち時間が「動いているのか固まったのか分からない」不安に繋がり、体感が大きく悪化します。モデルが生成したテキストを、生成された順に少しずつクライアントへ返す仕組みが必要になります。

Strands の agent.stream_async() と、BedrockAgentCoreApp の @app.entrypoint に yield を組み合わせて使えば、モデルが生成したテキストの断片を1つずつ Runtime のストリーミングエンドポイントに流せるようになります。ChatGPT のように文字が流れて表示される体験が、数行の書き換えで実装できます。

2. コードの書き換え

main.py を、以下の内容で全体を置き換えて保存します。前セクションからの変更は、invoke 関数を async def + yield の非同期ジェネレータに書き換えた箇所のみです。

from bedrock_agentcore.runtime import BedrockAgentCoreApp
from strands import Agent, tool
from strands.models import BedrockModel

COMPANY_NAME = "DevOps株式会社"
COMPANY_TEL = "03-1234-5678"
MODEL_ID = "<モデルID>"  # ap-northeast-1で利用可能なClaude Sonnetの推論プロファイルID(例: jp.anthropic.claude-sonnet-4-6)に変更してください

app = BedrockAgentCoreApp()


@tool
def create_signature(name: str, department: str, position: str, email: str) -> str:
    """ユーザからメール署名の作成を依頼されたときに使ってください。氏名・部署名・役職・メールアドレスを受け取り、所定のフォーマットのメール署名を返します。会社名と代表電話番号は Runtime 側で自動的に付与されるため、ユーザに問い合わせる必要はありません。

    Args:
        name: 氏名(例: '田中太郎')
        department: 部署名(例: '開発部')
        position: 役職(例: 'エンジニア')
        email: メールアドレス(例: 'tanaka@example.com')
    """
    return (
        "━━━━━━━━━━━━━━━━━━━━━━\n"
        f"【{name}】{COMPANY_NAME} {department} {position}\n"
        f"Email: {email}\n"
        f"Tel:   {COMPANY_TEL}\n"
        "━━━━━━━━━━━━━━━━━━━━━━"
    )


agent = Agent(
    model=BedrockModel(
        model_id=MODEL_ID,
        region_name="ap-northeast-1",
        temperature=0.0,
        max_tokens=512,
    ),
    tools=[create_signature],
    system_prompt=(
        "あなたはメール署名を作成するアシスタントです。以下の手順で回答してください。\n"
        "1. ユーザの依頼から氏名・部署名・役職・メールアドレスの4項目を抽出する\n"
        "2. 4項目が揃っていれば create_signature ツールを呼び出す\n"
        "3. ツールの結果をそのまま提示する。挨拶文や『以下のとおりです』などの前置き・後書きは付けない\n"
        "4. 4項目のいずれかが揃わなければ、不足している項目だけを箇条書きでユーザに1度確認する"
    ),
)


@app.entrypoint
async def invoke(payload):
    prompt = payload.get("prompt", "田中太郎(開発部 エンジニア、tanaka@example.com)のメール署名を作って")
    async for event in agent.stream_async(prompt):
        if "data" in event:
            yield event["data"]


if __name__ == "__main__":
    app.run()

3. コードの解説

コードを解説します。前セクションからの変更点は invoke 関数の1箇所のみなので、その部分を抜粋して見ていきます。

@app.entrypoint
async def invoke(payload):
    prompt = payload.get("prompt", "田中太郎(開発部 エンジニア、tanaka@example.com)のメール署名を作って")
    async for event in agent.stream_async(prompt):
        if "data" in event:
            yield event["data"]

async def invoke(payload) で関数を非同期化しています。ストリーミングを扱うには async 関数として宣言するのが必須です。同期版の agent(prompt) が「完了するまで待って全文を1回で返す」のに対し、agent.stream_async(prompt) は「モデルが生成したテキストの断片を1つずつイベントとして返す」非同期ジェネレータになります。

async for event in agent.stream_async(prompt) で、モデルの応答断片が届くたびに event を受け取ります。event には、モデルの生成テキスト以外にもツール呼び出しの開始・終了などのメタ情報が入ってくることがあるため、if "data" in event: で応答テキストの断片が入ったイベントだけをフィルタしています。yield event["data"] でその断片を Runtime のレスポンスストリームに流すと、クライアント側では受信した順に画面へ表示できます。

4. 動作確認

agentcore dev の Agent Inspector で、これまでと同じ質問を送ってみます。

田中太郎(開発部 エンジニア、tanaka@example.com)のメール署名を作って

これまでは「送信してから数秒無反応→全文が一気に表示」だった応答が、断片が少しずつ画面に流れて表示されるようになれば、ストリーミング応答が有効になっています。

応答が短いメール署名では体感差が小さいので、続けて長めの質問を送ると差が分かりやすいです。

このエージェントの使い方を、初心者向けに詳しく説明してください

このような長めの応答では、断片ごとに文字が流れていく様子がはっきり確認できます。見出し・表・箇条書きなどのマークダウンも、生成された順に上から埋まっていくため、ユーザ側は完成を待たずに読み始められます。

以上のように、チャットUIのように応答が返るまでユーザを待たせたくない ケースでは、agent.stream_async() と @app.entrypoint の yield を組み合わせるだけでストリーミング応答を実装できます。コードの変更は数行で済むわりに体感の待ち時間を大きく短縮できるのが利点で、特に長文回答や複数のツール呼び出しを挟む応答で効果が大きくなります。チャットボット系のエージェントでは、実際にはデフォルトでストリーミングにしておくと扱いやすい方針です。