オブザーバビリティ
オブザーバビリティ(可観測性, Observability)は、システムの状態を外部から観測・把握し、問題を迅速に検知・対応するための仕組みです。ログ・メトリクス・トレースの3つの柱で構成されることが一般的です。
1. アプリケーションログの取得
1.1 概要
各サービスが出力するアプリケーションログを、集約基盤に送信して一元的に保存・検索できるようにします。
1.2 理由・背景
アプリケーションログがないと、障害発生時に「何が起きたか」「どこで失敗したか」を追う手がかりが残らず、原因究明・影響範囲の特定・再発防止のいずれも打てなくなります。ユーザから「動かない」と言われても、開発者側では何ひとつ状況を把握できない状態になってしまいます。
特にコンテナやサーバレス環境では実行環境が起動・停止を繰り返すため、ローカルに保存されたログはすぐに消失してしまい、外部の集約基盤に送信していないと後から見返すこと自体ができません。
1.3 実施基準
必須。ログがなければ障害発生時に原因究明ができず、対応も再発防止も打てないため、必ず実施します。対応しない場合、致命的なリスクが発生する可能性があります。
1.4 構成例1: CloudWatch Logsへのログ集約
ECSタスクやLambda関数のログをCloudWatch Logsに集約します。ロググループとログストリームで整理し、CloudWatch Logs Insightsでクエリを実行することで、横断的なログ検索と分析が行えます。
1.5 構成例2: 構造化ログ(JSON形式)での出力
ログをJSON形式で構造化して出力します。フィールド名で直接フィルタや集計ができるため、非構造化ログのように正規表現を組み立てる必要がなくなり、調査時間を大幅に短縮できます。
非構造化ログの例:
2024-01-15 10:30:45 ERROR Failed to process order #12345 for user john_doe
構造化ログ(JSON)の例:
{
"timestamp": "2024-01-15T10:30:45Z",
"level": "ERROR",
"message": "Failed to process order",
"orderId": "12345",
"userId": "john_doe"
}
CloudWatch Logs Insightsで filter level = "ERROR" | stats count() by userId のようなクエリで、ユーザ単位のエラー集計などが容易になります。
1.6 出典
クリックで展開
| フレームワーク | 該当箇所 | 原文 |
|---|---|---|
| AWS Well-Architected Framework - Operational Excellence Pillar | OPS08-BP02 Analyze workload logs | (要約)CloudWatch Logs Insights・異常検出・Contributor Insights・Live Tail などを活用してログを定期的に分析し、パフォーマンス低下やセキュリティ脅威を能動的に検出する |
| NIST SP 800-53 Rev. 5 | AU-2: Event Logging AU-3: Content of Audit Records AU-12: Audit Record Generation |
(要約)ロギング可能なイベント種別を識別し、ログ対象イベントの選定、選定理由の記録、選定内容の定期的なレビューまでを組織横断で調整して実施する (要約)監査記録には、イベントの種類・時刻・場所・発生源・結果、および関与した個人・主体・オブジェクトの識別情報が含まれるようにする (要約)AU-2 で定めたイベント種別の監査記録を、組織が定めたシステムコンポーネントで生成し、権限を持つ担当者にログ対象イベントの選択を許可する |
| CIS Controls v8 | Control 8: Audit Log Management | (要約)攻撃の検出・理解・復旧に役立つイベントの監査ログを収集・アラート・レビュー・保持する |
| OWASP Top 10 2021 | A09:2021 – Security Logging and Monitoring Failures | (要約)ログ記録・監視・アラートが不十分なため、攻撃を検知・対応できない状態を招く失敗。ログイン失敗や重要トランザクションの未記録、ローカル保存のみで集約・監視されない、リアルタイム検知の欠如などで、侵害の長期未検知につながる |
2. アクセスログの取得
2.1 概要
システムに流れ込むリクエストや通信の記録を、アクセスログとして保存します。
2.2 理由・背景
アクセスログを残しておくことで、どのIPアドレスから、どのパスに、どの程度のリクエストが来たかを後から追えます。障害調査時のリクエスト再現、不正アクセスの特定、パフォーマンス分析など、幅広い場面で活用できます。
2.3 実施基準
推奨。障害調査・監査対応・不正アクセス調査など幅広い場面で必要になるため、可能な限り実施を推奨します。
2.4 構成例1: ALB/CloudFrontアクセスログのS3保存
ALBやCloudFrontなどのアクセスログをS3バケットに集約し、長期保存します。監査対応やフォレンジック調査に備え、保存期間のルール(例: 1年間保持)を定めます。
2.5 構成例2: VPC Flow Logsによるネットワークトラフィックの記録
VPC Flow Logsを有効化し、VPC内のネットワークインタフェース間のトラフィック情報(送信元・宛先IP、ポート、プロトコル、許可・拒否など)を記録します。不審な通信の検知や、セキュリティグループ設定のトラブルシュートに活用できます。
2.6 構成例3: WAFアクセスログの保存
AWS WAFのログをS3やCloudWatch Logsに配信し、リクエストごとにマッチしたルールと判定結果(Allow / Block / Count)を記録します。ALB/CloudFrontのアクセスログには含まれないWAFの評価内容が残るため、Blockされたリクエストの詳細調査や、不正アクセスの傾向分析に活用できます。
2.7 出典
クリックで展開
| フレームワーク | 該当箇所 | 原文 |
|---|---|---|
| AWS Well-Architected Framework - Security Pillar | SEC04-BP01 Configure service and application logging | (要約)CloudTrail・VPC フローログ・アプリケーションログなど必要なログソースを有効化し、要件に沿ったストレージ・保持期間・クエリ手段・アラート基盤を整備してセキュリティイベントを追跡可能にする |
| NIST SP 800-53 Rev. 5 | AU-2: Event Logging AU-12: Audit Record Generation SI-4(4): Inbound and Outbound Communications Traffic |
(要約)ロギング可能なイベント種別を識別し、ログ対象イベントの選定、選定理由の記録、選定内容の定期的なレビューまでを組織横断で調整して実施する (要約)AU-2 で定めたイベント種別の監査記録を、組織が定めたシステムコンポーネントで生成し、権限を持つ担当者にログ対象イベントの選択を許可する (要約)インバウンド/アウトバウンド通信について、異常や無認可の活動・状態の判定基準を定め、組織が定めた頻度で監視する(SI-4 の強化) |
| CIS Controls v8 | Control 8: Audit Log Management | (要約)攻撃の検出・理解・復旧に役立つイベントの監査ログを収集・アラート・レビュー・保持する |
| OWASP Top 10 2021 | A09:2021 – Security Logging and Monitoring Failures | (要約)ログ記録・監視・アラートが不十分なため、攻撃を検知・対応できない状態を招く失敗。ログイン失敗や重要トランザクションの未記録、ローカル保存のみで集約・監視されない、リアルタイム検知の欠如などで、侵害の長期未検知につながる |
3. 監査ログの取得
3.1 概要
クラウド環境やシステムに対して、「誰が」「いつ」「何を」操作したかを記録する監査ログを取得します。
3.2 理由・背景
不正アクセスや設定変更ミスが起きた際に、「誰が何をしたか」を追えないと原因究明も再発防止もできません。監査ログを取得しておくことで事後の追跡が可能になり、コンプライアンス対応の観点でも必須となる場面が多いです。
3.3 実施基準
必須。事態収束と監査対応のため、必ず実施します。対応しない場合、致命的なリスクが発生する可能性があります。
3.4 構成例1: CloudTrailによるAPI操作履歴の保存
CloudTrailを有効化し、AWSアカウント内で行われたすべての操作(誰が、いつ、何をしたか)の履歴を保存します。不正な操作や設定変更があった場合の追跡に必須です。
3.5 構成例2: AWS Configによるリソース構成変更履歴の記録
AWS Configを有効化し、AWSリソースの構成情報がどのように変化したかを継続的に記録します。「いつ・どのリソースが・どう変更されたか」を後から確認でき、不正な設定変更や意図しない構成ドリフトの検出、コンプライアンス監査への対応に活用できます。
3.6 出典
クリックで展開
| フレームワーク | 該当箇所 | 原文 |
|---|---|---|
| AWS Well-Architected Framework - Security Pillar | SEC04-BP01 Configure service and application logging | (要約)CloudTrail・VPC フローログ・アプリケーションログなど必要なログソースを有効化し、要件に沿ったストレージ・保持期間・クエリ手段・アラート基盤を整備してセキュリティイベントを追跡可能にする |
| NIST SP 800-53 Rev. 5 | AU-2: Event Logging AU-3: Content of Audit Records AU-12: Audit Record Generation |
(要約)ロギング可能なイベント種別を識別し、ログ対象イベントの選定、選定理由の記録、選定内容の定期的なレビューまでを組織横断で調整して実施する (要約)監査記録には、イベントの種類・時刻・場所・発生源・結果、および関与した個人・主体・オブジェクトの識別情報が含まれるようにする (要約)AU-2 で定めたイベント種別の監査記録を、組織が定めたシステムコンポーネントで生成し、権限を持つ担当者にログ対象イベントの選択を許可する |
| CIS Controls v8 | Control 8: Audit Log Management | (要約)攻撃の検出・理解・復旧に役立つイベントの監査ログを収集・アラート・レビュー・保持する |
| OWASP Top 10 2021 | A09:2021 – Security Logging and Monitoring Failures | (要約)ログ記録・監視・アラートが不十分なため、攻撃を検知・対応できない状態を招く失敗。ログイン失敗や重要トランザクションの未記録、ローカル保存のみで集約・監視されない、リアルタイム検知の欠如などで、侵害の長期未検知につながる |
4. セキュリティイベントの集約
4.1 概要
複数のセキュリティサービスの検知結果を1か所に集約して、対応漏れが起きないように監視できる仕組みを整えます。
4.2 理由・背景
GuardDuty・Inspector・IAM Access Analyzer・Configなど、AWSのセキュリティ関連サービスはそれぞれが個別にfindings(検知結果)を出します。バラバラに確認していると対応漏れが発生するため、一元的に集約して監視・対応する仕組みを整えることが重要です。
4.3 実施基準
推奨。現在のベストプラクティスとして導入を推奨します。
4.4 構成例1: Security Hubによるセキュリティ発見事項の集約
Security Hubを有効化し、GuardDuty・Inspector・IAM Access Analyzerなどのfindingsを1つの画面で集約します。CIS AWS Foundations Benchmarkなどの標準に対する準拠状況も一元的に確認でき、対応漏れを防げます。
4.5 構成例2: Security Lakeによるセキュリティログの長期保存・分析
Security Lakeを利用して、CloudTrail・VPC Flow Logsなどのセキュリティ関連ログを統一的なフォーマットでS3に集約します。Amazon AthenaやサードパーティのSIEMツールから横断的に分析できるようになります。
関連セクション: セキュリティ可視化 ・ Security Lakeでセキュリティログを集約しよう
4.6 出典
クリックで展開
| フレームワーク | 該当箇所 | 原文 |
|---|---|---|
| AWS Well-Architected Framework - Security Pillar | SEC04-BP02 Capture logs, findings, and metrics in standardized locations | (要約)各アカウントのセキュリティログや検出結果を Log Archive アカウントなど標準化された場所(例: Amazon Security Lake)に集約し、OCSF などの統一フォーマットで保管する |
| NIST SP 800-53 Rev. 5 | AU-6: Audit Record Review, Analysis, and Reporting AU-6(3): Correlate Audit Record Repositories |
(要約)組織が定めた頻度でシステム監査記録をレビュー・分析し、不適切または異常な活動を関係者に報告し、リスク変化に応じてレビュー水準を調整する (要約)異なる監査記録リポジトリを横断して監査記録を分析・相関付けし、組織全体の状況認識を得る(AU-6 の強化) |
| CIS Controls v8 | Control 8: Audit Log Management Control 13: Network Monitoring and Defense |
(要約)攻撃の検出・理解・復旧に役立つイベントの監査ログを収集・アラート・レビュー・保持する (要約)企業ネットワークインフラとユーザ全体に対して、包括的な監視と防御のプロセスとツールを運用し、脅威を早期に検知・対応する |
| OWASP Top 10 2021 | A09:2021 – Security Logging and Monitoring Failures | (要約)ログ記録・監視・アラートが不十分なため、攻撃を検知・対応できない状態を招く失敗。ログイン失敗や重要トランザクションの未記録、ローカル保存のみで集約・監視されない、リアルタイム検知の欠如などで、侵害の長期未検知につながる |
5. メトリクス監視
5.1 概要
システムの状態を数値として継続的に把握するためのメトリクス監視を導入します。
5.2 理由・背景
「重い」「繋がらない」といった問題が発生した際に、メトリクスがなければ原因の特定ができません。CPU使用率やメモリ使用率などの基本的なメトリクスを常時監視することで、異常の早期検知と迅速な対応が可能になります。
5.3 実施基準
推奨。現在のベストプラクティスとして導入を推奨します。
5.4 構成例1: CloudWatch Metricsの活用
AWSの標準機能であるCloudWatch Metricsで、EC2のCPU使用率、RDSの接続数、ALBのリクエスト数やレスポンスタイムなどの基本メトリクスを収集・可視化します。追加設定なしでAWSリソースの主要メトリクスが自動取得されるため、まず最初に導入する監視基盤として活用できます。
5.5 構成例2: PrometheusとGrafanaによる監視
OSSの時系列データベースPrometheusでメトリクスを収集・保存し、Grafanaでダッシュボードとして可視化します。豊富なExporterを利用してミドルウェアやアプリケーションのメトリクスを柔軟に取得でき、コンテナ・VM・オンプレを問わず広く採用されているOSSの定番構成です。AWSではマネージドサービス(Amazon Managed Service for Prometheus / Amazon Managed Grafana)も利用できます。
5.6 構成例3: SaaS型監視サービスの利用
DatadogやNew Relicといった商用SaaS型の監視サービスを導入します。メトリクス・ログ・トレースが1つのプラットフォームで統合されており、複雑なアプリケーション監視や、AWSと他クラウド/オンプレを横断した監視が求められる場面で強力です。
5.7 出典
クリックで展開
| フレームワーク | 該当箇所 | 原文 |
|---|---|---|
| AWS Well-Architected Framework - Operational Excellence Pillar | OPS08-BP01 Analyze workload metrics | (要約)収集したワークロードメトリクスを CloudWatch ダッシュボード・パーセンタイル・異常検出などで定期的に分析し、技術指標だけでなくビジネス成果指標を優先してデータドリブンな意思決定を行う |
| NIST SP 800-53 Rev. 5 | SI-4: System Monitoring SI-4(2): Automated Tools and Mechanisms for Real-time Analysis |
(要約)攻撃・攻撃兆候・不正利用・不正接続を検知するようシステムを監視し、検知結果を分析、リスクの変化に応じて監視水準を調整し、監視情報を関係者へ提供する (要約)イベントのニアリアルタイム分析を支援するため、自動化されたツール・仕組みを採用する(SI-4 の強化) |
6. アラート通知
6.1 概要
異常検知時に自動的に担当者へ通知を届けるアラート通知を設定します。
6.2 理由・背景
ユーザからのクレームで障害に気づく状態は避けるべきです。監視メトリクスに閾値を設定し、異常を検知した時点で自動的に通知を送ることで、障害の影響を最小化できます。
6.3 実施基準
推奨。現在のベストプラクティスとして導入を推奨します。
6.4 構成例1: CloudWatch Alarmsによるメトリクス閾値の検知
CloudWatch Alarmsでメトリクスの閾値(例: CPU使用率80%超過、5xxエラー率1%超過)を設定し、異常を検知した際にSNS経由でSlackチャンネルやメール、PagerDutyなどへ通知を送信します。オンコール担当者がリアルタイムで障害に気づける体制を構築します。
6.5 構成例2: エラーログの監視と通知
CloudWatch Logsのメトリクスフィルタやサブスクリプションフィルタで、アプリケーションログ中の ERROR や Exception などの特定パターンを検知し、Lambda経由またはSNSで通知を送信します。メトリクス(数値)からは見えないアプリケーションレベルの問題を早期に発見できます。
6.6 構成例3: 外部監視サービスによる外形監視
Datadog SyntheticsやNew Relic Syntheticsなどの外部監視サービスを利用して、定期的にWebサイトのエンドポイントにアクセスし、レスポンスコードやレスポンスタイムを監視します。AWS外のインフラから監視するため、ユーザと同じ視点でサービスの稼働状態を確認でき、内部のメトリクスが正常でもネットワーク経路やDNSの問題でアクセスできないといった、内部監視では検知できない障害も発見できます。
6.7 出典
クリックで展開
| フレームワーク | 該当箇所 | 原文 |
|---|---|---|
| AWS Well-Architected Framework - Operational Excellence Pillar | OPS08-BP04 Create actionable alerts | (要約)KPI やビジネス成果に紐づいたアクション可能なアラートだけを設計し、CloudWatch Alarm・異常検出・複合アラームなどで通知する。アラート疲れを防ぐため非重要アラートを削減する |
| NIST SP 800-53 Rev. 5 | SI-4: System Monitoring SI-4(5): System-generated Alerts |
(要約)攻撃・攻撃兆候・不正利用・不正接続を検知するようシステムを監視し、検知結果を分析、リスクの変化に応じて監視水準を調整し、監視情報を関係者へ提供する (要約)組織が定めた侵害または侵害の可能性を示す指標が発生した際に、システムから所定の担当者・役割へアラートを発する(SI-4 の強化) |
| OWASP Top 10 2021 | A09:2021 – Security Logging and Monitoring Failures | (要約)ログ記録・監視・アラートが不十分なため、攻撃を検知・対応できない状態を招く失敗。ログイン失敗や重要トランザクションの未記録、ローカル保存のみで集約・監視されない、リアルタイム検知の欠如などで、侵害の長期未検知につながる |
7. 障害検知時の自動復旧
7.1 概要
障害を検知した際に、人手を介さずシステムを自動的に復旧させる仕組みを組み込みます。
7.2 理由・背景
人手で対応するとMTTR(平均復旧時間)が長くなり、その間サービスが低下・停止した状態が続きます。よく起きる障害パターンについて検知後の復旧アクションを自動化することで、影響時間を最小化できます。特に夜間・休日など人手を割きにくい時間帯や、大量発生する定型的なインシデントで効果が大きくなります。
7.3 実施基準
段階に応じて検討。基本的な自動復旧はオートスケーリングやヘルスチェックで実現できるものの、より高度な復旧処理を自動化する段階で導入を検討します。
7.4 構成例1: CloudWatch AlarmsとLambdaによる復旧ロジック
CloudWatch Alarmsで異常を検知した際に、SNS経由でLambdaを実行し、あらかじめ定義した復旧ロジック(例: プロセス再起動、キャッシュクリア、フェイルオーバなど)を実行します。よく起きる障害パターンに対して自動対応することで、MTTRを短縮できます。
7.5 構成例2: DevOps Agentによる障害対応の自動化
AIベースのDevOps Agentを導入し、障害発生時のログ・メトリクス・トレース情報を元に、原因分析から復旧アクションまでを自動的に実行します。定型的な障害だけでなく、事前定義していないパターンに対しても柔軟に対応できます。
7.6 出典
クリックで展開
| フレームワーク | 該当箇所 | 原文 |
|---|---|---|
| AWS Well-Architected Framework - Reliability Pillar | REL11-BP03 Automate healing on all layers | (要約)障害検知後の復旧を自動化する(Auto Scaling、EC2 Auto Recovery、RDS フェイルオーバー、EventBridge+Lambda 等)ことで MTTR を短縮する |
| AWS Well-Architected Framework - Operational Excellence Pillar | OPS10-BP07 Automate responses to events | (要約)EventBridge・CloudWatch Alarm アクション・Systems Manager Automation・Incident Manager などを用いて、繰り返し発生する運用イベントへの対応を自動化し、手動対応の遅延・誤りを削減する |
| NIST SP 800-53 Rev. 5 | IR-4(1): Automated Incident Handling Processes CP-10: System Recovery and Reconstitution |
(要約)インシデントハンドリングのプロセスを、組織が定義した自動化された仕組みで支援する(IR-4 の強化) (要約)障害・侵害・機能停止の後、復旧時間・復旧時点目標に整合した組織定義の期間内に、システムを既知の状態に復旧・再構築できるようにする |
8. 分散トレーシング
8.1 概要
複数サービスをまたぐリクエストの流れを可視化する分散トレーシングを導入します。
8.2 理由・背景
複数のサービスにまたがるリクエストでは、どのサービスがボトルネックになっているかを特定することが困難です。分散トレーシングにより、リクエストの全体的な流れを可視化し、遅延の原因を特定できます。
8.3 実施基準
段階に応じて検討。シンプルな構成では必須ではないものの、複雑なアーキテクチャでボトルネックを特定する段階で導入を検討します。
8.4 構成例1: AWS X-Rayによる分散トレーシング
AWSが提供するマネージドの分散トレーシングサービスであるAWS X-Rayを有効化し、リクエストがAPI Gateway → Lambda → DynamoDBと流れる過程の処理時間を可視化します。各コンポーネントの所要時間がサービスマップ上で確認でき、レスポンス遅延のボトルネックを即座に特定できます。AWSサービスとの統合が強力で、Lambda / API Gateway / ECS などで最小限の設定で計装できます。
8.5 構成例2: OpenTelemetryによる計装とバックエンドの選択
CNCFの標準規格であるOpenTelemetryのSDKやCollectorで計装し、トレースデータをX-Ray・Jaeger・Grafana Tempo・Datadog・New Relicなど任意のバックエンドに送信します。ベンダー中立の計装なのでバックエンドを後から切り替えられ、マルチクラウド環境や将来の構成変更を見据えた採用に適しています。
8.6 出典
クリックで展開
| フレームワーク | 該当箇所 | 原文 |
|---|---|---|
| AWS Well-Architected Framework - Operational Excellence Pillar | OPS08-BP03 Analyze workload traces OPS04-BP05 Implement distributed tracing |
(要約)AWS X-Ray や ServiceLens・DevOps Guru を用いて分散トレースを分析し、サービス間依存やレイテンシ・エラーの原因を特定して MTTR を短縮する (要約)AWS X-Ray や OpenTelemetry を用いて分散システム全体でトレースを収集し、リクエストの流れ・ボトルネック・レイテンシを可視化する |
| NIST SP 800-53 Rev. 5 | AU-12(1): System-wide and Time-correlated Audit Trail | (要約)組織が定めたコンポーネントの監査記録を、システム全体の(論理/物理)監査証跡としてまとめ、許容誤差内で時刻相関を取る(AU-12 の強化) |