データ分析基盤の設計
この章では、Lake Formation を応用した、業務ロールごとに参照範囲を分けるデータ分析基盤の設計課題に取り組みます。
1. 目的・背景
本講座では、Glue・Athena・QuickSight による分析基盤の構築と、Lake Formation の LF-Tag によるカラムレベルのアクセス制御を扱ってきました。実際の分析基盤では、「誰がどこまで見てよいか」の設計をデータ側のメタデータに落とし込み、個人情報や機微情報を職種単位で保護する運用が求められます。
本章では、EC サイトの業務データベースを題材に、個人情報とパスワードハッシュを含む 4 テーブルに対して、業務ロールと LF-Tag の対応を自分で設計する課題に取り組みます。データパイプライン(RDS → Glue → S3 → Athena)は配布するサンプルで固定し、設計の主題を Lake Formation 側に絞ります。
本章では設計のみを扱い、データ分析基盤の実装 章で実装と動作確認に進みます。構成の誤りが後工程に波及するのを防ぐため、本章の提出に対するフィードバックを受けてから実装に進んでください。
| 💡 ポイント |
|---|
| 本課題は、要件定義や設計を自分で考えるスキルを高めるため、要件をあえて抽象的に記載しています。進める中で不明点がある場合は、講師への質問 から事前に相談してください。メンタリング当日に「設計の進め方が特定できず止まっている」状態になると活用できる時間が限られるため、迷ったら途中段階でもこまめに質問することを推奨します。 |
2. 配布するサンプルデータベース
本課題では、以下の CloudFormation テンプレートで EC サイトを模したサンプルデータベースを配布します。テンプレートには、VPC・RDS(MySQL)・踏み台 EC2 の構築と、4 テーブル・サンプルデータの投入までが含まれます。
テンプレートで作成されるリソースは以下のとおりです。
| リソース | 内容 |
|---|---|
| VPC・サブネット・ルートテーブル・IGW | RDS と踏み台 EC2 を配置するネットワークを構成する |
| セキュリティグループ | 踏み台から RDS への 3306 ポートのみ通信を許可する |
RDS(MySQL db.t3.micro) |
サンプルデータを格納する |
| 踏み台 EC2(Amazon Linux 2023) | RDS へのシードデータ投入と動作確認に使用する |
RDS には ecsite データベースが作成され、以下の 4 テーブルとサンプルデータが自動投入されます。
| テーブル | 主なカラム | 含まれる機微データ |
|---|---|---|
users |
id, name, email, phone, address, password_hash, created_at |
氏名・メール・電話・住所などの個人情報と、パスワードハッシュ(password_hash)を含む |
products |
id, name, category, price, stock |
機微データは含まれない |
orders |
id, user_id, product_id, quantity, amount, ordered_at |
機微データは含まれないが、user_id 経由で個人と紐づく |
payments |
id, order_id, payment_method, card_last4, paid_at |
カード番号下 4 桁(card_last4)を含む |
3. 設計要件
3.1 業務ロール
分析基盤を利用する業務ロールを、2 つ以上定義してください。各ロールについて、以下を設計ドキュメントに記載してください。
- ロール名を明記する(例:
marketing-analyst、customer-support、data-admin) - そのロールが分析基盤で行う業務を記載する(例: 「月次の売上集計と商品カテゴリ別の分析を行う」)
- そのロールに見せる列と見せない列の方針を記載する(例: 「氏名は見せるが、パスワードハッシュは見せない」)
ロール設計の切り口や粒度は自由ですが、業務内容と「どこまで見える必要があるか」の整合が取れていることを確認してください。
3.2 データ分類と LF-Tag の設計
4 テーブルのカラムを分類する LF-Tag を設計してください。以下を満たす内容にしてください。
- LF-Tag を最低 1 個作成し、取り得る値を 3 段階以上で定義する
- 少なくとも、個人情報(
name/email/phone/address)とパスワードハッシュ(password_hash)、カード番号下 4 桁(card_last4)を区分できる設計にする - どのカラムにどの値のタグを付けるかを、設計ドキュメントに表形式で記載する
LF-Tag の名前・値の命名・粒度(1 個の多値タグにまとめるか、複数タグを組み合わせるか)は自由です。10-Lake Formation ハンズオンで扱った sensitivity タグの general / personal / sensitive の 3 段階は、そのまま参考値として使っても、自分のモデルに差し替えても構いません。
3.3 IAM ロールと LF-Tag の対応
業務ロールごとに作成する IAM ロールと、そこに付与する LF-Tag 権限の対応を設計してください。設計ドキュメントには、以下のいずれかの形で記載してください。
- 業務ロールごとに、どの LF-Tag の値まで参照できるかを表形式でまとめる
- 複数の LF-Tag を併用する設計では、ロールごとの参照可否を LF-Tag の値の組み合わせで表現する
3.4 全体構成図
分析基盤の構成図を 1 枚作成してください。手書きツール・Draw.io・Mermaid など、作図ツールは問いません。構成図には以下を書き込んでください。
- 配布テンプレートで構築されるリソース(VPC・RDS・踏み台 EC2)を描く
- Glue クローラ・S3 データカタログ・Athena の流れを描く
- Lake Formation の LF-Tag 制御が入る位置を示す
- 業務ロール別の IAM ロールから Athena にクエリが流れる経路を示す
4. 任意要件
- 業務ロールを 3 つ以上定義し、より細かい権限分離を行う
- 業務ロールの一部に、
paymentsテーブルへのアクセス可否も含めた行レベル/テーブルレベルの制御を追加する
5. 課題提出
下記内容を提出フォームより提出してください(提出はプレミアムプランでご利用いただけます)。
| 項目 | 内容 |
|---|---|
| 概要 | 想定した業務の種類と、LF-Tag の設計方針を簡潔に記載する |
| 業務シナリオ | 定義した業務ロールごとに、ロール名・担当業務・見せる列/見せない列の方針を記載する |
| LF-Tag の設計 | LF-Tag の名前・取り得る値・付与対象カラムを表形式で記載する |
| IAM ロールと LF-Tag の対応 | 業務ロールごとに、どの LF-Tag の値まで参照できるかを表形式で記載する |
| 全体構成図 | 構成図を画像ファイルとして添付する |
| まとめ | 設計の過程で検討したこと、工夫したこと、迷った点を記載する |