データ分析基盤の設計

この章では、Lake Formation を応用した、業務ロールごとに参照範囲を分けるデータ分析基盤の設計課題に取り組みます。

1. 目的・背景

本講座では、Glue・Athena・QuickSight による分析基盤の構築と、Lake Formation の LF-Tag によるカラムレベルのアクセス制御を扱ってきました。実際の分析基盤では、「誰がどこまで見てよいか」の設計をデータ側のメタデータに落とし込み、個人情報や機微情報を職種単位で保護する運用が求められます。

本章では、EC サイトの業務データベースを題材に、個人情報とパスワードハッシュを含む 4 テーブルに対して、業務ロールと LF-Tag の対応を自分で設計する課題に取り組みます。データパイプライン(RDS → Glue → S3 → Athena)は配布するサンプルで固定し、設計の主題を Lake Formation 側に絞ります。

本章では設計のみを扱い、データ分析基盤の実装 章で実装と動作確認に進みます。構成の誤りが後工程に波及するのを防ぐため、本章の提出に対するフィードバックを受けてから実装に進んでください。

💡 ポイント
本課題は、要件定義や設計を自分で考えるスキルを高めるため、要件をあえて抽象的に記載しています。進める中で不明点がある場合は、講師への質問 から事前に相談してください。メンタリング当日に「設計の進め方が特定できず止まっている」状態になると活用できる時間が限られるため、迷ったら途中段階でもこまめに質問することを推奨します。

2. 配布するサンプルデータベース

本課題では、以下の CloudFormation テンプレートで EC サイトを模したサンプルデータベースを配布します。テンプレートには、VPC・RDS(MySQL)・踏み台 EC2 の構築と、4 テーブル・サンプルデータの投入までが含まれます。

テンプレートで作成されるリソースは以下のとおりです。

リソース 内容
VPC・サブネット・ルートテーブル・IGW RDS と踏み台 EC2 を配置するネットワークを構成する
セキュリティグループ 踏み台から RDS への 3306 ポートのみ通信を許可する
RDS(MySQL db.t3.micro) サンプルデータを格納する
踏み台 EC2(Amazon Linux 2023) RDS へのシードデータ投入と動作確認に使用する

RDS には ecsite データベースが作成され、以下の 4 テーブルとサンプルデータが自動投入されます。

テーブル 主なカラム 含まれる機微データ
users id, name, email, phone, address, password_hash, created_at 氏名・メール・電話・住所などの個人情報と、パスワードハッシュ(password_hash)を含む
products id, name, category, price, stock 機微データは含まれない
orders id, user_id, product_id, quantity, amount, ordered_at 機微データは含まれないが、user_id 経由で個人と紐づく
payments id, order_id, payment_method, card_last4, paid_at カード番号下 4 桁(card_last4)を含む

3. 設計要件

3.1 業務ロール

分析基盤を利用する業務ロールを、2 つ以上定義してください。各ロールについて、以下を設計ドキュメントに記載してください。

  • ロール名を明記する(例: marketing-analyst、customer-support、data-admin)
  • そのロールが分析基盤で行う業務を記載する(例: 「月次の売上集計と商品カテゴリ別の分析を行う」)
  • そのロールに見せる列と見せない列の方針を記載する(例: 「氏名は見せるが、パスワードハッシュは見せない」)

ロール設計の切り口や粒度は自由ですが、業務内容と「どこまで見える必要があるか」の整合が取れていることを確認してください。

3.2 データ分類と LF-Tag の設計

4 テーブルのカラムを分類する LF-Tag を設計してください。以下を満たす内容にしてください。

  • LF-Tag を最低 1 個作成し、取り得る値を 3 段階以上で定義する
  • 少なくとも、個人情報(name / email / phone / address)とパスワードハッシュ(password_hash)、カード番号下 4 桁(card_last4)を区分できる設計にする
  • どのカラムにどの値のタグを付けるかを、設計ドキュメントに表形式で記載する

LF-Tag の名前・値の命名・粒度(1 個の多値タグにまとめるか、複数タグを組み合わせるか)は自由です。10-Lake Formation ハンズオンで扱った sensitivity タグの general / personal / sensitive の 3 段階は、そのまま参考値として使っても、自分のモデルに差し替えても構いません。

3.3 IAM ロールと LF-Tag の対応

業務ロールごとに作成する IAM ロールと、そこに付与する LF-Tag 権限の対応を設計してください。設計ドキュメントには、以下のいずれかの形で記載してください。

  • 業務ロールごとに、どの LF-Tag の値まで参照できるかを表形式でまとめる
  • 複数の LF-Tag を併用する設計では、ロールごとの参照可否を LF-Tag の値の組み合わせで表現する

3.4 全体構成図

分析基盤の構成図を 1 枚作成してください。手書きツール・Draw.io・Mermaid など、作図ツールは問いません。構成図には以下を書き込んでください。

  • 配布テンプレートで構築されるリソース(VPC・RDS・踏み台 EC2)を描く
  • Glue クローラ・S3 データカタログ・Athena の流れを描く
  • Lake Formation の LF-Tag 制御が入る位置を示す
  • 業務ロール別の IAM ロールから Athena にクエリが流れる経路を示す

4. 任意要件

  • 業務ロールを 3 つ以上定義し、より細かい権限分離を行う
  • 業務ロールの一部に、payments テーブルへのアクセス可否も含めた行レベル/テーブルレベルの制御を追加する

5. 課題提出

下記内容を提出フォームより提出してください(提出はプレミアムプランでご利用いただけます)。

項目 内容
概要 想定した業務の種類と、LF-Tag の設計方針を簡潔に記載する
業務シナリオ 定義した業務ロールごとに、ロール名・担当業務・見せる列/見せない列の方針を記載する
LF-Tag の設計 LF-Tag の名前・取り得る値・付与対象カラムを表形式で記載する
IAM ロールと LF-Tag の対応 業務ロールごとに、どの LF-Tag の値まで参照できるかを表形式で記載する
全体構成図 構成図を画像ファイルとして添付する
まとめ 設計の過程で検討したこと、工夫したこと、迷った点を記載する

応用課題の採点はプレミアムプランでご利用いただけます。

プランのアップグレード