データ分析基盤の実装

この章では、前章で設計した分析基盤を実際に AWS 上に構築する課題に取り組みます。

1. 目的・背景

前章 データ分析基盤の設計 で提出した LF-Tag と IAM ロールの設計に対するフィードバックを反映した上で、AWS 上に実際の分析基盤を構築します。配布した CloudFormation で用意する RDS のサンプルデータを Glue で S3 へ取り込み、Lake Formation で設計どおりのアクセス制御が働くことを Athena で確認するまでが本章の到達点です。

💡 ポイント
設計のフィードバックを受けていない状態で構築に進むと、構築後の手戻りが大きくなります。前章の提出とメンターからのフィードバックを受けてから、本章に取り組んでください。

2. 構築対象

前章でダウンロードした sample-ecsite-db.yml を使用して、以下を構築します。

  • 配布テンプレートで VPC・RDS(ecsite データベース、4 テーブル・シードデータ投入済み)・踏み台 EC2 を構築する
  • Glue で RDS → S3 の取り込みと、Glue データカタログへの登録を行う
  • Lake Formation で LF-Tag を作成し、設計どおりのカラムに付与する
  • 業務ロール分の IAM ロールを作成し、設計した LF-Tag 権限を付与する

RDS からの JDBC 取り込みは データ分析基盤を構築しよう 章、LF-Tag の作成とロール別クエリ検証は Lake Formation でアクセス制御を体験しよう 章の手順を応用して構築してください。

3. 判定基準

3.1 動作確認

設計した業務ロールごとに IAM ロールへ切り替えて Athena から SELECT * FROM users LIMIT 5 などのクエリを実行し、設計どおりのカラムだけが参照できることを確認してください。ロールごとに、クエリ結果が以下 2 点を満たしていることが分かるスクリーンショットを取得してください。

  • そのロールで参照を許可した列が値として表示される(例: 氏名を扱えるロールでは name 列が値として表示される)
  • そのロールで参照を許可していない列が値として表示されないか、列自体が返らない(例: 個人情報を扱えないロールでは email / phone / address 列が値として表示されない)

少なくとも以下 3 テーブルに対して、ロール別のクエリ結果を揃えてください。

テーブル 内容
users 個人情報とパスワードハッシュを含む
orders 個人情報を含まないが、user_id 経由で個人と紐づく
payments card_last4 を含む

3.2 机上確認

以下の 3 点について、実際の AWS マネジメントコンソールで設定が読み取れるスクリーンショットを取得してください。

対象 スクショで示すこと
Lake Formation の LF-Tag 一覧 設計した LF-Tag 名と取り得る値が登録されている
1 つのテーブルへの LF-Tag 付与画面 カラム単位の LF-Tag 割り当てが読み取れる
業務ロールの LF-Tag 権限画面 設計どおりの LF-Tag 値がロールに付与されている

4. 任意要件

  • 設計で任意要件として挙げた項目(業務ロール 3 つ以上の運用、payments テーブルへの行レベル/テーブルレベル制御)を実装する
  • 業務ロールの 1 つで、QuickSight からダッシュボードを作成し、Lake Formation の制御が QuickSight 経由でも効いていることを確認する

5. 不要リソースの削除

動作確認が終わったら、課金を避けるため、作成したリソースを以下の順番で削除してください。

  • Lake Formation で作成した LF-Tag とデータベース/テーブルの登録を解除する
  • Glue で作成したデータベース・テーブル・クローラ・ジョブ・接続を削除する
  • データカタログ用の S3 バケットを空にしてから削除する
  • 作成した IAM ロールと IAM ポリシーを削除する
  • 配布テンプレートで作成した CloudFormation スタックを削除する(VPC・RDS・踏み台 EC2 がまとめて削除される)

6. 課題提出

下記内容を提出フォームより提出してください(提出はプレミアムプランでご利用いただけます)。

項目 内容
概要 構築した分析基盤の構成と、設計からの変更点を簡潔に記載する
構築手順の要約 Glue・Lake Formation・IAM の構築順序と、迷った・工夫した点を記載する
動作確認(ロール別の Athena クエリ結果) 動作確認で取得したロール別のクエリ結果スクリーンショットを添付する
任意要件の対応状況 対応した任意要件があれば、その内容と結果を記載する
まとめ 構築の過程で検討したこと、工夫したこと、学んだことを記載する

応用課題の採点はプレミアムプランでご利用いただけます。

プランのアップグレード