データ分析基盤の実装
この章では、前章で設計した分析基盤を実際に AWS 上に構築する課題に取り組みます。
1. 目的・背景
前章 データ分析基盤の設計 で提出した LF-Tag と IAM ロールの設計に対するフィードバックを反映した上で、AWS 上に実際の分析基盤を構築します。配布した CloudFormation で用意する RDS のサンプルデータを Glue で S3 へ取り込み、Lake Formation で設計どおりのアクセス制御が働くことを Athena で確認するまでが本章の到達点です。
| 💡 ポイント |
|---|
| 設計のフィードバックを受けていない状態で構築に進むと、構築後の手戻りが大きくなります。前章の提出とメンターからのフィードバックを受けてから、本章に取り組んでください。 |
2. 構築対象
前章でダウンロードした sample-ecsite-db.yml を使用して、以下を構築します。
- 配布テンプレートで VPC・RDS(
ecsiteデータベース、4 テーブル・シードデータ投入済み)・踏み台 EC2 を構築する - Glue で RDS → S3 の取り込みと、Glue データカタログへの登録を行う
- Lake Formation で LF-Tag を作成し、設計どおりのカラムに付与する
- 業務ロール分の IAM ロールを作成し、設計した LF-Tag 権限を付与する
RDS からの JDBC 取り込みは データ分析基盤を構築しよう 章、LF-Tag の作成とロール別クエリ検証は Lake Formation でアクセス制御を体験しよう 章の手順を応用して構築してください。
3. 判定基準
3.1 動作確認
設計した業務ロールごとに IAM ロールへ切り替えて Athena から SELECT * FROM users LIMIT 5 などのクエリを実行し、設計どおりのカラムだけが参照できることを確認してください。ロールごとに、クエリ結果が以下 2 点を満たしていることが分かるスクリーンショットを取得してください。
- そのロールで参照を許可した列が値として表示される(例: 氏名を扱えるロールでは
name列が値として表示される) - そのロールで参照を許可していない列が値として表示されないか、列自体が返らない(例: 個人情報を扱えないロールでは
email/phone/address列が値として表示されない)
少なくとも以下 3 テーブルに対して、ロール別のクエリ結果を揃えてください。
| テーブル | 内容 |
|---|---|
users |
個人情報とパスワードハッシュを含む |
orders |
個人情報を含まないが、user_id 経由で個人と紐づく |
payments |
card_last4 を含む |
3.2 机上確認
以下の 3 点について、実際の AWS マネジメントコンソールで設定が読み取れるスクリーンショットを取得してください。
| 対象 | スクショで示すこと |
|---|---|
| Lake Formation の LF-Tag 一覧 | 設計した LF-Tag 名と取り得る値が登録されている |
| 1 つのテーブルへの LF-Tag 付与画面 | カラム単位の LF-Tag 割り当てが読み取れる |
| 業務ロールの LF-Tag 権限画面 | 設計どおりの LF-Tag 値がロールに付与されている |
4. 任意要件
- 設計で任意要件として挙げた項目(業務ロール 3 つ以上の運用、
paymentsテーブルへの行レベル/テーブルレベル制御)を実装する - 業務ロールの 1 つで、QuickSight からダッシュボードを作成し、Lake Formation の制御が QuickSight 経由でも効いていることを確認する
5. 不要リソースの削除
動作確認が終わったら、課金を避けるため、作成したリソースを以下の順番で削除してください。
- Lake Formation で作成した LF-Tag とデータベース/テーブルの登録を解除する
- Glue で作成したデータベース・テーブル・クローラ・ジョブ・接続を削除する
- データカタログ用の S3 バケットを空にしてから削除する
- 作成した IAM ロールと IAM ポリシーを削除する
- 配布テンプレートで作成した CloudFormation スタックを削除する(VPC・RDS・踏み台 EC2 がまとめて削除される)
6. 課題提出
下記内容を提出フォームより提出してください(提出はプレミアムプランでご利用いただけます)。
| 項目 | 内容 |
|---|---|
| 概要 | 構築した分析基盤の構成と、設計からの変更点を簡潔に記載する |
| 構築手順の要約 | Glue・Lake Formation・IAM の構築順序と、迷った・工夫した点を記載する |
| 動作確認(ロール別の Athena クエリ結果) | 動作確認で取得したロール別のクエリ結果スクリーンショットを添付する |
| 任意要件の対応状況 | 対応した任意要件があれば、その内容と結果を記載する |
| まとめ | 構築の過程で検討したこと、工夫したこと、学んだことを記載する |