Lake Formationの概要

AWS Lake Formation とは何か、データレイクの構築と権限管理を簡潔にするためのサービスの位置づけを整理します。

1. AWS Lake Formationとは

AWS Lake Formationは、安全なデータレイク(大量の生データを一元的に保管する仕組み)を短期間で構築・管理するためのフルマネージドサービスです。データの収集、カタログ化、クレンジング(不要データの除去や形式の統一)、変換、セキュリティ設定を一元的に管理できます。

Lake Formationの中核的な役割は、データレイク全体のアクセス制御とガバナンス(データの管理・統制)です。「誰が」「どのデータに」「どのような操作を」行えるかを、一箇所で管理できます。

以下は、Lake Formationがデータレイクのアクセス制御を一元管理する構成を示した図です。

2. なぜLake Formationが必要なのか

S3をデータレイクとして利用する場合、従来はデータへのアクセス制御を以下の方法で個別に設定する必要がありました。

  • S3バケットポリシーでバケットレベルのアクセス制御を設定する
  • IAMポリシーでユーザ・ロールレベルのアクセス制御を設定する
  • Glueデータカタログの権限でデータベース・テーブルレベルのアクセス制御を設定する

これらを個別に管理していると、いくつかの問題が発生します。まず、複数のサービスにまたがる権限設定が煩雑になり、権限管理が複雑化します。また、S3バケットポリシーやIAMポリシーではテーブル内の特定のカラムへのアクセスを制御できないため、カラムレベルのきめ細かな制御が困難です。さらに、「誰がどのデータにアクセスできるか」を横断的に把握しにくく、監査が難しくなるという課題もあります。

Lake Formationは、これらの権限管理を一箇所に集約し、テーブルレベル・カラムレベルのきめ細かなアクセス制御を実現します。カラムレベル・行レベル・セルレベルのデータフィルタリングのしくみはData filtering and cell-level security in Lake Formation(AWS Lake Formation公式ドキュメント)で詳しく解説されています。

💡 ポイント
Lake Formationは「データレイクのセキュリティと管理を簡素化する」ためのサービスです。特にデータを複数のチームやユーザで共有する場合に、その価値が大きくなります。小規模な構成ではIAMポリシーだけで十分なこともありますが、データの種類やユーザが増えるにつれてLake Formationの必要性が高まります。