S3の概要
S3 を扱ううえで前提になるオブジェクトストレージという考え方と、S3 の基本的な特徴を整理します。
1. オブジェクトストレージとは
オブジェクトストレージとは、データを階層的なフォルダではなく、平らな領域で管理する仕組みのことです。
私たちが普段パソコンで使っているファイルシステムは、フォルダの中にさらにフォルダを作るという階層構造でデータを整理しますが、オブジェクトストレージにはこの階層という概念がありません。データ本体にIDと、そのデータに関する詳細情報をセットにした「オブジェクト」という単位で、一つの巨大な保管庫に並列に保存していきます。保存場所の階層を意識する必要がなく、IDさえ指定すればどこからでもデータを取り出せるのが特徴です。
オブジェクトストレージのメリットは以下の通りです。
1.1 容量の制約がない
1つ目は、容量の制約から解放される点です。従来のシステムでは事前にディスク容量の上限を決めて設計する必要があり、データが増えるたびに増設や移行の手間がかかっていました。しかし、オブジェクトストレージには実質的な容量制限がなく、データがどれだけ増えてもシステム構成を変えることなく、無尽蔵に保存し続けることができます。
もちろん、サービス提供側が保有している設備の上限が物理的な限界とはなりますが、裏側での保存リソースの拡張や管理といった作業をすべてサービス提供側が担ってくれるため、利用者は容量を気にせず使い続けることができるメリットがあります。
1.2 クラウドとの親和性
2つ目は、Webシステムとの親和性が高く、サーバ構成を柔軟にできる点です。
従来のサーバ内部に保存する方法では、ロードバランサーやオートスケーリングによってサーバを複数台に増やした際、データが特定のサーバに閉じ込められてしまい、すべてのサーバ間でデータを共有するのが困難でした。
対してオブジェクトストレージは、サーバから独立した場所にあり、インターネット経由でどこからでもアクセスできます。これにより、サーバ本体にデータを持たせる必要がなくなり、いつでもサーバを増やしたり作り直したりできる、クラウドらしい柔軟な構成が可能になります。
1.3 高い耐久性
3つ目は、手軽に高いデータ耐久性が手に入る点です。
自前でデータを守ろうとすると高価なバックアップ装置が必要でしたが、クラウドのオブジェクトストレージは、データを保存した瞬間に自動的に複数の場所へ複製が作られる仕組みになっています。利用者は意識することなく、低コストで最高レベルのデータ耐久性を得ることができます。
つまり、従来のファイルシステムは、整理整頓はしやすいものの容量に限界があったのに対し、物理的な場所や容量の上限を気にせず使える「巨大な自動倉庫」へと進化したのがオブジェクトストレージであり、大量のデータを扱う現代のシステム構築には欠かせない存在となっています。
2. Amazon S3とは
Amazon S3(Amazon Simple Storage Service)は、AWSで利用できるオブジェクトストレージサービスです。
S3では、バケットとオブジェクトという単位でデータを管理します。バケットとは、データを保存する領域(コンテナ)のことで、S3におけるデータの入れ物となります。1つのAWSアカウント内で、いくつも作成することができます。S3のバケット名は、全世界で一意でなければなりません。例えばABCというバケットが既に存在していた場合、自分のアカウントの中にABCというバケットが存在しなくても、世界のどこかでABCというバケットが存在すると、作成することはできません。そのため、日付やアカウントID、サービス名をつけるなど、工夫が必要です。
オブジェクトは、アップロードされるデータそのものです。厳密にはファイルシステムとは異なりますが、通常のファイルシステムにおけるファイルそのものと捉えて問題ありません。バケットの中にオブジェクトを保存することで、S3におけるデータ管理ができます。
さらに、S3ではフォルダを作成し、従来のファイルシステムのように階層管理することができます。しかし、これはシステムとしてディレクトリ構造を保存しているのではなく、S3が便宜上、オブジェクト名の「プレフィックス(接頭辞)」をフォルダのように見せているだけであり、実際にオブジェクトがフォルダ構成で管理されているわけではありません。
3. S3の耐久性
S3の最大の特徴は、常識外れとも言える「データの消えにくさ(耐久性)」にあります。
S3の耐久性は「99.999999999%」と設計されています。9が11個並ぶことから、通称「イレブンナイン」と呼ばれます。これがどれくらい凄い確率かというと、「もしS3に1万個のファイルを保存したとして、そのうちの1個が失われるのに平均で1,000万年かかる」という計算になります。つまり、人間の感覚で言えば「データが消えることはまずあり得ない」と言えるレベルの信頼性です。
なぜこれほどの耐久性を実現できるのでしょうか。その秘密は、AWSの物理的な設備構成にあります。私たちがS3にファイルを1つアップロードすると、AWSの裏側では、そのファイルが自動的に最低3箇所の離れたデータセンター群(アベイラビリティゾーン)にコピーされます。
これらは数キロメートル以上離れた場所に建設されており、それぞれ別の電源やネットワーク設備を持っています。そのため、仮に落雷や火災などで1つのデータセンターが壊滅するような大災害が起きたとしても、別の場所にあるデータが生き残るため、ファイルは守られます。
利用者は「コピーしてください」と指示する必要はありません。S3に保存した瞬間に、この強力なバックアップ体制が自動的に適用されます。