S3 APIにより拡がるオブジェクトストレージの用途
データを活用することと賢く貯めることは、表裏一体の関係にある。つまり、データ活用のためには、データを使いやすく貯める必要があるということ。そして、このデータを賢く貯めるところで注目されているのが、オブジェクトストレージだ。なぜオブジェクトストレージが注目されるのか。
本講演では、富士フイルム株式会社 記録メディア事業部 営業部 シニアエンジニアの森 純也氏とネットアップ合同会社 システム技術本部 ソリューションアーキテクト部 ソリューションアーキテクトの箱根 美紀代氏によって対談形式で解説された。最初にオブジェクトストレージが注目される理由をシステム利用の変遷から説明したのは、箱根氏だ。
2000年代頃までは、サーバーやデータベースなどインフラ主導のシステムが多かった。それが2010年代になるとスマートフォンやクラウドなど新しい技術が台頭し、アプリケーションやデータ活用が主役のシステムが増えている。たとえば、写真や動画などをスマートフォンから扱うアプリケーションは今や珍しくない。その際、利用する画像などは、クラウドのデータを参照するものがほとんどだ。
ネットアップ合同会社 システム技術本部 ソリューションアーキテクト部
ソリューションアーキテクト 箱根 美紀代氏（写真右）
「アプリケーションの多くがクラウドを利用するようになり、APIを通じクラウドにアクセスしています。このような使い方は、オブジェクトストレージとの相性が極めて良いのです」と箱根氏。当初は低コストでデータを保存する用途で使われていたが、これからはアクティブ・アーカイブで大容量データの出し入れを目的にオブジェクトストレージが使われるという。
それでは、オブジェクトストレージと旧来のNASはどう違うのか。NASはツリー構造でデータを管理する。ファイルやディレクトリがあり、その管理にinode番号が使われる。しかし、inodeには限りがあり、管理するデータにも上限が発生する。
さらに、「ユーザーはデータがツリーのどこにあるかを意識する必要があります」と箱根氏。これに対してオブジェクトストレージは、「データをフラットに保存します。ペタバイトを超えるような大容量データの管理を得意とし、利用プロトコルも異なります」と説明する。データを探すには、ファイルそのもののデータとメタデータを1つのオブジェクトとして扱うため、データを開かずに内容を把握し制御できるのだ。
[画像クリックで拡大]
データを活用するため適した形にするには、データパイプライン処理を行う。たとえば、デバイスなどから発生したデータをそのまま保存するデータレイクがあり、そこから扱いやすい形のデータに加工しデータウェアハウスに格納する。さらに、必要なデータを抽出しデータマートを作る。
オブジェクトストレージはデータレイクとして利用されてきたが、最近は進化しデータウェアハウスやデータマートとしても利用できる。データパイプラインのすべてでオブジェクトストレージが活用できるため、データ活用でも注目されていると述べる。
[画像クリックで拡大]
ネットアップというと、これまではNASのONTAPのイメージが強い。しかし、オブジェクトストレージ「StorageGRID」の実績も、既に10年以上ある。「StorageGRIDはソフトウェア管理の分散ストレージです。サーバーを複数台束ねて巨大なストレージを構築することで、データセンターを跨がる構成も可能になります」と箱根氏。StorageGRIDは、メタデータ用いた情報ライフサイクル管理（ILM）ルールを採用しており、ニーズに応じデータの配置や保護方法、保持期間などを設定できるのが特長だという。その上、ネットアップの認証ハードウェアやVMwareの仮想サーバー、Dockerコンテナでも利用できる。
オブジェクトストレージ自体は古くからあり、一昔前までは大容量かつ安価なためバックアップやデータのアーカイブ、つまりはセカンダリストレージの用途に使われることが多かった。それが今では、「アプリケーションが直接触われるものとなり、用途が拡がっています。それを可能としているのが、S3 APIです」と箱根氏。S3 APIを使いデータのハブとして利用したり、メタデータを使い分析用途で利用したりもできる。企業が扱うデータが膨大となる中で、オブジェクトストレージがプライマリ用途で使われるようになっていると指摘する。
ストレージにはないテープのメリット
ところで「大容量のデータを扱うならクラウド」との考え方もある。しかし、大規模障害なども発生しており、クラウドだけで大丈夫なのかとの懸念もあるため、オンプレミス回帰の話も聞こえてくる。これに対し、大容量データを格納するのに「適材適所でテープストレージも利用されています」というのは、森氏だ。
ほとんど触らないデータのアーカイブには、クラウドが良いとの話もあった。確かに一切ダウンロードしなければクラウドはコストが安い。しかし、いざ大規模なデータをクラウドからダウンロードするとなると、転送費用が莫大にかかることがある。さらに、クラウドでは高可用性ポリシーが適用できない場合もあり、セキュリティ上の規制でクラウドにデータを出せないこともある。これらの要件でオンプレミス回帰があるのは確かだ。
[画像クリックで拡大]
その上でホットデータとコールドデータの問題もある。NASに大量なデータがあっても、利用しているのはほんの一部に過ぎない。生成から1年間は使われるが、それを過ぎるとほとんど触らなくなりコールドデータとなってしまう。逆に、5年後にコールドデータを使いたい場合もあり、その際にNASでは、欲しいデータがなかなか見つからないこともある。これがオブジェクトストレージであれば、タグやメタデータを組合せることで対象データを見つけやすくなるのだ。
コールドデータなら、テープメディアが活躍できると森氏は説明する。テープには堅牢性、安全性があり安価にデータを保存できるからだ。データの保存先としてパブリッククラウドが条件に合わなければ、オンプレミスでテープを活用してコストセーブもできる。テープは1メディアに極めて大容量のデータを保存でき、ハードディスクと違い構造もシンプルでデータを読むのに複雑な仕組みは必要ない。
仮に5ペタバイトの容量があっても通電しておく必要はなく、読みたいときだけ通電するのでエネルギー消費も抑えることができる。また最近はオフラインで保存できることから、ランサムウェア対策でも有効だともいわれる。耐障害性も高く故障率も低いのも大きなメリットだ。「ハードディスクの容量も増えていますが最近は鈍化しており、テープ容量増大のペースはそれよりも大きくどんどん開発しています」と森氏は述べる。
[画像クリックで拡大]
オブジェクトストレージとテープのメリット組合せた「FUJIFILM オブジェクト アーカイブ」
オブジェクトストレージとテープの良いところを併せた「FUJIFILM オブジェクト アーカイブ」というソリューションを富士フイルムでは提供している。ホットデータとコールドデータを効率良く保存し活用できるようにするには「Amazon S3 Glacierのように、オブジェクトストレージとテープを組合せます。それをオンプレミスに置いて使えるようにしたのがFUJIFILM オブジェクト アーカイブです」と森氏。
オブジェクトストレージにS3 APIでアクセスすれば、FUJIFILM オブジェクト アーカイブではテープにあるコールドデータからも自動でデータを取得できる。ネットアップのStorageGRIDがフロントにあればILM機能でアーカイブを自動でテープに保存でき、取り出す際もテープを意識せずに取り出せる。StorageGRIDとの組合せで「オンプレミスのGlacierとして利用でき、テープの低コストのメリットを得られます」と箱根氏。その上で性能が必要なところは、StorageGRIDでカバーできるという。
[画像クリックで拡大]
FUJIFILM オブジェクト アーカイブは2020年4月にリリースし、APIにより多様なニーズにも柔軟に応えられる点が顧客からも評価されている。たとえばSaaSと組合せて、SaaSのGUIからテープにアーカイブするような使い方も可能だ。
[画像クリックで拡大]
StorageGRIDは、今後6ヵ月サイクルで新機能を提供する予定だとしている。それにより、FUJIFILM オブジェクト アーカイブとの組合せによる新たな価値を提供できるようにしていきたいと箱根氏は展望を語る。FUJIFILM オブジェクト アーカイブも2020年12月25日にVer2の提供を開始する。Ver2ではクラスタリングにも対応し、スケールアウト機能が追加されため、「ネットアップの大容量をしのぐ巨大な容量にも対応できるようになります」と森氏は説明する。オブジェクトストレージを起点にテープと組合せることで、さらに幅広い用途に対応できるようになる。そのことがしっかりと伝わる、セッションとなっていた。
「FUJIFILM オブジェクト アーカイブ」のトライアルキャンペーンを実施中
オブジェクトストレージとテープを簡単連携できるソフトウェア「FUJIFILM オブジェクト アーカイブ」を約1ヶ月間お試しできます！詳細はこちらから
