バケット単位でオブジェクトストレージを自動階層化

データの種類に応じて適切な処理できるよう、データストレージアーキテクチャ内でストレージを階層化をすることは大きな価値があります。ここでは、クラウディアンのHyperStoreがオブジェクトストレージの「自動階層化」を提供する方法について説明します。オブジェクトは、データ・ライフサイクル・ポリシーにより事前に定義されたスケジュールに基づいて、ローカルのHyperStoreストレージから移行先ストレージシステムに自動的に移動できます。

以前のブログ記事「データ階層化について知る」で説明したように、データの種類に応じて適切な処理できるよう、データストレージアーキテクチャ内でストレージを階層化をすることは大きなメリットがあります。ここでは、クラウディアンのHyperStoreがオブジェクトストレージの「自動階層化」を提供する方法について説明します。オブジェクトは、データ・ライフサイクル・ポリシーにより事前に定義されたスケジュールに基づいて、ローカルのHyperStoreストレージから移行先ストレージシステムに自動的に移動できます。

HyperStoreは、階層型データの保存先として、次のクラウドストレージプラットフォームのいずれかを移行先として利用できます。

  • Amazon S3
  • Amazon Glacier
  • Google Cloud Platform
  • S3 APIと互換性のあるクラウドサービス
  • 遠隔拠点にあるCloudian HyperStore クラスタ

 

HyperStoreを使い、きめ細かな制御

データ・ストレージ・システムでは、制御と管理のきめ細かさが非常に重要です。データセットには、データの価値に応じて異なるSLA(サービス・レベル・アグリーメント)を適用する必要があることから、管理要件はさまざまです。

HyperStoreはバケットレベルでデータを管理する機能があります(注:「バケット」は、ブロックストレージ内のLUNやファイルシステム内のNASシステム)。 HyperStoreは、バケットレベルで以下の制御パラメータを提供します。

  • データ保護 – データ複製またはイレジャーコーディング、単一または複数サイトのデータ配信から選択
  • 整合性レベル – 複製方法の制御 (同期 vs 非同期)
  • アクセス許諾 – データにアクセスするユーザーとグループ制御
  • 災害復旧 – パブリッククラウドへのデータ複製
  • 暗号化 – セキュリティ条件に合ったデータ保護
  • データ圧縮 – データを保存するために使われる実容量の効率的な削減
  • データサイズ閾値 – データのサイズにより保管場所を変更
  • ライフサイクルポリシー  – 階層化とデータ有効期限に関するデータ管理ルール

HyperStoreは、以下のイメージでライフサイクルポリシーを使いデータ階層化を管理します。

自動階層化は、バケットごとに設定可能で、各バケットはルールに基づいてライフサイクルポリシーが異なります。これらの例には、

1.ライフサイクルルールを適用するデータオブジェクト例

  • バケットにある全オブジェクト
  • 特定のプレフィックスで始まるオブジェクト (例: “Meetings/2015/”)

2. 階層化のスケジュール方法

  • 作成後x日のオブジェクトを移動
  • x日間アクセスのないオブジェクトを移動
  • 固定日にオブジェクトを移動 — 例:December 31, 2016

あるデータオブジェクトが階層化の候補になると、小さなスタブをHyperStoreクラスタ内に持ちます。スタブは実際のデータオブジェクトへのポインタとして機能するため、データオブジェクトはローカルクラスタに格納されているかのように表示されます。エンドユーザーには、データアクセスの操作に変更はありませんが、オブジェクトには、データオブジェクトが移動されたことを示す特別なアイコンが表示されます。

AmazonやGoogleなどのクラウドプロバイダへの自動階層化には、関連するアカウントにアクセスするクリデンシャル(資格情報)とともにアカウントが必要です。

 

自動階層化後のデータアクセス

パブリッククラウドサービスに自動階層化されたオブジェクトにアクセスするには、パブリッククラウド(該当するアカウントと資格情報を使用)を介して直接アクセスするか、ローカルのHyperStoreシステム経由でオブジェクトにアクセスします。階層化されたデータを取得するには、次の3つのオプションがあります。

1.オブジェクトのリストア –ユーザーがデータファイルにアクセスすると、HyperStoreに保持されているローカルスタブファイルに転送され、ユーザー要求がデータオブジェクトの実際の場所(階層化された宛先のプラットフォーム)にリダイレクトされます。

データオブジェクトの複製は、階層型ストレージからローカルのHyperStoreバケットに復元され、一度複製されたデータオブジェクトに対してユーザー要求が実行されます。セカンダリ層に戻る前に、検索されたオブジェクトをローカルに保持する期間制限を設定できます。

このことは、比較的頻繁にデータにアクセスするときに使用するための最良の選択肢と考えており、インターネット経由による性能への影響、およびデータアクセス/検索のためにサービスプロバイダが行うアクセス時間を発生させないためです。オブジェクトの取得に十分な「キャッシュ」があることを確認するには、ローカルのHyperStoreクラスタでストレージ容量を管理する必要があります

2.オブジェクトのストリーミング – 最初にローカルのHyperStoreクラスタにデータをリストアせずに、クライアントに直接データをストリームします。ファイルが閉じられると、階層化された場所でオブジェクトに変更が加えられます。メタデータの変更は、ローカルのHyperStoreデータベースと階層化されたプラットフォームの両方で更新されます。

これは、比較的頻繁にデータにアクセスし、ローカルのHyperStoreクラスタのストレージ容量に関する懸念がある際に最適なオプションと考えられますが、データ要求がインターネットを経由するため性能は低下し、このファイルが読み込まれるたびにプロバイダにアクセスコストを課金されます。

3.ダイレクトアクセス – パブリッククラウドサービスに自動階層化されたオブジェクトには、別のアプリケーションやAWS管理コンソールなどの標準パブリッククラウドインタフェースを介して直接アクセスできます。この方法は、HyperStoreクラスタを完全にバイパスします。オブジェクトは標準S3 APIを使用してクラウドに書き込まれ、オブジェクトのメタデータのコピーが含まれているため、直接参照することができます。

このオープンにアクセス可能な方法でオブジェクトを格納すると(リッチなメタデータを同じ場所に配置)、次のような場合に便利です。

  1. HyperStoreクラスタが利用できない災害復旧
  2. 別のプラットフォームへのデータ移行を容易にする
  3. コンテンツ配信など、別のクラウドベースのアプリケーションからのアクセスを有効にする
  4. 索引付けを提供するために別のデータベースに依存することなく、データにオープンなアクセスを提供する

HyperStoreは、ハイブリッドクラウドの展開を活用するための柔軟性を提供し、パブリッククラウドまたはプライベートクラウドにデータを格納するポリシーを設定できます。 

データ階層化について知る

データ階層化は異なるストレージ階層間でのデータの移動を可能にすることです。これにより、適切なデータが適切なストレージ技術にあることを担保できます。現代のストレージアーキテクチャでは、このデータ移動はエンドユーザアプリケーションには見えず、ストレージポリシーにより制御され、自動化されるのが一般的です

あらゆるデータは、アクセスの頻度、セキュリティに対するニーズ、コストといった要因のせいで、同じものはありません。そのため、データストレージアーキテクチャでは、さまざまな要件に対応するために異なるストレージ層を提供する必要があります。ストレージ層は、ディスク・ドライブ・タイプ、RAID構成というように、ストレージ・サブシステムによって異なるため、異なるIPプロファイルとコストに影響があります。

データ階層化は異なるストレージ階層間でのデータの移動を可能にすることです。これにより、適切なデータが適切なストレージ技術にあることを担保できます。現代のストレージアーキテクチャでは、このデータ移動はエンドユーザアプリケーションには見えず、ストレージポリシーにより制御され、自動化されるのが一般的です。典型的なデータ階層の例は、以下のとおりです。

  • フラッシュストレージ – 高価値、高性能要件、通常はデータセットは小さく、コストはサービスレベルアグリーメント(SLA)で要求される性能に比較し重要度が低い
  • 伝統的なSAN/NASアレイ – 中程度の価値、中程度の性能と中程度のコスト感
  • オブジェクトストレージ – 大きなデータセットでアクセス頻度が低い、コストが重要な考慮要件
  • パブリッククラウド – アクセスのない長期間アーカイブデータ

通常、OLTPデータベース、CRM、電子メールシステム、仮想マシンなどのアプリケーション/データソースに属する構造化データセットは、上記のようにデータ層1および2に格納されます。構造化されていないデータは、一般的に、パフォーマンスは重要ではなく、管理および購入決定においてコストがより重要な要素となる非常に大きなデータセットであるため、第3層および第4層に移行します。

 

パブリッククラウドへのデータ階層化における課題

パブリッククラウドサービスは、特に非構造化データの魅力的なデータ階層化ソリューションになっていますが、パブリッククラウドの使用において考慮すべき点があります。

  • 性能 – 公衆ネットワークからのアクセスは、パブリッククラウドにデータを読み書きする際のボトルネックとなります(クラウドサービスが提供するSLAによる)。特にバックアップデータの場合、バックアップとリカバリのウィンドウは非常に重要です。最もアクセス頻度の高いバックアップセットはオンサイトに保持し、古いバックアップデータのみをクラウドにアーカイブすることを検討する価値があります
  • セキュリティ – 特定のデータの種類や業界では、データをクラウドに格納してはならないという規定があります。クラウドに送信されるデータを制御できることが重要です
  • アクセスパターン – 頻繁に再読み込みされるデータは、パブリッククラウドサービス事業者により、追加のネットワーク利用料を課される可能性があります。データダウンロードに関連するコストを管理するには、データの利用方法を理解することが不可欠です
  • コスト – データを読む際に伴うネットワーク費用と同じく、大量のデータをクラウドに格納することは、特に社内のクラウドストレージの経済性と比較して経済的に見合わないことがあります。評価を行う必要があります

 

バランスのとれたデータ階層戦略にハイブリッドクラウドを使う

非構造化データの場合、データ管理に対するハイブリッドなアプローチは、オートメーション・エンジン、データ分類、およびデータのきめ細かな制御にとっての鍵となります

ハイブリッドクラウドのアプローチでは、オンプレミスストレージ側で制御しながらパブリッククラウドに任意のデータをプッシュすることができます。あらゆるデータストレージシステムにとって、異なるデータセットが異なる管理要件を持ち、データの価値に応じて異なるSLAを適用する必要があるため、制御と管理の粒度は非常に重要です。

Cloudian HyperStoreは、このブログの前半にリストしたデータ層3と4を簡単に移動できる柔軟性を提供するソリューションです。データセンターからコントロールしセキュリティを確保できるだけでなく、Amazon S3 / Glacier、Google Cloud Platform、S3 API接続を提供する他のクラウドサービスなど、さまざまな宛先クラウドストレージプラットフォームにHyperStoreを統合することができます。

Cloudianはバックアップの先に向かう

先日、「Storage Switzerland」というストレージ専門メディアがHyperStoreの製品分析記事を掲載し、たいへんに高い評価をいただきました。Cloudianが「バックアップとアーカイブの理想的な保存先」であり「あらゆるストレージニーズに対して検討すべきシステム」である理由がよくわかり

先日、「Storage Switzerland」というストレージ専門メディアがHyperStoreの製品分析記事を掲載し、たいへんに高い評価をいただきました。Cloudianが「バックアップとアーカイブの理想的な保存先」であり「あらゆるストレージニーズに対して検討すべきシステム」である理由がよくわかります。 

 

効果的なバックアップとアーカイブ

データ保護アプリケーションのなかでは、Cloudianはバックアップの保存先です。この役割を強化するため、システムには拡張性があり、速く、経済性が求められるのは当然です。しかし、もっとも重要なのは、データが絶対に破損したり、喪失しないことが保証されていることです。幸いなことに、データの堅牢性はCloudian HyperStoreが1番に重視した設計ゴールでした。HyperStorageオブジェクトソリューションは、ドライブ障害、ノード障害、また、もし望むのであればデータセンター全体障害といった、あらゆる事故からデータを守ることができる、堅牢なデータ保護機能を備えています。

私たちのフォーティーン・ナイン(14 nines)のデータ堅牢性を実現する機能群は以下のとおりです

  • イレジャーコーディング(Erasure coding)
  • 複数ノードと拠点間データ複製
  • パブリッククラウドにデータ転送するハイブリッドクラウド
  • プロアクティブリペア(Proactive repair)
  • オブジェクトの保存場所探しを手伝うデータGPS(Data GPS)
  • 欠損や古い複製を自動的に見つけ更新するリペア-オン-リード(Repair-on-Read)
  • Amazon S3 copyと同時にローカルキャッシュにも複製するスマートリダイレクト(Smart Redirect)

Cloudian HyperStoreはバックアップアプリケーションに留まりません。お客様のデータセンター内で、複数の別の役割も行います。

 

複数アプリケーション、ひとつのストレージプール

他のCloudianのユースケースとしては、

  • NAS ファイルサーバーの負荷軽減(オフロード)
  • メディアアーカイブ管理
  • ファイル同期共有ストレージ

Cloudianはスケールアウト型のクラスターなので、これらすべてが単一で無制限に拡張できる名前空間に共存できるのです。

私たちは、小規模(数十テラバイト)からスタートし、数PB超にまで拡張できるソフトウェアソリューションと複数のハードウェアアプライアンスの両製品を提供しています。

 

AI とマシンラーニング:オブジェクトストレージの将来

これからすぐに、オブジェクトストレージが大きく活用される領域として、AIと機械学習のためのデータプールであることがわかることでしょう。オブジェクトは拡張性とメタデータ対応という点で理想的だからです。

Storage Switzerland の記事はこちらからご覧いただけます。

電通、クラウディアンら4社でディープラーニングを使った屋外デジタル広告実証実験

本年4月20日、「電通、クラウディアンら4社で、ディープラーニングを使った屋外デジタル広告実証実験に着手」についてプレスリリースを行いました。
プレスリリース

これは、電通様、スマートインサイト様、QCT様と当社の4社が、インテル様のご協力も得ながら、ディープラーニングを活用して走行する車種を判別し、道路沿いに設置されたデジタルサイネージに最適な広告を表示させる実証実験を行うものです。

クラウディアンは、ディープラーニングを活用した実証実験システムの開発および教師データを含むビッグデータのストレージ製品であるCLOUDIAN HyperStoreを提供します。

また、電通様は屋外広告の企画、販売、および媒体開発、スマートインサイト様は屋外広告最適化の為の分析支援、QCT様は高性能サーバー等ハードウェア提供、そしてインテル様は高速演算技術支援を行っていただきます。

今回の発表は、ITシステム専門のメディアだけではなく、マーケティングに関心のある読者向けメディアや、自動車、IOTの専門メディアなど、さまざまな記事でご紹介いただきました。

日本経済新聞:http://nas/content/live/cloudian17.nikkei.com/article/DGXLZO99855880Z10C16A4TI5000/
電通報:http://dentsu-ho.com/articles/3954

BCN Bizline:http://biz.bcnranking.jp/article/news/1604/160420_142023.html
マイナビニュース:http://news.mynavi.jp/news/2016/04/21/071/
ITLeaders:http://it.impressbm.co.jp/articles/-/13504
businessnetwork.jp: http://businessnetwork.jp/Detail/tabid/65/artid/4508/Default.aspx

ITmedia マーケティング:http://marketing.itmedia.co.jp/mm/articles/1604/20/news093.html
MarkeZine:http://news.mynavi.jp/news/2016/04/21/071/
Cnet Japan: http://japan.cnet.com/marketers/news/35081495/

Web担当者フォーラム:http://web-tan.forum.impressrd.jp/n/2016/04/20/22695
IOT News: https://iotnews.jp/archives/18248
CARVIEW yahoo: http://carview.yahoo.co.jp/news/market/20160420-10243190-carview/

今後、セミナー、イベント等では、日本だけではなく海外も含めて、世界に先駆け進めるこのプロジェクトの成果をご紹介してゆく考えです。

読者投票により最高のSDI(ソフトウェア定義インフラ)製品に選ばれました

先日、英語版TechTargetが発表した”Best Software Defined Infrastructure”のWinnerに、CLOUDIAN HyperStoreが選出されました。

http://searchdatacenter.techtarget.com/photostory/4500271263/Impact-Awards-honor-best-IT-products-companies-of-2016/2/Cloudian-HyperStore-flashes-its-compatibility

本記事によれば、この賞は800人以上の読者投票により決定されています(注記:自社製品への投票はできません)。クラウディアンの受賞に関する記事を日本語訳でご紹介いたします。

Need to store lots and lots of data on premises? Readers suggest you evaluate Cloudian HyperStore — an on-premises scale-out object storage stack that can run on commodity hardware, encrypts all its data, and is fully compatible with Amazon Web Services S3 APIs.

大量データをオンプレミスに保存することが必要ですか? 読者はCLOUDIAN HyperStoreを評価することを勧めています。それは、汎用サーバー上で動作し、全データが暗号化され、Amazon Web Service S3 APIに完全準拠している、オンプレミスのスケールアウト型オブジェクトストレージ製品です。

That last point was especially important to Calligo, a cloud services provider based out of the Channel Island Jersey that uses Cloudian for media and archival storage for its customers. “There are so many apps that just plug in to S3 these days,” said Julian Box, Calligo CEO, or instance backup and file sharing apps such as Veeam and ownCloud. “That way you don’t have to think about the compatibility.” Further, “S3-compatibility makes this a great product for trying cheap then moving later,” pointed out another reader.

この最後のポイントは、自社のお客様にメディアとアーカイブストレージとしてCLOUDIAN HyperStoreを活用しているクラウドサービスプロバイダーであるCalligo社にとって、特に重要なことです。「最近では、S3を利用するアプリケーションが山ほどあります。」と同社CEOのジュリアン・ボックス氏は話しています。つまり、VeeamやownCloudのような、インスタンスのバックアップやファイル共有アプリです。「互換性については考える必要がなくなっていきます」。さらに、「S3互換性は、あとで移行するよりも経済的という点で、CLOUDIAN HyperStoreを素晴らしい製品にしています」という別の読者の意見もありました。

Compared with other object-storage solutions, readers also cited Cloudian for its hybrid model that allows users to offload data to AWS for long-term archival, and for its elegant management console where systems administrators can specify data retention and protection policies across the geographically distributed HyperStore cluster. Or, to quote another Cloudian fan, “We believe that their S3 product is a forward looking storage technology with features that organisations will require moving forward.”

他のオブジェクト製品との比較という点からは、長期アーカイブのためにAWSにデータをオフロードできるハイブリッドモデルであること、システム管理者が広域に分散するHyperStoreクラスタ間におけるデータ保全と保護ポリシーを指定できる洗練された管理コンソールがあることから、クラウディアンが推薦されました。また、別のクラウディアンファンからは、「この製品は、将来、企業組織が目指すべき機能を備えた先進的なストレージ技術であると考えています」とありました。

その他、バナーにも多くの読者や利用者からいただいたお褒めの言葉が紹介されています。「本物のS3互換クラウドストレージ」「驚異的な製品」「長年使っているが、コミットした製品を提供し続けている」「最高のアフターセールスサポート」「拡張性という点で最高の製品」。

繰り返しになりますが、この賞は読者からの投票により決定されたものです。このような高い評価を、多くの皆さまよりいただいたことに対し、あらためて心より感謝申し上げます。

Lenovo System x + CLOUDIAN HyperStoreの性能・動作検証結果を発表

先日、レノボ・ジャパン様と共同で実施したLenovo System xをハードウェアとして使ったCLOUDIAN HyperStoreの性能・動作検証結果レポートを公表しました。

最近、多くのITインフラベンダーが「ソフトウェアデファインド(ソフトウェア定義)」という表現を使い始めています。このソフトウェアデファインドについては、IT Leadersの連載「ハイブリッドクラウド時代必修ITインフラの基礎知識」で解説をしています。詳細は、「【第3回】次世代ITインフラはソフトウェアが定義する」 をご覧ください。

 

ソフトウェアデファインド(Software Defined)の定義:

汎用的なハードウェアを使いながら、ソフトウェアによって必要な機能を実現することで、専用ハードウェアと変わらぬ機能を実現すること、および、その仕組み

今回のように、ソフトウェアデファインドストレージ(SDS)の性能や動作検証結果を広く公開したのは、業界で初めてかもしれません。一般的にCLOUDIAN HyperStoreのようなオブジェクトストレージは、インターネット経由でアクセス頻度の少ない「コールドデータ」を大量に保存するために適していると言われています。しかし、Lenovo System xで高速のSAS HDDとSSDを利用したところ、一般的なファイルサーバーとそん色のない性能を得る結果となりました。

 

最近では、CLOUDIAN HyperStoreを広域ファイルサーバーとして活用するお客様事例も増えており、今後より広い分野で活用していただけることと思います。

今回の発表は、多くのメディア記事で紹介いただきました。

ぜひ、ご覧いただければと思います。

なお、この性能・動作検証レポートは、次のサイトからダウンロードできます。

ぜひ、ご活用ください。