AIファクトリーのためのデータ基盤

AIファクトリーはデータをインテリジェンスに変える。Cloudianはそのストレージ層であり、AIライフサイクルのあらゆる段階でオンプレミスで管理され、GPUにデータをラインレートで供給します。S3ネイティブ、エクサバイト規模、NVIDIAスタックで検証済み。

AIファクトリーの専門家と話す ブログを読む

AIファクトリーで生成されるすべてのトークンのためのデータ基盤

Cloudianはエクサバイト規模のS3ネイティブストレージを提供し、マルチテナント、政府認証のセキュリティ、RDMAを介した直接GPUアクセスを実現します。NVIDIAスタックで検証済みであり、初期ファイルの取り込みから最後のトークンの提供まで、AIライフサイクル全体をサポートしています。

AIファクトリーがストレージに求めるもの

AIファクトリーは、インテリジェンスをスケールで製造するために構築されています。加速されたコンピューティングとAIソフトウェアを緊密に統合し、あらゆるモデルの出力であるトークンを生成します。このライフサイクルはデータに依存しています。ファクトリーが生成するすべてのトークンは、保存、保護、GPUに迅速に提供される必要があるデータに由来しています。

CloudianはAIファクトリーの下にある永続的なデータ層です。トレーニングデータ、モデルチェックポイント、エンベディングやベクター、モデルが解釈するソースコンテンツを保持し、そのデータを加速された計算が求める速度でRDMAを介してGPUに移行します。

検証済みソリューション

NVIDIA認定ソリューション

Cloudian HyperStoreはNVIDIA認定ストレージステータスを取得し、NVIDIA加速コンピューティングでのAIワークロードのパフォーマンスと相互運用性を検証済みです。

AIファクトリーの専門家と話す

AIファクトリー検証済み設計

Cloudian HyperStoreはNVIDIA認定ストレージ基盤レベルのリファレンスアーキテクチャで検証されています。検証済みストレージパートナーとして、CloudianはオンプレミスのAIファクトリーの構築と展開におけるNVIDIAの完全スタックガイダンスに適合し、統合リスクを削減し、実稼働への移行を加速します。

NVIDIAリファレンスアーキテクチャ

リファレンスアーキテクチャ

Cloudian HyperStoreは、AIに最適化されたコンピュート、ネットワーク、ストレージを指定するリファレンスアーキテクチャを提供し、チームに展開を単純化し、価値への時間を短縮するテスト済みの構成を提供します。Cloudianは、SupermicroおよびLenovoサーバープラットフォーム向けのリファレンスアーキテクチャを提供します。

Supermicroリファレンスアーキテクチャ Lenovoリファレンスアーキテクチャ

完全AIライフサイクルのためのストレージ

単一のネームスペースがファクトリーのすべてのステージを提供し、コピーやシステム間の移行、サイロがありません。

取り込み

パイプラインが既に使用しているS3 APIを介して、スケールで非構造化データ—文書、画像、音声、動画、センサーおよびマシンデータを—投入します。Cloudianは、ファクトリーが学ぶすべてのものの記録システムになります。

トレーニング

トレーニングが求めるスループットと並行性を持って、RDMAを介して大量のデータセットをGPUにストリーミングし、アクセラレーターを飽和させ、高利用率を維持します。

微調整

チェックポイント、バージョン管理されたデータセット、ドメインコーパスを1つの管理された場所に保持することで、チームは別のストレージを立ち上げずにモデルの反復を行えます。

推論

再検索強化型やエージェントアプリケーションへの埋め込み、ベクトル、ソースコンテンツを低遅延で提供し、長期推論を加速するためにコンテキストをキャプチャして再ロードします。

RDMAで高性能

HyperStoreはS3互換ストレージにRDMAをサポートし、ノードあたり35GB/s(読み取り)のスループットを提供しながら、CPU使用率を最大90%削減します。データは直接ストレージからGPUメモリに移動し、CPUのボトルネックを回避します。そのため、最も高価なアクセラレータは重要な作業を続けることができます。S3統合のためのRDMAにより、その直接経路が組み込まれています。結果は、低遅延、高いGPU使用率、大量のデータセットからのより速い洞察—フルキャパシティで稼働する工場とデータを待つ工場との差です。

ソリューションブリーフを取得

業界で最も完全なS3互換プラットフォーム

大多数のAIおよびMLツールはS3 APIに対応しています。これらツールと問題なく動作させるためには、最も深いS3適合性を持つプラットフォームが必要であり、アダプターレイヤーではありません。Cloudian HyperStoreは、S3 API用にゼロから構築されました。AWS SDKは私たちのSDKです。そのネイティブ基盤により、ファクトリーのツールが正常に動作します。PyTorchやTensorFlowのようなAIおよびMLフレームワーク、Apache Kafkaなどのストリーミングプラットフォーム、高パフォーマンス分析エンジンなどがCloudianにカスタム統合なしで接続されるため、データサイエンティストは配管ではなくモデルの構築に集中できます。

共有ファクトリーインフラのためのマルチテナンシー

AIファクトリーは多くのチーム、モデル、ワークロードを同時にサービスします。Cloudianは1つのプラットフォームを安全に共有させることができます。完全に分離されたネームスペースがそれぞれのテナントに共有プール内で独立したデータを提供し、アクセス制御、テナントごとの設定、QoSが1つのワークロードが他のワークロードを妨害したり、枯渇させたりするのを防ぎます。その結果、投資したインフラの利用率が高まり、ワークロードごとのコストが削減され、ファクトリーが忙しい時でもセキュリティが保持されます。

エクサバイトのスケーラビリティ

AIファクトリーは成長します。Cloudian HyperStoreは並行性を高めた状態でエクサバイトまでスケールアウトし、フォークリフトアップグレードや移行なしにデータとモデルのフットプリント拡大に応じて容量とスループットを追加します。バッチトレーニングパイプラインや常時稼働の推論を実行しているかどうかに関係なく、プラットフォームはデータから価値を引き続き引き出すためのスケールとパフォーマンスを提供します。

政府認証のセキュリティ

ファクトリーのデータは最も貴重な資産の1つであり、ますます規制されています。Cloudianはデータ暗号化、Secure Shell侵入防止、ランサムウェアに対抗するS3オブジェクトロックの不変性、およびオブジェクトストレージにおける最も完全なセキュリティ認証セットでそれを保護します。テナントデータは他のテナントやサービスプロバイダーから分離されており、ゼロトラストの姿勢により、敏感なデータが主権的でコンプライアントに維持されます。オンプレミスで、その位置を証明できます。

より良いトークン経済を、自分の条件で

NVIDIA加速コンピューティングはワットあたりのトークン数とインフラ投資のリターンで測定されます。保存はどれだけのポテンシャルをキャプチャできるかを決定します。Cloudianは、RDMAを介してCPUからの作業をオフロードし、GPUにデータを供給し、オンプレミスでエクサバイトスケールで効率的に実行することで、ファクトリーの最も高価なリソースの利用率を向上させ、データとそのコストをクラウドプロバイダーのメーターではなく自分の制御下に置きます。

AI/MLと解析ツールの広範なサポート

Cloudian AIデータプラットフォームが、人気のAI/MLと解析ツールとシームレスに統合して、最もデータ集約のワークフローをサポートする安全でスケーラブルなストレージを提供する方法について詳しく知る。

エンタープライズAIの解放 – 
NVIDIAとCloudianで非構造化データをAIインテリジェンスに変換

ウェビナーを見る →

「企業は自分たちが大きな金鉱の上に座っていることに気付きつつあります。その金鉱とはデータですが、最適化されたパイプラインを作成したり、データをより良い形で活用する方法を知りません。このボックスソリューションは…[Cloudian]が提供している本当に役立つものです。」​​

Ashutosh Malegaonkar ネットワーキングシニアディレクター、NVIDIA