Solution
推論に最適化されたターンキーAMD GPUクラスター
Morehは、カスタムカーネルからクラスターレベルのオーケストレーションまで、フルスタックのソフトウェア最適化が組み込まれたAMD Instinct GPUクラスターを提供します。初日から本番環境にすぐ投入できます。
提供内容
GPU
AMD Instinctアクセラレータ
すべての世代にわたり、AMD Instinct GPUはコンピュート、メモリ、帯域幅でNVIDIAに匹敵またはそれを上回ります。ノード内GPU間通信は、NVIDIAのNVLinkに相当するAMDのInfinity Fabricが担います。
MI300X vs H100
FP16性能
メモリ
メモリ帯域幅
MI325X vs H200
FP16性能
メモリ
メモリ帯域幅
MI355X vs B200
FP16性能
メモリ
メモリ帯域幅
ネットワーキング
RoCEクラスターネットワーキング
Morehは、ワークロードとクラスター規模に最適化されたRoCE（RDMA over Converged Ethernet）ネットワークトポロジーを設計し、ソフトウェアレベルの通信最適化を提供します。
- •クラスター規模とワークロードに合わせたRoCEネットワークトポロジー設計
- •通信オーバーヘッドを最小化するソフトウェアレベルの最適化
プラットフォーム
Kubernetesベースのクラスタープラットフォーム
すべてのクラスターには、オープンソースコンポーネントで構築された本番環境対応のKubernetesプラットフォームが含まれており、チームはインフラではなくモデルに集中できます。
- •GPU対応スケジューリング付きKubernetesオーケストレーション
- •モデルウェイトとチェックポイント用Ceph分散ストレージ
- •モニタリングとロギング（Prometheus、Grafana、Loki）
- •認証とアクセス制御（LDAP、Keycloak）
- •AIジョブ管理とスケジューリング（SkyPilot）
ソフトウェア
Moreh推論ソフトウェア
すべてのクラスターには、AMD GPU専用に設計され、初日から本番環境で使用可能なMorehのフルスタック推論ソフトウェアが含まれます。
ヘテロジニアスGPU
すでにNVIDIA GPUをお持ちですか？
既存のインフラを置き換える必要はありません。NVIDIAクラスターにAMD GPUノードを追加し、単一の統合推論エンドポイントとして運用できます。MoAI Inference Frameworkがクロスベンダーオーケストレーションを処理し、各リクエストを適切なアクセラレータに自動ルーティングします。
ヘテロジニアスGPUクラスターについて ›Why AMD
AMD GPUクラスターを選ぶ理由
AMD Instinct GPUはNVIDIAに対する有力な選択肢です。Morehのソフトウェアがその優位性を余すことなく発揮させます。
大容量メモリ、大規模モデル
MI325XはGPUあたり256 GBを提供 — H200の1.8倍。ノードあたりより大きなモデルをサービング、または同じモデルをより少ないGPUで運用できます。
競争力のあるTCO
AMD Instinct GPUはドルあたり同等以上のコンピュート性能を提供します。Morehのソフトウェア最適化と組み合わせることで、同じ投資からより多くのスループットを得られます。
性能に妥協なし
Morehのフルスタックソフトウェアがエコシステムの差を解消します。カスタムカーネル、クラスターレベルのオーケストレーション、本番品質のツールにより、AMD GPUの潜在能力を完全に発揮させます。
エンドツーエンドサポート
ハードウェア供給
AMD Instinct GPUとサーバーを調達・供給し、お客様に代わって調達プロセスを処理します。
クラスター構築
ラックレイアウトと電力計画からネットワークトポロジーまで、クラスターを設計・構築します。
ソフトウェアデプロイ
Moreh vLLMとMoAI Inference Frameworkをデプロイし、お客様のワークロードに合わせて最適化します。
テクニカルサポート
AMD GPU固有の問題、性能チューニング、ソフトウェアアップデートに対する継続的なサポートを提供します。