Solution
推理优化的交钥匙AMD GPU集群
Moreh交付内置全栈软件优化的AMD Instinct GPU集群——从定制内核到集群级编排——您的基础设施从第一天起即可投入生产。
我们提供什么
GPU
AMD Instinct加速器
在每一代产品中，AMD Instinct GPU在算力、内存和带宽方面均与NVIDIA持平或超越。节点内GPU间通信由Infinity Fabric处理，这是AMD对应NVIDIA NVLink的技术。
MI300X vs H100
FP16性能
内存
内存带宽
MI325X vs H200
FP16性能
内存
内存带宽
MI355X vs B200
FP16性能
内存
内存带宽
网络
RoCE集群网络
Moreh为您的工作负载和集群规模设计优化的RoCE（RDMA over Converged Ethernet）网络拓扑，并提供软件级通信优化。
- •根据集群规模和工作负载定制设计的RoCE网络拓扑
- •最小化通信开销的软件级优化
平台
基于Kubernetes的集群平台
每个集群配备基于开源组件构建的生产就绪Kubernetes平台——让您的团队专注于模型，而非基础设施。
- •具备GPU感知调度的Kubernetes编排
- •用于模型权重和检查点的Ceph分布式存储
- •监控和日志（Prometheus、Grafana、Loki）
- •认证和访问控制（LDAP、Keycloak）
- •AI任务管理和调度（SkyPilot）
异构GPU
已经拥有NVIDIA GPU？
无需替换现有基础设施。将AMD GPU节点添加到您的NVIDIA集群中，作为统一的推理端点运行。MoAI Inference Framework处理跨厂商编排——自动将每个请求路由到合适的加速器。
了解异构GPU集群 ›Why AMD
为什么选择AMD GPU集群
AMD Instinct GPU提供了极具竞争力的NVIDIA替代方案——而Moreh的软件确保您充分发挥每一分优势。
更大内存，更大模型
MI325X每GPU提供256 GB——比H200多1.8倍。每节点可服务更大的模型，或用更少的GPU运行同一模型。
有竞争力的TCO
AMD Instinct GPU提供同等或更优的每美元算力。结合Moreh的软件优化，同等投资可获得更多吞吐量。
性能零妥协
Moreh的全栈软件弥合了生态差距。定制内核、集群级编排和生产级工具确保AMD GPU充分发挥其全部潜力。
端到端支持
硬件供应
我们采购和供应AMD Instinct GPU和服务器，为您处理采购环节。
集群搭建
从机架布局和电力规划到网络拓扑，我们设计并搭建集群。
软件部署
Moreh vLLM和MoAI Inference Framework完成部署，并针对您的特定工作负载进行优化。
技术支持
持续提供AMD GPU相关问题、性能调优和软件更新的支持。