Solution
추론에 최적화된 턴키 AMD GPU 클러스터
Moreh는 커스텀 커널부터 클러스터 수준의 오케스트레이션까지 풀스택 소프트웨어 최적화가 내장된 AMD Instinct GPU 클러스터를 제공합니다. 첫날부터 프로덕션 환경에 바로 투입할 수 있습니다.
제공 내역
GPU
AMD Instinct 가속기
모든 세대에 걸쳐 AMD Instinct GPU는 연산, 메모리, 대역폭에서 NVIDIA와 동등하거나 이를 능가합니다. 노드 내 GPU 간 통신은 NVIDIA의 NVLink에 해당하는 AMD의 Infinity Fabric이 담당합니다.
MI300X vs H100
FP16 성능
메모리
메모리 대역폭
MI325X vs H200
FP16 성능
메모리
메모리 대역폭
MI355X vs B200
FP16 성능
메모리
메모리 대역폭
네트워킹
RoCE 클러스터 네트워킹
Moreh는 워크로드와 클러스터 규모에 최적화된 RoCE(RDMA over Converged Ethernet) 네트워크 토폴로지를 설계하고, 소프트웨어 수준의 통신 최적화를 제공합니다.
- •클러스터 규모와 워크로드에 맞춤 설계된 RoCE 네트워크 토폴로지
- •통신 오버헤드를 최소화하는 소프트웨어 수준의 최적화
플랫폼
Kubernetes 기반 클러스터 플랫폼
모든 클러스터에는 오픈소스 구성 요소로 구축된 프로덕션 환경의 Kubernetes 플랫폼이 포함되어 있어, 팀이 인프라가 아닌 모델에 집중할 수 있습니다.
- •GPU 인식 스케줄링이 포함된 Kubernetes 오케스트레이션
- •모델 가중치 및 체크포인트를 위한 Ceph 분산 스토리지
- •모니터링 및 로깅 (Prometheus, Grafana, Loki)
- •인증 및 접근 제어 (LDAP, Keycloak)
- •AI 작업 관리 및 스케줄링 (SkyPilot)
소프트웨어
Moreh 추론 소프트웨어
모든 클러스터에는 AMD GPU 전용으로 설계되고 첫날부터 프로덕션에 바로 사용할 수 있는 Moreh의 풀스택 추론 소프트웨어가 포함됩니다.
이기종 GPU
이미 NVIDIA GPU를 보유하고 계신가요?
기존 인프라를 교체할 필요가 없습니다. NVIDIA 클러스터에 AMD GPU 노드를 추가하고 하나의 통합 추론 엔드포인트로 운영할 수 있습니다. MoAI Inference Framework가 크로스 벤더 오케스트레이션을 처리하여 각 요청을 적절한 가속기로 자동 라우팅합니다.
이기종 GPU 클러스터 알아보기 ›Why AMD
AMD GPU 클러스터를 선택하는 이유
AMD Instinct GPU는 NVIDIA의 강력한 대안이며, Moreh의 소프트웨어가 그 이점을 모두 실현할 수 있도록 보장합니다.
더 많은 메모리, 더 큰 모델
MI325X는 GPU당 256 GB를 제공하며 이는 H200 대비 1.8배입니다. 노드당 더 큰 모델을 서빙하거나, 동일한 모델을 더 적은 GPU로 운영할 수 있습니다.
경쟁력 있는 TCO
AMD Instinct GPU는 동등하거나 더 나은 비용 대비 연산 성능을 제공합니다. Moreh의 소프트웨어 최적화와 결합하면 동일한 투자로 더 많은 처리량을 얻을 수 있습니다.
성능 타협 없음
Moreh의 풀스택 소프트웨어가 생태계 격차를 해소합니다. 커스텀 커널, 클러스터 수준의 오케스트레이션, 프로덕션급 도구가 AMD GPU의 잠재력을 완전히 발휘하도록 합니다.
엔드투엔드 지원
하드웨어 공급
AMD Instinct GPU와 서버를 소싱 및 공급하여 조달 과정을 대신 처리합니다.
클러스터 구축
랙 레이아웃과 전력 계획부터 네트워킹 토폴로지까지 클러스터를 설계하고 구축합니다.
소프트웨어 배포
Moreh vLLM과 MoAI Inference Framework를 배포하고 특정 워크로드에 맞게 최적화합니다.
기술 지원
AMD GPU 관련 이슈, 성능 튜닝, 소프트웨어 업데이트에 대한 지속적인 지원을 제공합니다.