Building Block

Moreh vLLM for Tenstorrent

Engine serving LLM cấp sản xuất cho các hệ thống Tenstorrent Galaxy. Thực thi MoE LLM đã được tối ưu, tương thích API vLLM, và toàn bộ nền tảng serving cần thiết cho triển khai ở quy mô trung tâm dữ liệu.

Yêu cầu Demo→Xem Benchmark

Capabilities

Được thiết kế cho serving LLM cấp sản xuất

Kernel/Library-Level MoE Optimization

Các kernel toán tử và thư viện truyền thông tùy chỉnh được thiết kế để thực thi MoE hiệu quả trên Galaxy — hỗ trợ các LLM mới nhất bao gồm GPT-OSS, Qwen, GLM và DeepSeek.

vLLM-Compatible API

Tương thích drop-in với vLLM phiên bản mới nhất — endpoint serving tương thích OpenAI, định dạng metrics Prometheus và luồng KV event đều khớp với vLLM. Tái sử dụng các client, dashboard và router hiện có mà không phải thay đổi.

Production Serving Fundamentals

Paged attention, variable-length batching, chunked prefill, automatic prefix caching — toàn bộ các kỹ thuật trong engine cần thiết để chạy LLM hiện đại ở thông lượng cao.

Prefill-Decode Disaggregation

Chạy prefill và decode trên các worker riêng biệt để mở rộng từng pha một cách độc lập — cải thiện tỉ lệ sử dụng và độ trễ cho serving thông lượng cao.

Performance

Hiệu năng cấp GPU trên phần cứng hiệu quả chi phí

Chạy chính các LLM hiện đại mà ứng dụng của bạn cần trên Tenstorrent Galaxy cùng Moreh vLLM — với thông lượng mà serving sản xuất đòi hỏi, trên silicon hiệu quả chi phí hơn về cơ bản so với các hệ thống GPU hàng đầu. Số liệu tham chiếu bên dưới so sánh Wormhole Galaxy với 8x A100; Blackhole Galaxy có thể so sánh với các thế hệ GPU mới hơn.

Model	High-throughput decode (tok/s)		Interactive decode, b=32 (tok/s)		Long-context prefill (tok/s)
Model	Wormhole Galaxy	8x A100	Wormhole Galaxy	8x A100	Wormhole Galaxy	8x A100
GPT-OSS 120B	16,258.12	11,806.45	1,141.61	1,795.25	37,055.34	38,656.68
Qwen3 235B	6,992.67	6,470.91	577.82	647.15	13,220.94	16,037.79

Models

Mô hình được hỗ trợ

Liên tục mở rộng hỗ trợ cho các LLM mã nguồn mở mới nhất.

Hardware

Phần cứng được hỗ trợ

Được triển khai như một phần trong các appliance Tenstorrent trọn gói của Moreh — phần cứng, mạng và phần mềm được giao cùng nhau.