DeepSeek-V4 推理服务部署指南
版本: v1.0
版本: v1.0
本文介绍 Mooncake Transfer Engine 的 MUSA 预编译 wheel 与自动发布流程,并给出在摩尔线程 GPU 环境中安装、校验,以及接入 vLLM-MUSA 和 SGLang Prefill-Decode 分离推理的基础方法。
Moore Perf System 是摩尔线程推出的GPU软件性能分析和调优工具,提供可视化界面,在时间轴上按时间顺序显示 CPU 和 GPU 的事件、吞吐和性能指标,帮助开发人员方便、快速、准确的定位到系统级别的性能瓶颈,进而进行针对性分析和优化,使程序性能满足需求。
MUSA是摩尔线程设计推出的统一系统架构,兼容CUDA,依托摩尔线程GPU,使用户更简单高效发挥出GPU的算力。Event(事件)是MUSA提供的一个便捷的工具,我们可以利用event来统计耗时、同步多stream等
一篇面向工程实践的 MUSA Tensor Core GEMM 教程。按 baseline、WMMA、muBLAS、muBLASLt、muDNN、MUTLASS 逐步展开;文末附录含完整可运行基准源码 bench_gemm_2048.mu,正文与附录自洽,不依赖外链。