在 M1000 进行 DeepSeek R1 蒸馏系列模型部署
本文主要介绍了如何在 M1000 上通过 vllm+mtt 进行 **DeepSeek R1**蒸馏系列模型、**Qwen 2.5**系列模型、**QwQ-32B**模型的推理。
本文主要介绍了如何在 M1000 上通过 vllm+mtt 进行 **DeepSeek R1**蒸馏系列模型、**Qwen 2.5**系列模型、**QwQ-32B**模型的推理。
本文主要介绍了如何在摩尔线程 MTT S80 上通过 Ollama 快速完成DeepSeek R1 蒸馏系列模型的推理。