在摩尔线程 MTT S80 上使用 Ollama 进行 DeepSeek R1 蒸馏版模型推理
什么是 Ollama?
Ollama 是一个工具和平台，专注于简化和优化大语言模型（ LLM ）的管理和部署。它主要提供了一种方便的方式，在本地或边缘设备上运 行、管理和调用大型语言模型，同时通过其特有的 Docker 集成和 API 接口，使得 LLM 的使用更加灵活、轻量且安全。
Ollama 因为其本地化、轻量级和灵活性，成为一种在多个环境中管理和部署 LLM 的理想工具。
使用 Ollama 进行 Deepseek R1 蒸馏版模型推理
以下代码运行在 x86 架构的 Ubuntu 20.04/22.04 系统。
配置容器运行时
请参考以下链接安装和配置容器运行时。
- 安装 Docker: Docker 安装指南。
- 安装 MTT S80 最新驱动 (当前最新版本为 rc3.1.1): MUSA SDK 下载。 注意该版驱动类型为 compute-only，可能存在图形界面无法启动的风险。
- 安装 MT Container Toolkit (当前为 v1.9.0): MT CloudNative Toolkits 下载
检查容器运行时配置是否正确，确认输出的默认运行时为 mthreads。
$ (cd /usr/bin/musa && sudo ./docker setup $PWD)
$ docker info | grep mthreads
Runtimes: mthreads mthreads-experimental runc
Default Runtime: mthreads
拉取镜像并运行容器
拉取 Ollama 镜像：
docker pull mthreads/ollama
启动容器：
docker run -it -d --name=ollama -v {your_host_dir}:/root/.ollama mthreads/ollama
以上命令：
- 启动并运行一个基于
mthreads/ollama镜像的容器。 -it:交互式运行容器，分配一个伪终端。-d: 将容器运行在后台。--name=ollama: 将容器名指定为“ollama”。-v {your_host_dir}:/root/.ollama: 将主机的{your_host_dir}目录挂载到容器内的/root/.ollama目录。因为/root/.ollama是镜像默认使用的ollama数据存放目录，挂载该目录后即使容器被销毁，下载的模型数据文件依然会被保存在指定的{your_host_dir}目录下。{your_host_dir}可根据用户实际情况填入。
进入容器：
docker exec -it ollama bash
运行模型：
ollama run deepseek-r1:7b --verbose
等待 Ollama 模型拉取完成后，即可以开始对话。 加入--verbose参数以显示模型性能，可根据需要选择是否传入。
监测 GPU 状态
在与模型对话的同时，可以通过另外启动一个终端并执行：
watch -n 1 mthreads-gmi
来实时观测 GPU 的利用率等状态数据。以上-n 1代表每一秒刷新一次，实际可根据需要调整设置。
以下是运行deepseek-r1:7b的示例图：
以下是运行deepseek-r1:14b的示例图：
完整的R1蒸馏模型列表可以在 Ollama 官网找到。以 MTT S80 为例，其可以运行包括 deepseek-r1 1.5B/7B/8B/14B 的模型。
Open WebUI界面
也可以结合 Open WebUI 来创建一个通用的用户界面，实现类似OpenAI的聊天界面。配置详情参考使用摩尔线程 GPU 搭建个人 RAG 推理服务。
