跳到主要内容

1 篇文档带有标签「Stable-Diffusion」

查看所有标签

使用 GPUStack 纳管摩尔线程 GPU 进行大语言模型和文生图模型的推理

本文主要介绍了如何在摩尔线程 GPU 上通过 GPUStack 进行大语言模型和文生图模型的推理。GPUStack 是一个开源的 GPU 集群管理器，支持多种硬件和模型，提供了分布式推理和 OpenAI 兼容 API 服务。本文详细介绍了如何配置 GPUStack、部署模型以及运行大语言模型和文生图模型的步骤。