1 篇文档带有标签「推测解码」

本文主要介绍了推测解码算法在MT GPU的相关实践。本文首先介绍推测解码的概念及其原理，接着基于MTT S4000，完成在7B和14B模型下的EAGLE模型在中文数据集上的训练和推理，并测试其推理加速结果。