投稿

在Ubuntu服务器4x2080ti(22G)上部署QwQ-32B + vLLM教程

朋远方 • • 人工智能, 学习笔记 • 阅读 3352

QwQ 是 Qwen 级数的推理模型。与传统的指令调优模型相比，能够思考和推理的 QwQ 可以在下游任务中实现显着增强的性能，尤其是难题。QwQ-32B 是中型推理模型，能够实现与最先进的推理模型（如 DeepSeek-R1、o1-mini）相比的竞争性能。

✦
Premium

PREMIUM ACCESS

会员专属内容

开通会员后可查看完整内容、下载资源和使用隐藏教程。

查看会员套餐 登录账号

原创文章，作者：朋远方，如若转载，请注明出处：https://caovan.com/zaiubuntufuwuqi4x2080ti22gshangbushuqwq-32b-vllmjiaocheng/.html

赞 (2)
打赏 微信扫一扫 微信扫一扫
朋远方的头像朋远方
0 2
4 x 2080Ti 22G Ubuntu服务器部署大语言模型+企业知识库的最优方案
上一篇 2025年3月3日 上午12:07
vLLM的参数列表及其中文说明
下一篇 2025年3月12日 上午8:59

相关推荐

发表回复

登录后才能评论

评论列表（2条）

  • zush的头像
    zush 2025年5月16日 下午2:12

    请问在您的部署情况下，可以实现多少的并发