SGLang

如果手头还有 RTX 2080 Ti，可能已经有人劝你“别折腾了，换新卡吧”。这话不能说完全没道理：Turing 架构确实有年代感，尤其碰上新的推理算子、CUDA Graph 和多…

在上一篇文章中，我们谈到了如何用vLLM推理框架来运行QwQ-32B模型，想了解详情的可以参考《在Ubuntu服务器4x2080ti(22G)上部署QwQ-32B + vLLM教程…