SGLang

如果你手里还有几张 RTX 2080 Ti，尤其是 22GB 显存版本，可能多少都会有一种感觉：卡还没坏，算力也并不算弱，但到了今天的大模型时代，却越来越容易被软件生态“提前退休”…

在上一篇文章中，我们谈到了如何用vLLM推理框架来运行QwQ-32B模型，想了解详情的可以参考《在Ubuntu服务器4x2080ti(22G)上部署QwQ-32B + vLLM教程…