vllm
-
4张定制版22G 2080ti 搭建AI服务器 用vllm框架跑Qwen1.5-110B模型非常丝滑！
操作系统和显卡/nvlink 服务器的系统采用Ubuntu22.04 显卡驱动选择“使用 NVIDIA driver metapackage 来自 nvidia-driver-53…
-
vllm让LLM的本地推理速度坐上火箭！| 以Qwen1.5-14B为例
在上一篇文章中，我们讲解了如何将本地部署的Qwen1.5-14B模型导入FastGPT，感兴趣的可以查阅《Windows+WSL+Docker Desktop+FastGPT+m3…
