wsl
-
vllm让LLM的本地推理速度坐上火箭!| 以Qwen1.5-14B为例
在上一篇文章中,我们讲解了如何将本地部署的Qwen1.5-14B模型导入FastGPT,感兴趣的可以查阅《Windows+WSL+Docker Desktop+FastGPT+m3…
-
Windows+WSL+Docker Desktop+FastGPT+m3e+oneapi+ChatGLM3部署本地AI知识库
FastGPT 是一个基于 LLM 大语言模型的知识库问答系统,提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排,从而实现复杂的问答场景!简而言…