oneapi
-
vllm让LLM的本地推理速度坐上火箭!| 以Qwen1.5-14B为例
在上一篇文章中,我们讲解了如何将本地部署的Qwen1.5-14B模型导入FastGPT,感兴趣的可以查阅《Windows+WSL+Docker Desktop+FastGPT+m3…
-
Windows+WSL+Docker Desktop+FastGPT+m3e+oneapi+Qwen-14B部署本地AI知识库
在上一篇文章里面,我们详细地讲解了如何在windows系统下面安装WSL、Docker Desktop、FastGPT、m3e、oneapi来部署本地的AI知识库!只不过我们调用的…
-
Windows+WSL+Docker Desktop+FastGPT+m3e+oneapi+ChatGLM3部署本地AI知识库
FastGPT 是一个基于 LLM 大语言模型的知识库问答系统,提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排,从而实现复杂的问答场景!简而言…