oneapi
-
4 x 2080Ti 22G Ubuntu服务器部署大语言模型+企业知识库的最优方案
经过反复试验测试，在四张22G的2080Ti Ubuntu操作系统的服务器上，部署企业知识库的最优方案如下： Xinference + MaxKB或RAGFlow + Open-W…
-
4张定制版22G 2080ti 搭建AI服务器 用vllm框架跑Qwen1.5-110B模型非常丝滑！
操作系统和显卡/nvlink 服务器的系统采用Ubuntu22.04 显卡驱动选择“使用 NVIDIA driver metapackage 来自 nvidia-driver-53…
-
vllm让LLM的本地推理速度坐上火箭！| 以Qwen1.5-14B为例
在上一篇文章中，我们讲解了如何将本地部署的Qwen1.5-14B模型导入FastGPT，感兴趣的可以查阅《Windows+WSL+Docker Desktop+FastGPT+m3…
-
Windows+WSL+Docker Desktop+FastGPT+m3e+oneapi+Qwen-14B部署本地AI知识库
在上一篇文章里面，我们详细地讲解了如何在windows系统下面安装WSL、Docker Desktop、FastGPT、m3e、oneapi来部署本地的AI知识库！只不过我们调用的…
-
Windows+WSL+Docker Desktop+FastGPT+m3e+oneapi+ChatGLM3部署本地AI知识库
FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景！简而言…
