Windows+WSL+Docker Desktop+FastGPT+m3e+oneapi+ChatGLM3部署本地AI知识库

用docker部署m3e

FastGPT 默认使用了 openai 的 embedding 向量模型,但是现在我们想在本地私有部署,并且调用本地的LLM,对本地的文本资料进行向量化处理,我们可以使用 M3E 向量模型进行替换。M3E 向量模型属于小模型,资源使用不高,CPU 也可以运行。

镜像名: stawky/m3e-large-api:latest
国内镜像: registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest 端口号: 6008 环境变量

安全凭证(即oneapi中的渠道密钥) 默认值:sk-aaabbbcccdddeeefffggghhhiiijjjkkk

确认端口

由于m3e的部署默认要用到6008端口,我们在部署之前,需要先确认该端口是否被其他程序占用,如果被占用则需要在部署的时候修改为其他的端口!

在cmd命令窗口输入下面的命令,查看被占用的端口情况:

netsh int ipv4 show excludedport tcp

Windows+WSL+Docker Desktop+FastGPT+m3e+oneapi+ChatGLM3部署本地AI知识库

我的6008端口不在被占用的端口之内,所以我可以直接用6008端口进行部署!

部署m3e

用docker部署m3e,默认用CPU运行:

docker run -d -p 6008:6008 --name=m3e-large-api registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest

使用GPU运行:

docker run -d -p 6008:6008 --gpus all --name=m3e-large-api registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest

原镜像(推荐):

docker run -d -p 6008:6008 --gpus all --name=m3e-large-api stawky/m3e-large-api:latest

其中的“–gpus all”是用GPU运行,如果你要使用CPU来运行,你可以将该参数删除!

由于部署的过程中要下载几个体积比较大的文件,因此该过程需要一点时间等待!,部署完成之后你就可以在docker desktop中看到m3e

Windows+WSL+Docker Desktop+FastGPT+m3e+oneapi+ChatGLM3部署本地AI知识库

原创文章,作者:朋远方,如若转载,请注明出处:https://caovan.com/windowswsldocker-desktopfastgptm3eoneapichatglm3bushubendeaizhishiku/.html

(0)
打赏 微信扫一扫 微信扫一扫
朋远方的头像朋远方
上一篇 2024年3月11日 下午7:05
下一篇 2024年3月19日 上午2:09

相关推荐

发表回复

登录后才能评论