修改requirements.txt文件
在文件夹中找到并用记事本打开requirements.txt文件,在末尾添加上下面这些库的名称,修改好后记得保存文件!
auto-gptq optimum fastapi uvicorn openai pydantic>=2.3.0 sse_starlette
配置虚拟环境
我们可以通过conda来新建一个虚拟环境,打开文件夹,在路径栏输入“cmd”命令,打开一个命令窗口,在窗口输入如下的命令:
conda create -n qwen python=3.10
激活虚拟环境
conda activate qwen
安装依赖
pip install -r requirements.txt
安装依赖的过程可能会花点时间,你需要耐心等待所有的依赖库文件安装完成!
如果你身处中国大陆境内,对github的访问不是很流畅的情况下,你可以开启VPN再运行安装命令!
新建bat启动文件
在文件夹中新建一个txt文件,然后将它改名为“xxx.bat”,这里的xxx你可以自由发挥,自己好记就行!
然后用右键点击该bat文件,选择“编辑”,用记事本打开该bat文件,输入如下的内容:
@echo off chcp 65001 >null echo 启动中,请耐心等待 call conda activate qwen python openai_api.py --checkpoint-path "M:\LLM\Qwen-14B-Chat-Int4" --server-port 8001 --server-name "0.0.0.0" pause
其中的”M:\LLM\Qwen-14B-Chat-Int4″修改为你自己实际的权重文件的路径!
然后保存文件,双击该文件即可运行api文件!
在oneapi新建一个渠道
怎样安装和启动oneapi请参考上一篇文章,这里不再重复讲解!
为Qwen模型新建一个渠道,参数设置如下
其中的代理地址中的IP地址,要修改为你自己实际的IPV4地址!
提交保存之后进行测试,看是否成功!
如果显示的内容像我这样“通道qwen测试成功,耗时…”,则说明渠道配置已经成功了!
修改config.json文件
用记事本打开config.json文件,在“llmModels”列表中添加qwen的参数
{ "model": "qwen", "name": "qwen", "maxContext": 32000, "maxResponse": 5000, "quoteMaxToken": 5000, "maxTemperature": 1.2, "charsPointsPrice": 0, "censor": false, "vision": false, "datasetProcess": true, "usedInClassify": true, "usedInExtractFields": true, "usedInToolCall": true, "usedInQueryExtension": true, "toolChoice": true, "functionCall": false, "customCQPrompt": "", "customExtractPrompt": "", "defaultSystemChatPrompt": "", "defaultConfig": {} },
修改之后,保存config.json文件!
然后从config.json文件所在的文件夹路径中,输入“cmd”打开一个cmd命令窗口,先后运行下面的两行代码
docker-compose pull docker-compose up -d
这样修改之后的config.json就已经生效了!然后就可以在FastGPT中调用新增加的qwen大模型了!
在FastGPT调用qwen大模型
在知识库中可以选择qwen作为文件处理模型
在应用功能中,可以选择qwen作为AI模型;
测试可以发现,FastGPT已经启用了qwen大模型来回答用户的提问!
原创文章,作者:朋远方,如若转载,请注明出处:https://caovan.com/windowswsldocker-desktopfastgptm3eoneapiqwen-14bbushubendeaizhishiku/.html