修改requirements.txt文件

在文件夹中找到并用记事本打开requirements.txt文件，在末尾添加上下面这些库的名称，修改好后记得保存文件！

auto-gptq
optimum
fastapi
uvicorn
openai
pydantic>=2.3.0
sse_starlette

配置虚拟环境

我们可以通过conda来新建一个虚拟环境，打开文件夹，在路径栏输入“cmd”命令，打开一个命令窗口，在窗口输入如下的命令：

conda create -n qwen python=3.10

激活虚拟环境

conda activate qwen

安装依赖

pip install -r requirements.txt

安装依赖的过程可能会花点时间，你需要耐心等待所有的依赖库文件安装完成！

如果你身处中国大陆境内，对github的访问不是很流畅的情况下，你可以开启VPN再运行安装命令！

新建bat启动文件

在文件夹中新建一个txt文件，然后将它改名为“xxx.bat”，这里的xxx你可以自由发挥，自己好记就行！

然后用右键点击该bat文件，选择“编辑”，用记事本打开该bat文件，输入如下的内容：

@echo off
chcp 65001 >null
echo 启动中，请耐心等待
call conda activate qwen
python openai_api.py --checkpoint-path "M:\LLM\Qwen-14B-Chat-Int4" --server-port 8001 --server-name "0.0.0.0"
pause

其中的”M:\LLM\Qwen-14B-Chat-Int4″修改为你自己实际的权重文件的路径！

然后保存文件，双击该文件即可运行api文件！

在oneapi新建一个渠道

怎样安装和启动oneapi请参考上一篇文章，这里不再重复讲解！

为Qwen模型新建一个渠道，参数设置如下

其中的代理地址中的IP地址，要修改为你自己实际的IPV4地址！

提交保存之后进行测试，看是否成功！

如果显示的内容像我这样“通道qwen测试成功，耗时…”，则说明渠道配置已经成功了！

修改config.json文件

用记事本打开config.json文件，在“llmModels”列表中添加qwen的参数

 {
"model": "qwen",
"name": "qwen",
"maxContext": 32000,
"maxResponse": 5000,
"quoteMaxToken": 5000,
"maxTemperature": 1.2,
"charsPointsPrice": 0,
"censor": false,
"vision": false,
"datasetProcess": true,
"usedInClassify": true,
"usedInExtractFields": true,
"usedInToolCall": true,
"usedInQueryExtension": true,
"toolChoice": true,
"functionCall": false,
"customCQPrompt": "",
"customExtractPrompt": "",
"defaultSystemChatPrompt": "",
"defaultConfig": {}
},

修改之后，保存config.json文件！

然后从config.json文件所在的文件夹路径中，输入“cmd”打开一个cmd命令窗口，先后运行下面的两行代码

docker-compose pull
docker-compose up -d

这样修改之后的config.json就已经生效了！然后就可以在FastGPT中调用新增加的qwen大模型了！

在FastGPT调用qwen大模型

在知识库中可以选择qwen作为文件处理模型

在应用功能中，可以选择qwen作为AI模型；

测试可以发现，FastGPT已经启用了qwen大模型来回答用户的提问！

• 上一页
• 1
• 2