FreeAskInternet本地部署教程 | LLM搜索聚合器 | 无需GPU

什么是 FreeAskInternet

FreeAskInternet 是一个完全免费、私有且本地运行的搜索聚合器,并使用 LLM 生成答案,无需 GPU。用户可以提出问题,系统将使用searxng进行多引擎搜索,并将搜索结果合并到ChatGPT3.5 LLM中,并根据搜索结果生成答案。所有进程都在本地运行,不需要 GPU 或 OpenAI 或 Google API 密钥。

特征

  • 🈚️完全免费(不需要任何API密钥)
  • 💻 完全本地化(无需GPU,任何计算机都可以运行)
  • 🔐完全私有(所有东西都在本地运行)
  • 👻 无需 LLM 硬件即可运行(无需 GPU!)
  • 🤩 使用免费的 ChatGPT3.5 API(无需 API 密钥!感谢 OpenAI)
  • 🚀 使用 Docker Compose 快速轻松地部署
  • 🌐 Web 和移动设备友好界面,允许从任何设备轻松访问(Thx ChatGPT-Next-Web)

怎么运行的?

  1. 系统在ChatGPT-Next-Web(本地运行)中获取用户输入的问题,并调用searxng(本地运行)在多个搜索引擎上进行搜索。
  2. 抓取搜索结果链接内容并传递给ChatGPT3.5(使用OpenAI ChatGPT3.5,通过本地运行的FreeGPT35),让ChatGPT3.5根据此内容作为参考回答用户问题。
  3. 将答案流式传输至 ChatGPT-Next-Web 聊天 UI。

FreeAskInternet的GitHub主页:https://github.com/nashsu/FreeAskInternet

FreeAskInternet本地部署教程 | LLM搜索聚合器 | 无需GPU

本地部署流程(以Windows10为例)

本项目是在docker中来部署的,因此在本地部署之前,你需要先安装好wsl和docker desktop,如果还不知道怎么安装wsl和docker desktop的,请参考《Windows+WSL+Docker Desktop+FastGPT+m3e+oneapi+ChatGLM3部署本地AI知识库》这篇文章中的前面两个章节!

克隆仓库

运行docker desktop之后,在文件夹的空白处点击鼠标右键,选择“Git Bash Here”,在弹出的Git命令窗口输入如下的命令:

git clone https://github.com/nashsu/FreeAskInternet.git

命令会自动将项目文件夹克隆到本地

部署项目

进入到刚刚下载的文件中,在文件夹的路径栏输入“cmd”,回车,打开一个cmd命令窗口,在这个cmd命令窗口输入如下的命令:

docker-compose up -d

该命令会自动将项目部署完成,完成之后你就可以在docker desktop中看到该容器

FreeAskInternet本地部署教程 | LLM搜索聚合器 | 无需GPU

运行

在docker desktop中,freeaskinternet容器处于运行状态的情况下,我们可以打开一个浏览器,输入“http://localhost:3000”,就可以进入到该项目的主页了!

需要注意的是:

一、该项目会调用chatGPT3.5的api接口,因此你需要科学上网,并且你的IP地址是可以正常访问openai的(并不是所有的科学上网都可以访问openai)!

二、该项目目前还在测试阶段,因此可能会有其他的报错;

原创文章,作者:朋远方,如若转载,请注明出处:https://caovan.com/freeaskinternetbendebushujiaocheng-llmsousuojuheqi-wuxugpu/.html

(0)
打赏 微信扫一扫 微信扫一扫
朋远方的头像朋远方
上一篇 2024年4月6日 上午8:56
下一篇 2024年4月7日 下午12:36

相关推荐

发表回复

登录后才能评论