Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

Open WebUI使用指南

初始化设置

首次登录open webui需要注册一个账号,点击“Sign up”

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

填写“name”、“Email”、“Password”之后,点击“Create Account”,创建一个账户

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

初次登入系统默认是英文界面,可以通过“设置”-“General”-“Language”来设置为“Chinese(Simplified)”简体中文!保存设置!

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

下载模型

安装了open webui之后,我们就不需要从“cmd”命令窗口去下载模型了,可以通过“设置”中的“模型”选项,填写模型的tag,直接从open webui下载模型!

模型的保存路径为“root/.ollama/models/”

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

模型的tag查找方式与单独使用ollama下载模型的方法中提到的tag查找方法一致!

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

聊天

聊天界面的基本功能如下所示

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

案例展示:

一、调用“llama3-70B-Instruct”模型,实现纯文本聊天;

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

二、调用“codeqwen1.5-7b-chat-fp16”模型,写代码;

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

三、上传附件文档或者网址,实现RAG检索增强功能;

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

四、调用“llava-34B”多模态大模型,实现图片分析功能;

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

五、调用stable diffusion 的api接口,用LLM来指导SD直接在open webui中生成图片;

详细的配置流程我会另外出教程,由于篇幅问题我这里就不详细解释了!

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

总结

Ollama+Open WebUI的方案是一个非常卓越的整合方案,不仅可以本地统一管理和使用单模态和多模态的各种大模型,还可以本地整合LLM(大语言模型)和SD(稳定扩散模型)甚至是TTS(文本转语音)等各种AIGC程序和模型!是非常值得学习和熟练掌握的开源方案!

原创文章,作者:朋远方,如若转载,请注明出处:https://caovan.com/win10ollamaopen-webuibendebushullmllama3codeqwenllavadengyujiaohushikeshihualiaotianbendech/.html

Like (3)
Donate 微信扫一扫 微信扫一扫
朋远方的头像朋远方
Previous 2024年4月22日 上午10:52
Next 2024年4月24日 下午3:14

相关推荐

发表回复

Please Login to Comment

Comments(3)

  • Reon的头像
    Reon 2024年5月10日 上午9:13

    您好,想请问下,Win11是可以直接跳过”安装wsl”那一步吗?我安装完docker后,在cmd窗口输入“docker –version”显示了版本号,但是启动docker后,主界面显示“Docker Engine stopped”,请问这个正常吗?

    • 朋远方的头像
      朋远方 2024年5月10日 上午9:56

      @Reon如果能正常运行后面的步骤就不用管,如果不能运行后面的步骤你要手动去开启“适用于LInux的Windows子系统”这个服务

    • Reon的头像
      Reon 2024年5月10日 下午12:51

      @朋远方已成功部署,非常感谢!