Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

Open WebUI

Open WebUI介绍

open webui程序官网:https://openwebui.com/

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

open webui GitHub主页:https://github.com/open-webui/open-webui

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 WebUI,旨在完全离线操作。它支持各种 LLM 运行程序,包括 Ollama 和 OpenAI 兼容的 API。还可以通过AUTOMATIC1111和ComfyUI的API来整合稳定扩散模型,实现LLM指导SD来生成图片!

特点⭐

  • 🖥️直观的界面:我们的聊天界面从 ChatGPT 中汲取灵感,确保用户友好的体验。

  • 📱响应式设计:在桌面和移动设备上享受无缝体验。

  • 快速响应:享受快速响应的性能。

  • 🚀轻松设置:使用 Docker 或 Kubernetes(kubectl、kustomize 或 helm)无缝安装,以获得无忧体验。

  • 🌈主题定制:从各种主题中进行选择,个性化您的 Open WebUI 体验。

  • 💻代码语法突出显示:通过我们的语法突出显示功能增强代码的可读性。

  • ✒️🔢完整的 Markdown 和 LaTeX 支持:通过全面的 Markdown 和 LaTeX 功能来丰富交互,提升您的 LLM 体验。

  • 📚本地 RAG 集成:通过突破性的检索增强生成 (RAG) 支持深入了解聊天交互的未来。此功能将文档交互无缝集成到您的聊天体验中。您可以将文档直接加载到聊天中或将文件添加到文档库中,使用#提示中的命令轻松访问它们。在 alpha 阶段,当我们积极完善和增强此功能以确保最佳性能和可靠性时,可能会偶尔出现问题。

  • 🔍 RAG 嵌入支持:直接在文档设置中更改 RAG 嵌入模型,增强文档处理。此功能支持 Ollama 和 OpenAI 模型。

  • 🌐网页浏览功能#:使用URL 后的命令将网站无缝集成到您的聊天体验中。此功能允许您将网络内容直接合并到您的对话中,从而增强交互的丰富性和深度。

  • 📜提示预设支持/:使用聊天输入中的命令立即访问预设提示。轻松加载预定义的对话开头并加快您的互动。通过Open WebUI Community集成轻松导入提示。

  • 👍👎 RLHF 注释:通过对消息进行“赞成”和“反对”评级来增强您的消息,然后选择提供文本反馈,从而促进根据人类反馈 (RLHF) 创建强化学习数据集。利用您的消息来训练或微调模型,同时确保本地保存数据的机密性。

  • 🏷️对话标记:轻松分类和定位特定聊天,以便快速参考和简化数据收集。

  • 📥🗑️下载/删除模型:直接从 Web UI 轻松下载或删除模型。

  • 🔄更新所有 Ollama 模型:使用方便的按钮一次轻松更新本地安装的模型,简化模型管理。

  • ⬆️ GGUF 文件模型创建:通过直接从 Web UI 上传 GGUF 文件,轻松创建 Ollama 模型。简化的流程,可选择从您的计算机上传或从 Hugging Face 下载 GGUF 文件。

  • 🤖多模型支持:不同聊天模型之间无缝切换,实现多样化交互。

  • 🔄多模式支持:与支持多模式交互的模型无缝交互,包括图像(例如 LLava)。

  • 🧩模型文件生成器:通过 Web UI 轻松创建 Ollama 模型文件。通过开放 WebUI 社区集成轻松创建和添加角色/代理、自定义聊天元素以及导入模型文件。

  • ⚙️多个模特对话:轻松地同时与多个模特互动,利用他们的独特优势来获得最佳响应。通过并行利用一组不同的模型来增强您的体验。

  • 💬协作聊天:通过无缝编排群组对话来利用多个模型的集体智慧。使用@命令指定模型,在聊天界面中启用动态且多样化的对话。让自己沉浸在聊天环境中的集体智慧中。

  • 🗨️本地聊天共享:在用户之间无缝生成和共享聊天链接,增强协作和沟通。

  • 🔄再生历史访问:轻松重新访问和探索您的整个再生历史。

  • 📜聊天历史记录:轻松访问和管理您的对话历史记录。

  • 📬存档聊天:轻松存储与法学硕士的完整对话以供将来参考,保持聊天界面整洁有序,同时方便检索和参考。

  • 📤📥导入/导出聊天历史记录:将您的聊天数据无缝移入和移出平台。

  • 🗣️语音输入支持:通过语音交互与您的模型互动;享受直接与模特交谈的便利。此外,探索在 3 秒静音后自动发送语音输入的选项,以获得简化的体验。

  • 🔊可配置的文本转语音端点:使用可配置的 OpenAI 端点自定义您的文本转语音体验。

  • ⚙️使用高级参数进行微调控制:通过调整温度等参数和定义系统提示来获得更深层次的控制,以根据您的特定偏好和需求定制对话。

  • 🎨🤖图像生成集成:使用 AUTOMATIC1111 API(本地)、ComfyUI(本地)和 DALL-E 等选项无缝集成图像生成功能,通过动态视觉内容丰富您的聊天体验。

  • 🤝 OpenAI API 集成:轻松集成 OpenAI 兼容 API,与 Ollama 模型进行多功能对话。自定义 API 基本 URL 以链接到LMStudio、Mistral、OpenRouter 等

  • 多种 OpenAI 兼容 API 支持:无缝集成和定制各种 OpenAI 兼容 API,增强聊天交互的多功能性。

  • 🔑 API 密钥生成支持:生成密钥以利用 Open WebUI 和 OpenAI 库,简化集成和开发。

  • 🔗外部 Ollama 服务器连接:通过配置环境变量无缝链接到托管在不同地址上的外部 Ollama 服务器。

  • 🔀多个 Ollama 实例负载平衡:轻松地在多个 Ollama 实例之间分配聊天请求,以增强性能和可靠性。

  • 👥多用户管理:通过我们直观的管理面板轻松监督和管理用户,简化用户管理流程。

  • 🔗 Webhook 集成:通过 webhook 订阅新用户注册事件(兼容 Google Chat 和 Microsoft Teams),提供实时通知和自动化功能。

  • 🛡️模型白名单:管理员可以将具有“用户”角色的用户的模型列入白名单,从而增强安全性和访问控制。

  • 📧可信电子邮件身份验证:使用可信电子邮件标头进行身份验证,添加额外的安全和身份验证层。

  • 🔐基于角色的访问控制(RBAC):通过受限的权限确保安全访问;只有经过授权的个人才能访问您的 Ollama,并且为管理员保留专有的模型创建/拉取权限。

  • 🔒后端反向代理支持:通过 Open WebUI 后端和 Ollama 之间的直接通信增强安全性。这一关键功能消除了通过 LAN 公开 Ollama 的需要。从 Web UI 向“/ollama/api”路由发出的请求会从后端无缝重定向到 Ollama,从而增强整体系统安全性。

  • 🌐🌍多语言支持:借助我们的国际化 (i18n) 支持,以您喜欢的语言体验开放式 WebUI。加入我们,扩展我们支持的语言!我们正在积极寻找贡献者!

  • 🌟持续更新:我们致力于通过定期更新和新功能来改进 Open WebUI。

原创文章,作者:朋远方,如若转载,请注明出处:https://caovan.com/win10ollamaopen-webuibendebushullmllama3codeqwenllavadengyujiaohushikeshihualiaotianbendech/.html

(2)
打赏 微信扫一扫 微信扫一扫
朋远方的头像朋远方
上一篇 2024年4月22日 上午10:52
下一篇 2024年4月24日 下午3:14

相关推荐

发表回复

登录后才能评论

评论列表(3条)

  • Reon的头像
    Reon 2024年5月10日 上午9:13

    您好,想请问下,Win11是可以直接跳过”安装wsl”那一步吗?我安装完docker后,在cmd窗口输入“docker –version”显示了版本号,但是启动docker后,主界面显示“Docker Engine stopped”,请问这个正常吗?

    • 朋远方的头像
      朋远方 2024年5月10日 上午9:56

      @Reon如果能正常运行后面的步骤就不用管,如果不能运行后面的步骤你要手动去开启“适用于LInux的Windows子系统”这个服务

    • Reon的头像
      Reon 2024年5月10日 下午12:51

      @朋远方已成功部署,非常感谢!