Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

在Windows安装Open WebUI

本教程以Windows10为例,如果你是Windows11,下面关于wsl的步骤略有不同,Windows11不需要单独安装wsl,请注意!

安装wsl

1、鼠标右键点击开始按钮,选择“Windows PowerShell(管理员)”选项,用管理员的方式打开powershell;

2、在powershell输入如下的命令:

wsl --install -d Ubuntu

这条命令会让系统将ubuntu系统安装到你的windows电脑中,由于我已经安装过了,所以显示ubuntu已经安装!

检查wsl是否安装成功,可以随便打开一个cmd命令窗口,输入“wsl”命令,如果显示wsl的相关信息,就证明安装成功了,否则会报错提示没有这个命令!

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

安装Docker Desktop

可以直接下载安装文件进行安装,文件下载地址:https://www.docker.com/products/docker-desktop/

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

在下拉选框中选择windows的安装文件下载,下载完成之后双击安装即可!

检查是否安装成功可以打开一个cmd窗口,或者powershell窗口,输入“docker –version”,如果可以正常显示docker的版本信息,则说明安装已经成功!

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

docker默认是安装在C盘中,docker运行时下载的程序镜像文件也是保存在C盘! 在windows10下docker下载的镜像文件默认保存在“C:Users用户名AppDataLocalDockerwsl”文件夹中;

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

如果你需要在docker中运行的程序较多的话,一定要保证C盘有充足的磁盘空间!也可以通过Docker Desktop经常将docker中没用的镜像文件及时删除!

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

当然,你也可以通过cmd命令来删除指定的文件

删除停止的容器

docker container prune

删除未被任何容器引用的镜像

docker image prune -a

删除未使用的网络

docker network prune

删除未使用的卷

docker volume prune

一键清除所有未使用的对象(包括镜像、容器、卷和网络):

docker system prune -a

安装Open WebUI

在docker desktop处于运行状态的情况下,随便打开一个cmd命令窗口,然后输入如下的命令来安装open webui

使用CPU运行

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

使用GPU运行

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway --gpus=all -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

安装完成之后,可以通过本地地址:http://127.0.0.1:3000 进行访问

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

原创文章,作者:朋远方,如若转载,请注明出处:https://caovan.com/win10ollamaopen-webuibendebushullmllama3codeqwenllavadengyujiaohushikeshihualiaotianbendech/.html

(2)
打赏 微信扫一扫 微信扫一扫
朋远方的头像朋远方
上一篇 2024年4月22日 上午10:52
下一篇 2024年4月24日 下午3:14

相关推荐

发表回复

登录后才能评论

评论列表(3条)

  • Reon的头像
    Reon 2024年5月10日 上午9:13

    您好,想请问下,Win11是可以直接跳过”安装wsl”那一步吗?我安装完docker后,在cmd窗口输入“docker –version”显示了版本号,但是启动docker后,主界面显示“Docker Engine stopped”,请问这个正常吗?

    • 朋远方的头像
      朋远方 2024年5月10日 上午9:56

      @Reon如果能正常运行后面的步骤就不用管,如果不能运行后面的步骤你要手动去开启“适用于LInux的Windows子系统”这个服务

    • Reon的头像
      Reon 2024年5月10日 下午12:51

      @朋远方已成功部署,非常感谢!