ollama+openwebui如何自定义模型的位置 | 减轻系统盘C盘的压力

在前面的文章里面我们讨论过ollama+openwebui组合强大功能,但是默认状况下如果通过ollama下载模型,模型会保存在“C:\Users\你的用户名\.ollama”路径下面,如果通过openwebui来下载模型,模型会以Linux的文件系统的形式保存在docker容器中,默认也是在C盘中!

这两种方式都会把模型保存在C盘,非常影响C盘的性能!那么如何解决这个问题呢?

要解决这个问题,我们需要安装如下的步骤来部署“ollama+openwebui”的组合!

要达到转移模型位置的目的,我们就需要用ollama来下载模型,而不是从openwebui界面去下载模型,并且我们要修改ollama默认的模型保存位置!

修改ollama模型保存路径

我们需要通过修改环境变量的方式来修改ollama的模型保存路径!

右键点击“此电脑”,选择“高级系统设置”

ollama+openwebui如何自定义模型的位置 | 减轻系统盘C盘的压力

然后点击“环境变量”

ollama+openwebui如何自定义模型的位置 | 减轻系统盘C盘的压力

点击“系统变量”下面的“新建(W)”按钮,变量名为“OLLAMA_MODELS”,变量值为你自定义的新的模型保存路径!

ollama+openwebui如何自定义模型的位置 | 减轻系统盘C盘的压力

通过ollama下载模型

鼠标右键点击开始菜单,选择“Windows PowerShell(I)”,打开一个powershell命令窗口!

ollama+openwebui如何自定义模型的位置 | 减轻系统盘C盘的压力

可以通过将ollama复制的模型的tag中的“run”修改为“pull”的方式来下载模型;

例如,我们从ollama网站复制的模型tag为

ollama run llama3

我们可以修改为来进行单纯的模型下载,而不用在模型下载完成后进入到聊天界面:

ollama pull llama3

下面的命令可以查看已经下载好的模型列表

ollama list

ollama+openwebui如何自定义模型的位置 | 减轻系统盘C盘的压力

重新安装openwebui容器

通过如下的命令来新建openwebui容器,就可以从openwebui中识别上面ollama下载好的模型

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway --gpus=all -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

我们可以看到下面的openwebui中可以自动显示上面我们通过ollama命令下载的所有模型了!

ollama+openwebui如何自定义模型的位置 | 减轻系统盘C盘的压力

此时我模型实际保存的位置在自定义的“M:\Ollama”路径,而不是在默认的“C:\Users\你的用户名\.ollama”路径,也不在docker容器中

模型在下面自定义的文件中!

ollama+openwebui如何自定义模型的位置 | 减轻系统盘C盘的压力

默认的模型路径已经看不到模型了

ollama+openwebui如何自定义模型的位置 | 减轻系统盘C盘的压力

在docker容器中也没有模型了

ollama+openwebui如何自定义模型的位置 | 减轻系统盘C盘的压力

这样一来就可以减轻系统盘C盘的压力了!

原创文章,作者:朋远方,如若转载,请注明出处:https://caovan.com/ollamaopenwebuiruhezidingyimoxingdeweizhi-jianqingxitongpancpandeyali/.html

(2)
打赏 微信扫一扫 微信扫一扫
朋远方的头像朋远方
上一篇 2024年4月24日 下午3:14
下一篇 2024年5月2日 上午10:07

相关推荐

发表回复

登录后才能评论