Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

Ollama

Ollama介绍

ollama是一个开源大模型综合管理和使用平台,不仅单模态模型,还支持多模态模型,以及正在开发支持扩散模型!

ollama目前在macOS、Linux、Windows上都可以运行使用!

官方地址:https://ollama.com/

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

在Windows安装Ollama

直接从下载页面下载相对应的安装程序,Windows安装程序选择Windows的安装包,点击“Download for Windows(Preview)”

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

下载下来之后是一个exe的安装文件,双击安装即可!

安装完成之后,打开一个cmd命令窗口,输入“ollama”命令,如果显示ollama相关的信息就证明安装已经成功了!

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

单独使用ollama下载模型

为什么说是单独使用ollama呢,这是因为我们后面会讲和open webui结合使用的方法!

事实上我们安装ollama完成之后,只需要下载大模型,便可以直接通过cmd命令提示窗口来与大模型进行交互了!只不过这种方式体验感不好,我们后面会介绍我们熟悉的类ChatGPT的网页交互的方式。

如果你想了解从cmd命令窗口和大模型交互的方式,你可以继续往下看,否则你可以直接跳到文章后面关于Open webui的介绍章节去!

Ollama的模型库提供了多种大型语言模型供用户选择。你可以通过访问Ollama模型库来找到并下载你需要的模型。

模型库的地址:https://ollama.com/library

1.从模型库选择一个模型

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

2.选择一个版本,然后点击后面的复制命令按钮

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

3.直接将复制的命令粘贴到cmd命令窗口,回车执行即可进入到模型的下载过程!

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

单独使用ollama与大模型交互

ollama的大模型默认保存的路径是:

macOS: ~/.ollama/models.

Linux: /usr/share/ollama/.ollama/models.

Windows: C:Users<username>.ollamamodels

可以通过如下的命令来查看模型列表

ollama list
PS C:UsersAdmin> ollama list
NAME ID SIZE MODIFIED
gemma:2b b50d6c999e59 1.7 GB About an hour ago
llama2:latest 78e26419b446 3.8 GB 9 hours ago
qwen:latest d53d04290064 2.3 GB 8 hours ago
PS C:UsersAdmin>

通过ollama run命令,你可以运行特定的模型。例如,ollama run qwen将启动qwen模型。

Win10+Ollama+Open webui本地部署LLM(llama3/Codeqwen/llava等)与交互式可视化聊天|本地ChatGPT|SD整合方案

原创文章,作者:朋远方,如若转载,请注明出处:https://caovan.com/win10ollamaopen-webuibendebushullmllama3codeqwenllavadengyujiaohushikeshihualiaotianbendech/.html

Like (3)
Donate 微信扫一扫 微信扫一扫
朋远方的头像朋远方
Previous 2024年4月22日 上午10:52
Next 2024年4月24日 下午3:14

相关推荐

发表回复

Please Login to Comment

Comments(3)

  • Reon的头像
    Reon 2024年5月10日 上午9:13

    您好,想请问下,Win11是可以直接跳过”安装wsl”那一步吗?我安装完docker后,在cmd窗口输入“docker –version”显示了版本号,但是启动docker后,主界面显示“Docker Engine stopped”,请问这个正常吗?

    • 朋远方的头像
      朋远方 2024年5月10日 上午9:56

      @Reon如果能正常运行后面的步骤就不用管,如果不能运行后面的步骤你要手动去开启“适用于LInux的Windows子系统”这个服务

    • Reon的头像
      Reon 2024年5月10日 下午12:51

      @朋远方已成功部署,非常感谢!