ChatGLM3-6B本地部署教程

ChatGLM3介绍

ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型,在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上,ChatGLM3-6B 引入了如下特性:

  1. 更强大的基础模型: ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示,ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能
  2. 更完整的功能支持: ChatGLM3-6B 采用了全新设计的 Prompt 格式,除正常的多轮对话外。同时原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务等复杂场景。
  3. 更全面的开源序列: 除了对话模型 ChatGLM3-6B 外,还开源了基础模型 ChatGLM3-6B-Base、长文本对话模型 ChatGLM3-6B-32K。以上所有权重对学术研究完全开放,在填写问卷进行登记后亦允许免费商业使用

模型列表

Model Seq Length Download
ChatGLM3-6B 8k HuggingFace | ModelScope
ChatGLM3-6B-Base 8k HuggingFace | ModelScope
ChatGLM3-6B-32K 32k HuggingFace | ModelScope

ChatGLM3-6B本地部署教程

ChatGLM3-6B本地部署教程

使用方式

首先本机需要提前安装好conda和git,这个内容具体的安装方法参考《VideoReTalking对嘴型AI工具windows本地部署教程》这篇文章中关于git和conda的安装部分内容!

环境安装

首先需要下载本仓库:

在指定文件夹空白处右键选择“Git Bash Here”,然后在git窗口输入如下的命令将项目克隆到本地:

git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3

然后使用 pip 安装依赖:

pip install -r requirements.txt
  • transformers 库版本应该 4.30.2 以及以上的版本 ,torch 库版本应为 2.0 及以上的版本,以获得最佳的推理性能。
  • 为了保证 torch 的版本正确,请严格按照 官方文档 的说明安装。
  • gradio 库版本应该为 3.x 的版本。

ChatGLM3-6B本地部署教程

原创文章,作者:朋远方,如若转载,请注明出处:https://caovan.com/chatglm3-6bbendebushujiaocheng/.html

(0)
打赏 微信扫一扫 微信扫一扫
朋远方的头像朋远方
上一篇 2023年11月16日 下午4:13
下一篇 2023年12月1日 下午12:01

相关推荐

发表回复

登录后才能评论