草凡博客
人工智能
AI绘画
自然语言处理
语音处理
Prompt
互联网
行业资讯
SEO专区
跨境电商
资源
商店
远程协助
问答墙
登录
注册
投稿
大语言模型量化
人工智能
GPTQ、GGUF、AWQ 大语言模型量化方法对比(转载)
在本文中,我们将探讨几种(量化)的方式,除此以外,还会介绍分片及不同的保存和压缩策略。 说明:每次加载LLM示例后,建议清除缓存,以防止出现OutOfMemory错误。 del m…
朋远方
2024年4月7日
0
0
627
0