大语言模型量化

• 人工智能

  GPTQ、GGUF、AWQ 大语言模型量化方法对比（转载）

  在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。 说明：每次加载LLM示例后，建议清除缓存，以防止出现OutOfMemory错误。 del m…

  朋远方

  2024年4月7日

  003980