Monthly Archives: 4 月 2024

在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。 说明：每次加载LLM示例后，建议清除缓存，以防止出现OutOfMemory错误。 del m…

什么是 FreeAskInternet FreeAskInternet 是一个完全免费、私有且本地运行的搜索聚合器，并使用 LLM 生成答案，无需 GPU。用户可以提出问题，系统将…

随着开源大模型雨后春笋一样的发布，怎样根据模型的参数量来计算所需要的显存成了很多小伙伴关心的话题！我们今天就一起来了解下这个知识！ 假如有一个块3090 24G的显卡，我比较关心的…

BrushNet 是一种基于扩散的文本引导图像修复模型，可以即插即用到任何预先训练的扩散模型中。具体是做什么的，你可以先看下面的视频 项目的github主页：https://git…