本地大模型

本文详细介绍 Caovan vLLM SM75 Turbo3 v0.4.33 的安装与使用方法，适用于 2×RTX 2080Ti 22G / SM75 显卡运行 Qwen3.6-2…

摘要：RTX 2080 Ti 虽然已经不是最新显卡，但其 22GB 显存版本依然适合本地运行中大型多模态模型。针对这张卡所属的 Turing SM75 架构，本站开发了 caova…

最近我在 Ubuntu 22.04 服务器上测试了一款比较有意思的 GGUF 大模型：Qwopus3.6-27B-v2-MTP-GGUF。 这个模型基于 Qwen3.6-27B，重…