RTX 2080 Ti
-
Caovan vLLM SM75 Turbo3 v0.4.33 技术报告
从 FlashQLA 参考路线到自研 GDNCore Real Prefill 的阶段性演进 摘要 Caovan vLLM SM75 Turbo3 external plugin …
-
RTX 2080Ti CAOVAN vLLM SM75 Turbo3 推理加速插件(v0.1.3版)从零安装教程
摘要:RTX 2080 Ti 虽然已经不是最新显卡,但其 22GB 显存版本依然适合本地运行中大型多模态模型。针对这张卡所属的 Turing SM75 架构,本站开发了 caova…
-
Ubuntu 22.04 使用 llama.cpp 部署 Qwopus3.6-27B-v2-MTP-GGUF:双张 2080 Ti 跑通 262K 上下文与 MTP 加速实测
最近我在 Ubuntu 22.04 服务器上测试了一款比较有意思的 GGUF 大模型:Qwopus3.6-27B-v2-MTP-GGUF。 这个模型基于 Qwen3.6-27B,重…