推理加速
-
RTX 2080 Ti 本地大模型推理提速近50%：Caovan vLLM SM75 Turbo3 外部插件安装教程（Qwen3.6 / MTP）
摘要：RTX 2080 Ti 虽然属于较早的 Turing 架构显卡，但在本地大模型推理中依然具备很高的使用价值。针对这张显卡的 SM75 架构，本站开发了 caovan vLLM…
摘要：RTX 2080 Ti 虽然属于较早的 Turing 架构显卡，但在本地大模型推理中依然具备很高的使用价值。针对这张显卡的 SM75 架构，本站开发了 caovan vLLM…
