CUDA优化
-
RTX 2080Ti CAOVAN vLLM SM75 Turbo3 推理加速插件(v0.1.3版)从零安装教程
摘要:RTX 2080 Ti 虽然已经不是最新显卡,但其 22GB 显存版本依然适合本地运行中大型多模态模型。针对这张卡所属的 Turing SM75 架构,本站开发了 caova…
摘要:RTX 2080 Ti 虽然已经不是最新显卡,但其 22GB 显存版本依然适合本地运行中大型多模态模型。针对这张卡所属的 Turing SM75 架构,本站开发了 caova…