CPU GPU 混合推理
-
Ubuntu 22.04 本地部署 DeepSeek-V4-Flash：1张 RTX 2080Ti 22G + 256G内存用 fastllm 实测 13+ tokens/s
前言 如果想在本地低成本运行大模型，很多人第一反应是必须上 H100、H200 或多张 4090。但对于 MoE 架构模型，除了传统的“全显卡推理”路线，还有一种更适合低成本服务器…
前言 如果想在本地低成本运行大模型，很多人第一反应是必须上 H100、H200 或多张 4090。但对于 MoE 架构模型，除了传统的“全显卡推理”路线，还有一种更适合低成本服务器…
