2080ti 22G
-
Ubuntu 22.04 本地部署 DeepSeek-V4-Flash：1张 RTX 2080Ti 22G + 256G内存用 fastllm 实测 13+ tokens/s
前言 如果想在本地低成本运行大模型，很多人第一反应是必须上 H100、H200 或多张 4090。但对于 MoE 架构模型，除了传统的“全显卡推理”路线，还有一种更适合低成本服务器…
-
Ubuntu22.04+4x2080Ti22G+vLLM+Qwen3.6-27B-AWQ-INT4 部署教程
本文记录了一次在 Ubuntu 22.04 环境下，使用 4 张 RTX 2080Ti 22G 显卡 部署 vLLM 推理服务 并运行 Qwen3.6-27B-AWQ-INT4 模…
-
在4卡2080Ti 22G的Ubuntu服务器上流畅运行DeepSeek-R1-Distill-Qwen-32B
操作系统版本：Ubuntu 22.04 显卡类型：4 x 2080Ti 22G 魔改版 CUDA版本：12.4 模型下载地址：https://modelscope.cn/model…
-
4张定制版22G 2080ti 搭建AI服务器 用vllm框架跑Qwen1.5-110B模型非常丝滑！
操作系统和显卡/nvlink 服务器的系统采用Ubuntu22.04 显卡驱动选择“使用 NVIDIA driver metapackage 来自 nvidia-driver-53…
