SGLang SM75 加速器

SGLang SM75 推理加速器采用账号授权、设备绑定与在线安装相结合的商业授权方式。 用户可通过单独购买产品授权，或在当前会员等级满足产品权益要求时获得使用资格。 实际售价、会员等级要求、授权期限和最大授权设备数量，以产品购买页面当前显示为准。

产品标识

SGLang SM75 推理加速器拥有独立的授权产品标识， 授权服务器会通过产品、用户、设备和安装实例等信息确认当前授权是否与本产品匹配。

单独购买授权

用户可单独购买本产品。 付款成功并取得有效产品授权后，即可在购买页面或个人中心生成在线安装命令。 授权期限及可绑定设备数量，以购买时页面展示的实际配置为准。

会员权益授权

符合本产品指定会员等级的用户，可在会员有效期内享受对应的软件使用权益。 系统会在生成安装命令前实时确认当前会员资格， 会员等级或有效期不再满足要求时，将停止继续签发新的安装凭证。

短期安装命令

为了保护商业程序，正式版本不向用户公开永久 ZIP 下载地址。 拥有有效授权的账号可以在产品页面或个人中心生成短期在线安装命令。 安装凭证具有有效时间限制，过期后需要重新生成。

双重授权校验

生成安装命令时，授权服务器会首先验证当前账号是否拥有本产品权限； 安装命令在 Ubuntu 服务器执行时还会再次校验产品授权、设备和安装资格。 即使安装命令被复制到其他账号或未经授权的设备，也不能因此自动获得产品授权。

设备绑定

商业授权采用设备绑定机制。 正式安装后，系统会根据服务器硬件生成稳定设备指纹，并与当前授权建立关联。 可同时授权的设备数量以购买页面显示的授权规则为准。

本地签名授权凭证

产品使用由服务器签发的数字签名授权凭证。 本地客户端会验证产品、设备、实例和授权有效期， 避免单纯依赖一个可以被人工修改的本地配置文件。

在线续验与离线宽限

系统会按照低频策略与官方授权服务器进行续验。 网络发生短暂异常时，只要本地签名 Lease 仍处于允许的有效范围， 已经正常授权的服务器可以继续运行，降低临时网络故障对本地 AI 服务的影响。

在线升级

授权有效期间，可通过内置更新命令连接 CAOVAN 私有 Release Gateway 获取适用于当前产品的正式版本。 更新包会执行 SHA-256、ZIP CRC、路径安全和文件结构等完整性检查后再进入升级流程。

版本回滚

正常安装和升级默认保留当前运行版本以及一个完整回滚版本。 如新版本出现环境兼容问题，可通过内置 rollback 功能恢复上一完整版本， 降低服务器程序升级带来的运维风险。

授权失效

会员权益到期、单独购买授权失效、设备授权被撤销或其他授权条件不再满足时， 服务器将停止获得新的商业授权续验。 恢复符合条件的授权后，可按照系统提供的授权流程继续使用。

账号专属

购买记录、会员权益、Install Ticket 和设备授权均与对应账号关联。 请勿公开安装命令、授权凭证、设备授权信息或其他商业交付数据。

禁止破解与绕过授权

未经许可，不得移除或绕过授权检查、伪造授权凭证、修改授权状态、 提取私有安装包、公开私有 Release Gateway 地址， 或通过其他方式规避正常购买及会员授权机制。

特别说明： 产品价格、会员等级、授权期限、设备数量、安装凭证有效期以及其他授权权益， 均以购买页面和授权服务器当前实际配置为准。

关于 RTX 2080 Ti、Qwen3.8、SGLang、多 GPU、NVLink、MTP、262K 上下文、 安装授权和运行环境的常见问题说明。

SGLang SM75 推理加速器是什么？

它是一套针对 NVIDIA Turing / SM75 GPU 打造的大模型推理优化和运行管理方案。 除了安装 SGLang，还包含经过验证的 Runtime Profile、SM75 专项优化、多 GPU 策略、 MTP、AutoMem、拓扑识别、授权、在线更新、回滚及故障诊断等完整能力。

主要针对什么显卡？

当前商业版本重点针对 RTX 2080 Ti / SM75 平台进行开发和验证， 尤其适合经过扩容的 22GB RTX 2080 Ti。 其他 GPU 即使能够运行，也不代表已经获得与验证环境相同的兼容性和性能认证。

支持几张 RTX 2080 Ti？

目前重点支持 TP2 与 TP4，也就是双卡和四卡推理。 程序会根据实际选择的 GPU 生成对应运行策略。

必须使用 NVLink 吗？

不是。 程序支持无 NVLink、部分 NVLink 和双组 NVLink 等多种拓扑。 不过在多 GPU 推理中，NVLink 可以减少部分跨卡通信成本， 具体收益会随着模型、请求和 GPU 拓扑不同而变化。

4 张 RTX 2080 Ti 可以使用两组 NVLink 吗？

可以。 例如 GPU0↔GPU1、GPU2↔GPU3 组成两组 NVLink， 程序可以识别这种 TP4 / Dual NVLink 拓扑并用于对应运行策略。

支持 Qwen3.8-27B-AWQ-INT4 吗？

支持。 Qwen3.8-27B-AWQ-INT4 是本产品重点适配和验证的模型类型之一， 包括多 GPU、MTP、Thinking、长上下文和 OpenAI Compatible API 等运行场景。

推理速度可以达到多少？

实际 TPS 会受到 GPU 数量、NVLink、MTP、Thinking 模式、输入长度、 输出内容、采样参数、模型版本和客户端请求方式等因素影响。 在 4× RTX 2080 Ti 22GB、Qwen3.8-27B-AWQ-INT4 的实际优化环境中， 特定任务峰值已经达到 130+ TPS。 该数值属于特定环境和工作负载下的实测峰值，不代表所有请求都会固定达到相同速度。

为什么不同问题的 TPS 差别很大？

这是正常现象。 代码生成、中文推理、简单问答、长上下文、Thinking 深度和 MTP 接受率都会影响实时生成速度。 因此更合理的方式是观察连续工作负载下的平均性能和稳定性，而不是只比较单个瞬时 TPS。

支持多大的上下文？

Validated Runtime Profile 支持最高 262144 Token 上下文。 实际可用长度仍会受到模型本身、GPU 显存占用、输入类型和运行参数影响。

支持 MTP 吗？

支持。 TP2 默认推荐固定 MTP4，TP4 默认推荐固定 MTP5， 同时也提供其他固定策略和 AutoMTP 选择。

MTP 是什么？

MTP 可以理解为模型在一次生成过程中尝试预测多个后续 Token， 经过目标模型验证后一次接受其中多个结果。 当接受率较高时，可以明显提升实际生成吞吐。

支持 Thinking 模式吗？

支持。 针对 Qwen3.8 提供 Off、Low、Medium 和 XHigh 等思考策略， 可以根据任务复杂度在速度和推理深度之间进行选择。

支持图片识别吗？

支持适配模型自身提供的多模态能力。 产品已经针对 Qwen3.8 多模态运行路径进行兼容和显存优化， 具体能够处理的图片类型和理解能力仍由所加载模型决定。

可以连接 Page Assist 或其他聊天客户端吗？

可以。 启动完成后提供 OpenAI Compatible API， 可供 Page Assist、Open WebUI、Cherry Studio、One API、New API 以及其他支持 OpenAI API 格式的软件使用。

可以作为局域网 AI 服务器吗？

可以。 服务可以监听指定网络地址和端口， 让局域网电脑、手机、浏览器或其他应用调用服务器上的本地大模型。 开放公网访问时则应自行增加反向代理、认证、防火墙和 HTTPS 等安全措施。

安装需要自己配置 SGLang、Torch 和 CUDA 吗？

正常商业安装不需要用户自行组合整套 Python 推理环境。 产品使用经过验证并锁定的 Runtime Profile， 安装器会按照产品所需版本部署对应运行环境。

为什么要锁定 Runtime 版本？

大模型推理性能和稳定性高度依赖 PyTorch、SGLang、Triton、 FlashInfer、Humming、Transformers 等组件之间的版本组合。 随意升级其中一个组件，都可能带来兼容性、数值或性能问题， 因此本产品将经过验证的完整依赖组合视为产品的一部分。

目前验证的操作系统是什么？

当前 Validated Runtime Profile 以 Ubuntu 22.04、Python 3.10 和 NVIDIA SM75 环境为主要验证平台。 正式部署建议尽量使用接近官方验证环境的系统配置。

安装需要 sudo 吗？

产品运行环境主要安装在用户目录中，设计目标是尽量减少对系统环境的侵入。 具体是否需要系统级操作，应根据 NVIDIA 驱动及服务器当前环境决定； 产品自身的正常 Runtime 部署不依赖通过 sudo 修改大量系统 Python 包。

购买后怎样安装？

购买成功或当前会员等级满足本产品权益要求后， 登录产品购买页面或个人中心即可生成短期 Linux 在线安装命令。 复制到符合要求的 Ubuntu 服务器执行，即可进入自动安装流程。

安装命令可以一直使用吗？

不可以。 在线安装命令使用短期 Install Ticket， 仅在规定时间内有效。 过期后，只需在账号仍然具有产品权限的情况下重新生成即可。

会员到期后会怎样？

如果软件权限来自会员权益，会员等级或有效期不再满足产品要求后， 将无法继续生成新的会员权益安装凭证或获得新的授权续验。 重新恢复符合要求的会员资格后，可继续按照授权规则使用。

单独购买和会员权益有什么区别？

两种方式都可以在满足当前授权条件时获得产品使用资格。 单独购买对应独立产品授权； 会员权益则依赖当前会员等级和会员有效期。 具体授权期限、设备数量和权益范围，以购买页面当前显示为准。

能否更换服务器？

可以按照产品当前设备授权规则进行设备管理。 如果已经达到最大授权设备数量， 通常需要先释放原设备授权，再在新服务器重新激活。 实际设备数量和解绑规则以授权中心当前配置为准。

断网以后还能运行吗？

正常授权后的客户端支持签名 Lease 离线宽限机制。 短时间无法连接授权服务器时，只要现有签名 Lease 仍处于有效范围， 服务可以继续按照授权策略运行。 长期离线超过允许范围后则需要重新完成授权续验。

软件如何升级？

授权有效期间可直接使用内置 update 命令检查并安装官方正式版本。 升级包从 CAOVAN 私有 Release Gateway 获取， 并在安装前执行文件完整性和安全检查。

升级失败怎么办？

产品采用受管理的 Release 机制。 默认保留当前版本和一个完整回滚版本， 必要时可以使用 rollback 恢复上一版本，降低升级过程中断服务的风险。

会不会不断占用大量磁盘空间？

不会无限保留历史版本。 安装和升级默认采用 Release Retention 策略， 通常只保留当前版本和一个完整回滚版本， 并可通过 cleanup 清理不再需要的旧文件和安装缓存。

适合完全不懂 Linux 的用户吗？

产品已经尽可能将复杂配置封装为安装器、启动向导和管理命令， 相比手工搭建 SGLang 环境大幅降低了使用门槛。 但本产品本质上仍属于 Linux GPU 服务器软件， 用户至少需要具备执行终端命令、上传模型和查看基本日志的能力。

这是模型吗？购买后是否包含 Qwen3.8 模型？

不是。 本产品是大模型推理加速与运行管理软件，并不代表自动获得第三方模型文件或模型商业授权。 模型需要由用户根据对应模型发布方的许可条款自行准备。

软件能够保证所有任务始终达到 130+ TPS 吗？

不能。 130+ TPS 是特定硬件、模型、参数和实际请求下出现的峰值表现。 真实吞吐会随输入长度、输出内容、Thinking、MTP 接受率、并发和硬件拓扑动态变化。 本产品的优化目标是提高整体推理效率、稳定性和硬件利用率，而不是承诺一个固定不变的 TPS 数字。