人工智能
-
大语言模型训练和推理服务器的CPU选择AMD还是Intel?
我更倾向于推荐AMD的CPU,主要基于以下几个理由: 1. PCIe通道数量: AMD EPYC系列:AMD的EPYC系列CPU在PCIe通道数量上具有显著优势,通常提供最多128…
-
大语言模型训练和微调对CPU的性能要求高吗?是不是性能越好的CPU训练速度越快?
大语言模型的训练和微调对CPU性能的要求是有的,但更重要的是GPU的性能。以下是一些关键点: CPU在训练中的作用: CPU主要负责数据预处理、模型的控制逻辑、以及与GPU之间的数…
-
在Ubuntu服务器部署GPT-SoVits服务端教程
克隆库文件到服务器 因为我们要克隆到本地的库并不是“main”,而是“fast_inference_”分支,所以我们要运行如下的命令 git clone -b fast_infer…
-
在Ubuntu服务器部署ChatTTS的流程
我们可以搜索到很多ChatTTS的整合包,使用起来非常方便!不过这些整合包大多数都是Windows上面运行的,我们还不能直接在Ubuntu电脑上使用,今天我们就来将这些整合包迁移到…
-
paddlepaddle(TTS)本地部署流程
客户端(Windows) 安装paddlepaddle 安装可以参考 paddlepaddle 官网,根据自己机器的情况进行选择。 python -m pip install pa…
-
在ubuntu 22.04.4安装cuda和cudnn
在Ubuntu系统中,使用nvidia-smi命令可以看到当前GPU信息,在右上角可以看到CUDA Version,意思是最大支持的CUDA版本号。 拟安装:cuda 11.8cu…
-
在Ubuntu服务器上部署faster-whisper服务端
安装Python 3.8或更高版本 确保服务器上安装了Python 3.8或更高版本。如果没有,请先安装: sudo apt update sudo apt install pyt…
-
Ubuntu服务器创建常用命令组快捷方式
为了便于日常管理,我们可以为常用的命令创建快捷方式,分为如下两个步骤 在主文件夹创建.sh文件 分别新建下面三个.sh文件(可以通过vim来创建,也可以通过nano来创建,或者任何…
-
4张定制版22G 2080ti 搭建AI服务器 用vllm框架跑Qwen1.5-110B模型非常丝滑!
操作系统和显卡/nvlink 服务器的系统采用Ubuntu22.04 显卡驱动选择“使用 NVIDIA driver metapackage 来自 nvidia-driver-53…
-
stable diffusion prompt share 提示词分享系列020
大模型推荐使用 playground v2.5 (模型下载使用教程见:https://caovan.com/playground-v25-moxingjiedemeixuetian…