学习笔记

安装MySQL数据库 在Ubuntu服务器上安装MySQL数据库，我在之前的文章中有专门谈过，我们本文重新复习下，依然以非docker的方式来安装MySQL数据库 安装MySQL …

安装ESP-IDF 下载ESP-IDF离线安装包 首先进入 https://dl.espressif.com/dl/esp-idf/ 或者 https://dl.espressif…

交换空间的作用 交换空间（Swap Space） 是Linux系统（包括Ubuntu）中用于扩展物理内存（RAM）的一种机制。它的核心作用是在物理内存不足时，将部分内存数据临时转移…

本项目为开源智能硬件项目 xiaozhi-esp32 提供后端服务。根据 小智通信协议 使用 Python 实现。该项目是开发AI语音助手、AI陪伴、AI玩具的高效捷径！ 后端部署…

在上一篇文章中，我们谈到了如何用vLLM推理框架来运行QwQ-32B模型，想了解详情的可以参考《在Ubuntu服务器4x2080ti(22G)上部署QwQ-32B + vLLM教程…

vLLM (Virtual Large Language Model) 是一款专为大语言模型推理加速而设计的框架，其依靠卓越的推理效率和资源优化能力在全球范围内引发广泛关注。来自加…

QwQ 是 Qwen 级数的推理模型。与传统的指令调优模型相比，能够思考和推理的 QwQ 可以在下游任务中实现显着增强的性能，尤其是难题。QwQ-32B 是中型推理模型，能够实现与…

经过反复试验测试，在四张22G的2080Ti Ubuntu操作系统的服务器上，部署企业知识库的最优方案如下： Xinference + MaxKB或RAGFlow + Open-W…

open-webUI 是一款类似于chatgpt的webui程序, 可以私有化模型本地部署，可以实现 多模态AI聊天 ， AI 翻译 ， AI搜索，语音转文本， 文本转语音， 文生…

Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xo…