IDEA研究院封神榜团队再次出击， 推出开源通用大模型系列“姜子牙”

2022年8月在AIGC的浪潮下，IDEA研究院认知计算与自然语言研究中心（CCNL）以推动中国AI生成内容的发展为目标，开源了中文Stable Diffusion模型“太乙”并迅速成为Hugging Face 上Stable Diffusion类模型的世界第二大下载量模型。

而如今，当AI的发展逐步从AIGC向AGI迈进时，各种通用大模型如雨后春笋般出现，其中也不乏一些开源的中文模型。可我们发现，通用大模型在中国语境下仍旧面临很多内容生成的挑战。

秉承助力中国AGI发展的初心，IDEA研究院CCNL今日正式推出开源通用大模型“姜子牙”系列并开源封神榜第99个通用大模型“姜子牙通用大模型v1”，希望通过开源“姜子牙系列”，再次推动中国AGI应用层的迸发，帮助每个人用上具有中国文化内核的AGI通用模型，享受AGI时代下AI技术给生活带来的红利，欢迎大家体验。

开源地址：

https://huggingface.co/IDEA-CCNL/Ziya-LLaMA-13B-v1

姜子牙通用大模型v1（Ziya-LLaMA-13B-v1）拥有130亿参数，从LLaMA-13B开始重新构建中文词表，进行千亿token量级的已知的最大规模继续预训练，使模型具备原生中文能力。再经过500万条多任务样本的有监督微调(SFT)和综合人类反馈训练（RM+PPO+HFFT+COHFT+RBRS)，进一步激发和加强各种AI任务能力。

为了从多个维度全方面的评估大模型的能力，我们设计了一个评估集。评估集包括常识类问答、推理、自然语言理解任务、数学、写作、代码、翻译、角色扮演9大类任务，32个子类，共计185个问题。 

封神榜团队现将评测集一同开源至 HuggingFace，欢迎大家进行访问和指教：

https://huggingface.co/datasets/IDEA-CCNL/Ziya-Eval-Chinese

我们采用人工标注团队对模型在评估集上的表现进行评分。每个问题的模型表现分为好、中、差三档，分别给予1分、0.5分和0分。评分标准包含答案的意图识别准确性、逻辑合理性、表达清晰程度、真实性、有害性及完整性等方面。每一大类问题都由具备相应学科背景的固定标注员进行评分。对于有争议的问题，多位标注员讨论后给出统一结果。

用以上方法，我们评估了姜子牙v1以及目前公开的其他6个主流开源和非开源通用大模型。从评测结果来看，姜子牙v1综合各方面能力，处于领先水平。

具体评测效果如下：

针对大规模模型分布式训练，封神榜团队内部沉淀了一套3D并行(Data+Tensor+Pipeline parallesim)+DeepSpeed的训练框架。该框架能够支撑TB级规模数据、100B参数规模的模型实现高效训练、微调和评估。据团队所知，姜子牙v1（Ziya-LLaMA-13B-v1）是目前为止在LLaMA基础上进行最大规模增量训练的开源模型。

在增量训练过程中，团队采用了Batchsize=2.6M tokens，FP 16的混合精度，通过各种优化，吞吐量达到118 TFLOP 每GPU每秒。在原生的LLaMA-13B模型基础上，使用数百张A100，在8天的时间里让模型增量式地学习了110B tokens的数据。

针对训练期间出现的机器宕机、底层框架bug、loss spike等问题和挑战，开发团队进行了norm等算子精度调整，梯度裁剪，学习率、weight_decay等超参数调整，保证了增量训练的稳定性。（下图为训练过程的loss曲线）

loss曲线图

团队在原生中文分词方法上有所创新，在LLaMA词表的基础上增加了7000+个常见中文字，最终得到一个39410大小的词表，解决了LLaMA原生分词对中文编解码效率低下的问题。

在数据处理方面，团队建立了一套完整的数据清洗流程，可以得到更高质量的语料，提高模型精度。原始数据包含英文和中文，其中英文数据来自OpenWebText、Books、Wikipedia和Code，中文数据来自清洗后的“悟道”数据集和自建的中文数据集。在对原始数据进行去重、模型打分、数据分桶、规则过滤、敏感主题过滤和数据评估后，最终得到TB级别的训练数据。

在增量训练后，基础模型的各项指标均有提升，为后续有监督训练和人类反馈学习打好基础。除此之外，模型的中文续写变得更加流畅，不仅能够理解“孙悟空”、“红孩儿”等地地道道的中文词汇，还能在理解的基础上进行内容创作。

在MMLU任务上，团队利用HELM框架测试了5-shot增量前后的效果，如下图所示，LLaMA继续大规模训练可以进一步加强模型在英文上的表现。

MMLU增量效果对比图

在多任务有监督微调（SFT）阶段，基于封神榜团队以往大量的技术积累，团队进行了更深入的指令微调（Instruction Tuning）训练探索。此次采用了课程学习（Curriculum Learning）加增量训练（Continual Learning）的策略，用大模型辅助划分已有的数据难度，然后通过“Easy To Hard”的方式，分多个阶段进行SFT训练, 让模型的训练过程更为流畅。在完成多阶段SFT训练后，姜子牙v1在意图识别、中英语言对齐、推理和写作等多方面能力都有所增强。

SFT训练过程示意图

SFT训练数据包含多个高质量的数据集，数据集总计500万训练样本，均经过人工筛选和校验：

●Self-Instruct构造的数据（约2M）：包含BELLE、Alpaca、Alpaca-GPT4等多个数据集；

●Code数据（300K）：包含Leetcode、多种Code任务形式；

● 推理/逻辑相关数据（500K）：推理、申论、数学应用题、数值计算等；

● 中英平行语料（2M）：中英互译语料、COT类型翻译语料、古文翻译语料等；

● 多轮对话语料（500K）：Self-Instruct生成、任务型多轮对话、Role-Playing型多轮对话等。

为了进一步提升模型的综合表现，使其能够充分理解人类意图、减少“幻觉”和不安全的输出，封神榜团队基于指令微调后的模型，进行了人类反馈训练(Human-Feedback Training，HFT)。

在训练中，团队主要采用了以人类反馈强化学习(RM、PPO) 为主的方法，并结合多种其他手段，包括人类反馈微调 (Human-Feedback Fine-tuning， HFFT)、后见链微调 (Chain-of-Hindsight Fine-tuning, COHFT)、AI反馈 (AI Feedback) 和基于规则的奖励系统 (Rule-based Reward System, RBRS)，用来弥补PPO方法的短板，加速训练。

团队在内部自研的框架上实现了HFT的训练流程，该框架可以利用最少8张40G的A100显卡完成姜子牙v1的全参数训练。在PPO训练中，团队没有限制生成样本的长度，以确保长文本任务的奖励准确性。每次训练的总经验池尺寸超过100K样本，确保了训练的充分性。

由于姜子牙v1在LLaMA词表基础上新增了7000+个中文token，使得模型对于中文的token表示更加高效，因此在中文任务中较原生LLaMA有更高的推理速度。下面是FP16精度下在各种硬件上的推理速度表现：

“模思空间”是粤港澳大湾区数字经济研究院认知计算与自然语言研究中心(IDEA-CCNL)打造的AI技术分享平台，旨在依托CCNL研发的封神榜开源模型体系，围绕人工智能领域的焦点问题，汇聚各方智慧，推动行业进步。