轩辕 | 会AI导航

“轩辕”是度小满开源的国内首个千亿级中文金融大模型，轩辕大模型是在1760亿参数的Bloom大模型基础上训练而来，在金融名词理解、金融市场评论、金融数据分析和金融新闻理解等任务上，效果相较于通用大模型大幅提升，表现出明显的金融领域优势。
在轩辕系列大模型研发过程中，积累了大量的高质量数据和模型训练经验，构建了完善的训练平台，搭建了合理的评估流水线。在此基础上，为丰富轩辕系列模型矩阵，降低轩辕大模型使用门槛，我们进一步推出了XuanYuan-6B系列大模型。不同于XuanYuan-13B和XuanYuan-70B系列模型在LLaMA2上继续预训练的范式，XuanYuan-6B是我们从零开始进行预训练的大模型。当然，XuanYuan-6B仍采用类LLaMA的模型架构。在预训练基础上，我们构建了丰富、高质量的问答数据和人类偏好数据，并通过指令微调和强化学习进一步对齐了模型表现和人类偏好，显著提升了模型在对话场景中的表现。XuanYuan6B系列模型在多个评测榜单和人工评估中均获得了亮眼的结果。模型训练细节请参考我们的技术报告：

Report

本次开源的XuanYuan-6B系列模型包含基座模型XuanYuan-6B，经指令微调和强化对齐的chat模型XuanYuan-6B-Chat，以及chat模型的量化版本XuanYuan-6B-Chat-4bit和XuanYuan-6B-Chat-8bit。

主要特点：

收集多个领域大量的训练语料，进行了多维度数据清洗和去重，保证数据的量级和质量
从零开始预训练，预训练中动态调整数据配比，模型基座能力较强
结合Self-QA方法构建高质量问答数据，采用混合训练方式进行监督微调
构建高质量人类偏好数据训练奖励模型并进行强化训练，对齐模型表现和人类偏好
模型尺寸小并包含量化版本，硬件要求低，适用性更强
在多个榜单和人工评估中均展现出良好的性能，具备领先的金融能力