国产400亿参数孟子GPT发布，多项任务平均提升10-15%

?最新资讯?
刚刚，澜舟科技发布了国产大模型孟子GPT的最新版本，该模型拥有400亿参数，并已经开始邀测。据数据显示，孟子GPT-40B相比于之前的7B版本平均提升了10-15个百分点，甚至在部分任务上接近了ChatGPT-3.5。孟子GPT是由澜舟科技开发，该公司的创始人周明是自然语言处理领域的大牛。澜舟科技成立以来，先后发布了孟子系列模型、MChat以及多个垂直领域模型，并获得了数亿元的融资。除了基础大模型，澜舟科技还推出了行业大模型和基于大模型的产品应用，例如金融大模型和会议内容分析平台“澜舟智会”。澜舟科技表示，未来还将提供基础模型和大模型训练框架/工具包等服务。孟子GPT-40B在中文及多语言能力、写作和多轮对话等方面进行了提升。通过使用网页、百科、社交媒体、新闻和高质量的开源数据集，孟子GPT-40在中文能力方面表现出色，并通过使用万亿tokens的多语言语料进行训练，进一步提升了英语等语言的能力。澜舟科技表示，在底层算法方面采用了更成熟的预训练技术，并使用50万指令数据进行精调，通过70亿参数量的奖励和惩罚函数进行强化学习。此外，基于FlashAttention的高效注意力计算使得训练速度提升了8.5倍，基于TGI等加速框架使得推理速度提升了4.6倍。除了基础模型，澜舟科技还可以进一步训练出行业大模型。同时发布的澜舟智会可以从会议录音/视频中提取核心内容，生成总结和摘要，并能回答相关问题。最近，孟子大模型还登上了中文大语言模型测评榜单C-Eval的首位。澜舟科技自成立以来一直致力于加速AI落地，在轻量化大模型和垂直领域大模型方面进行了许多探索。据介绍，除了孟子大模型，澜舟科技目前还开源了大约20个模型。今年3月，澜舟科技获得了Pre-A轮融资，领投方为北京中关村科学城公司，斯道资本和创新工场也参与了跟投。这是澜舟科技获得的第二轮融资，累计金额达数亿元。
来源：https://juejin.cn/ai