国产孟子GPT发布，400亿参数大模型提升10-15%，多语言任务表现接近ChatGPT-3.5

?最新资讯?
刚刚，国产大模型明星选手孟子GPT上新！400亿参数通用大模型正式发布，并已开始邀测。数据显示，孟子GPT-40B版本全面领先7B版本，大约提升了10-15个百分点。孟子GPT在多语言任务等方面接近ChatGPT-3.5。来自澜舟科技的孟子GPT由NLP领域大牛周明创立。澜舟科技先后发布了孟子系列模型、MChat以及多个垂直领域模型，并获得了数亿元的融资。此次发布的是孟子GPT的最新版本。除了基础大模型外，澜舟科技还同步推出了行业大模型和基于大模型的产品应用，包括基于孟子GPT打造的金融大模型和会议内容分析平台“澜舟智会”。澜舟科技表示，未来将提供基础模型、大模型训练框架/工具包等服务，并全面拥抱MaaS服务。据发布会介绍，孟子GPT-40B在中文及多语言能力、写作、多轮对话等方面得到了提升。它通过网页、百科、社交媒体、新闻以及高质量的开源数据集进行训练，中文能力更加突出，并且通过万亿级tokens的多语言语料联合训练进一步提升了英语等语言的能力。澜舟表示，在底层算法上采用了更成熟的预训练技术，利用50万指令数据进行精调，并基于70亿参数量的奖惩函数进行强化学习。此外，基于FlashAttention的高效注意力计算使训练速度提升了8.5倍，基于TGI等加速框架使推理速度提升了4.6倍。在孟子GPT-40B的基础上，还可以进一步训练出行业大模型。同时发布的澜舟智会能够提取会议录音/视频的核心内容，生成总结和摘要，并对要点进行问答。最近，孟子大模型还登顶了中文大语言模型测评榜单C-Eval。澜舟科技成立于2021年6月，是一家以NLP技术为基础的认知智能公司，由AI大牛周明创办。周明是当今NLP领域成就最高的华人之一，他不仅是中国第一个中英翻译系统的研发者，还是2019年国际计算语言协会（ACL）主席。澜舟科技主打加速AI落地，在轻量化大模型和垂直领域大模型方面进行了许多探索。据介绍，除了孟子大模型，澜舟科技目前已经开源了大约20个大模型。今年3月，澜舟科技获得了Pre-A轮融资，由北京中关村科学城公司领投，斯道资本和创新工场跟投，这是澜舟科技获得的第2轮融资，总额达数亿元。
来源：https://juejin.cn/ai