所有分类
  • 所有分类
  • 未分类

国产400亿参数孟子GPT发布,多项任务平均提升10-15%

?最新资讯?
刚刚,澜舟科技发布了国产大模型孟子GPT的最新版本,该模型拥有400亿参数,并已经开始邀测。据数据显示,孟子GPT-40B相比于之前的7B版本平均提升了10-15个百分点,甚至在部分任务上接近了ChatGPT-3.5。孟子GPT是由澜舟科技开发,该公司的创始人周明是自然语言处理领域的大牛。澜舟科技成立以来,先后发布了孟子系列模型、MChat以及多个垂直领域模型,并获得了数亿元的融资。除了基础大模型,澜舟科技还推出了行业大模型和基于大模型的产品应用,例如金融大模型和会议内容分析平台“澜舟智会”。澜舟科技表示,未来还将提供基础模型和大模型训练框架/工具包等服务。孟子GPT-40B在中文及多语言能力、写作和多轮对话等方面进行了提升。通过使用网页、百科、社交媒体、新闻和高质量的开源数据集,孟子GPT-40在中文能力方面表现出色,并通过使用万亿tokens的多语言语料进行训练,进一步提升了英语等语言的能力。澜舟科技表示,在底层算法方面采用了更成熟的预训练技术,并使用50万指令数据进行精调,通过70亿参数量的奖励和惩罚函数进行强化学习。此外,基于FlashAttention的高效注意力计算使得训练速度提升了8.5倍,基于TGI等加速框架使得推理速度提升了4.6倍。除了基础模型,澜舟科技还可以进一步训练出行业大模型。同时发布的澜舟智会可以从会议录音/视频中提取核心内容,生成总结和摘要,并能回答相关问题。最近,孟子大模型还登上了中文大语言模型测评榜单C-Eval的首位。澜舟科技自成立以来一直致力于加速AI落地,在轻量化大模型和垂直领域大模型方面进行了许多探索。据介绍,除了孟子大模型,澜舟科技目前还开源了大约20个模型。今年3月,澜舟科技获得了Pre-A轮融资,领投方为北京中关村科学城公司,斯道资本和创新工场也参与了跟投。这是澜舟科技获得的第二轮融资,累计金额达数亿元。
来源:https://juejin.cn/ai

原文链接:https://aixinjiyuan.com/518.html,转载请注明出处~~~
0
广告位招租

评论0

请先
暂时无公告
显示验证码
没有账号?注册  忘记密码?