所有分类
  • 所有分类
  • 未分类

智源研究院与高校联合成功开发出超大规模模型FLM,仅耗费10万美元

🆕最新资讯🆕
顺便给模型测了下智商克雷西 发自 凹非寺量子位 | 公众号 QbitAI 预算10万美元(约73万人民币),智源研究院与国内多所高校及南洋理工联合团队成功开发出超大规模模型FLM。这个名为FLM的模型拥有1010亿参数量,仅耗费2.17%的训练成本,即可与GPT-3媲美。FLM团队采用了创新的“成长策略”训练方式,先从小规模模型开始训练,逐步扩大参数量,降低了训练成本。同时,FLM还通过改善并行策略和利用序列并行和分布式优化器技术提高了模型的吞吐量和计算效率。FLM在多个测试中取得了优异的成绩,甚至超过了其他大模型。团队还提出了一项“智商测试”,从多个维度评估模型的推理泛化能力。有关FLM的详细信息可查看论文地址和Hugging Face项目页。
来源:https://www.qbitai.com

原文链接:https://aixinjiyuan.com/920.html,转载请注明出处~~~
0
广告位招租

评论0

请先
暂时无公告
显示验证码
没有账号?注册  忘记密码?