淘天集团联合爱橙科技开源大模型训练框架Megatron-LLaMA

🆕最新资讯🆕
淘天集团联合爱橙科技于2023年9月12日正式对外开源了一个名为Megatron-LLaMA的大模型训练框架。该框架旨在提升大语言模型训练性能、降低训练成本，并与LLaMA社区保持兼容性。测试结果显示，在32卡训练上，相比于HuggingFace上的代码版本，Megatron-LLaMA能够实现176%的加速效果；在大规模训练上，Megatron-LLaMA展现出几乎线性的扩展性，并对网络不稳定性表现出高容忍度。该框架已在开源社区上线，开源地址为https://github.com/alibaba/Megatron-LLaMA。此举旨在回馈LLaMA社区并促进中文预训练大模型开源社区的发展，帮助开发者更便捷地提升大语言模型的训练性能和降低训练成本。
来源：https://www.jiqizhixin.com/