开箱即用的8到512卡LLaMA2全流程方案，700亿参数训练加速195%！

🆕最新资讯🆕
可提供无代码训练和一键部署的LLaMA2训练方案，训练加速达到195%。Colossal-AI开源了针对LLaMA2的全流程方案，支持从8到512卡的训练、微调和推理，并具备高可扩展性。Gemini提供了高鲁棒性和易用性的接口，减小了使用和转换成本。ShardFormer提供了多维并行和算子优化的能力，仅需数行代码即可使用。Colossal-AI的方案支持包括LLaMA1/2、BLOOM、OPT、T5、GPT-2、BERT、GLM等主流开源模型。
来源：https://www.qbitai.com