?最新资讯?
生成结果不变的情况下，使用苹果芯片跑大模型无需降低计算精度，投机采样成为热门技巧，连GPT-4都在使用。投机采样被认为是一种出色的推理时优化技术，可大幅降低推理成本。该方法已被众多大佬和超级巨头应用，包括谷歌和OpenAI。文章中介绍了投机采样的原理和应用案例，并分享了使用苹果芯片和M2 Ultra带宽的实验结果。具体方法是先训练一个与大模型近似的小模型，由小模型先生成部分token，然后由大模型完成评判并生成剩余token。这种方法能够在不改变大模型结构和重新训练的情况下，显著加速大模型的推理过程。投机采样在AI领域具有重要的应用潜力，值得进一步研究和探索。
来源：https://www.qbitai.com
原文链接：https://aixinjiyuan.com/569.html，转载请注明出处~~~
评论0