20亿参数的MathGLM模型在算术任务方面表现出准确率接近100%的卓越性能

🆕最新资讯🆕
当前，大型语言模型 (LLM) 在处理 NLP 领域的各种下游任务方面已经表现出卓越的能力。特别是，GPT-4、ChatGPT 等开创性模型已经接受了大量文本数据的训练，使它们具备强大的文本理解和生成能力，能够生成连贯且上下文相关的响应，在各种 NLP 任务中具有高度通用性。然而，LLM 在数学推理方面的性能却不尽如人意。LLM 很难准确地执行复杂的算术运算，尤其是涉及超过 8 位数字乘法的运算，还有涉及小数、分数的运算。基于此，来自清华大学、TAL AI Lab 和智谱 AI 的研究者联合提出了一个能够完美执行复杂算术运算的新模型 ——MathGLM。该研究表明：在足够的训练数据下，20 亿参数的语言模型能够准确地进行多位算术运算，准确率几乎达到了 100%，且不会出现数据泄露（data leakage）。这个结果大幅超越了 GPT-4（其多位乘法运算准确率仅为 4.3%）。MathGLM 模型需要完成的算术任务大致可以分为两类：基本算术运算和复杂混合运算。其中基本算术运算包含基本的数学任务，这些任务围绕两个数字的简单计算。而复杂混合运算涉及不同算术运算和数字格式（例如整数、小数、分数等）的组合。为了增强 MathGLM 的算术能力，本文采用了基于 Transformer 的仅解码器架构，并使用自回归目标（autoregressive objective）在生成的算术数据集上从头开始训练它。算术任务的学习算术训练数据集是精心设计的，包括加法、减法、乘法、除法和求幂等多种运算。此外，它还包含多种数字格式，例如整数、小数、百分比、分数和负数。数据集规模大小不一，范围从 100 万到 5000 万条记录不等。在每个数据集中，单个算术表达式由 2 到 10 个运算步骤组成，涵盖一系列数学运算，例如加法 (+)、减法 (-)、乘法 (×)、除法 (/) 和求幂 (^)。本文还训练了一系列基于 Transformer 的语言模型，称为通用语言模型（GLM，General Language Model）及其聊天版本来解决数学应用问题。实验结果表明，MathGLM-10M 在一系列综合算术任务中的性能优于 GPT-4 和 ChatGPT。随着模型尺寸的增加，MathGLM 的算术性能也相应增强。综上所述，研究者对复杂算术任务的评估结果表明 MathGLM 具有卓越的性能。
来源：https://www.jiqizhixin.com/