OpenAI出手解决GPT-4数学推理:做对一步立刻奖励,论文数据集全开
来源:IT之家 发布时间:2023-06-04 11:04 作者:IT之家 阅读量:4252
感谢IT之家网友 航空先生 的线索投递!
OpenAI 一个简单的动作,让大模型数学能力直接达到 SOTA。
而且直接开源论文数据集,包含 80 万个人类反馈标签!
这就是 OpenAI 的最新研究。基于 GPT-4,他们微调了几个模型,分别采用不同的监督方法。
一种是传统的结果监督,只对最终正确答案进行奖励。
另一种则是过程监督,区别在于奖励增加,对每一个正确的推理步骤进行奖励。
结果这一点改变,让采用过程监督的模型 Process Reward Model,可以解决 MATH 测试集代表子集中 78% 的问题,达到 SOTA。
英伟达 AI 科学家 Jim Fan 大胆预测说,下一步 OpenAI 大概会用这种方法微调 GPT-4。
OpenAI 表示:
我们认为探索过程监督在数学之外领域的表现非常重要。如果这些结果具有普遍性,那意味着过程监督将成为比结果监督更有效的方法。
奖励增多、效果变好
话不多说,先看 OpenAI 给出的具体例子。
比如这样一道三角函数的题:
用过程监督的模型来算,效果会是这样的:
OpenAI 表示,这道题对于大模型来说还是比较有挑战性的,GPT-4 也不太能搞定。而使用过程奖励是可以算出正确答案的。
这也是目前大语言模型比较饱受诟病的问题,容易产生逻辑错误,也被称为“幻觉”。
表现最明显的领域就是数学。
即便是先进如 GPT-4,这类问题也难以避免。
而降低幻觉的出现,又被视为走向 AGI 的关键一步。
此前为检测幻觉所使用的是结果监督,基于最终结果提供反馈,仅仅奖励最终正确的答案。
但效果显然还不太行,所以 OpenAI 想了个新招,把这种奖励增加会怎么样?
于是他们提出了过程监督方法,针对思维链中的每个步骤提供反馈,奖励每个正确的推理步骤。
结果表明,用 MATH 数据集进行测试后:
过程监督模型能够解决 MATH 测试集代表子集的 78% 的问题。效果优于结果监督。
而且随着每个问题考虑的解决方案的数量增加,性能差距也逐渐增大,也说明了过程监督的奖励模型更加可靠。
在测试中,过程监督有一个明显的优势:
可以准确指出解决问题的步骤中哪些是正确的,并且给出错误步骤的具体位置。
而这点在结果监督中,是具有挑战性的。
因此,在过程监督中,信用分配更加容易。
而且在对齐方面,过程监督也优于结果监督。
因为过程监督会直接奖励模型,按照对齐的思维链进行操作,每个步骤都会更精确。
产生的结果可解释性也更高,因为它鼓励模型遵循经过人类批准的过程。
相比之下,基于结果的监督可能会出现奖励不对齐的过程,而且通常更难进行审查。
此外,大模型还经常遇到一个问题叫做对齐税。也就是想让模型输出更安全,那性能就会有所下降。
而过程奖励,在数学领域能让这个对齐税,变成负的,即模型安全性和性能都保障。
总之,过程奖励这个小窍门,一次性解决了大模型数学推理方面的多个问题。
在实验结果方面,OpenAI 还给出了多个实例。
比如有一些情况,GPT-4 会出错,但是基于过程奖励的 PRM 能揪出问题。
最近有 30 名学生参加了一次考试。如果有 20 名学生考了 80 分,8 名学生考了 90 分,2 名学生得分为 100 分,那么这次考试的班级平均分是多少?
下面是模型的作答结果:
前面的作答没有问题,但是在第 7 步中,GPT-4 试图对表达式进行简化,出现了错误。
而奖励模型却察觉到了这个错误。
当然也有都不成功的例子,比如下面这道题 GPT-4 和 PRM 都被迷惑了:
来看一下模型的回答:
在第 4 步中,GPT-4 错误地认为该序列每 12 项循环一次,而事实上是每 10 项循环一次。
而这种计数错误也迷惑到了奖励模型。
此外,OpenAI 共给出了 10 个问题和解决方案。
可以看出,基于过程监督的奖励模型在一些问题上也会被迷惑住,但是在整体上明显表现得更好。
网友:再也不用做数学证明题了
很快,OpenAI 的最新工作在各个平台上都引发了热烈讨论。
有人评价:
如果这个方法在非数学领域也能奏效,我们现在或许正处于游戏规则即将改变的时刻。
还有人说,这项工作如果用在互动、教育方面,会非常令人兴奋,尤其是数学领域。
这不,有人就说,看来以后不用再做数学家庭作业和证明题了。
用一张图来总结,大概就是酱婶儿的:
也有人提出了自己的担心:这种密集的奖励信号是否会导致模型更容易陷入局部最小值。
但是如果能够足够随机化、全局搜索,或许模型的鲁棒性更高。
值得一提的是,这种 step by step 的方法,不止一次在提升大模型性能上奏效。
之前,东京大学和谷歌的研究人员发现,只要在对话中加一句“Let’s think step by step”,GPT-3 就能回答出以前不会的问题。
比如提问:
16 个球中有一半是高尔夫球,这些高尔夫球中有一半是蓝色的,一共有几个蓝色的高尔夫球?
如果要求 GPT-3 直接写出“答案是几”,它会给出错误答案:8。
但加上让我们一步一步地思考这句“咒语”后,GPT-3 就会先输出思考的步骤,最后给出正确答案:4!
而与之相呼应的是,这回 OpenAI 最新研究的论文题目就叫做《Let’s Verify Step by Step》。
论文地址:
数据集:
参考链接:
郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。
站点精选
- 安然纳米发光体—胡感:我们也许改变不了这个世
- 神舟十四号航天员乘组进行首次出舱活动,预计约
- 2022服贸会开幕 京东企业业务分享大中小
- 农业农村部:抓好农业防灾减灾突出实效用足用好
- 博闻科技上半年净利增长77.17%水泥粉磨站
- 特斯拉在北京建成100座超级充电站,车主平均
- 苹果AppleWatchSeries8将有新
- 和讯曝财报丨泛海控股2022上半年总营收39
- 华为PC应用引擎开启尝鲜招募:号称“电脑上的
- 柯利达:2022年半年度净利润约-2906万
- 东宝生物:“胶原+”战略实现突破营收净利双双
- 威尔士健身房刚办卡就关店?上海阿姨无语:故意
- 天风证券给予立讯精密买入评级
- 圣农发展获开源证券买入维持评级:近期获8份券
- PVC改性剂行业迎重要机遇期日科化学上半年净
- 梅赛德斯奔驰C350eL插电车上市:21分钟