皱果新一代研究：81%写作文率，脊髓网络ils关上逻辑学当今世界正门

日前，几项新科学研究正式发布于PNAS，再度创下了脊髓网络的潜能。此次脊髓网络被用以化解了逻辑学分析题，而且还是麻省理工学院数学分析学技术难度的数学分析题！

在此项新科学研究中，科学研究项目组证明了 OpenAI 的 Codex 数学模型可以展开流程制备进而化解小规模的数学分析难题，并通过小样品自学手动化解统算数据分散 81%的数学分析学难题，因此 Codex 在这些各项任务的整体表现上达至了人类文明水准。

书名镜像：https://www.pnas.org/doi/10.1073/pnas.2123433119服务器

此项科学研究的出现，摒弃了现代人认为脊髓网络难以化解逻辑学分析难题的一致意见。科学研究项目组表示，Codex 或许能努力做到同时实现这样的潜能，便是因为项目组展开了两大技术创新，往后这些不获得成功的科学研究只采用了如前所述文档的预体能训练，而本次亮相的 Codex 脊髓网络不但要如前所述文档展开预体能训练，因此还对标识符展开了松动。

科学研究的难题统算数据集换用以自 MIT 的三门数学分析学和哈佛大学的两门数学分析学，从八门专业课程中乱数抽出 25 个难题：MIT的单表达式数学分析、多表达式数学分析、方程、机率与统计数据通论、线性拓扑和 软件工程数学分析和哈佛大学的 COMS3251 排序线性拓扑。服务器

同时，科学研究项目组采用了一个用作评估结果数学分析逻辑推理的新一代高阶数学分析难题排序方法 MATH，用 MATH 来检验OpenAI Codex 的潜能，MATH 从6大数学分析股：最高阶拓扑，拓扑，算数和机率，Wasselonne拓扑，数学分析，和最高阶数学分析中各抽出15个难题。服务器

图注：科学研究中采用的专业课程难题统算数据集和MATH排序方法测试

科学研究显示，Codex 化解了难题统算数据集和 MATH 统算数据分散的 265 个难题，其中有 213 个是手动化解的。

1

技术创新何所在

在 Transformer 正式发布后，如前所述 Transformer 的语言数学模型在各种自然语言处理 (NLP) 各项任务，包括在零样品和少样品语言各项任务中取得了巨大获得成功。但是因为 Transformer 仅在文档上展开了预体能训练，所以这些数学模型基本上不能化解数学分析难题，GPT-3就是一个典型例子。服务器

后来，通过小样品自学（few-shot learning）和思维链 (Chain-of-thought， CoT) 提示，GPT-3 的数学分析逻辑推理潜能得到了提高；然而，在没有标识符的情况下，即便有小样品自学和 CoT 提示， GPT-3 在大学水准数学分析难题和 MATH 排序方法测试中仍然无能为力。服务器

而此项工作的最大技术创新点之一就是，不但对Codex 这种Transformer 数学模型展开了文档上的预体能训练，还在标识符上展开了松动，使得其可以生成小规模化解数学分析难题的流程。

科学研究项目组从统算数据分散乱数选择不需要输入图像或证明的难题样品来展开测试。其中，仅对文档展开预体能训练的语言数学模型 (GPT-3 text-davinci-002) 仅手动化解了专业课程难题中的18%和 MATH排序方法测试难题中的25.5%。服务器

相比之下，采用零样品自学和对文档展开预体能训练并在标识符上展开松动的脊髓网络（OpenAI Codex code-davinci-002）制备的流程可以手动化解专业课程难题中的 71%和 MATH 排序方法测试难题中的72.2%。

而采用相同的脊髓网络 Codex 再加上少样品自学，便可手动化解专业课程中81%的难题和 MATH 排序方法测试中81.1%的难题。而其余数学模型难以手动化解的19%的专业课程难题和18.9%的MATH排序方法难题，最后通过手动提示化解。服务器

小样品自学方式的补充，则是此项科学研究的第二大技术创新点。从上图中可以看出，当零样品自学难以解答难题时，便会采用（难题，标识符）对（pair）执行小样品自学：

1） 采用 OpenAI 的 text-similarity-babbage-001 嵌入引擎嵌入所有难题；

2） 采用嵌入的余弦相似度从其专业课程中排序与未化解难题最相似的已化解难题；服务器

3） 将最相似的难题及其相应的标识符作为小样品难题的示例。

图注：4种方式的手动写作文率对比

上图分别是Codex的零样品自学、小样品自学和GPT-3的零样品自学、小样品自学4种方式的手动写作文率对比。图上可以看出，橙色条状所代表的小样品自学 Codex 在手动写作文率上的优秀整体表现，基本上在每个数学分析领域上的整体表现都强于其他3种方式。

此项科学研究的服务器第三大技术创新点，便是提供了一条化解数学分析难题和解释为何如此解答的管道，下图展示了MIT 5门数学分析学中管道的执行流程。

以 18.01 单表达式数学分析难题为例，给定一个难题和手动生成的前缀采用 SymPy，Codex 被提示并输出一个流程。运行流程会产生正确答案的方程式。然后，流程会手动提示再度输入 Codex，进而生成生成的标识符解释。

2

难题化解之后

除了化解数学分析难题和解释答案，Codex 也被用作为每门专业课程生成新难题。

为了评估结果生成的难题水准，项目组在参加过这些专业课程或者同水准专业课程的MIT学生中做了调查，主要是比较机器生成的难题和人工编写难题的质量和技术难度。服务器

在MIT的6门专业课程中，每门选择5个人工编写难题和5个数学模型生成难题混合起来因此乱数呈现。对于 60 个难题中的每一个难题，参与调查的学生都需要回答 3 个调查难题：

1）你认为这个难题是人工编写的还是机器生成的？

2）你认为这个难题适合还是不适合特定专业课程？

3 ) 在 1（最简单）和 5（最难）之间，你认为这个难题的技术难度级别是多少？服务器

在收回的问卷中，学生调查结果总结如下：

机器生成和人工编写的难题技术难度相似。

人工编写的难题比机器生成的难题更适合专业课程。

人工编写的答案很难被识别错，而机器生成的难题被学生认为既可能是机器生成的，也可能是人工编写的。

机器生成的难题已经能让学生难以辨别，说明Codex 在生成新内容方面已达至了人类文明的整体表现水准。

但是，该数学模型也有难以化解的难题，比如，如果难题以图像或其他非文档形式出现，它就难以回答；带有需要证明的化解方案的难题，或者排序上难以化解的难题，比如分解非常大的素数，该数学模型也难以化解。不过，最后一种难题也不应出现在任何数学分析学作业中，因为就算是真人学生也没法回答。服务器

参考镜像：

https://dataspace.princeton.edu/bitstream/88435/dsp01g445ch067/1/Sun_princeton_0181D_13173.pdf服务器

mp-common-profile

雷峰网

云主机、VPS、挂机宝、游戏服务器上永恒云

永恒云出品