选自IEEE

作者：Dan Garisto

机器之心编译

编辑：陈萍

AI 到底擅不擅长数学，还得具体问题具体分析。

如果问计算机擅长什么，在所有的答案里，数学必须榜上有名。在经历了漫长的研究之后，顶尖学者们在研究计算机关于数学计算方面的发展，取得了令人惊讶的成绩。

就拿去年来说，来自加州大学伯克利分校、OpenAI 和 Google 的研究人员在语言模型方面取得了长足的进步，GPT-3、DALL・E 2 等被开发出来。然而，直到现在，语言模型还无法解决一些简单的、用语言描述的数学问题，例如「Alice 比 Bob 多五个球，Bob 在给 Charlie 四个球后有两个球。问 Alice 有几个球？」这对语言模型来说，想要给出正确答案，可能就有点「吃力」了。

「当我们说计算机非常擅长数学时，意思是它们非常擅长特定的、具体的事情，」来自谷歌的机器学习专家 Guy Gur-Ari 表示。计算机擅长算术是不假，但在特定的模式之外，计算机就无能为力了，简单的文字描述题都回答不了。

谷歌研究员 Ethan Dyer 曾经表示：做数学研究的人有一套僵化的推理系统，对于他们熟知的和不了解的内容，这两者之间有着明显的鸿沟。

解决文字问题或定量推理问题很棘手，因为不同于其他问题，这两者需要鲁棒性和严谨性。如果过程中的任何一步出现错误，将会导致错误的答案。DALL・E 在绘画方面令人印象深刻，尽管它生成的图像有时会很奇怪，可能遗漏人的手指、眼睛长得奇怪…… 这些我们都能接受，但是它在数学方面出现了错误，我们的容忍度就会非常小。来自 OpenAI 的机器学习专家 Vineet Kosaraju 也曾表达过这种想法，「我们对语言模型所犯的数学错误（比如将 10 误解为 1 和 0，而不是 10）容忍性还是比较小的。」

「我们研究数学仅仅是因为我们发现它独立且非常有趣，」OpenAI 机器学习专家 Karl Cobbe 说。

随着机器学习模型在更大的数据样本上训练而成，它们的鲁棒性更好、出错也更少。但扩大模型规模似乎只能通过定量推理进行。研究人员意识到，对于语言模型所犯的错误似乎需要更有针对性的方法来解决。

去年，加州大学伯克利分校和 OpenAI 的两个研究团队分别发布了数据集 MATH 和 GSM8K，这两个数据集包含几何、代数、初等数学等数千个数学问题。「我们想看看这是否是数据集的问题，」从事数学工作的 AI 安全中心研究员 Steven Basart 说。众所周知，语言模型不擅长单词问题，在这个问题上它们表现的有多糟糕，是否可以通过引入格式更好、更大的数据集来解决？

在 MATH 数据集上，顶级语言模型的准确率为 7%，而人类研究生的准确率为 40%，奥林匹克冠军的准确率为 90%。在 GSM8K 数据集上（小学级别的问题），模型达到了 20% 的准确率。实验中 OpenAI 使用了微调和验证这两种技术，结果表明模型可以看到很多自身错误的例子，这一发现很有价值。

当时，OpenAI 的模型需要在 100 倍以上的数据上进行训练，才能在 GSM8K 上达到 80% 的准确率。但在今年 6 月，谷歌发布了 Minerva，达到 78% 的准确率。这一结果超出了预期，研究者表示，比预想的时间来的更快。

论文地址：https://arxiv.org/pdf/2206.14858.pdf

Minerva 基于谷歌自研的 Pathways 语言模型 (PaLM)，具有更多的数学数据集，包含 arXiv、 LaTeX 等数学格式。Minerva 还采用了其他策略，在思维链提示（chain-of-thought prompting）中，Minerva 将更大的问题分解成小块。此外，Minerva 还使用多数投票（majority voting），不是要求模型给出一个答案，而是要求它提出 100 种答案。在这些答案中，Minerva 选择最常见的一种答案。

这些新策略的收益是巨大的，Minerva 在 MATH 上的准确率高达 50%，在 GSM8K 以及 MMLU（包括化学和生物学在内的一组更通用的 STEM 问题）上的准确率接近 80%。当 Minerva 被要求重做稍微调整过的问题时，它的表现同样很好，这表明它的能力不仅仅是来自记忆。

Minerva 可能有奇怪、混乱的推理，但仍然得出正确的答案。尽管像 Minerva 这样的模型可能会得出与人类相同的答案，但它们所遵循的实际过程可能大不相同。

谷歌机器学习专家 Ethan Dyer 表示，「我认为存在这样一种观念，即数学相关人士有一些严格的推理系统，了解某事和不了解某事之间存在明显的区别。」但人们给出的答案不一致，会犯错误，也无法应用核心概念。在机器学习前沿中，边界是模糊的。

原文链接：https://spectrum.ieee.org/large-language-models-math

Google正在裁减约12000个工作岗位--随着通货膨胀率的上升和全球市场为经济衰退做准备，这是最新一家启动大幅裁员的科技公司。据彭博新闻社报道，Google搜索引擎Sundar Pichai周五在给员工的电子邮件中宣布了裁员计划。

此次裁员约占Google全球员工总数的6%，相比之下，微软（1万个职位，占员工总数的5%）、亚马逊（1.8万个职位/6%）和Meta（1.1万个职位/13%）也有不同程度的裁员。本月早些时候，Google的母公司Alphabet宣布对其以健康为重点的子公司Verily和为工业机器人开发软件的子公司Intrinsic进行规模小得多的削减。

皮查伊在给员工的邮件中说，公司将"突出我们的重点，重新设计我们的成本基础，并将我们的人才和资本用于我们的最高优先事项。"这位CEO指出，人工智能将是未来的一个关键领域。

Google通过2014年收购专注于研究的人工智能实验室DeepMind等投资，在人工智能领域取得了重要的早期领先优势。但最近几个月，该公司被OpenAI等更大胆的对手所挑战，OpenAI去年在网上推出了热闹的人工智能聊天机器人ChatGPT。OpenAI已经与Google的竞争对手微软建立了深度合作关系，后者承诺将其人工智能技术整合到搜索和办公软件等产品中。

在Google去年10月的财报中，它宣布收入为690亿美元，利润为139亿美元；标志着收入增长（高于前一年的651亿美元），但利润缩水（低于2021年同季度的189亿美元）。去年早些时候，皮查伊发出信号，该公司将放慢招聘速度，他说Googlers必须以"比我们在阳光灿烂的日子里表现出的更大的紧迫感、更敏锐的注意力和更大的饥饿感"来工作。

“此刻我们跟ChatGPT的每一次对话

都在帮助它成长为人工智能的垄断性工具”

――墨叔

ChatGPT的领先程度可能超过所有人的想象

甚至可能已经形成了不可逆转的垄断

这是人工智能的特性决定的

马斯克曾说过，网络数据就是未来的石油

这句话可谓一语中的

把数据的重要性概括的非常准确

尤其是对于ChatGPT这样的人工智能来说

网络数据就是它的矿

所以ChatGPT在此刻出现并不是偶然

而是足够的网络数据和足够成熟的数据挖掘能力催生的必然现象

我们用熟知的围棋人工智能阿尔法狗来举例

要做的第一步，就是要有足够多的围棋对局来对其进行初步训练

让它对围棋有一个足够的理解

这样可以极大的提高训练效率

比只告诉它“围棋就是比谁围的空多”，“把敌人的棋子围起来就能吃子”这样的初级规则要高效的多

在做完这一步之后，阿尔法狗还不具备跟职业棋手对局的能力

那么下一步是要做什么呢？

实战

不停的与自己实战

可以说，这是阿尔法狗能够战胜人类最大的法宝

人类自发明围棋开始一共下了几万局棋，流传下来能给现代人作为参考的更是少之又少

阿尔法狗在短时间内便超过了人类下棋的数量

从而在数据库的累积量上轻松的超过了人类

在确定规则的前提下，谁进行的有效实验越多，积累的有效数据越多，就可以对对方进行降维打击

现在回到ChatGPT

它完成了第一步，做到了足够新鲜，足够智能

引起了人们的广泛兴趣，大家都想尝一下鲜

但是此时的ChatGPT还远远不能算是成型的人工智能

它只是可以使用的数据量远超前辈

但因为它的早发优势，它具备了它的后来者可能永远无法具备的优势

就是现在足够多的实战

OpenAI公司把ChatGPT免费公开出来可不是为了让大家开心用的

他是让数以亿计的活人来给他们的人工智能进行实战训练

判定方式很简单，就是看人们提问之后的反应

如果人们提问之后不再追问，可以认为人们得到了满意的答案

如果继续追问，就进行学习，从人类追问的方式中学习下一次回答类似问题需要改进的方向

而现在跟ChatGPT聊的火热的每一个活人

就是OpenAI公司的第二个矿，量大且免费

估计OpenAI的创始人和投资者们晚上睡觉都能被自己的笑声吵醒

这简直是世界上最令人兴奋得生意

让全球数亿人为自己免费打工

可以说在现在阶段

ChatGPT还在努力的训练自己以达到对人类有用，从而达到与人类共生的阶段

但是随着时间的推移，一定会出现一个临界点

在那个临界点，人类对ChatGPT的依赖程度将超过对方对人类的依赖程度

从那个时间节点开始，很大一部分的人类就需要不停的努力以达到对人工智能有用从而能够跟人工智能共生的阶段

而也许在不远的将来发生的这个结果，正是此刻跟ChatGPT聊的火热的人们共同造成的