ChatGPT 幕后：深度学习崛起的这十年

计算是对信息进行有目的的操纵。数据正在成为主要的生产手段。深度学习在新的基础上进行计算。 ―― 陆奇（时任微软 Bing 研发部门负责人）

ChatGPT 幕后的缔造者是非营利机构 OpenAI，OpenAI 的创始成员兼首席科学家伊利亚・萨特斯基弗是与杰夫・辛顿一起创立 DNNresearch 的学生之一，杰夫・辛顿是在 2019 年与 Lecun（杨立昆）一起获得图灵奖的人工智能科学家，而杨立昆在 2015 年 OpenAI 成立不到一天的时间里就断言它必将失败。深度学习的发展放佛一个向上回旋的怪圈，即使告别了寒冬，暖春的脚步似乎也来得异常缓慢。

一、「革命」始于一场秘密竞拍

也许现在正是讨论人工智能（AI）的好时候，自 2012 年深度学习「革命」以来，距今正好过去了 10 年时间。

10 年前，杰夫・辛顿和他的两位学生凭借神经网络 AlexNet 拿下 ImageNet 冠军，向世界证明神经网络能够以超越其他任何技术的精度识别常见的物体。此后，通过一场秘密竞拍，辛顿将神经网络推向科技行业的中心，戏剧性地加速了人工智能的进步。

在最新出版的《深度学习革命》一书中，这场秘密竞拍被第一次完整展现在世人面前。彼时，参与竞拍的不只有硅谷巨头谷歌与微软，还有中国的互联网公司百度，以及当时成立仅两年的 DeepMind（虽然没能赢得竞拍，但在接下来的 10 年时间里，DeepMind 成为了这个时代最著名且最有影响力的人工智能实验室）。

地平线创始人余凯与 AI 科学家邓力也在这场竞拍中扮演了重要的角色。当时的他们，一个在领导百度新成立的新媒体部，一个是微软的研究员。二人在回国的飞机上座位相邻，对深度学习的追求也使得两人志趣相投，但囿于各自的雇主，他们都没有透露自己参与竞拍的故事。甚至直到《深度学习革命》出版，二人才最终确认当年参与竞标的另外三家公司。

自 2012 年的竞拍之后，一小群来自世界各地的人工智能研究人员散落在谷歌、Meta、微软与百度等科技公司（还有几位后来成立了非营利组织 OpenAI），他们将开始花费数十年的时间培育一个想法，一种机器。

二、深度学习的「十年」进程

深度学习带来一种力量，也带来了更多的质疑，还有巨头们对利润贪得无厌的渴望。

2013 年，也是秘密竞拍的后一年，杰夫・辛顿与自己的两名学生加入了谷歌。同年，马克・扎克伯格和杨立昆创立了 Facebook 人工智能研究实验室。

2014 年，谷歌收购了当年参与秘密竞拍的另一家公司 DeepMind。2015 年，辛顿当年获奖团队的学生之一――伊利亚・萨特斯基弗与埃隆・马斯克等人创立了 OpenAI。

也是在这几年间，科技巨头们向深度学习研究人员支付了数千万美元甚至数亿美元，包括工资、奖金和公司股票。

遵循付出才有回报的原则，2016 年，AlphaGo 在韩国首尔击败李世石；2017 年，AlphaGo 在中国击败柯洁。两个月后，中国国务院发布了《新一代人工智能发展规划》，提出到 2030 年中国要成为人工智能的世界领导者，目标是超越美国在内的所有竞争对手。同年，英伟达推出渐进式 GAN，它可以生成照片级的人脸，也引发了大众对 AI 伦理的讨论。

2019 年，杰夫・辛顿、杨立昆和约书亚・本吉奥获得图灵奖。辛顿在发表获奖感言时说：“作为成功团体的一员，总是比独自一人更好”。同年，微软向 OpenAI 投资 10 亿美元，而亚马逊的人脸识别技术遭到顶级研究人员的抗议。

2020 年，Covariant 在柏林发布分拣机器人。2021 年，联合国教科文组织推出《人工智能伦理问题建议书》，这是关于人工智能的首份全球性规范框架，旨在促进人工智能为人类服务，并预防其潜在风险。

2022，也就是去年，以深度学习技术为代表的人工智能取得了令人瞩目的进展。无论是风头正盛的 ChatGPT，还是全民参与的 AI 绘画，又或者是业内认可的图像处理模型 DALL-E，都展示了人工智能令人着迷的能力。

有人说这是深度学习的风光大年，还有人说这是 OpenAI 元年。

三、常识：世界运行的潜规则

然而，随着深度学习技术涉及的领域更加广泛，包括医疗健康、政府监控和军队，它可能出错的方式也变得更多。

此外，科学界对如何利用深度学习近年来的进展也存在很大分歧。一些科学家认为复杂的模型是有感情的，应该被归为“人格”；也有人认为，目前的深度学习研究方法应该指向真正社会化的通用人工智能（AGI）；与此同时，另一些科学家研究了当前模型的不足之处，并指出即使是最先进的深度学习系统也有着与早期模型相同的缺陷――也就是图灵奖得主杨立昆所说的缺乏“常识”。

人类和人工智能之间的差距正是由缺乏常识造成的，有人将常识描述为“语言和智能的暗物质”和“世界如何运作的潜规则”，这些规则影响着人们使用和解释语言的方式。

常识对于人类来说是微不足道的，对于机器来说则是困难的。因为显而易见的事情永远不会被说出来，每一条规则都有无穷无尽的例外，而且在常识问题上也没有普遍的真理。这是模棱两可的，混乱的东西。

这种缺陷在 ChatGPT 这样的系统中很明显，它生成的文本常常是语法正确，但在逻辑和事实上有明显缺陷的。

事实上，大型语言模型往往在简单的逻辑问题上犯严重错误，并作出前后不一致的陈述。

简而言之，目前的人工智能没有任何关于语言和思想的成分，也没有一般意义上的认知。

有人列出了深度学习系统中缺失的认知的四个方面:

抽象概念: 像 ChatGPT 这样的深度学习系统仍然需要处理计数和分类等基本概念；

推理: 大型语言模型无法推理基本的事实；

组合: 人类理解语言是由部分组成的整体，而当前的人工智能仍然在为此而挣扎，当 DALL-E 这样的模型被要求绘制具有层次结构的图像时，我们就可以发现这一点；

自动更新: 人类能够通过不断适应来维护不完美的世界，大型语言模型则不然。它们不能通过提供新的事实来逐步更新自己的认知，而是需要无数次接受再培训，才能吸收新知识。

四、人工智能的乐观时刻：ChatGPT

ChatGPT 爆火后，杨立昆在一次 Zoom 会议上称其算不上是 Rocket Science（有巨大进展的科研成果），尤其是就底层技术而言。杨立昆表示 ChatGPT “背后没有任何秘密可言”，而它的缔造者 OpenAI 也只是做到了将近年来先进的人工智能技术排列组合而已。

在最新出版的《深度学习革命》一书中，也记录了杨立昆最开始对 OpenAI 的态度。在 OpenAI 成立之初，以杨立昆为代表的，在硅谷科技公司任职的科学家们并不看好这样一个凭空出现的人工智能研究组织。在 OpenAI 成立后的几个小时里，杨立昆告诉创始成员萨特斯基弗，他正在犯一个错误，并给出了 10 多条理由，比如 OpenAI 的研究人员太年轻、非营利形式不赚钱以及实验室缺少经验等等。

“你会失败的”，杨立昆对萨特斯基弗说。

虽然从底层技术看，ChatGPT 并不算创新，但其社会影响远远超出了所有人的预期。人类当前的技术水平距离真正的智能也许还有很长的一段路，但在乐观时刻出现之前，技术将人类推向新高度的方式往往令人惊讶。

辛顿常常说：“旧的想法也是新的”，他认为科学家用不应该放弃一个想法，除非有人证明它行不通。

深度学习的兴起标志着数字技术的构建方式出现了根本的改变。工程师们不再细致地定义机器应该如何运行，一次一条规则，一次一行代码，他们打造着可以通过自身经验学习任务的机器，这些经验包含了巨量的数字信息，甚至没有人能完全理解。

五、永不停息的竞赛

10 年前的那场竞拍，谷歌最终以 4400 万美元获胜，并在之后以 6.5 亿美元收购了 DeepMind；时任 Facebook CEO 的扎克伯格则迅速找到杨立昆，成立了自己的研究实验室；而百度紧接着宣布吴恩达将为该公司管理硅谷北京两地的实验室。

10 年后的今天，微软宣布将 ChatGPT 整合入自家搜索引擎 Bing，并向 OpenAI 再投 100 亿美元。

强大的技术总是让人着迷，也让人恐惧，于是人类一次又一次地在它们身上豪赌。只是在人工智能领域，筹码比科学家们所知道的还要高。

这也是科技行业的运作方式：科技巨头们永远都在一场永不停息的竞赛中，追逐着下一项变革性技术，无论那是什么，每家公司都想率先抵达那里，如果有谁抢先一步，那么其他人将面临巨大的压力，必须毫不拖延地抵达。

在话剧《阿卡狄亚》中有这样一句台词：“当我们发现了所有的奥秘，并失去了所有的意义时，我们将会在空荡荡的海边孤身一人。” 在人工智能的探索之路上，也许人类永远无法探知所有的奥秘，又或许会时时怀疑这段探索之旅的意义，但所幸的是，即使在深度学习的寒冬中，无论是辛顿还是杨立昆，都不曾真正孤身一人。

来源：图灵人工智能

链接：晒科网

ChatGPT创始人：16岁出柜，与马斯克创业，爱AI胜过人类

立即订阅▲收听音频