编辑 | 黄俊杰

　　2011 年 2 月，微软和诺基亚宣布全面合作，合力挑战 Android 系统。Google 高级副总裁维克・冈多特拉（Vic Gundotra）在社交媒体上评论这件事：“两只火鸡加一起，也变不成一只鹰。”

　　冈多特拉自然是说对了，微软和诺基亚没几年就败走手机市场。弱弱联手挑战强者，一般都是这样的结局。

　　ChatGPT 大热后，它的缔造者 OpenAI 被贴上 “PayPal 黑帮”“乌托邦式创业” 之类的标签。但在 2015 年，这个团队成立之初看起来也是一个妄图挑战雄鹰的 “火鸡大联盟”。

　　OpenAI 的第一批投资者虽然都是硅谷响亮的名字：埃隆・马斯克（Elon Musk）、彼得・蒂尔（Peter Thiel）、山姆・阿尔特曼（Sam Altman）、里德・霍夫曼（Reid Hoffman）、杰西卡・利文斯顿（Jessica Livingston），但他们所执掌的公司和机构都不是各自领域里最专精于人工智能的那些。

　　海量数据和顶级人工智能科学家一般被认为是发展人工智能的必备资源。而美国最有资源的正是四大科技巨头――Google（手机、地图、搜索、邮件）、Facebook（社交）、苹果（手机）、亚马逊（购物）。这四家公司都在几年内达到万亿美元市值，并将人工智能用在自己的产品上。它们当中，只有亚马逊参与了 OpenAI，但只是捐了一些云计算资源。

　　霍夫曼掌管的 LinkedIn 在数据量层面无法和 Facebook 相提并论。阿尔特曼 接手的 Y-Combinator 虽然有名，但孵化的公司最大的也只是 Airbnb。特斯拉是其中唯一一家人工智能巨头，今天有上百万辆车每天在全世界搜集数据――但在 2015 年，它只是一个年产 5 万辆，前途未卜的创业公司。三年后，特斯拉销量激增、加大人工智能研究投入，马斯克便退出 OpenAI 董事会，说双方有 “利益冲突”。

　　就是这样一个开局，七年后的 OpenAI 成为全球最受关注的人工智能公司，让 Google、Facebook 等科技巨头措手不及。

　　创办 OpenAI 之前，阿尔特曼在斯坦福大学的课堂提出了公式：创业成功=想法 * 产品 * 执行 * 团队 * 运气。

　　OpenAI，他唯一成功的创业项目，完美证明了这个公式。

　　共同的恐惧，帮 OpenAI 招揽到一批顶级 AI 科学家

　　OpenAI 故事的起点是 2015 年 7 月在加州门罗帕克的一场晚宴。召集者是刚接任硅谷著名孵化器 Y Combinator 总裁一年多的阿尔特曼。晚宴出席者们相识已久，不少在创业时代有过交集。他们还都熟悉瑞典哲学家尼克・博斯特伦（Nick Bostrom）的观点，都对人工智能的未来充满恐惧。

　　那时，AlphaGo 还不是全球围棋冠军，但计算机识别人脸的准确度已超过人眼，Google 的自动驾驶汽车也早在路上行驶多年，数千万人使唤苹果、亚马逊的语音助手。机器越来越聪明，虽然还不到人的水平。

　　但根据博斯特伦 2014 年出版的《超级智能》（Super Intelligence）：以计算机发展规律，如果人工智能的聪明程度达到接近人类，它的智力用不了多久就会远远甩开人类――差距就像人类与老鼠那样大，但这一次，人类扮演老鼠的角色。

　　马斯克和阿尔特曼多次公开引用这个观点，认为人类必须提前做好准备。阿尔特曼和马斯克没想着限制它，而是想积极推动开发造福全人类的人工智能，让每个人都用上，去对抗坏的人工智能。正是这个宏大的愿景帮他们聚拢了顶级人才。

　　晚宴上，负责 Google Brain 项目的人工智能科学家伊尔亚?苏茨克维（Ilya Sutskever）当场表示有意加入。他在 2012 年参与提出 AlexNet 模型，证实了深度学习潜力。这被认为今天新一轮人工智能浪潮，包括无人驾驶技术的起点。

　　另一位加入的技术天才是今天的 OpenAI 董事长、CTO 格雷格・布罗克曼 (Greg Brockman)。布罗克曼是硅谷新兴独角兽 Stripe 的第 4 位成员，任首席技术官，推动 Stripe 的估值涨到 35 亿美元，并重新塑造了美国电商的支付体验。如果他继续陪着 Stripe 长大，可以在接下来七年获得数亿美元回报――现在 Stripe 的估值已经涨到 630 亿美元。但在当时，布罗克曼认为，投身人工智能研究更重要。

　　左侧是格雷格・布罗克曼，右侧是伊尔亚?苏茨克维。来自布罗克曼的博客。

　　晚宴结束后，布罗克曼就开始四处挖人组建团队。他找的第一个人是约书亚・本吉奥 (Yoshua Bengio）。2019 年，因为对深度学习的贡献，本吉奥和杰弗里・辛顿（Geoff Hinton）、杨立昆 (Yann LeCun) 一起获得图灵奖，唯独他不在为大公司效力。

　　本吉奥给布罗克曼列了深度学习领域最好的研究人员名单。接下来的几周，布罗克曼挨个联系名单上的人，尽管没有 Google 、Facebook 等公司的天价薪水，他还是靠着宏大的愿景说动了其中 9 位加入。

　　2015 年底，世界顶级的人工智能学术会议 NeurIPS（当时还叫 NIPS）举办期间，OpenAI 带着 10 亿美元的投资承诺宣告成立，目标是开发 “通用人工智能” 技术，专利和研究成果全部开放。

　　人们惊讶于 OpenAI 的愿景，但没多少人对这个缺少数据的联盟有信心。那一年担任 NeurIPS 大会主席的计算机科学家尼尔 ・ 劳伦斯（Neil Lawrence）说，OpenAI 的愿景令人钦佩，但 “没有数据共享，OpenAI 将无法造福人类”。

　　沿着 Google 打下的基础，找到可行的技术方向

　　2016 年，主流的人工智能技术路线是 “监督式的深度学习”，需要用精心标注的数据教会计算机自动完成任务。比如你想让计算机识别照片中的猫，你需要用上万张有猫的照片训练模型，而且要人去标清楚每张图片中什么是猫，然后计算机才能在新的照片里认出这种毛绒绒的动物。如果之后要识别狗，还得再来一次。

　　但 OpenAI 没有大规模的数据，也没足够多的钱雇佣人手去标注数据。它选的技术路线是 “非监督的强化学习”。强化学习是指让机器不断试错学习如何做某件事。非监督代表着让机器自己学，不要人引导它。这是 DeepMind 重点研究的技术，他们用它做出了 AlphaGO。

　　曾在 OpenAI 负责技术路线图的人工智能科学家达里奥・阿莫代 (Dario Amodei) 评价说，OpenAI 早期开展研究的方式类似风险投资，在一个领域设定 “投资组合”，不同的团队往不同的方向下注，最终选出最有可能做出通用人工智能的项目。

　　OpenAI 早期选了三个方向：一是做机器人，他们认为 “机器智力的发展需要物理实体”，于是开发出了可以单手玩魔方机器手系统 Dactyl；另一个是最游戏人工智能，借助打游戏提升机器智力水平，一开始在雅达利复古游戏中实验，后来做了打 Dota 的人工智能；第三个是开发语言模型，让人工智能用文本语言学习理解世界，也就是 GPT 系列。

　　前三年，OpenAI 的研究成果没什么特别的。“我们所做的一切都只是简单的想法，但正确吗？我们还没有搞清楚，有点茫然”，OpenAI 联合创始人布罗克曼 2018 年接受采访说。这时 Google 已经遥遥领先，它的语音机器人在发布会上伪装成人打电话给餐厅预订位置――这很快引发了商业公司滥用人工智能的讨论。

　　OpenAI 的转折时刻是 2019 年 2 月 14 日发布 GPT-2 模型，主要功能是根据用户输入的内容，生成续写文本。比如输入《指环王》中的句子，它会在几次尝试当中的某一次，生成让人无法分辨真假、剧情和原著不同，但看上去符合逻辑的续文。

　　GPT-2 是一个主要用 800 万篇 Reddit 论坛帖子、总计 40GB 文本训练出来的语言模型，从数据中提炼出来的规律和特征――也就是参数有 15 亿，是上一代语言模型 GPT 的十倍。

　　阿尔特曼当时参加一档播客录制时说：“自然语言模型变得越来越好，是人工智能领域最令人兴奋的发展之一。” 一向言简意赅的他，把这句话说了两遍。

　　大型语言模型也是许多大公司投入的方向。Google 发布了 BERT 系列模型，在阅读理解、对话等多个文本任务的表现超过人类，并刷新世界纪录。微软在 2020 年初训练出 Turing-NLG 的大模型，有 170 亿参数，是当时最大的模型。

　　不过在大公司，训练大语言模型只是人工智能研究院的一个项目。而在 OpenAI，这是优先级最高的事项，研究员投入 30 多位，它招揽的顶级科学家几乎都参与其中。

　　除了之前训练 GPT-2 时用到的 Reddit 上的数据（后来大幅扩充），OpenAI 的科学家还把此前 12 年从 6000 万个域名中收集的新闻报道、帖子、书籍全文以及各种网页等数千亿个单词的英文资料喂进模型，英文维基百科全部只占数据量的 3%，然后消耗数千万美元的计算资源开发出了 GPT-3。

　　GPT-3 的参数是 Turing-NLG 的 10 倍，不需要针对训练就能写诗歌 / 报道、回答问题、编写代码，大多数情况下结果让人难辨真假。《纽约时报》随后发布的一篇专栏文章称，GPT-3 写散文、诗歌、代码的能力 “令人惊奇”“令人羞愧” 又 “令人毛骨悚然”。

　　但这类大语言模型仍然存在一些问题，当时调用一次就需要消耗不少资源，等待几分钟甚至十几分钟才能出一个结果，想要在商业中应用基本不可能。

　　GPT-3 发布后，OpenAI 朝着两个方向继续前进，一是开发 GPT-4，大概率会在今年发布。另一个是从 GPT-3 拆出参数更少、聚焦特定任务的模型，用更新的数据训练它，配合人类反馈数据强化能力，降低成本、提高能力，使其在商业应用上可行。

　　ChatGPT 就是 GPT-3 大幅度强化对话能力、并用数十万人类反馈数据训练后的结果，它的基础模型被命名为 GPT-3.5。据报道，ChatGPT 是 OpenAI 在 2022 年 11 月中旬临时开发出来的，只用了 13 天时间。起因是 OpenAI 的高管担心对手先发布同类产品 “抢它风头”。结果超出预期，ChatGPT 在全球掀起风暴。

　　在 Meta（Facebook 母公司）首席人工智能科学家、图灵奖得主杨立昆看来，ChatGPT“不特别具有创新性”“没有什么革命性”。

　　ChatGPT 和它的基础大模型 GPT-3 的确建立在多年技术积累上，不少都出自 Google。它最核心的技术是 Google 在 2017 年提出的 Transformer 模型架构，让大规模并行处理海量数据成为可能。

　　因为 ChatGPT 而备受关注的 “人类反馈强化学习”（RLHF）训练方式，也是出自 DeepMind，它能让模型从人类对机器不同的结果反馈（赞扬或批评）中，不断学习、改进输出结果。

　　就像 iPhone 发布前，多点触控的技术也已诞生多年，历史上任何一个产生巨大影响力的产品出现前，它背后技术要素大都齐全。

　　相比在单个方向上实现技术从 0 到 1 的拓荒创新，OpenAI 做到的不只是把各种技术融在一起，还在持续的反馈中迭代 5 年，找到一个适合给大众使用的产品形态。

　　对 OpenAI 来说，2018 年以来一直坚持训练大语言模型，还需要勇气。GPT-2 发布前，OpenAI 钱已经不太够用了。根据 OpenAI 提交给美国国税局的文件，2017 年它光花在云计算上的钱都有 790 万美元。布罗克曼等人测算，训练大模型消耗的计算量，每 3、4 个月会翻一倍。这个趋势得到了验证。据多位业内人士估算，OpenAI 训练 GPT-3 一年，仅算力成本就有 2000 万美元。

　　而那时，OpenAI 的投资人在 2015 年底承诺的超 10 亿美元资金，只到账了一小部分。

　　与微软结盟，巧妙的利益平衡

　　布罗克曼等人推动 OpenAI 完成从 0 到 1 的发展过程。之后 OpenAI 从花费巨额费用支持 GPT-3 上线到 ChatGPT 震动世界，主要靠阿尔特曼。

　　阿尔特曼去年初在社交媒体上发的一个帖子，恰如其分地体现了他的世界观：“我非常感兴趣的一种大学替代方案是：找出全球最聪明、最有进取心的 18 岁年轻人，给他们 10 年以上的薪水和资源，让他们做自己想做的任何项目，配上聪明的同龄人――换他们未来收入里的几个百分点。”

　　这差不多就是他曾在 YC 做的事：选拔聪明、渴望成功的年轻人，为他们提供培训，帮他们成功――用一小笔钱（1.2 万美元）换走创业项目 7% 股份。硅谷创业教父保罗・格雷厄姆（Paul Graham）创办 YC 后，孵化出了 Airbnb、Stripe、Cruise、Dropbox 等超级独角兽，今天这些公司的总价值已有数千亿美元，超过阿里巴巴或者腾讯。

　　2014 年，格雷厄姆把 YC 交给阿尔特曼时，阿尔特曼除了早年有一次不太成功的创业，职业经历主要在 YC 孵化器当导师、提供融资建议。但 YC 和大部分投资机构不同，它的合伙人不雇投资经理，坚持自己理解技术。投资核聚变项目，也是阿尔特曼自己做的功课。

　　阿尔特曼是阿伦・索金（Aaron Sorkin）电影里典型的聪明人形象，语速很快、回答简练。他有比师傅更大的野心、更激进的时间表。2015 年，阿尔特曼被问及 YC 在五年后会怎样，他回答 “一年投资一千家公司”。这个数字是他接手前，YC 十年孵化的公司总数。

　　不过他没有待到那个时候。2019 年初，阿尔特曼辞去 YC 总裁的职务，接管 OpenAI。他在 OpenAI 做的第一件事，就是组建盈利公司 OpenAI LP，然后自己担任首席执行官（CEO），找融资。

　　“最引人注目的人工智能系统，除了需要算法创新，还消耗最多的计算资源，”OpenAI 同期发布的一篇博文中写道，“接下来几年，我们要投资数十亿美元采购云计算资源，吸引并留住有才能的人。”

　　当时硅谷有这等资源的公司基本都在投资自己的人工智能技术。阿尔特曼多次飞去西雅图，为微软 CEO 萨蒂亚・纳德拉（Satya Nadella）现场展示 OpenAI 的模型。

　　微软早年为了 Windows 全力打击竞争对手，是硅谷创新者们眼中的 “恶人”。但纳德拉接手微软后不再追逐操作系统的占有率，改去资本市场讲云计算的故事。双方有了合作空间。

　　2019 年 7 月，经过一个多月的谈判后，OpenAI 拿到微软的 10 亿美元投资，双方的利益也达成了微妙的平衡。

　　对纳德拉来说，投资 OpenAI 是一笔划算的生意。签约后，微软成了 OpenAI 的唯一云计算供应商――投出去的钱，相当一部分变成了微软的云计算收入。

　　微软还成了 OpenAI 技术商业化的 “首要合作伙伴”。这意味着其他公司想使用 OpenAI 的技术，最好的方式是通过微软的 Azure 云计算。

　　OpenAI 从这笔融资中获得了继续训练大模型的资源。布罗克曼随后接受采访强调，授权部分技术（给微软）是为了获取研发通用人工智能的资金，OpenAI 仍有选择权，没义务必须把微软选定的技术授权给它，“如果与 OpenAI 的使命相悖，我们不会做”。

　　据市场消息，在 2019 年到 2023 年之间，微软又投资了 OpenAI 20 亿美元。2023 年初，OpenAI 发布 ChatGPT 引发大量关注的同时，微软再次向它投资 100 亿美元。

　　除了业务上协同，OpenAI 还在股权架构与利润分配上，与微软等投资方达成了一种罕见的协议：

　　微软新一轮投资完成、OpenAI LP 首批投资人收回初始投资后，微软有权获得 OpenAI LP 75% 利润；?

　　微软收回 130 亿美元投资、从 OpenAI LP 获得 920 亿美元利润后，它分享利润的比例从 75% 降到 49%；

　　OpenAI LP 产生的利润达到 1500 亿美元后，投资方的全部股权转让给 OpenAI 的非营利基金。

　　可以说，微软这上百亿美元的投资是 “租了 OpenAI”。等 OpenAI 开始赚大钱之后，微软能直接分钱。但如果 OpenAI 变得极其赚钱，就能拿回微软手中的股份，不再受其制约。

　　不过 1500 亿美元是个非常遥远的目标。据多个媒体获取的 OpenAI 财务信息，OpenAI 预计今年营收会达到 2 亿美元，2024 年会达到 10 亿美元。全球最赚钱的商业公司苹果也是最近一个财年才有 1000 亿美元利润。

　　虽然何时能够盈利仍是未知数，但 Ope

火鸡追上雄鹰，OpenAI的成功为何难以复制？

本文来自微信公众号：晚点LatePost （ID：postlate），作者：贺乾明，编辑：黄俊杰，题图来自：OpenAI

2011 年 2 月，微软和诺基亚宣布全面合作，合力挑战 Android 系统。Google 高级副总裁维克・冈多特拉（Vic Gundotra）在社交媒体上评论这件事：“两只火鸡加一起，也变不成一只鹰。”

冈多特拉自然是说对了，微软和诺基亚没几年就败走手机市场。弱弱联手挑战强者，一般都是这样的结局。

ChatGPT 大热后，它的缔造者 OpenAI 被贴上 “PayPal 黑帮”“乌托邦式创业” 之类的标签。但在 2015 年，这个团队成立之初看起来也是一个妄图挑战雄鹰的 “火鸡大联盟”。

OpenAI 的第一批投资者虽然都是硅谷响亮的名字：埃隆・马斯克（Elon Musk）、彼得・蒂尔（Peter Thiel）、山姆・阿尔特曼（Sam Altman）、里德・霍夫曼（Reid Hoffman）、杰西卡・利文斯顿（Jessica Livingston），但他们所执掌的公司和机构都不是各自领域里最专精于人工智能的那些。

海量数据和顶级人工智能科学家一般被认为是发展人工智能的必备资源。而美国最有资源的正是四大科技巨头――Google（手机、地图、搜索、邮件）、Facebook（社交）、苹果（手机）、亚马逊（购物）。这四家公司都在几年内达到万亿美元市值，并将人工智能用在自己的产品上。它们当中，只有亚马逊参与了 OpenAI，但只是捐了一些云计算资源。

霍夫曼掌管的 LinkedIn 在数据量层面无法和 Facebook 相提并论。阿尔特曼接手的 Y-Combinator 虽然有名，但孵化的公司最大的也只是 Airbnb。特斯拉是其中唯一一家人工智能巨头，今天有上百万辆车每天在全世界搜集数据――但在 2015 年，它只是一个年产 5 万辆，前途未卜的创业公司。三年后，特斯拉销量激增、加大人工智能研究投入，马斯克便退出 OpenAI 董事会，说双方有 “利益冲突”。

就是这样一个开局，七年后的 OpenAI 成为全球最受关注的人工智能公司，让 Google、Facebook 等科技巨头措手不及。

创办 OpenAI 之前，阿尔特曼在斯坦福大学的课堂提出了公式：创业成功=想法 * 产品 * 执行 * 团队 * 运气。

OpenAI，他唯一成功的创业项目，完美证明了这个公式。

共同的恐惧，帮 OpenAI 招揽到一批顶级 AI 科学家

OpenAI 故事的起点是 2015 年 7 月在加州门罗帕克的一场晚宴。召集者是刚接任硅谷著名孵化器 Y Combinator 总裁一年多的阿尔特曼。晚宴出席者们相识已久，不少在创业时代有过交集。他们还都熟悉瑞典哲学家尼克・博斯特伦（Nick Bostrom）的观点，都对人工智能的未来充满恐惧。

那时，AlphaGo 还不是全球围棋冠军，但计算机识别人脸的准确度已超过人眼，Google 的自动驾驶汽车也早在路上行驶多年，数千万人使唤苹果、亚马逊的语音助手。机器越来越聪明，虽然还不到人的水平。

但根据博斯特伦 2014 年出版的《超级智能》（Super Intelligence）：以计算机发展规律，如果人工智能的聪明程度达到接近人类，它的智力用不了多久就会远远甩开人类――差距就像人类与老鼠那样大，但这一次，人类扮演老鼠的角色。

马斯克和阿尔特曼多次公开引用这个观点，认为人类必须提前做好准备。阿尔特曼和马斯克没想着限制它，而是想积极推动开发造福全人类的人工智能，让每个人都用上，去对抗坏的人工智能。正是这个宏大的愿景帮他们聚拢了顶级人才。

晚宴上，负责 Google Brain 项目的人工智能科学家伊尔亚?苏茨克维（Ilya Sutskever）当场表示有意加入。他在 2012 年参与提出 AlexNet 模型，证实了深度学习潜力。这被认为今天新一轮人工智能浪潮，包括无人驾驶技术的起点。

另一位加入的技术天才是今天的 OpenAI 董事长、CTO 格雷格・布罗克曼（Greg Brockman）。布罗克曼是硅谷新兴独角兽 Stripe 的第 4 位成员，任首席技术官，推动 Stripe 的估值涨到 35 亿美元，并重新塑造了美国电商的支付体验。如果他继续陪着 Stripe 长大，可以在接下来七年获得数亿美元回报――现在 Stripe 的估值已经涨到 630 亿美元。但在当时，布罗克曼认为，投身人工智能研究更重要。

左侧是格雷格・布罗克曼，右侧是伊尔亚?苏茨克维。来自布罗克曼的博客。

晚宴结束后，布罗克曼就开始四处挖人组建团队。他找的第一个人是约书亚・本吉奥（Yoshua Bengio）。2019 年，因为对深度学习的贡献，本吉奥和杰弗里・辛顿（Geoff Hinton）、杨立昆（Yann LeCun）一起获得图灵奖，唯独他不在为大公司效力。

本吉奥给布罗克曼列了深度学习领域最好的研究人员名单。接下来的几周，布罗克曼挨个联系名单上的人，尽管没有 Google 、Facebook 等公司的天价薪水，他还是靠着宏大的愿景说动了其中 9 位加入。

2015 年底，世界顶级的人工智能学术会议 NeurIPS（当时还叫 NIPS）举办期间，OpenAI 带着 10 亿美元的投资承诺宣告成立，目标是开发 “通用人工智能” 技术，专利和研究成果全部开放。

人们惊讶于 OpenAI 的愿景，但没多少人对这个缺少数据的联盟有信心。那一年担任 NeurIPS 大会主席的计算机科学家尼尔 ・ 劳伦斯（Neil Lawrence）说，OpenAI 的愿景令人钦佩，但 “没有数据共享，OpenAI 将无法造福人类”。

沿着 Google 打下的基础，找到可行的技术方向

2016 年，主流的人工智能技术路线是 “监督式的深度学习”，需要用精心标注的数据教会计算机自动完成任务。比如你想让计算机识别照片中的猫，你需要用上万张有猫的照片训练模型，而且要人去标清楚每张图片中什么是猫，然后计算机才能在新的照片里认出这种毛绒绒的动物。如果之后要识别狗，还得再来一次。

但 OpenAI 没有大规模的数据，也没足够多的钱雇佣人手去标注数据。它选的技术路线是 “非监督的强化学习”。强化学习是指让机器不断试错学习如何做某件事。非监督代表着让机器自己学，不要人引导它。这是 DeepMind 重点研究的技术，他们用它做出了 AlphaGO。

曾在 OpenAI 负责技术路线图的人工智能科学家达里奥・阿莫代（Dario Amodei）评价说，OpenAI 早期开展研究的方式类似风险投资，在一个领域设定 “投资组合”，不同的团队往不同的方向下注，最终选出最有可能做出通用人工智能的项目。

OpenAI 早期选了三个方向：一是做机器人，他们认为 “机器智力的发展需要物理实体”，于是开发出了可以单手玩魔方机器手系统 Dactyl；另一个是做游戏人工智能，借助打游戏提升机器智力水平，一开始在雅达利复古游戏中实验，后来研做了打 Dota 的人工智能；第三个是开发语言模型，让人工智能用文本语言学习理解世界，也就是 GPT 系列。

前三年，OpenAI 的研究成果没什么特别的。“我们所做的一切都只是简单的想法，但正确吗？我们还没有搞清楚，有点茫然”，OpenAI 联合创始人布罗克曼 2018 年接受采访说。这时 Google 已经遥遥领先，它的语音机器人在发布会上伪装成人打电话给餐厅预订位置――这很快引发了商业公司滥用人工智能的讨论。

OpenAI 的转折时刻是 2019 年 2 月 14 日发布 GPT-2 模型，主要功能是根据用户输入的内容，生成续写文本。比如输入《指环王》中的句子，它会在几次尝试当中的某一次，生成让人无法分辨真假、剧情和原著不同，但看上去符合逻辑的续文。

GPT-2 是一个主要用 800 万篇 Reddit 论坛帖子、总计 40GB 文本训练出来的语言模型，从数据中提炼出来的规律和特征――也就是参数有 15 亿，是上一代语言模型 GPT 的十倍。

阿尔特曼当时参加一档播客录制时说：“自然语言模型变得越来越好，是人工智能领域最令人兴奋的发展之一。” 一向言简意赅的他，把这句话说了两遍。

大型语言模型也是许多大公司投入的方向。Google 发布了 BERT 系列模型，在阅读理解、对话等多个文本任务的表现超过人类，并刷新世界纪录。微软在 2020 年初训练出 Turing-NLG 的大模型，有 170 亿参数，是当时最大的模型。

不过在大公司，训练大语言模型只是人工智能研究院的一个项目。而在 OpenAI，这是优先级最高的事项，研究员投入 30 多位，它招揽的顶级科学家几乎都参与其中。

除了之前训练 GPT-2 时用到的 Reddit 上的数据（后来大幅扩充），OpenAI 的科学家还把此前 12 年从 6000 万个域名中收集的新闻报道、帖子、书籍全文以及各种网页等数千亿个单词的英文资料喂进模型，英文维基百科全部只占数据量的 3%，然后消耗数千万美元的计算资源开发出了 GPT-3。

GPT-3 的参数是 Turing-NLG 的 10 倍，不需要针对训练就能写诗歌 / 报道、回答问题、编写代码，大多数情况下结果让人难辨真假。《纽约时报》随后发布的一篇专栏文章称，GPT-3 写散文、诗歌、代码的能力 “令人惊奇”“令人羞愧” 又 “令人毛骨悚然”。

但这类大语言模型仍然存在一些问题，当时调用一次就需要消耗不少资源，等待几分钟甚至十几分钟才能出一个结果，想要在商业中应用基本不可能。

GPT-3 发布后，OpenAI 朝着两个方向继续前进，一是开发 GPT-4，大概率会在今年发布。另一个是从 GPT-3 拆出参数更少、聚焦特定任务的模型，用更新的数据训练它，配合人类反馈数据强化能力，降低成本、提高能力，使其在商业应用上可行。

ChatGPT 就是 GPT-3 大幅度强化对话能力、并用数十万人类反馈数据训练后的结果，它的基础模型被命名为 GPT-3.5。据报道，ChatGPT 是 OpenAI 在 2022 年 11 月中旬临时开发出来的，只用了 13 天时间。起因是 OpenAI 的高管担心对手先发布同类产品 “抢它风头”。结果超出预期，ChatGPT 在全球掀起风暴。

在 Meta（Facebook 母公司）首席人工智能科学家、图灵奖得主杨立昆看来，ChatGPT“不特别具有创新性”“没有什么革命性”。

ChatGPT 和它的基础大模型 GPT-3 的确建立在多年技术积累上，不少都出自 Google。它最核心的技术是 Google 在 2017 年提出的 Transformer 模型架构，让大规模并行处理海量数据成为可能。

因为 ChatGPT 而备受关注的 “人类反馈强化学习”（RLHF）训练方式，也是出自 DeepMind，它能让模型从人类对机器不同的结果反馈（赞扬或批评）中，不断学习、改进输出结果。

就像 iPhone 发布前，多点触控的技术也已诞生多年，历史上任何一个产生巨大影响力的产品出现前，它背后技术要素大都齐全。

相比在单个方向上实现技术从 0 到 1 的拓荒创新，OpenAI 做到不只是把各种技术融在一起，还有持续的反馈中迭代 5 年，找到一个适合给大众使用的产品形态。

对 OpenAI 来说，2018 年以来一直坚持训练大语言模型，还需要勇气。GPT-2 发布前，OpenAI 钱已经不太够用了。根据 OpenAI 提交给美国国税局的文件，2017 年它光花在云计算上的钱都有 790 万美元。布罗克曼等人测算，训练大模型消耗的计算量，每 3、4 个月会翻一倍。这个趋势得到了验证。据多位业内人士估算，OpenAI 训练 GPT-3 一年，仅算力成本就有 2000 万美元。

而那时，OpenAI 的投资人在 2015 年底承诺的超 10 亿美元资金，只到账了一小部分。

与微软结盟，巧妙的利益平衡

布罗克曼等人推动 OpenAI 完成从 0 到 1 的发展过程。之后 OpenAI 从花费巨额费用支持 GPT-3 上线到 ChatGPT 震动世界，主要靠阿尔特曼。

阿尔特曼去年初在社交媒体上发的一个帖子，恰如其分地体现了他的世界观：“我非常感兴趣的一种大学替代方案是：找出全球最聪明、最有进取心的 18 岁年轻人，给他们 10 年以上的薪水和资源，让他们做自己想做的任何项目，配上聪明的同龄人――换他们未来收入里的几个百分点。”

这差不多就是他曾在 YC 做的事：选拔聪明、渴望成功的年轻人，为他们提供培训，帮他们成功――用一小笔钱（1.2 万美元）换走创业项目 7% 股份。硅谷创业教父保罗・格雷厄姆（Paul Graham）创办 YC 后，孵化出了 Airbnb、Stripe、Cruise、Dropbox 等超级独角兽，今天这些公司的总价值已有数千亿美元，超过阿里巴巴或者腾讯。

2014 年，格雷厄姆把 YC 交给阿尔特曼时，阿尔特曼除了早年有一次不太成功的创业，职业经历主要在 YC 孵化器当导师、提供融资建议。但 YC 和大部分投资机构不同，它的合伙人不雇投资经理，坚持自己理解技术。投资核聚变项目，也是阿尔特曼自己做的功课。

阿尔特曼是阿伦・索金（Aaron Sorkin）电影里那种典型的聪明人形象，语速很快、回答简练。他有比师傅更大的野心、更激进的时间表。2015 年，阿尔特曼被问及 YC 在五年后会怎样，他回答 “一年投资一千家公司”。这个数字是他接手前，YC 十年孵化的公司总数。

山姆・阿尔特曼，来自 YC。

不过他没有待到那个时候。2019 年初，阿尔特曼辞去 YC 总裁的职务，接管 OpenAI。他在 OpenAI 做的第一件事，就是组建盈利公司 OpenAI LP，然后自己担任首席执行官（CEO），找融资。

“最引人注目的人工智能系统，除了需要算法创新，还消耗最多的计算资源。”OpenAI 同期发布的一篇博文中写道，“接下来几年，我们要投资数十亿美元采购云计算资源，吸引并留住有才能的人。”

当时硅谷有这等资源的公司基本都在投资自己的人工智能技术。阿尔特曼多次飞去西雅图，为微软 CEO 萨蒂亚・纳德拉（Satya Nadella）现场展示 OpenAI 的模型。

微软早年为了 Windows 全力打击竞争对手，是硅谷创新者们眼中的 “恶人”。但纳德拉接手微软后不再追逐操作系统的占有率，改去资本市场讲云计算的故事。双方有了合作空间。

2019 年 7 月，经过一个多月的谈判后，OpenAI 拿到微软的 10 亿美元投资，双方的利益也达成了微妙的平衡。

对纳德拉来说，投资 OpenAI 是一笔划算的生意。签约后，微软成了 OpenAI 的唯一云计算供应商――投出去的钱，相当一部分变成了微软的云计算收入。

微软还成了 OpenAI 技术商业化的 “首要合作伙伴”。这意味着其他公司想使用 OpenAI 的技术，最好的方式是通过微软的 Azure 云计算。

OpenAI 从这笔融资中获得了继续训练大模型的资源。布罗克曼随后接受采访强调，授权部分技术（给微软）是为了获取研发通用人工智能的资金，OpenAI 仍有选择权，没义务必须把微软选定的技术授权给它，“如果与 OpenAI 的使命相悖，我们不会做”。

据市场消息，在 2019 年到 2023 年之间，微软又投资了 20 亿美元。2023 年初，OpenAI 发布 ChatGPT 引发大量关注的同时，微软再次向它投资 100 亿美元。

除了业务上协同，OpenAI 还在股权架构与利润分配上，与微软等投资方达成了一种罕见的协议：

• openai创始人谈chatgpt openai创始人谈chatgpt 马斯克

  openai公司,open公司,openai公司上市了吗,openai 官网
  

  文|甲子光年 赵健

  ChatGPT的热度正在一路狂飙。

  “去年12月在机器学习圈曾持续热议过，但是没有现在每一个群都在交流和使用的状况。这是除了疫情，从未有过的现象。”有人如此感慨。

  一位AI产品经理向「甲子光年」表示，或许若干年后回看AI行业的发展，会有两个标志：阿尔法狗代表AI在专业领域“干翻”人类的起点，ChatGPT代表AI在通用智能领域“干翻”人类的起点......

  《财富》杂志则是这样描述的：

  在一代人的时间中总有一种产品的出现，它将从工程系昏暗的地下室、书呆子们臭气熏天的青少年卧室和爱好者们孤独的洞穴中弹射出来，变成了你的祖母Edna都知道如何使用的东西。早在 1990 年就有网络浏览器，但直到 1994 年Netscape Navigator的出现，大多数人才发现了互联网。2001 年 iPod 问世之前就已经有了 MP3 播放器，但它们并没有引发数字音乐革命。在2007 年苹果推出iPhone之前，也有智能手机，但在 iPhone 之前，没有智能手机的应用程序。

  2022年11月30日，人工智能迎来了Netscape Navigator时刻。

  对于人工智能或者聊天机器人，我们并不陌生。从苹果Siri、微软小冰、智能音箱，这些人工智能产品已经融入到人们的生活中，但是基本都有一个特点――还比较笨，跟我们在《流浪地球2》中看到的MOSS相差十万八千里。

  但这次的ChatGPT有点不一样。它不但可以实现多轮文本对话，也可以写代码、写营销文案、写诗歌、写商业计划书、写电影剧本。虽然并不完美、也会出错，但看起来无所不能。

  连埃隆・马斯克都评价道：“ChatGPT好得吓人，我们离危险的强人工智能不远了。”

  而且，ChatGPT也不仅仅是一个打发时间的聊天机器人，微软与谷歌此时此刻正在因为ChatGPT的出现筹备一场关乎未来的AI大战。而国内的科技公司，也在努力思考着如何搭上驶向未来的船票，无论是以蹭概念，还是真产品的方式。

  这一切，ChatGPT是如何做到的？本文，「甲子光年」将首先回答几个最基础的问题：

  1. ChatGPT和过去的AI有什么不同？
  2. OpenAI是如何战胜谷歌的？
  3. OpenAI的成功花了多少钱？
  4. ChatGPT爆火之后，谁是最后赢家？

  01 ChatGPT，生成式AI的王炸

  刚刚过去的2022年，从硅谷到国内的科技公司，上上下下都蔓延着一股“寒气”。但是，AI行业却完全是另一番热闹的景象。

  这一年，通过输入文本描述就能自动生成图片的AI绘画神器突然雨后春笋般冒了出来，其中最具代表性的几家为第二代DALL・E（由OpenAI于2022年4月发布）、Imagen（谷歌2022年5月发布）、Midjourney（2022年7月发布）、Stable Diffusion（2022年7月发布）等，让人眼花缭乱。

  2022年9月，由Midjourney创作生成的画作《太空歌剧院》在科罗拉多州博览会数字艺术创作类比赛中获得一等奖并引发争议，AI绘画进一步破圈，受到大众关注。

  AI绘画是AI发展的里程碑级应用，但没过多久人们便发现，AI绘画只是“四个二”，真正的“王炸”在11月30日上线――ChatGPT。

  去年12月，我们曾与ChatGPT做过一次对话。

  从AI绘画到ChatGPT，它们都属于AI的一个分支――生成式AI（Generative AI），在国内也被称为AIGC（AI Generated Content）。

  2022年9月，红杉资本发布了一篇重磅文章――《生成式AI：一个创造性的新世界》（Generative AI: A Creative New World），首次提出生成式AI这一概念。

  红杉资本将生成式AI分为文本、代码、图片、语言、视频、3D等数个应用场景。红杉资本认为，生成式AI至少可以提高10%的效率或创造力，有潜力产生数万亿美元的经济价值。

  凭借生成式AI的风口，一些AI绘画公司开始拿到巨额融资。2022年10月，Stable Diffusion模型背后的公司Stability AI宣布获得1.01亿美元种子轮，投后估值达10亿美元；另一家AI内容平台Jasper亦宣布获1.25亿美元新融资，估值达17亿美元。

  据Leonis Capital统计，自2020年以来，VC对生成人工智能的投资增长了400%以上，2022年则达到惊人的21亿美元。

  在文章中，红杉资本将AI分为“分析式AI”与“生成式AI”两大类，分析式AI主要用在垃圾邮件检测、预测发货时间或者抖音视频推荐中，也是过去几年最常见、发展最快的AI类型。国内的AI四小龙――商汤、旷视、云从、依图皆属于此类。

  生成式AI则聚焦于知识工作与创造性工作，从社交媒体到游戏，从广告到建筑，从编码到平面设计，从产品设计到法律，从营销到销售。

  在2015年之前，人工智能基本是小模型的天下。

  过去的微软小冰、苹果Siri、智能音箱，以及各个平台的客服机器人背后都是小模型，在其系统中包含若干Agent（知行主体，可以理解为执行具体任务的程序），一个专门负责聊天对话、一个专门负责诗词生成、一个专门负责代码生成、一个专门负责营销文案等等。

  如果需要增加新功能，只需要训练一个新的Agent。如果用户的问题超出了既有Agent的范围，那么就会从人工智能变为人工智障。

  但是ChatGPT不再是这种模式，而是采用了“大模型+Prompting（提示词）”。大模型可以理解为背后只有一个Agent来解决用户所有的问题，因此更加接近AGI（通用人工智能）。

  ChatGPT的出现不亚于在人工智能行业投下了一枚“核弹”。前微软CEO比尔・盖茨对ChatGPT评价为“不亚于互联网诞生”，现微软CEO萨提亚・纳德拉将其盛赞为“堪比工业革命”。如今，有越来越多的公司开始将ChatGPT融入其产品中，或者推出类ChatGPT的产品。

  对此，ChatGPT是如何做到的？

  02 OpenAI缠斗谷歌

  ChatGPT背后的公司为OpenAI，成立于2015年，由特斯拉CEO埃隆・马斯克、PayPal联合创始人彼得・蒂尔、Linkedin创始人里德・霍夫曼、创业孵化器Y Combinator总裁阿尔特曼（Sam Altman）等人出资10亿美元创立。

  OpenAI的诞生旨在开发通用人工智能（AGI）并造福人类。

  当时，谷歌才是人工智能领域的最强公司。2016年打败人类围棋冠军的阿尔法狗背后的AI创企DeepMind，就是由谷歌收购。

  这一年5月，谷歌CEO桑德・皮查伊（Sundar Pichai）宣布将公司策略从“移动为先”转变成“人工智能为先”（AI First），并计划在公司的每一个产品上都应用机器学习算法。

  OpenAI诞生的初衷，部分原因就是为了避免谷歌在人工智能领域形成垄断。OpenAI起初是一个非营利组织，但在2019年成立OpenAI LP子公司，目标是盈利和商业化，并引入了微软的10亿美元投资。前YC孵化器总裁阿尔特曼就是此时加入OpenAI担任CEO。

  ChatGPT名字中的GPT（Generative Pre-trained Transformer ，生成式预训练变换器），是OpenAI推出的深度学习模型。ChatGPT就是基于GPT-3.5版本的聊天机器人。

  GPT的名字中包含了大名鼎鼎的Transformer，这是由谷歌大脑团队在2017年的论文《Attention is all you need》中首次提出的模型。现在来看，这是人工智能发展的里程碑事件，它完全取代了以往的RNN（循环神经网络）和CNN（卷积神经网络）结构，先后在NLP（自然语言处理）、CV（计算机视觉）领域取得了惊人的效果。

  最初的Transformer模型有6500个可调参数，是当时最先进的大语言模型（Large Language Model, LLM）。谷歌公开了模型架构，任何人都可以用其搭建类似架构的模型，并结合自己手上的数据进行训练。

  特斯拉自动驾驶，预测蛋白质结构的AlphaFold2模型，以及本文的主角OpenAI的GPT，都是在Transformer的基础上构建的。正如它的中文名字一样――变形金刚。

  Transformer出现之后，很多公司基于Transformer做NLP模型研究，其中OpenAI与谷歌就是最重要的两家。

  2018年，OpenAI推出了1.17亿参数的GPT-1，谷歌推出了3亿参数的BERT，双方展开了一场NLP的较量。

  GPT与BERT采用了不同的技术路线。简单理解，BERT是一个双向模型，可以联系上下文进行分析，更擅长“完形填空”；而GPT是一个单项模型，只能从左到右进行阅读，更擅长“写作文”。

  两者的表现如何呢？发布更早的GPT-1赢了初代Transformer，但输给了晚4个月发布的BERT，而且是完败。在当时的竞赛排行榜上，阅读理解领域已经被BERT屠榜了。此后，BERT也成为了NLP领域最常用的模型。

  但是这场AI竞争才刚刚开始。OpenAI既没有认输，也非常“头铁”。虽然GPT-1效果不如BERT，但OpenAI没有改变策略，而是坚持走“大模型路线”。

  在OpenAI眼中，未来的通用人工智能应该长这个样子：“有一个任务无关的超大型LLM，用来从海量数据中学习各种知识，这个LLM以生成一切的方式，来解决各种各样的实际问题，而且它应该能听懂人类的命令，以便于人类使用。”

  换句话说，就是大力出奇迹！

  接下来的两年（2019、2020年），在几乎没有改变模型架构的基础上，OpenAI陆续推出参数更大的迭代版本GPT-2、GPT-3，前者有15亿参数，后者有1750亿参数。

  GPT-2在性能上已经超过BERT，到GPT-3又更进一步，几乎可以完成自然语言处理的绝大部分任务 ，例如面向问题的搜索、阅读理解、语义推断、机器翻译、文章生成和自动问答，甚至还可以依据任务描述自动生成代码。

  GPT-3大获成功。OpenAI在早期测试结束后开始尝试对GPT-3进行商业化，付费用户可以通过API使用该模型完成所需语言任务，比如前文提到的AI绘画独角兽Jasper就是GPT-3的客户。

  值得一提的是，这个过程中谷歌也在不断推出新的模型。但不同于OpenAI“从一而终”地坚持GPT路线，谷歌在BERT之后也推出了T5、Switch Transformer等模型，类似于赛马机制。

  此时距离ChatGPT的诞生还差一步。

  03 意料之外的走红

  在GPT-3发布之后，OpenAI研究人员在思考如何对模型进行改进。

  他们发现，要想让GPT-3产出用户想要的东西，必须引入“人类反馈强化学习机制”（RLHF），通过人工标注对模型输出结果打分建立奖励模型，然后通过奖励模型继续循环迭代。

  而聊天机器人就是引入强化学习的最佳方式，因为在聊天过程中，人类的对话就即时、持续地向模型反馈数据，从而让模型根据反馈结果进行改进。因为加入了人工标注环节，OpenAI为此雇佣了大约40位外包人员来与机器人对话。

  通过这样的训练，OpenAI获得了更真实、更无害，并且更好地遵循用户意图的语言模型InstructGPT，在2022年3月发布，并同期开始构建InstuctGPT的姊妹模型――ChatGPT。

  根据《财富》杂志报道，当ChatGPT准备就绪后，OpenAI一开始并没有想把它向公众开放，而是先让测试人员使用。

  但根据OpenAI联合创始人兼现任总裁Greg Brockman的说法，这些测试人员不清楚应该与这个聊天机器人谈论什么。后来，OpenAI试图将ChatGPT转向特定领域的专业人士，但缺乏专业领域的训练数据。

  OpenAI最终不得不决定将ChatGPT向公众开放。“我承认，我不知道这是否会奏效。” Brockman说。

  在《纽约时报》的报道中，OpenAI发布ChatGPT还有另外一个理由：担心对手公司可能会在GPT-4 前发布他们的人工智能聊天机器人，因此要抢先发布。

  总之，在2022年11月30日这天，ChatGPT诞生了。

  ChatGPT成为了史上蹿红最快的应用。发布第五天，ChatGPT就积累了100万用户，这是Facebook花了10个月才达到的成绩；发布两个月，ChatGPT突破了1亿用户，对此TikTok用了大约九个月，Instagram用了两年多。

  ChatGPT的迅速传播连OpenAI也猝不及防，OpenAI首席技术官Mira Murati说：“这绝对令人惊讶。”在旧金山VC活动上OpenAI CEO阿尔特曼说，他“本以为一切都会少一个数量级，少一个数量级的炒作”。

  值得一提的是，OpenAI并非唯一的大模型聊天机器人。2021年5月，谷歌也发布了专注于生成对话的语言模型LaMDA，但直到现在谷歌仍未对外“交卷”。本周谷歌匆忙发布的用于对抗ChatGPT的聊天机器人Bard就由LaMDA支撑，但Bard的上线日期也未公布。

  在这场OpenAI与谷歌持续数年的大模型竞争中，谷歌最终落了下风。

  04 代价是什么？

  但ChatGPT的成功，也让OpenAI付出了代价，“烧钱”的代价。

  过去几年，大模型俨然成为了一场AI的军备竞赛。在2015年至2020年期间，用于训练大模型的计算量增加了6个数量级，在手写、语音和图像识别、阅读理解和语言理解方面超过了人类性能基准。

  OpenAI的成功让人们见识到了大模型的威力，但是大模型的成功可能难以复制，因为太烧钱了。

  OpenAI很早就意识到，科学研究要想取得突破，所需要消耗的计算资源每3~4个月就要翻一倍，资金也需要通过指数级增长获得匹配。而且，AI人才的薪水也不便宜，OpenAI首席科学家Ilya Sutskever在实验室的头几年，年薪为190万美元。

  OpenAI CEO阿尔特曼在2019年对《连线》杂志表示：“我们要成功完成任务所需的资金比我最初想象的要多得多。”

  这也是OpenAI从非营利性组织成立商业化公司的原因。2019年7月，重组后的OpenAI获得了微软的10亿美元投资，可借助微软的Azure云服务平台解决商业化问题，缓解高昂的成本压力。

  解决了粮草问题的OpenAI，开始全力训练大模型。

  大模型背后离不开大数据、大算力。GPT-2用于训练的数据取自于Reddit上高赞的文章，数据集共有约800万篇文章，累计体积约40G；GPT-3模型的神经网络是在超过45TB的文本上进行训练的，数据相当于整个维基百科英文版的160倍。

  在算力方面，GPT-3.5在微软Azure AI超算基础设施（由V100GPU组成的高带宽集群）上进行训练，总算力消耗约 3640PF-days（即每秒一千万亿次计算，运行3640天）。

  可以说，大模型的训练就是靠烧钱烧出来的。据估算，OpenAI的模型训练成本高达1200万美元，GPT-3的单次训练成本高达460万美元。

  根据《财富》杂志报道的数据，2022年OpenAI的收入为3000万美元的收入，但净亏损总额预计为5.445亿美元。阿尔特曼在推特上回答马斯克的问题时表示，在用户与ChatGPT的每次交互中OpenAI花费的计算成本为“个位数美分”，随着ChatGPT变得流行，每月的计算成本可能达到数百万美元。

  大模型高昂的训练成本让普通创业公司难以为继，因此参与者基本都是的科技巨头。