新智元报道

编辑：Cris

【新智元导读】千呼万唤始出来！GPT-4，真要来了？

作为史上最受期待的AI模型，GPT-4真要来了？

这几天，AI分析师罗梅罗的一篇专栏文章，一经推出便迅速「引爆」了整个AI科技圈。

他表示，「GPT-4几乎准备就绪，并将于今年12月至明年2月的某个时间点发布」。

甚至还有传言表示，GPT-4已经先进到「与人类无异」，甚至「通过了图灵测试」。和以前相比，企业引进成本也将大幅下降。

目前，整个AI界还没有出现「正式且肯定」能通过图灵测试的模型，因此GPT-4的推出――很可能成就AI史上又一个伟大的一年。

最快下月，第四代模型真快来了？

2020年6月，由埃隆・马斯克等人创立的世界级人工智能研究机构OpenAI发布了第三代生成式预训练模型GPT-3。

GPT-3拥有1750亿个参数，是上一代模型GPT-2的100倍，也一举将此前同类NLP模型的参数纪录提升了10倍。

GPT-3的发布被业界视为重大进展，也因此被《麻省理工科技评论》列为「2021十大突破性技术」。

巨大的性能飞跃，也让所有人对OpenAI的下一代生成式预训练模型寄予厚望。

假如GPT-4之于GPT-3的进步，就像GPT-3之于GPT-2一样大，那么这又将是一个接近100倍的提升。

但近两年来，OpenAI在谈及GPT-4时却一向非常「腼腆」，甚至可以说大多数时间都保持着沉默。我们仅能从管理层不经意间透露出的零星信息「管中窥豹」。

距离上一次GPT-4有消息流出，这还要追溯到今年年初。

当时OpenAI的首席执行官萨姆・阿尔特曼（Sam Altman）表示，GPT-4预计将在今年7月至8月发布。

然而近期，美国科技博主罗伯特・斯科布尔（Robert Scoble）却表示：

「颠覆即将来临。GPT-4比任何人的预期都要出类拔萃。它是将于明年推出的几大AI产品之一。」

Cambrian AI公司分析师阿尔贝托・罗梅罗（Alberto Romero）也在《算法桥》的专栏文章中，援引了硅谷工程师伊戈尔-拜科夫（Igor Baikov）9月时的一条推文：

「OpenAI已经在训练GPT-4，并计划于12月-2月间发布。」

此外，包含1.17亿个参数的第一代GPT，于2018年发布；2019年和2020年，我们分别迎来了GPT-2和GPT-3。

已然「矜持」了一年有余的OpenAI――或许也是时候推陈出新了。

「GPT-4能通过图灵测试，我不会惊讶」

对于GPT-4，一位AI创业公司的代表分析称，「GPT-4轻松通过了图灵测试，或间接表明性能足够高，已具备通过图灵测试的潜力。」

OpenAI CEO阿尔特曼近期的一篇推文，似乎也曾侧面印证了这个传闻。

他上传了一张星球大战的照片，上面写着一句话：

「不要为自己创造的『技术恐怖』而骄傲，通过图灵测试的能力在『原力』面前无能为力。」

这是对电影星球大战系列中著名角色达斯-维德 (Darth Vader) 经典台词的模仿。

罗梅罗也在文章中表示：

「如果GPT-4能充分通过图灵测试，我不会感到惊讶。」

图灵测试是一种检测方式，旨在了解计算机与人类交流的自然程度。

目前，AI界还没有「正式且肯定」通过图灵测试的AI模型。

尽管过去有一些人工智能模型声称已经通过了图灵测试，但因为其标准和规则并不明确，所以他们使用了一些「盲点」，并非全局通过了测试。

假如传闻是真的，GPT-4能不受限制地通过图灵测试，那它将成为当之无愧的「历史第一」。

训练成本显著降低，商业化潜力巨大

AI圈对GPT-4的广泛关注还有一个原因：据说未来商业服务引入GPT-4的实际门槛，将远低于现有的GPT-3模型。

与此同时，预计由于巨大的成本和所需要的基础设施而无法使用AI技术的公司，也将有更多的空间使用GPT-4。

根据罗梅罗的预测，OpenAI将下一代模型的重点更多地放在优化数据处理上，而不是参数大小上，因此GPT-4的规模很可能与GPT-3相似。

到目前为止，人工智能技术的进步和模型尺寸的扩展是一起进行的，但近期为轻量化模型增加功能被认为是很有前景的。

GPT-4的模型训练成本有望比以前更低。罗梅罗写道，「GPT-4的训练成本预计将显著低于GPT-3」。

众所周知，GPT-3仅在学习阶段每节课就要花费数十万。这也是为什么大公司无法轻而易举为普通用户发布基于GPT-3的人工智能服务。

在韩国，仅有SK Telecom公司的的个人人工智能服务「Adot」基于GPT-3。

罗梅罗还表示，GPT-4的每次训练成本有望降至100万美元以下。

一位ICT公司官员表示：

「如果所有已知的信息都是真的，那么明年将会出现几种聊天机器人服务。它们是如此自然，以至于用户不知道他们是在与人交谈还是在与计算机交谈。」

「人工智能服务可能会增加。」

网友：需要警惕

对于OpenAI的下一代「灭霸」级模型，不少网友纷纷表示「太期待了」。

然而，著名AI学者、Robust.AI的创始人兼CEO盖瑞・马库斯（Gary Marcus）却再次唱衰了GPT-4的前景。

他在社媒表示：「有传言说GPT-4即将到来。下面我的预测：它仍然会存在严重的虚构/错误信息、毒性和偏见问题。」

马库斯对AI行业的关注众所周知，但也发表过许多诸如「深度学习撞墙」和「GPT-3完全没意义」等观点，反对炒作AI。

也有网友对下一代模型的潜在「威力」，表示了担心：

「如果这是真的，那『他』的智商，至少已经达到了100。」

「这将是历史上最伟大的技术革命之一，但社会需要立即重视起来。因为『他』的可应用潜力是无限的。」

那么，对于即将到来的GPT-4，你怎么看呢？评论区说说看！

参考资料：

https://thealgorithmicbridge.substack.com/p/gpt-4-rumors-from-silicon-valley

https://towardsdatascience.com/4-things-gpt-4-will-improve-from-gpt-3-2b1e7a6da49f?sk=44d56e4f1ab27e3f8d2abbaf44ca3602

https://www.hankyung.com/it/article/202211150468i

自2020年6月发布GPT-3大型语言模型以来，OpenAI一直在对其进行调整和改进，去年12月增加了微调功能，使开发人员更容易为其企业应用程序创建GPT-3版本。现在，该小组的研究发现了一个他们可能没有预料到的有趣结果――他们刚刚发布了一个更小的新语言模型版本，在遵循用户意图方面比GPT-3做得更好。

OpenAI 1月27日的一篇博客文章称，最新版本的GPT模型包含13亿个参数，而GPT-3中有1750亿个参数，是前者的100多倍。

文中表示“这是通过我们的模型在自然语言处理评估中的表现来衡量。”

这些进步来自于最新版本能够自我调整以更好地遵循用户的指示。这些发现发表在一篇68页的研究论文《使用训练语言模型遵循人类反馈指示》中，该论文也于1月27日由OpenAI发布。

新训练的语言模型InstructGPT比GPT-3更好地遵循用户的意图，同时也使它们更真实、更无害，在循环中由人训练。现在已作为默认的语言模型部署在OpenAI的API上。

这些发现从本质上表明，InstructGPT在遵循英语指导方面比GPT-3更好，这是一个有趣的发现。相比之下，GPT-3模型并没有按照用户的指示进行训练，而是设计用于从数据存储执行语言建模。因此InstructGPT模型根据用户指令生成了更有帮助的输出。

由OpenAI API支持的GPT-3语言模型可以使用精心设计的文本提示来执行自然语言任务。但这些模型也可能产生不真实、有害或反映有害情绪的结果。这在一定程度上是因为GPT-3被训练成在互联网文本的大数据集上预测下一个单词，而不是安全地执行用户想要的语言任务。

OpenAI表示，这就是新的InstructGPT模型的作用，通过添加一种名为“从人类反馈中强化学习”(RLHF：Reinforcement Learning from Human Feedback)的技术，使模型更安全、更有用、更一致。新模型不太经常编造事实，并显示有毒物质产出略有下降。在人类参与的情况下，微调语言模型是提高安全性和可靠性的有力工具，OpenAI将继续朝着这个方向努力。这是OpenAI首次将其校准研究应用到其产品上。

这一发现对该项目意义重大。因为这是研发了数年的校准技术首次在现实世界中得到验证。它们非常有效，在某种程度上，校准模型使它们比训练100倍大的模型更有用，同时也使它们更真实、更安全。虽然这方面还有很多工作要做，但OpenAI预计这些方法将是调整人工智能向前发展的重要基石。

虽然InstructGPT现在是OpenAI API的默认模型，但之前的GPT-3模型将继续保持可访问性。

尽管结果令人鼓舞，这项工作仍在继续，以建立一个更好的语言模型。InstructGPT模型既不是完全一致的，也不是完全安全的。仍然会产生有毒或有偏见的内容，编造事实，并在没有明确提示的情况下产生性和暴力内容。事实上，如果他们被要求这么做，他们更有可能说出有害的语言。

为了防止这类问题，OpenAI在其API上设置了安全“护栏”，例如免费内容过滤器、费率和配额限制，以及允许OpenAI筛选滥用内容的监控系统。

GPT简史

2021年12月，GPT-3 API中增加了模型微调功能，这使得想要定制自己模型的开发人员可以更快更容易地使用语言模型。新功能允许开发人员仅使用OpenAI命令行工具中的一个命令就可以根据企业应用程序定制GPT-3版本。

2021年11月，OpenAI取消了在GPT -3上运行工作负载的等待列表，让开发者和企业可以立即使用其建模功能来解决最具挑战性的语言问题。

OpenAI在2020年6月首次发布了其强大的GPT-3自然语言模型，并提供了有限的beta测试功能和等待列表，开发人员可以在未来注册使用其基础设施和功能。

通用版本增加了防止GPT-3被用于伤害人类的条件，以及只允许在世界上某些国家使用它的条件。

GPT-3是一个大型的自然语言模型，只在微软Azure上运行。它是一个具有1750亿个参数的自回归语言模型，OpenAI声称这个参数比以前的任何非稀疏语言模型都要多10倍。

第一个版本GPT-1于2018年发布，第二个版本GPT-2于2019年发布。随着GPT-3在2020年的发布，自然语言处理在企业中获得了比以往任何时候都更强大的功能和用例。

到目前为止，GPT-3主要用于英语语言建模。

最近有几个App很火，第一一个是ChatGPT。由OpenAI推出的一种新型 AI 聊天机器人工具，可以根据用户的要求快速生成文章、故事和歌词甚至代码，回答各类疑问等等。它帮助OpenAI拉到了微软新的100亿美元的投资，让OpenAI的最新估值达到290亿美元。据说国内百度也想做一个类似的，感觉这又是要抄作业啊。

根据瑞银集团近期发布的一份报告可以反映这款产品的火爆，2023年1月，ChatGPT的活跃用户数或已达1亿，它可能是史上增长最快的消费者应用。这份报告对比了TikTok和Instagram活跃用户达1亿的时间，分别是9个月和2年半。头疼的不止是谷歌，还有Faceboook 和TikTok后面的老板们。

还有一个Claude也不可小觑，这是因不满老东家成为微软附庸，11名OpenAI前员工怒而出走而新推出的聊天机器人产品，如今带着“ChatGPT最强竞品”杀回战场，新公司估值50亿美元，一出手就获得3亿美元融资。最后一个就是突然爆火的Damus，Damus是一款主打“去中心化”的社交平台产品，类似Twitter或Facebook，但用户可以近乎绝对地掌控、保护个人数据，不受算法诱导、减少广告欺骗。Damus很创新，抛弃了“账号+密码”这一基本流程，给予了用户不通过手机、邮箱等实名注册、认证的自由。取而代之的，是相对应的公钥、私钥。用户通过彼此独特的公钥来进行识别和关注。私钥与接收方公钥的特定结合，则可用来传递端对端的加密信息。使用公钥来发送动态信息的模式，与比特币交易相似。最绝的是所有发布的帖子，就连发布者自己都没有删除的权限。这个估计会让很多企业的公关头疼吧，万一发布的有负面信息？这几个App产品你都听过吗？用过了吗？