【NLP_2】ChatGPT的智能来自哪里？
文章转载自：【自然语言处理】【ChatGPT系列】ChatGPT的智能来自哪里？_BQW_的博客-CSDN博客 并经作者同意 作者的后面的一些展望还蛮有意思的
ChatGPT火了！作为开放域对话系统，ChatGPT展示出了出乎意料的智能。在人们惊讶 ChatGPT效果的同时，其"胡编乱造"的结果也让人担忧。
ChatGPT到底"只是"一个闲聊系统，还是意味着新的变革？如果只从使用者的角度分析，显然无法回答这个问题。不妨从"技术"的角度看看， ChatGPT到底是现有技术的极限还是新技术的起点？
ChatGPT 是OpenAIOpenAI开发的开发域对话系统，目标还没有论文。但是根据官方的说法，其基本原理同OpenAI今年早些时候的InstructGPT。所以，这里先简单对InstructGPT的原理进行简单的介绍。
训练大语言模型(Large Language Model,LLM)通常是用上下文来预测部分token，而在使用LLM 时却希望其能够生成诚实的、无毒性的且对用户有帮助的内容。显然，语言模型并没有与用户的意图对齐。InstructGPT的目标是通过人类的反馈微调语言模型，令语言模型与用户意图对齐。(通过基于人类反馈的强化学习，引导出大模型的能力)。
该步骤中需要人工先标注一个prompt数据集。简单来说，prompt数据集中的单个样本是由一对文本组成，例如：
使用prompt数据集以监督学习的方式来微调GPT-3。
该步骤会先收集比较数据。如果了解Learning to rank的话，比较数据就是一个排序的数据。具体来说，标注员需要模型针对同一输入的不同输出进行排序。举例来说，
在上面的例子中，模型生成了Demonstration1和Demonstration2。显然，标注人员需要标注Demonstration1 相较于Demonstration2更好。
前两个步骤分别会得到微调好的GPT-3和一个奖励模型。但是，如何将这两个模型和人类组合到一个动态的环境中，然后逐步利用人类的反馈来优化这个循环？这里使用了强化学习方法PPO。
总的来说，InstructGPT可以总结为三部分：1. 微调的预训练语言模型；2. 结果排序模型; 3. 强化学习将人和模型统一至动态的环境。预训练语言模型的微调是NLP中常见的技术，结果排序模型在推荐、搜索、问答等场景中也很常见。基于人类反馈的强化学习虽然不常见，但根本是将人加入到强化学习环境中。
? 基于人类反馈的强化学习，构建了一个动态反馈的系统，能够使InstructGPT(chatGPT)随着人类的反馈逐步改善。但是使用过chatGPT 都知道，其表现出的智能远远不是上面三部分能够体现出来的。
chatGPT所表现出的智能到底来自哪里？答案是大模型的涌现能力。
自然语言处理从业者都使用过BERT这样的预训练语言模型，虽然其能为广泛的下游任务带来效果的提升，但是使用这样的模型不太能够构建出chatGPT那样的智能对话系统(包括对话、代码、逻辑推理能力)。那么完全没使用更加新的技术，只是在模型规模和使用数据量上高多个数量级的GPT-3就能实现吗？答案是肯定的。
来自Google的文章《Emergent Abilities of Large Language Models》系统的说明了这一点。该文章的核心简单来说就是：
该文章通过实验说明了大模型中的一种"涌现"的现象。
简单来说，上面8个图的横坐标是模型的规模(参数量或者训练量)，纵坐标是各类任务上的效果。观察这8个任务，都具有同一种模式：模型规模在小于某个阈值之前，效果基本等于随机；当超过该阈值后，模型效果有一个飞跃。
? 上图(A)表示一个3位数加减法和2位数乘法的任务，模型GPT-3在达到13B参数量时突然具有了算术的能力。上图(E)是一个衡量模型诚实回答问题的基准TruthfulQA，模型Gopher在达到280B时突然有了高于随机的效果。
若一项prompt技术在小模型上没有效果，但是在模型达到某个规模后突然有效，则该技术是一种涌现能力。
上图是4种技术的涌现。以上图(A)为例，其是一个数学应用题的基准，需要模型chain of thought 实现多步推理能力才能在该基准上实现好的效果。可以看到，当模型达到～ 100B时，chain of thought 技术突然开始有效，并能够在数学应用题上实现好的效果。
显然chatGPT 智能的来源是大模型的涌现能力。不妨畅想一下：
- 目前chatGPT 的缺点也许会随着模型在参数量、训练数据量的进一步扩大下得以解决；
- 随着预训练技术和模型结构的改进，也许在更小的模型上能够实现相同的效果；
- 范式"大数据+大模型+无监督预训练=涌现能力"不只是能够运用到语言上，在其他领域也许能够带来意想不到的效果；
OpenAI在2020年就已经发布了GPT-3，而ChatGPT则是在2022年底才发布。既然研究表明大模型具有各种涌现的能力，那么为何两者发布时间相差2年多？答案是引导大模型智能的技术。这里简单介绍一下赋予大模型推理能力的chain of thought技术，以及为大模型带来zero-shot能力的instruction tuning技术。通过理解这两项技术，能够更好的理解ChatGPT的智能来源于大模型。
这里介绍一种赋予大模型多步推理的技术chain of thought，该技术很好的展示了大模型的神奇之处。这里用一句话总结该技术:
单纯增加语言模型的规模并不能使其在算术、常识推理和符号推理表现的更好。
? 下面是一个标准的prompt：
通过chain of thought prompt 进行few-shot learning后，模型的效果显著提高。
?直观的来说，让模型别瞎猜答案，把步骤写上再写答案。
文章《Finetuned Language Models are Zero-shot Learners》中介绍了一种微调大模型的方法：instruction tuning 。在介绍instruction tuning 之前，先了看看自然语言推理任务(Natural language inference,NLI)的通常做法。
? 自然语言推理任务是判断两个句子在语义是否为蕴含(Entailment) 、矛盾(Contradiction)或者中立(Neutral) 三种关系的一种。例如：
显然，Premise蕴含Hypothesis。一种常见的做法是将该任务转换为"句子对分类任务"，分类的标签就是三种关系。下面是一个示例图：
将两个句子拼接起来送入语言模型，然后对该句子对进行三分类。
?下面来看自然语言推理任务上使用instruction tuning的方式。将Premise和Hypothesis 按某个自然语言的模板进行组装，并得到样本
将上面这段文本送入大模型，并使用监督的方式进行微调。这就是所谓的instruction tuning。
? 具体来说，论文中将12类任务的62个数据集按照上面的方式转换，然后微调大模型。最终的实验结果是：通过上面的instruction tuning的大模型，能够在完全未见过类型的任务上取得好的效果。
?通过instruction tuning 的介绍可以更好的理解为什么ChatGPT能够完成各种各样的任务。
以下仅是个人的看法。
? 现有NLP 技术的主要困境仍然是标注成本，这个成本可以从两个方面来看：人力成本和时间成本。对于特定的场景，通常需要几千甚至上万的数据才能达到很好的效果。当然，如果能够明确的知道标注多少样本就能够达到预期的效果，通常项目也可以经过人力成本评估后确定是否继续。但是，真正影响NLP技术落地的是时间成本，即经过一段时间的标注后可能效果无法达到预期，那么项目可能面临推迟或者终止的风险。
? 大模型将会改变这一现状。大模型具有few-shot 能力，并且能够通过instruction tuning 获得zero-shot 的能力。因此，大模型可以仅使用少量的样本就能够在指定任务上达到非常好的效果，也将极大的降低人力成本和时间成本。但是，大模型的推理速度和推理成本是阻碍其广泛应用的主要问题，并且近期可能都无法将其小型化至合理的范围。所以，大模型很可能作为一个"超级教师模型"。经过少量标注样本微调后，大模型可以自动产生高质量的标注样本，然后使用这些样本来微调小模型。
? 一种可能的发展路径是：(1) 少量样本微调大模型；(2) 大模型产生大量标注数据；(3) 通过标注数据将大模型的知识蒸馏至小模型。通过这条路径，将会为NLP技术在各类项目和产品中的落地提供极大的支持。
? 柏拉图在《理想国》中提到了"洞穴寓言"，大意是：
有一群囚徒被困在地下洞穴里，他们手、脚和脖子都被拷住，无法动弹，只能看到面前的墙壁。这些人的背后有一堆火，外界的所有事物都是通过墙壁上的阴影展示给这些囚徒。那么这些囚徒只能通过阴影来观察和想想真实的世界。
? 自然语言也是真实世界的"阴影"，或者说自然语言是高维真实世界的低维表示。显然，通过自然语言这些低维信息来学习高维真实世界是存在信息丢失的。举例来说，语言描述苹果可能是"红的"、“圆的”，而真实的苹果并不是严格的“圆”且颜色也不是严格的"红"，而是有着自己的纹理。所以，通过将视觉、声音等多个模态结合可能会带来更加智能的模型。
? 另一方面，现有模型更多的是"被动的"接收信息并作出应答，而且无法通过与周围进行交互来获得更多的知识，从而提高本身的"智能"。OpenAI 提出的WebGPT、InstructGPT 和ChatGPT 都是尝试让模型与环境进行交互，从而提高模型的"智能"。相信随着多模态大模型的发展，模型与环境的交互方式也会越来越多样(例如：通过视觉传感器进行交互)，展示出来的"智能"也会越来越强大。
? ChatGPT 的“智能”主要来源于范式：“大数据+大模型+无监督预训练=涌现能力”。但这个范式并不是必须局限于语言，在任何存在大量数据的领域，通过设计合适的无监督预训练方式都可能会带来质的改变。因此，大模型的技术在不久的将来可能会对AI for Science 、自动驾驶等领域带来巨大的改变。
? ChatGPT 一个最为人诟病的缺点是：你无法确信它给的答案是正确的。也就是说，ChatGPT 可能是胡编乱造的。但是，OpenAI的另一个工作WebGPT则是尝试让模型自己浏览网页，并将浏览的结果合成最终的答案。显然，WebGPT生成的答案是有依据的，那么真实性也就更高。论文《Large Language Models Can Self-Improve》中证明了大模型不需要标注样本就可以通过自己生成的样本完成性能的提升。
? 那么一个可能改善ChatGPT 的方法是：使用WebGPT 作为真实性的评估模型或者指导模型，通过WebGPT 与ChatGPT之间的交互来改善ChatGPT的真实性问题。也就是，两个模型通过相互博弈来不断改进。
openai核心算法 openai核心技术
openai官网,openai在您所在的国家不可用,openai services are not available,openai为什么在中国用不了AI资料包关注公众 号【咕泡AI】 发送 258 白嫖领取！ 2022最新保姆级资料包，内含： 【1.超详细的人工智能学习大纲】：唐宇迪博士精心整理，快速理清学习思路！ 【2.基础知识】：Python基础+高数基础 【3.机器学习入门】：机器学习经典算法详解 【4.深度学习入门】：神经网络基础（CNN+RNN+GAN） 【5.计算机视觉实战项目】：OpenCV图像处理+YOLOV5目标检测+Unet图像分割等 【6.自然语言处理应用项目实战】：基础知识+BERT框架实战 等等
open ai人工智能 openai创始人谈chatgpt
作为OpenAI的首席执行官，山姆・阿尔特曼 (Sam Altman) 领导着这家在快速增长的生成式人工智能领域里最热门、同时也最受关注的初创公司。本次采访中，这位OpenAI的首席执行官谈到了人工智能模型ChatGPT、通用人工智能和谷歌搜索。
文 | Alex Konrad、Kenrick Cai
在1月中旬参观了OpenAI的旧金山办公室后，《福布斯》采访了这位最近不愿在媒体上露面的投资人和企业家，与他聊了聊ChatGPT、通用人工智能（AGI），以及他的人工智能工具是否会对谷歌搜索构成威胁等话题。
为保证文本清晰连贯，以下采访内容经过编辑整理。
福布斯：随着ChatGPT的流行、将其变现的驱动力以及大家对你们与微软合作的关注，这一技术正处于一个拐点。从你的角度来看，OpenAI觉得它正处于一个什么样的阶段？你会如何描述这个拐点呢？
山姆・阿尔特曼：
这绝对是一个激动人心的时刻，但我认为这仍是它的一个非常早期的阶段。事实上，这将是一条持续的指数式的技术改进之路，并且它对社会的积极影响也将呈指数性攀升。
在发布GPT-3或DALL-E的时候，我们本就可以这样说了，但我们现在（对于ChatGPT）才这样说。我想我们今后还可以继续说这样的话。虽然我们有可能是错的，也可能会遇到一个此前或现在都没有预料到的绊脚石，但我认为，我们很有可能已经发现了一些重要的东西，而这种范式带我们走得很远很远。
福布斯：人们对ChatGPT的反应有让你感到惊讶吗？
山姆・阿尔特曼：
我一开始做它就是因为我认为它会成功。所以，虽然我对人们的反应规模感到有些惊讶，但我确实此前就希望并预料到它会受到人们的关注和喜爱。
福布斯：格雷格・布罗克曼 (Greg Brockman)?告诉我，你们的团队此前甚至不确定这款软件是否值得推出，所以不是每个人都是这么想。
山姆・阿尔特曼：
长期以来，我们的团队对于推出新产品的确都不太兴奋。我们只是会说，“我们试试吧，试试看会发生什么。”但是这一次，我为了这个项目做出了很大的努力，因为我真的认为它能成功。
OpenAI联合创始人格雷格・布罗克曼，图源：ETHAN PINES FOR FORBES
福布斯：你曾经说过，你认为人们可能会对ChatGPT真正的构成和运行方式感到惊讶。你认为这中间存在哪些误解？
山姆・阿尔特曼：
其中一件事是，ChatGPT的基本模型已经在API中存在很长时间了，大概10个月吧，甚至更久。[编者注：ChatGPT是GPT-3模型的更新版本，于2020年首次作为API发布。］
我认为其中一个令人惊讶的情况就是，如果你做出一点微调，让（模型）以特定的方式对人们有所用途，并找出正确的交互范式，那么你就可以得到这个结果。实际上，这并不是一项全新的技术。（让它产生这个效果的）是其他的调整。我认为这一点还没有得到很好的理解。比如，很多人仍然不相信我们，他们认为这一定是GPT-4。
福布斯：人工智能生态系统的泡沫化是一个对你有帮助的趋势吗？还是说它会制造干扰，让你们的工作更加复杂？
山姆・阿尔特曼：
都有。肯定是两者都有。
福布斯：你认为该领域是否正在形成一个真正的生态系统，例如除了OpenAI之外，其他公司也在做着重要的工作？
山姆・阿尔特曼：
是的，我认为这个领域对一家公司来说太大了。实际上，我希望这里出现一个真正的生态系统。我觉得那样会更好。我认为在某个时候，世界上应该会出现多个AGI（通用人工智能），所以我真的很欢迎它的出现。
福布斯：你认为今天的人工智能市场与云计算、搜索引擎或其他技术的出现有什么相似之处吗？
山姆・阿尔特曼：
我认为它们总有相似之处，但同时也会有一些特异性的东西。大多数人会犯的一个错误是过多地谈论事物之间的相似之处，而不是谈论使它们不同于彼此的细微差别。
因此，假如你说，“啊，是的，这就像云计算之争一样，未来将会有多个这样的平台，而你只需要使用其中一个作为API就行了”――用这样的方式来谈论OpenAI是非常容易的，也是可以理解的，但事实上它们也有很多东西是大相径庭的，而且人们会做出非常不同的功能选择。不同公司的云在某些方面有很大的不同，但你把东西传上去，它就可以得到服务。我认为各种人工智能产品之间的差异会更大。
福布斯：人们想知道ChatGPT是否会取代传统的搜索引擎，比如谷歌搜索。这是让你感到兴奋或有所激励的事情吗？
山姆・阿尔特曼：
我不认为ChatGPT会取代搜索引擎，但我认为将来某一天的某个人工智能系统可能可以做到。
更重要的是，我认为如果你只关注昨天的新闻，你就会完全错过现在的机会。我更感兴趣的是思考搜索引擎之外的东西。我不记得在网络搜索引擎出现之前我们是怎么搜索信息的，我有点太年轻了。我想你也是如此……
福布斯：在我小的时候，我们有一张《大英百科全书》的光盘。
山姆・阿尔特曼：
是的，没错，我想起来了，就是那样。但是，过去没有人说：“啊，我要把《大英百科全书》的光盘做成一个稍微好一点的版本。”他们只会说，“嘿，实际上我们可以用一种非常不同的方式来做这件事。”
因此，让我对这些模型感到兴奋的并不是“如何用它们取代上网和使用搜索引擎查询信息的体验”，而是“我们能用它们做一些什么完全不同、而且更酷的事情？”
福布斯：这是AGI会实现的东西吗？还是在那之前就会发生了？
山姆・阿尔特曼：
哦，不，我希望它很快就会发生。
福布斯：你觉得我们是否已经接近了类似AGI的目标？以及我们怎么知道实现这一目标的是GPT的哪个版本，或者其他什么软件呢？
山姆・阿尔特曼：
我不认为我们已经快要实现AGI了。但是，我们如何知道（它何时会实现）是我最近一直在思考的问题。在过去五年里，或者说从我刚开始做这件事的时候算起――那还不止五年――我对此只有一个新的认识，那就是它不会是一蹴而就，而将是一个渐进的过程。这就是人们所说的“缓慢起飞”。人们对我们是什么时候实现AGI的不会达成共识。
福布斯：你认为这与你在OpenAI之外的其他兴趣有关系吗？比如你创办的Worldcoin和其他公司，它们是否都符合AGI理论？
山姆・阿尔特曼：
是的，有关系，至少这是我思考的框架。AGI是驱动我所有行动的推动力。可能我的有些行动比其他行动（与它的关联）更直接，但许多看起来不大相关的行动背后其实仍然是受它驱动。此外，我还有一个目标，那就是实现一个富足的世界。例如，我认为能源是非常重要的，而能源对创建AGI也非常重要。
OpenAI首席执行官山姆・阿尔特曼拒绝为这篇报道拍照，以下是他的生成式人工智能工具DALL-E想象的“山姆・阿尔特曼登上福布斯杂志封面”的画面。图片来源：DALL-E
福布斯：格雷格・布罗克曼说过，虽然OpenAI是受研究驱动的，但它并不反对资本主义。你如何在以营利为目的的投资者希望获得回报和OpenAI更广泛的目标之间取得平衡？
山姆・阿尔特曼：
我认为资本主义很了不起。我热爱资本主义。在世界上所有的坏体系中，它是最好的一个，或者说是我们迄今为止发现的最不坏的一个。我希望我们能找到比它更好的体系。但我认为，如果AGI真的可以完全实现，我可以想象它会以各种方式打破资本主义。
据我所知，我们试图设计的是一种不同于其他任何公司结构的结构，因为我们真的相信我们正在做的事情。如果我们只是认为它将成为另一家科技公司，那我会说：“太好了，我知道这个剧本，因为我的整个职业生涯都在做这个，那就让我们做一家真正的大公司吧。”
但如果我们真的实现了AGI，而且它打破了（资本主义的范式），我们就需要（在公司结构上）有所不同。因此，我为我们的团队和我们的投资者能做到这么好而感到非常兴奋，但我认为人工智能领域不能被任何一家公司单独所有。如何分享AGI的利润，如何分享它的使用权，以及如何分配它的治理权限，这三个问题都需要新的思考。
福布斯：格雷格向我介绍了第三方API未来与第一方产品（也许是企业工具）并存的想法。在你们产品化的过程中，你们如何保持OpenAI的开放精神？
山姆・阿尔特曼：
我认为最重要的方法是推出像ChatGPT这样的开放工具。谷歌没有将这样的东西公之于众，其他一些研究实验室也因为一些原因没有这么做，还有人担心它不安全。但我真的相信，我们需要全社会去感受它，去与它互动，去看到它的好处，同时也理解它的缺点。所以我认为我们做的最重要的事情就是把它们向公众开放，这样全世界就可以开始了解接下来将要发生什么。在我为OpenAI感到骄傲的所有事情中，最令我感到骄傲的是，我们能够在AGI上以一种我认为是健康和重要的方式推动“奥弗顿之窗”的实现 [编者注：奥弗顿窗口是一种在特定时间内主流人群在政治上可以接受的一系列政策的模型。]――即使它有时会让人不舒服。
除此之外，我们还希望提供越来越强大的API，因为我们能够使它们更安全。另外，我们还会像开源CLIP [编者注：CLIP是Open AI于2021年发布的一款人工神经网络] 那样继续对一些软件进行开源。最近，我们又开源了Whisper和Triton（分别是一款自动语音识别程序和一个编程语言）。所以我认为这是一个多管齐下的策略，在平衡每件事情的风险和收益的同时，把这些东西推向世界。
福布斯：有些人可能会担心你在搭Satya Nadella (微软CEO)?和微软公司的便车，对于这些人你想说些什么？
山姆・阿尔特曼：
我想说的是，我们与他们达成的任何协议都是经过仔细考虑的，以确保我们仍然能够履行我们的使命。而且，Satya和微软都很棒。我认为到目前为止，他们是与我们的价值观最一致的科技公司。每次我们去找他们说，“嘿，我们要做一件奇怪的事情，你可能会讨厌它，因为它与标准交易的做法非常不同，比如限制你们的回报或设定一些安全优先条款”，他们都会说：“这太棒了。”
福布斯：所以你觉得OpenAI在盈利方面的商业压力或现实情况不会与公司的整体使命相冲突？
山姆・阿尔特曼：
一点也不。你可以去向任何人打听我。我是出了名的不会忍受任何我不想忍受的事情。如果我认为它们之间存在冲突，我就不会做任何交易。
福布斯：你们不是说“我们不想从中获利”的苦行僧，但与此同时，你们似乎也不以创造财富为动机。
山姆・阿尔特曼：
我认为这当中肯定有一种平衡。我们希望让员工获得很大的成功，让（他们的股权）获得很高的回报，那很好，只要它是处于一个正常、合理的水平。但如果整个AGI的事情真的实现了突破，那么我们想要一些不同的范式。我们现在想要的是如何与社会分享这些的能力。我认为我们已经以一种很好的、平衡的方式做到了这一点。
福布斯：到目前为止，你看到有人用GPT做过的最酷的事情是什么？最让你害怕的事情又是什么？
山姆・阿尔特曼：
要选出一件最酷的事情真的很难。我看到了人们（用GPT）做的各种各样的事情，这是很了不起的。但我可以告诉你我在其中发现的最有个人价值的事情。（GPT的）总结概括功能对我来说意义重大，甚至比我之前想象的还要大得多。事实上，我可以用它来概括完整的文章或长邮件，这比我想象的要有用得多。此外，我还能向它问一些深奥的编程问题，或者让它帮我调试代码，这感觉就像我有一个超级出色的程序员可以与之交谈。
至于说最让我害怕的事情？我确实一直在密切关注开源图像生成器所生成的报复性色情图片。我认为这会造成巨大且可预见的伤害。
福布斯：你认为这些工具背后的公司有责任确保这种事情不会发生吗？还是说这只是人性中不可避免的一面？
山姆・阿尔特曼：
我认为两者都有。有一个问题是，你想在哪里监管它？从某种意义上来说，如果我们能指着这些公司说，"嘿，你不能做这些事"，那就太好了。但我认为，人们无论如何都会采用开源模型，而且这么做的结果在大多数情况下都是好的，但也会有一些不好的事情发生。在此基础上建立的公司，以及与终端用户有最后关系的公司也将不得不承担一些责任。因此，我认为这种情况将会采用共同责任和问责制度。■
本文译自
https://www.forbes.com/sites/alexkonrad/2023/02/03/exclusive-openai-sam-altman-chatgpt-agi-google-search/
THEEND
来源 | 福布斯
凡资讯来源注明为其他媒体来源的信息，均为转载自其他媒体，并不代表本公众号赞同其观点，也不代表本网对其真实性负责，转载请联系原出处。您若对该文章内容有任何疑问或质疑，请立即与后台小编联系，平台将迅速给您回应并做处理。注明本公司原创内容，转载请与我们联系。
点击下方卡片关注水木学堂，和我们一起
学习前沿科技知识
▲?点击上方卡片关注水木学堂，学习前沿科
