「聪明人」借着ChatGPT，捞钱捞疯了……

【聚焦ChatGPT】ChatGPT／InstructGPT详解

聚焦超声治疗,聚焦超声治疗hpv效果怎么样,聚焦聚焦再聚焦,聚焦百度百科

前言

GPT系列是OpenAI的一系列预训练文章，GPT的全称是Generative Pre-Trained Transformer，顾名思义，GPT的目的就是通过Transformer为基础模型，使用预训练技术得到通用的文本模型。目前已经公布论文的有文本预训练GPT-1，GPT-2，GPT-3，以及图像预训练iGPT。据传还未发布的GPT-4是一个多模态模型。最近非常火的ChatGPT和今年年初公布的[1]是一对姐妹模型，是在GPT-4之前发布的预热模型，有时候也被叫做GPT3.5。ChatGPT和InstructGPT在模型结构，训练方式上都完全一致，即都使用了指示学习（Instruction Learning）和人工反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）来指导模型的训练，它们不同的仅仅是采集数据的方式上有所差异。所以要搞懂ChatGPT，我们必须要先读懂InstructGPT。

1. 背景知识

在介绍ChatGPT/InstructGPT之前，我们先介绍它们依赖的基础算法。

1.1 GPT系列

基于文本预训练的GPT-1[2]，GPT-2[3]，GPT-3[4]三代模型都是采用的以Transformer为核心结构的模型（图1），不同的是模型的层数和词向量长度等超参，它们具体的内容如表1。

图1：GPT系列的模型结构（其中Trm是一个Transformer结构）

表1：历代GPT的发布时间，参数量以及训练量

GPT-1比BERT诞生略早几个月。它们都是采用了Transformer为核心结构，不同的是GPT-1通过自左向右生成式的构建预训练任务，然后得到一个通用的预训练模型，这个模型和BERT一样都可用来做下游任务的微调。GPT-1当时在9个NLP任务上取得了SOTA的效果，但GPT-1使用的模型规模和数据量都比较小，这也就促使了GPT-2的诞生。

对比GPT-1，GPT-2并未在模型结构上大作文章，只是使用了更多参数的模型和更多的训练数据（表1）。GPT-2最重要的思想是提出了“所有的有监督学习都是无监督语言模型的一个子集”的思想，这个思想也是提示学习（Prompt Learning）的前身。GPT-2在诞生之初也引发了不少的轰动，它生成的新闻足以欺骗大多数人类，达到以假乱真的效果。甚至当时被称为“AI界最危险的武器”，很多门户网站也命令禁止使用GPT-2生成的新闻。

GPT-3被提出时，除了它远超GPT-2的效果外，引起更多讨论的是它1750亿的参数量。GPT-3除了能完成常见的NLP任务外，研究者意外的发现GPT-3在写SQL，JavaScript等语言的代码，进行简单的数学运算上也有不错的表现效果。GPT-3的训练使用了情境学习（In-context Learning），它是元学习（Meta-learning）的一种，元学习的核心思想在于通过少量的数据寻找一个合适的初始化范围，使得模型能够在有限的数据集上快速拟合，并获得不错的效果。

通过上面的分析我们可以看出从性能角度上讲，GPT有两个目标：

提升模型在常见NLP任务上的表现效果；

提升模型在其他非典型NLP任务（例如代码编写，数学运算）上的泛化能力。

另外，预训练模型自诞生之始，一个备受诟病的问题就是预训练模型的偏见性。因为预训练模型都是通过海量数据在超大参数量级的模型上训练出来的，对比完全由人工规则控制的专家系统来说，预训练模型就像一个黑盒子。没有人能够保证预训练模型不会生成一些包含种族歧视，性别歧视等危险内容，因为它的几十GB甚至几十TB的训练数据里几乎肯定包含类似的训练样本。这也就是InstructGPT和ChatGPT的提出动机，论文中用3H概括了它们的优化目标：

有用的（Helpful）;

可信的（Honest）;

无害的（Harmless）。

OpenAI的GPT系列模型并没有开源，但是它们提供了模型的试用网站，有条件的同学可以自行试用。

1.2 指示学习（Instruct Learning）和提示（Prompt Learning）学习

指示学习是谷歌Deepmind的Quoc V.Le团队在2021年的一篇名为《Finetuned Language Models Are Zero-Shot Learners》[5]文章中提出的思想。指示学习和提示学习的目的都是去挖掘语言模型本身具备的知识。不同的是Prompt是激发语言模型的补全能力，例如根据上半句生成下半句，或是完形填空等。Instruct是激发语言模型的理解能力，它通过给出更明显的指令，让模型去做出正确的行动。我们可以通过下面的例子来理解这两个不同的学习方式：

提示学习：给女朋友买了这个项链，她很喜欢，这个项链太____了。

指示学习：判断这句话的情感：给女朋友买了这个项链，她很喜欢。选项：A=好；B=一般；C=差。

指示学习的优点是它经过多任务的微调后，也能够在其他任务上做zero-shot，而提示学习都是针对一个任务的。泛化能力不如指示学习。我们可以通过图2来理解微调，提示学习和指示学习。

图2：模型微调，提示学习，指示学习三者的异同

1.3 人工反馈的强化学习

因为训练得到的模型并不是非常可控的，模型可以看做对训练集分布的一个拟合。那么反馈到生成模型中，训练数据的分布便是影响生成内容的质量最重要的一个因素。有时候我们希望模型并不仅仅只受训练数据的影响，而是人为可控的，从而保证生成数据的有用性，真实性和无害性。论文中多次提到了对齐（Alignment）问题，我们可以理解为模型的输出内容和人类喜欢的输出内容的对齐，人类喜欢的不止包括生成内容的流畅性和语法的正确性，还包括生成内容的有用性、真实性和无害性。

我们知道强化学习通过奖励（Reward）机制来指导模型训练，奖励机制可以看做传统模训练机制的损失函数。奖励的计算要比损失函数更灵活和多样（AlphaGO的奖励是对局的胜负），这带来的代价是奖励的计算是不可导的，因此不能直接拿来做反向传播。强化学习的思路是通过对奖励的大量采样来拟合损失函数，从而实现模型的训练。同样人类反馈也是不可导的，那么我们也可以将人工反馈作为强化学习的奖励，基于人工反馈的强化学习便应运而生。

RLHF最早可以追溯到Google在2017年发表的《Deep Reinforcement Learning from Human Preferences》[6]，它通过人工标注作为反馈，提升了强化学习在模拟机器人以及雅达利游戏上的表现效果。

图3：人工反馈的强化学习的基本原理

InstructGPT/ChatGPT中还用到了强化学习中一个经典的算法：OpenAI提出的最近策略优化（Proximal Policy Optimization，PPO）[7]。PPO算法是一种新型的Policy Gradient算法，Policy Gradient算法对步长十分敏感，但是又难以选择合适的步长，在训练过程中新旧策略的的变化差异如果过大则不利于学习。PPO提出了新的目标函数可以在多个训练步骤实现小批量的更新，解决了Policy Gradient算法中步长难以确定的问题。其实TRPO也是为了解决这个思想但是相比于TRPO算法PPO算法更容易求解。

2. InstructGPT/ChatGPT原理解读

有了上面这些基础知识，我们再去了解InstructGPT和ChatGPT就会简单很多。简单来说，InstructGPT/ChatGPT都是采用了GPT-3的网络结构，通过指示学习构建训练样本来训练一个反应预测内容效果的奖励模型（RM），最后通过这个奖励模型的打分来指导强化学习模型的训练。InstructGPT/ChatGPT的训练流程如图4所示。

图4：InstructGPT的计算流程：（1）有监督微调（SFT）；（2）奖励模型（RM）训练；（3）通过PPO根据奖励模型进行强化学习。

从图4中我们可以看出，InstructGPT/ChatGPT的训练可以分成3步，其中第2步和第3步是的奖励模型和强化学习的SFT模型可以反复迭代优化。

根据采集的SFT数据集对GPT-3进行有监督的微调（Supervised FineTune，SFT）；

收集人工标注的对比数据，训练奖励模型（Reword Model，RM）；

使用RM作为强化学习的优化目标，利用PPO算法微调SFT模型。

根据图4，我们将分别介绍InstructGPT/ChatGPT的数据集采集和模型训练两个方面的内容。

2.1 数据集采集

如图4所示，InstructGPT/ChatGPT的训练分成3步，每一步需要的数据也有些许差异，下面我们分别介绍它们。

2.1.1 SFT数据集

SFT数据集是用来训练第1步有监督的模型，即使用采集的新数据，按照GPT-3的训练方式对GPT-3进行微调。因为GPT-3是一个基于提示学习的生成模型，因此SFT数据集也是由提示-答复对组成的样本。SFT数据一部分来自使用OpenAI的PlayGround的用户，另一部分来自OpenAI雇佣的40名标注工（labeler）。并且他们对labeler进行了培训。在这个数据集中，标注工的工作是根据内容自己编写指示，并且要求编写的指示满足下面三点：

简单任务：labeler给出任意一个简单的任务，同时要确保任务的多样性；

Few-shot任务：labeler给出一个指示，以及该指示的多个查询-相应对；

用户相关的：从接口中获取用例，然后让labeler根据这些用例编写指示。

2.1.2 RM数据集

RM数据集用来训练第2步的奖励模型，我们也需要为InstructGPT/ChatGPT的训练设置一个奖励目标。这个奖励目标不必可导，但是一定要尽可能全面且真实的对齐我们需要模型生成的内容。很自然的，我们可以通过人工标注的方式来提供这个奖励，通过人工对可以给那些涉及偏见的生成内容更低的分从而鼓励模型不去生成这些人类不喜欢的内容。InstructGPT/ChatGPT的做法是先让模型生成一批候选文本，让后通过labeler根据生成数据的质量对这些生成内容进行排序。

2.1.3 PPO数据集

InstructGPT的PPO数据没有进行标注，它均来自GPT-3的API的用户。既又不同用户提供的不同种类的生成任务，其中占比最高的包括生成任务（45.6%），QA（12.4%），头脑风暴（11.2%），对话（8.4%）等。

2.1.4 数据分析

因为InstructGPT/ChatGPT是在GPT-3基础上做的微调，而且因为涉及了人工标注，它们数据总量并不大，表2展示了三份数据的来源及其数据量。

表2：InstructGPT的数据分布

论文的附录A对数据的分布进行了更详细的讨论，这里我列出几个可能影响模型效果的几项：

数据中96%以上是英文，其它20个语种例如中文，法语，西班牙语等加起来不到4%，这可能导致InstructGPT/ChatGPT能进行其它语种的生成，但效果应该远不如英文；

提示种类共有9种，而且绝大多数是生成类任务，可能会导致模型有覆盖不到的任务类型；

40名外包员工来自美国和东南亚，分布比较集中且人数较少， InstructGPT/ChatGPT的目标是训练一个价值观正确的预训练模型，它的价值观是由这40个外包员工的价值观组合而成。而这个比较窄的分布可能会生成一些其他地区比较在意的歧视，偏见问题。

此外，ChatGPT的博客中讲到ChatGPT和InstructGPT的训练方式相同，不同点仅仅是它们采集数据上有所不同，但是并没有更多的资料来讲数据采集上有哪些细节上的不同。考虑到ChatGPT仅仅被用在对话领域，这里我猜测ChatGPT在数据采集上有两个不同：1. 提高了对话类任务的占比；2. 将提示的方式转换Q&A的方式。当然这里也仅仅是猜测，更准确的描述要等到ChatGPT的论文、源码等更详细的资料公布我们才能知道。

2.2 训练任务

我们刚介绍到InstructGPT/ChatGPT有三步训练方式。这三步训练会涉及三个模型：SFT，RM以及PPO，下面我们详细介绍它们。

2.2.1 有监督微调（SFT）

这一步的训练和GPT-3一致，而且作者发现让模型适当过拟合有助于后面两步的训练。

2.2.2 奖励模型（RM）

因为训练RM的数据是一个labeler根据生成结果排序的形式，所以它可以看做一个回归模型。RM结构是将SFT训练后的模型的最后的嵌入层去掉后的模型。它的输入是prompt和Reponse，输出是奖励值。具体的讲，对弈每个prompt，InstructGPT/ChatGPT会随机生成 K 个输出（ 4≤K≤9 ），然后它们向每个labeler成对的展示输出结果，也就是每个prompt共展示 CK2 个结果，然后用户从中选择效果更好的输出。在训练时，InstructGPT/ChatGPT将每个prompt的 CK2 个响应对作为一个batch，这种按prompt为batch的训练方式要比传统的按样本为batch的方式更不容易过拟合，因为这种方式每个prompt会且仅会输入到模型中一次。

奖励模型的损失函数表示为式(1)。这个损失函数的目标是最大化labeler更喜欢的响应和不喜欢的响应之间的差值。

(1)loss?(θ)=?1(K2)E(x,yw,yl)～D[log?(σ(rθ(x,yw)?rθ(x,yl)))]

其中 rθ(x,y) 是提示 x 和响应 y 在参数为 θ 的奖励模型下的奖励值， yw 是labeler更喜欢的响应结果， yl 是labeler不喜欢的响应结果。D 是整个训练数据集。

2.2.3 强化学习模型（PPO）

强化学习和预训练模型是最近两年最为火热的AI方向之二，之前不少科研工作者说强化学习并不是一个非常适合应用到预训练模型中，因为很难通过模型的输出内容建立奖励机制。而InstructGPT/Cha

chatgpt的最终走向 ChatGPT介绍

chatgpt是什么意思,chatgpt中文,chatgpt怎么用,chatgpt哪里下载

自去年12月1日，微软投资的OpenAI发布了这款聊天机器人模型ChatGPT后，仅过去3个月的时间，ChatGPT的爆火已经成为了全球最为关注的科技创新事件了。

据瑞银集团报告显示，ChatGPT推出后仅两个月，它的月活用户已经突破了1亿，成为史上用户增长速度最快的消费级应用程序，比Tiktok、Instagram还要“现象级”。

风口之下，概念股狂涨、资本涌向热土、科技巨头纷纷跟进，不少媒体甚至得出了ChatGPT将能取代部分人类工作这样的结论，但狂欢背后，ChatGPT到底有没有被“神化”？

ChatGPT将取代人工？

如果你已经尝试过与ChatGPT对话，那么你应该也发现了，ChatGPT就像一个全能选手，不仅能接住你的任何话题，而且还能举一反三。当然，最重要的是它并不难操作，就像你在跟一位网友聊天那样，只是不会冷场。

整合不少网友、博主的“提问”来看，ChatGPT的表现还是可圈可点的。比如在文学创作上，ChatGPT的发挥空间很大，上至诗词歌赋，下至歌词RAP，鲁迅风、周杰伦风，ChatGPT都能应对自如。

而且ChatGPT还会不断“学习”，比如刚开始有网友问ChatGPT算术题，在ChatGPT回答正确答案后，网友表示“我老婆说这是不对的”，ChatGPT就会马上认怂，并表示老婆才是对的。但经过OpenAI 的调教后，现在再将这个问题抛给ChatGPT，它已经会回答 “只认真理”。

看上去ChatGPT似乎是“无所不聊”，但如果你想跟它探讨更深入的问题，或者逻辑性更强的问题，它的表现可就不如预期了。

比如对ChatGPT提问一些文化、历史的常识，它也能对答如流，但细看的话，ChatGPT的回答看似逻辑自洽，但大段文字背后却难免有种“一本正经地忽悠人”的感觉，细看的话，ChatGPT回答绕来绕去，却不一定回答到点子上。

也有网友对ChatGPT提问相对复杂的算术题，它虽然给出了很详细的解题过程，但答案却是错的。

从这几点来看，与其把ChatGPT当成是全能型的人工智能，现阶段它更适合当一个能快速响应的“搜索助手”，在文案写作或是某些专业问题上给我们提供参考，注意，是参考而并非正确答案。

要知道，ChatGPT的所有回答都是基于互联网上的已有数据和内容，对于一些既定问题，它能给出正确答案，比如名人生日日期。但更复杂的问题，即便是ChatGPT能给出答案，我们也很难保证其真假，如何筛选数据、如何过滤数据，我们还需要能快速索引、排序、过滤网页信息的搜索引擎，以及我们的人脑。

因此，有观点认为ChatGPT可以取代人类的部分工作，比如文字创作、数据分析甚至是写代码，但目前来看，谈“取代”还是言之过早。毕竟在创作层面，基于算法的ChatGPT仍缺少想象力，但提高部分创作者的工作效率，ChatGPT还是能做到的。

资本市场已经迫不及待了

这么看来，ChatGPT最能威胁的，其实并非文字工作者，而是搜索引擎，随着人工智能的加入，当下的搜索模式或还会出现大变化，Gmail创始人甚至表示搜索引擎将活不过两年。

各大科技巨头确实也急了。最新消息称，微软宣布正式将ChatGPT引入必应搜索，微软表示，有了这个人工智能模型，搜索查询也会更准确、更相关，此外，新的必应还可以生成内容，帮助用户写邮件。

其它科技大厂也不甘落后，比如谷歌母公司Alphabet便宣布将推出名为“Bard”的AI(人工智能)聊天机器人服务；苹果将在近期举办年度内部AI峰会探讨新的产品；亚马逊也成立了工作组探索ChatGPT等AI工具对企业的工作职能。

国内科技巨头也同样唯快不破，百度率先确认旗下的ChatGPT项目名字为“文心一言”，将在3月完成内测并向公众开放；360也表示将推出类ChatGPT技术的 Demo版产品。

如果说微软是“起个大早，赶个晚集”的话，国内巨头则更像是“被逼上梁山”，比如360急急忙忙拿出一个Demo版就来应付媒体，说到底，科技大厂怕的未必是产品技术跟不上，而是资本市场如何看。

当人类科技发展到一定程度，就会越来越难出现技术性突破，这跟当前的生产要素分配有关，没有需求就很难推动创新，正如IPhone出现之后，智能手机市场已经很久没有出现技术性创新了，不是不想，而是并不容易。

但站在资本市场的角度来看，必须要不断有新概念，讲新故事，资金才能流通，机构才能获得投资价值。从这一点来看，资本市场不怕自己押错注，怕的是无注可押，对于一众上市公司而言，它们要获得资本的支持，便一定要追逐风口了。

泡沫到底有多大？

所以我们不难发现，近年每当有新风口出现，市场都会疯狂炒作，比如元宇宙、AIGC、AR等概念，都曾被资本热捧。

以元宇宙为例，在其最火爆之时，连Facebook都要更名为Meta，国内大厂也纷纷跟进推出相关产品，比如百度推出了元宇宙游戏希壤、字节推出元宇宙社交派对岛，只是这些产品现在已几乎没有任何市场声量了。

而AI也并不是什么新鲜事，当前人工智能已经大范围应用于自动驾驶、机器人、视觉识别、语音识别等，国内也早有AI上市公司，比如商汤科技、云从科技等，但以商汤科技为例，自上市以来其股价就一直下挫，在资本市场一直“遇冷”。

同样是新概念，为什么ChatGPT就能“众心所向”，其它项目却要坐冷板凳呢？背后其实是炒作价值和市场预期，考验的不仅是“讲故事能力”，还有“商业落地能力”。

资本市场之所以对ChatGPT趋之若鹜，是因为跟其它“新概念”相比，ChatGPT的“落地能力”，也就是实用性似乎更强。

我们先看国内目前的AI上市公司，如商汤、云从等，主要是从事视觉识别、语音识别，其AI原理均是大规模的数据学习，跟ChatGPT也有一定的相似之处，但它们的股价表现却一直平平无奇，主要还是因为“落地难”。

一方面，在业务层面上它们有阿里云、腾讯云这样的竞争对手；另一方面，落地业务多以B端、G端为主，在C端市场拿不出大规模落地的产品，终究很难将规模做上去。

像元宇宙等“新概念”也存在这一问题，就是当前C端市场对其接受度还不够高，当消费者谈及元宇宙时，大多只能想到VR设备/游戏，应用还不够广泛。

相较而言，ChatGPT的落地难度似乎就低得多了，比如有调查显示，89%的美国大学生承认使用ChatGPT做作业，53%的学生用它来写论文，更有学生用ChatGPT来生成论文拿下了全班第一。

暂且不讨论将ChatGPT应用于做作业、写论文是否符合学术规范，但至少可以说明ChatGPT的应用场景比起只能玩游戏的VR，或者还不能落地的元宇宙要丰富得多。

华西证券在ChatGPT相关报告中列出了其能做的49件事，涉及教育、科研、游戏、新闻等领域，前景广阔，当前资本也加速押注与ChatGPT相关的大规模预训练模型赛道。

据不完全统计，去年下半年以来，该领域出现了多笔大额融资，单笔融资金额甚至高达10亿元，包括联想创投、君联资本、创新工场等知名投资机构。

短短几年，从区块链，到元宇宙，现在又有了ChatGPT，互联网的“风口”总是来得快，去得快。这一次ChatGPT出圈，固然有资本的推波助澜，但最终ChatGPT能否留下，看的也不全是资本的意志。

总的来看，目前ChatGPT并未开源，商业模式也有待验证，离盈利兑现还会有一段时间，国内外的科技大佬能交出怎样的产品，产品质量如何，迭代能力如何，将是其能否留住消费者的关键，当然也是ChatGPT能否成为商业基石的关键。

本文地址： https://www.xxs100.com//show-394388.html