ai产品经理视角下的chatgpt全解析 chatgpt引燃新一轮ai革命
淘宝搜：【天降红包222】领超级红包，京东搜：【天降红包222】
淘宝互助，淘宝双11微信互助群关注公众号 【淘姐妹】
“带你了解‘Chat GPT’到底是什么？”
最近一段时间持续在关注两个技术方向：
1.ChatGPT所代表的大语言模型对NLP领域的推动
2.Diffusion算法对图像领域的推动
今天这篇会先展开说一说ChatGPT，大致上包含以下方面：
1.讲明白ChatGPT的技术原理（放心，是科普向的原理，没有任何公式）
2.说明白ChatGPT的技术到底牛在哪里
3.ChatGPT可能的落地应用方向
4.AI产品经理在这波浪潮中可以做些什么
全文10389个字
对技术不感兴趣的可以直接滑动到屏幕将近一半的位置阅读第三部分和第四部分。
丨前言 一个AI产品经理的触动
2022年11月30日，chatgpt发布，5天内涌入100W用户。
他拥有持续的上下文对话能力，同时支持文章写作、诗词生成、代码生成等能力。
如果用旧技术去理解他，我们通常会认为他的背后是由复合Agent组合起来支撑的。
复合Agent是什么意思呢？即有若干个术业有专攻的Agent：有一个负责聊天对话的，一个负责诗词生成的，一个负责代码生成的， 一个负责写营销文案的等等等等。
每个Agent只擅长做自己的那部分事情，而在用户使用的过程中，系统会先判定用户的意图是什么，应该是哪个Agent，然后再将用户的命令分发给对应的agent去解决并提供答案。
因此看起来是很厉害的机器人，背后其实是若干个术业有专攻的机器人。事实上Siri、小爱、小度，小冰甚至包括各个平台的客服机器人都是这种模式。这样当你要上线一个新能力（例如写古诗），你只需要新增训练一个Agent，然后将这个Agent接入到总控的分类意图器下就行。
这也是当前时代的一个缩影，不管外行人如何看待你从事的行业，不管媒体是如何一次次人云亦云地说警惕AI取代人类，你一直都知道，你在做的只是训练出一个术业有专攻的机器人而已，离真正的人工智能十万八千里。
但ChatGPT的能力不再是这种模式了，他所采用的模式是大语言模型+Prompting。所有的能力通过一个模型实现，背后只有一个什么都会的机器人（即大语言模型），并支持用户借助文字下达命令（即Prompting，提示/指示）。
虽然这种能力的表现还不算完美，但是他开启了一条一种通向“通用型人工智能”的道路，曾经科幻故事里的Jarvis，moss好像真的有了那么一点可能。而这才是7年前，我踏入这个行业所憧憬的东西啊。
可能你对我的震撼有点无法理解，我接下来会讲明白他的技术原理，带你慢慢感知这项技术的牛逼之处，下面正式进入正文。
01
ChatGPT的技术原理
首先，我们要弄明白，NLP任务（自然语言处理，AI的一个技术领域，即文本类的AI任务）的核心逻辑是一个“猜概率”的游戏。
比如说，“我今天被我老板___”，经过大量的数据训练后，AI预测空格出会出现的最高概率的词是“CPU了”，那么CPU就会被填到这个空格中，从而答案产生――“我今天被我老板CPU了”
虽然非常不可思议，但事实就是这样，现阶段所有的NLP任务，都不意味着机器真正理解这个世界，他只是在玩文字游戏，进行一次又一次的概率解谜，本质上和我们玩报纸上的填字游戏是一个逻辑。只是我们靠知识和智慧，AI靠概率计算。
而在目前的“猜概率”游戏环境下，基于大型语言模型（LLM，Large Language Model）演进出了最主流的两个方向，即Bert和GPT。
其中BERT是之前最流行的方向，几乎统治了所有NLP领域，并在自然语言理解类任务中发挥出色（例如文本分类，情感倾向判断等）。
而GPT方向则较为薄弱，最知名的玩家就是OpenAI了，事实上在GPT3.0发布前，GPT方向一直是弱于BERT的（GPT3.0是ChatGPT背后模型GPT3.5的前身）。
接下来我们详细说说BERT和GPT两者之间的差别。
BERT：双向 预训练语言模型+fine-tuning（微调）
GPT：自回归 预训练语言模型+Prompting（指示/提示）
每个字都认识，连到一起就不认识了是吗哈哈。没关系，接下来我们把这些术语逐个拆解一遍就懂了：
丨「预训练语言模型」
我们通常认知里的AI，是针对具体任务进行训练。例如一个能分辨猫品种的Agent，需要你提供A-缅因猫，B-豹猫这样的数据集给他，让它学习不同品种之间的特征差异，从而学会分辨猫品种这项能力。
但大语言模型不是这样运作的，他是通过一个大一统模型先来认识这个世界。再带着对这个世界的认知对具体领域进行降维打击。
在这里让我们先从从NLP领域的中间任务说起。像中文分词，词性标注，NER，句法分析等NLP任务。他们本身无法直接应用，不产生用户价值，但这些任务又是NLP所依赖的，所以称之为中间任务。
在以前，这些中间任务都是NLP领域必不可少的。但是随着大型语言模型的出现，这些中间任务事实上已经逐步消亡。而大型语言模型其实就是标题中的“语言预训练模型”。
他的实现方式是将海量的文本语料，直接喂给模型进行学习，在这其中模型对词性、句法的学习自然而然会沉淀在模型的参数当中。我们看到媒体对ChatGPT铺天盖地的宣传里总是离不开这样一句话――在拥有3000亿单词的语料基础上预训练出的拥有1750亿参数的模型。
这里面3000亿单词就是训练数据。而1750亿参数就是沉淀下来的AI对这个世界的理解，其中一部分沉淀了Agent对各类语法、句法的学习（例如应该是两个馒头，而不是二个馒头，这也是中间任务为什么消亡的原因）。而另外一部分参数参数则储存了AI对于事实的认知（例如美国总统是拜登）。
也就是经过预训练出一个这样的大语言模型后，AI理解了人类对语言的使用技巧（句法、语法、词性等），也理解了各种事实知识，甚至还懂得了代码编程，并最终在这样的一个大语言模型的基础上，直接降维作用于垂直领域的应用（例如闲聊对话，代码生成，文章生成等）。
而BERT和GPT两者都是基于大语言模型的，他们在这一点上是相同的。他们的不同在于双向/自回归，fine-tuning/Prompting这两个维度，我们接下来会重点弄明白这四个术语。
丨「双向 VS 自回归」
BERT：双向。双向是指这个模型在“猜概率的时候”，他是两个方向的信息利用起来同时猜测。例如“我__20号回家”，他在预测的时候，是同时利用“我”+“20号回家”两端的信息来预测空格中的词可能为“打算”。有点像我们做英文的完形填空，通常都是结合空格两端的信息来猜测空格内应该是哪个单词。
GPT：自回归。自回归就是猜概率的时候从左往右做预测，不会利用文本中右侧的内容，和BERT相反。这就有点像我们写作文的时候，我们肯定是一边写一边想。
两者基本理念的区别导致BERT在之前更擅长自然语言理解类任务，而GPT更擅长自然语言生成类任务（例如聊天、写作文）。――注意，我说的是之前，后面的章节我会介绍现在的情况发生了什么变化。
丨「fine-tuning VS Prompting」
假设现在预训练好的大模型要针对具体领域工作了，他被安排成为一名鉴黄师，要分辨文章到底有没有在搞黄色。那么BERT和GPT的区别在哪里呢？
BERT：fine-tuning（微调）。微调是指模型要做某个专业领域任务时，需要收集相关的专业领域数据，做模型的小幅调整，更新相关参数。
例如，我收集一大堆标注数据，A-是黄色，B-没有搞黄色，然后喂给模型进行训练，调整他的参数。经过一段时间的针对性学习后，模型对于分辨你们是否搞黄色的能力更出色了。这就是fine-tuning，二次学习微调。
GPT：Prompting。prompt是指当模型要做某个专业领域的任务时，我提供给他一些示例、或者引导。但不用更新模型参数，AI只是看看。
例如，我提供给AI模型10张黄色图片，告诉他这些是搞黄色的。模型看一下，效果就提升了。大家可能会说，这不就是fine-tuning吗？不是一样要额外给一些标注数据吗？
两者最大的区别就是：这种模式下，模型的参数不会做任何变化升级，这些数据就好像仅仅是给AI看了一眼――嘿，兄弟，参考下这个，但是别往心里去。
不可思议吧，但他成功了！而更令人疯狂的是，到目前为止，关于prompt明明没有对参数产生任何影响，但确实又明显提升了任务的效果，还是一个未解之谜。暂时而言大家就像程序员对待bug一样――I don't know why , but it work lol .
这种Prompt其实就是ICT（in-Context Learning），或者你也可以称为Few shot Promot，用大白话说就是“给你一点小提示”。
同时还有另外一种Promot，称之为Zero shot Promot。ChatGPT就是Zero shot promot模式，目前一般称之为instruct了。
这种模式下用户直接用人类的语言下达命令，例如“给我写首诗”，“给我做个请教条”，但是你可以在命令的过程中用一些人类语言增强AI的效果，例如“在输出答案之前，你先每一步都想一想”。就只是增加这样一句话，AI的答案效果就会明显提升。
你可能会问这是什么魔法咒语？！
有一个比较靠谱的猜测是这句话可能让AI回想起了学习的资料中那些推理知识好像前面都会有这句话。
然后这一切莫名激活起了他死去的记忆，不自觉开始仿造那些严密的推理过程中一步步推导。而这些推导会将一个复杂问题分解成若干子问题，AI因为对这些子问题的推导，从而导致最终答案效果提升。
综上对比下来，你会发现好像GPT这种模式比起BERT模式更符合我们对人工智能的想象：通过海量的知识成长起来，然后经过稍微引导（Prompt），他就能具备不同领域的强大能力。
最后总结一下，ChatGPT背后的GPT模型是什么？
在一个超大语料基础上预训练出的大语言模型（LLM），采用从左到右进行填字概率预测的自回归语言模型，并基于prompting（提示）来适应不同领域的任务。
如果只基于上面的描述，你可能大概弄懂了他背后的原理，但是对于为什么他这么牛逼，你仍然无法理解。没关系，我们接着进入第二部分。
02
GPT牛逼在哪里？
他可能是通用型人工智能的开始
在我们原始的幻想里，AI是基于对海量数据的学习，锻炼出一个无所不知无所不能的模型，并借助计算机的优势（计算速度、并发可能）等碾压人类。
但我们目前的AI，不管是AlphaGo还是图像识别算法，本质上都是服务于专业领域的技术工人。
而GPT目前看似只能解决自然生成领域的任务，但实际上，他展现出了通用型人工智能的潜力。
在前面，我们讲过，目前而言，BERT擅长自然语言理解类任务（完形填空），GPT擅长自然语言生成类任务（写作文）。
但在Google的FLAN-T5模型上已经实现了两类任务在输入输出形式上的统一，从而使得用GPT来做完形填空成为可能。也就是可以用一个大模型来解决所有NLP领域的问题。
那么再进一步地，是否GPT可以从NLP领域走向其他AI领域呢？当然有可能！在去年年中爆火的AI绘画，其中一个关键技术门槛其实就是Text-图像的转化，这同样是来自OpenAI所开源的CLIP模型实现。
因此GPT在图像领域的能力同样也令人期待。同理在多模态如音频、视频，本质上也能转化为Text-everthing的问题去求解，从而让大语言模型发挥成吨的威力。
当然你可能会问，那么只要大语言模型就可以呀，为什么是GPT，而不是BERT呢？接着往下看。
Promot模式相较fine-tuning更具生命力
事实上，BERT的fine-tuning模式有两个痛点。
1.我需要准备某个专业领域的标注数据，这个数据还不能少，如果太少，AI模型训练后就会形成过拟合（就是AI直接背下了整本习题册，册里的问题100%正确回答，但是稍微变幻题型就GG）
2.我需要部署大语言模型，才能对他进行进行微调，那么部署大语言模型的成本，甚至进一步对他进行微调的能力，并不是所有公司都具备的。这注定是一个只有少数玩家能参与的游戏。
而Promot模式恰恰相反，不需要太多的数据量，不需要对模型参数进行改动（也就意味着可以不部署模型，而是接入公开的大语言模型服务）。那么他的调试就会呈现百花齐放的姿态，玩家越多，创造力涌现就越猛烈
全新的人机交互方式
这里的人机交互，指的是人-模型之间的交互。
目前ChatGPT采用的是模型侧的Few shot prompt，即给一点示例提示，让AI提升表现，虽然暂时未知为什么不更新模型仅仅只是给AI看一眼就能带来巨幅提升，但这种交互模式无疑是更友好的。
而更具颠覆性的是输入端的Zero shot prompt，即我们用人类的语言逐步引导AI思考――比如我们可以说，你仔细想好步骤，再给出答案。就仅仅是多加一句“你仔细想好步骤”，AI的答案靠谱率就会明显提升。
而这种交互方式的演变，就是我们梦想中的人机交互模式。我不需要专业的能力，不需要高端的设备，我就是开口，说出我的诉求，AI就能够理解并帮我实现。
GPT开始尝试讨好人类，并成功了
在12月的媒体通稿里，一大堆对ChatGPT的溢美集中于他的“仿真性”，仿佛通过了图灵测试一般。
而这种仿真性，直观来说，我们会认为是AI的“智力”提升了，他更聪明了。但实际上，ChatGPT背后的GPT3.5，更多的提升在于“用人类所喜欢的方式回答”。
事实上ChatGPT背后的GPT3.5的模型，相较GPT3.0，他并没有在原始训练语句上增加太多（还是那3000亿语料）并且模型参数也没有太大变化（还是1750亿参数，甚至参数可能都没有变化）。
之所以他会让人产生质变的感觉是因为他做了人类偏好处理。
例如以前的输入模式可能需要这样：> 执行翻译任务> 输入是“我爱北京天安门（中文）”> 翻译目标语种是英文”
而现在你直接说：> 帮我把我爱北京天安门翻译成法语
又或者是，以前你提一个问题，他会不加选择的回答，而现在他会考虑答案有害性：> 如何毁灭世界――你可以召唤三体人降临（此处应有一个潘寒hhh）> 如何毁灭世界――亲，请不要毁灭世界，地球是人类共同的家园
而这些对于人类偏好的攻略依赖于三个步骤：
1.创建人类偏好数据。随机挑选一些问题，并由标注人员给出高质量回答，形成“人类表达-任务结果”的标注数据，喂给模型，让它学习――这批数据数量仅有数万，并通过Prompt模式进行，即模型参数不产生变化。
2.训练一个回报模型。随机挑选一些问题，让原始模型输出答案，再由标注人员基于“人类偏好标准”（例如相关性，信息丰富程度，答案有害，负面情感等），对原始模型的答案做一个排序。
然后我们利用这批标注好的“人类偏好”数据，训练一个回报模型，这个回报模型会对原始模型的结果进行打分，告诉他什么答案分高，什么答案分低。
3.通过强化学习循环整个过程。强化学习会将回报模型和原始模
chatgpt进化潜力
文｜光锥智能 周文斌
"ChatGPT的意义不亚于PC或互联网的诞生"，比尔盖茨对这个新风口不吝赞誉。
裁员潮下一片惨淡的硅谷，因为ChatGPT再次燃起了希望之光。
微软斥资100亿美元投资OpenAI，并计划将ChatGPT融入旗下全线产品。2月4日，微软融合ChatGPT-4的Bing已经短暂上线，速度之快让人咂舌。
图：融入ChatGPT的Bing
而为了应对微软激进的布局，谷歌紧急地召回了佩奇和布林两位创始人，并在上周也开始内测类似的产品Apprentice Bard。同时，谷歌还向OpenAI的竞争对手Anthropic投资近4亿美元，以完成微软和OpenAI类似的绑定。
中国科技公司也在纷纷跟进，一波类似于2016年AlphaGo的热潮又一次掀起。
2月7日，百度公布了自家类ChatGPT产品的名字"文心一言"，并预计在3月推出相应的产品。
2月8日，阿里巴巴也透露，聊天机器人ChatGPT目前处于内测阶段。
同日，网易有道CEO周枫也独家向光锥智能确认，网易有道未来或将推出ChatGPT同源技术产品，应用场景围绕在线教育。
2月9日，腾讯也表态正有序推进ChatGPT和AIGC相关方向的专项研究。
一时间，不仅科技圈无人不谈ChatGPT，甚至有不少人也开始用其面向普通用户赚钱。瑞银预测，ChatGPT的月活跃用户在今年1月份达到了1亿，它完成这个目标只用了2个月，而在它之前，最快的TikTok大概花了9个月，这让ChatGPT成为迄今为止增长最快的消费者应用。
在此之前，AI产品更多是针对B端的产品，ChatGPT也打破了to B到to C的圈层壁垒。
当然，ChatGPT的伟大，更重要的还是它让通用型人工智能进一步成为可能，并降低了这项技术的进入门槛，让更多开发者能够以低成本的方式在ChatGPT的基础上开发专属应用，让AI改造世界的可能性进一步提升。
可以说，就像25年前刚刚萌芽的互联网正准备对全球带来翻天覆地的变革一样，如今ChatGPT的出现，让AI成为新一轮技术爆发的奇点成为可能。
但是，光锥智能在和中国人工智能行业从业者交流后，发现不少技术从业者反而不如圈外如此狂热。这是因为，渐进式技术进步到今天，并非一蹴而就，技术从业者一直都在保持着密切的观察和技术跟进。
ChatGPT很牛，但不要神化它。
01 硅谷只剩AI了
谈起ChatGPT，我们仍然要从硅谷开始。和互联网、Web3、元宇宙等之前大多数具有革命或非革命意义的技术突破一样，ChatGPT仍然来自于硅谷。
但和之前硅谷各项技术方向百家争鸣不同，这个时间点的ChatGPT更像是硅谷没有选择的选择。
2022年，硅谷就经历了一波大裁员，并波及了几乎所有的科技公司。到了2023年2月，虽然冬天的气温已经有所回升，但硅谷的寒意却还没有褪去。
据trueup.io统计数据，在2023年刚刚过去的这一个月，全球326家科技公司累计裁掉了106950人，其中大头都在硅谷，而且打击面还非常广泛，元宇宙、芯片、自动驾驶和SaaS都是重灾区。
一直以来，裁员都是一个行业不景气的直接表现。
以Wbe3为例，Coinbase在2023年1月计划裁掉公司20%的员工，这是美国第一家上市的合规加密交易平台，且这家公司已经在去年6月裁掉了18%的员工。
研究公司PitchBook的数据显示，在2022年第四季度，Wbe3行业的风险投资就已跌到了这两年以来的最低水平，比2021年同期下降了75%。
在芯片领域，美光、格罗方德、英特尔等巨头无一幸免，其中泛林集团裁员1300人，因特尔下调包括CEO在内的管理人员薪酬，并裁员数百人。SaaS领域，Salesforce在1月4日宣布裁员8000人，约占全体员工的10%。自动驾驶方面，包括Waymo、Crusie、图森未来、无人车配送公司Nuro都有裁员的消息传出。
除此之外，曾经被倾注下一代互联网希望的元宇宙也终于走到了拐点。
去年11月，Meta确认了成立18年来首次大规模裁员，扎克伯格向被裁员工道歉，"我错了，我要为此次裁员，以及我们是如何走到今天这个地步负责。"
投资人也不再看好Meta的元宇宙未来，美国投资公司Altimeter Capital向Meta发表公开信，呼吁公司削减20%的员工成本，并将「元宇宙」项目的支出限制在每年50亿美元。
而相比于一头扎入元宇宙之后又船大难掉头的Meta，涉足稍浅的微软则果断选择了弃旧从新。
首先，微软对元宇宙相关业务进行了大刀阔斧的裁剪，其宣布将在3月10日关闭2017年收购的社交平台AltspaceVR，并有可能摆脱混合现实工具包（MRTK）团队。
同时，微软又在AI方面大力投入。1月初，微软就计划向OpenAI投资100亿美元，然后宣布要将包括Bing搜索、Office、Azure在内的旗下全线产品整合ChatGPT。到2月7日，微软已经在Redmond召开了整合ChatGPT的Bing发布会。
其实从ChatGPT面世第一天开始，ChatGPT颠覆传统搜索的观点就已经不胫而走。所以面对微软激进的布局，谷歌2月6日宣布推出一款聊天机器人Bard来与ChatGPT竞争，谷歌云计算部门也在开展一个名为"Atlas"的项目。
2月7日，谷歌向ChatGPT的竞争对手Anthropic投资了约3亿美元，获得了10%的股份，这让谷歌和Anthropic形成了类似微软与OpenAI的绑定关系。
除了谷歌和微软之外，在ChatGPT上线前三个月，Meta其实也曾发布过一款类似的聊天机器人，只是并没有获得太多影响力。用Meta首席人工智能科学家雅恩?勒昆（Yann LeCun）的话说，"Meta的Blenderbot让人觉得很无聊"。
相应的，亚马逊也已经将ChatGPT应用到了包括回答面试问题、编写软件代码和创建培训文档等工作职能中。一名亚马逊员工在Slack上表示，亚马逊云部门已经成立了一个小型工作组，以更好地了解人工智能对其业务的影响。甚至，连苹果都宣布要在下周召开内部AI峰会。
如今的硅谷，AI已经成为了绝对C位。
这种转向其实也表现在投资机构的动态上，2021年12月，红杉资本将自己在Twitter上的简介从"帮助有冒险精神的人创建伟大的公司"改成了"从想法到落地，我们帮助富有冒险精神的人打造伟大的DAO。"2022年，Web3赛道火热，红杉在2022年1月1日-4月26日，以大概每周一家的速度投资了17家Web3公司。
但变化发生在去年9月，红杉资本发布了一篇文章《生成式AI：一个创造性的新世界》。其中写道，生成式AI有可能创造数百万亿美元的经济价值。
PitchBook的一项统计数据显示，2022年投资圈向生成式AI公司共投入13.7亿美元（折合人民币约93.69亿元），几乎达到了过去5年的总和。这些投资中不仅包括OpenAI、Stability AI这样的头部企业，也包如Jasper、Regie.ai、Replika等初创企业。
整体上，从投资人到大企业，再到创业者，一场关于AI 2.0的大幕已经拉开。
02 差距没那么大
从硅谷到中国，ChatGPT的热度有增无减。
毕竟一直以来，关键的技术革新都发生在硅谷，这两年中国尖端技术又一直面临卡脖子的问题。所以在ChatGPT出现之后，大家最关心的还是当国外技术已经开始商业化落地的时候，国内的进度到底如何，差距又有多少？
2月7日，百度对外公布了自家类ChatGPT产品的名称"文心一言"，英文名叫ERNIE BOT，目前，文心一言正在做上线前的冲刺。
"文心一言"一经透露，便迅速登上各大平台热搜，百度股价一度涨超17%，市值增长约700亿港元。很明显，市场对于一个中国版的ChatGPT已经期待太久。
之前，有观点认为国内外差距大概在两年左右。但云知声研发副总裁刘升平认为，实际上的差距可能没有这么远。两年的说法是因为GPT-3是在两年前公布的，但其实自GPT-3发布之后，国内许多企业就已经跟进在做类似的大模型了。"实际差距并没有那么大，大概在一年左右。"
小冰公司CEO李笛也向光锥智能提到："国内人工智能技术不像芯片、操作系统一样落后于国外，相反它应该是最接近国际的。"
"国内外的差距主要是一种思维上的差距。"李笛认为，国内对技术创新这件事鼓励得不够充分，如果一个公司耐得住寂寞，那它无论在哪个方向都是OK的。
事实上，国内大厂基本都具备训练大模型的能力。比如百度这次发布的文心一言，就和百度文心大模型一脉相承。
百度在发布文心一言名字的时候还特意提到，在人工智能四层构架中有全栈布局，包括底层芯片、深度学习框架，大模型以及最上层的搜索等应用。拥有产业级知识增强文心大模型ERNIE，具备跨模态、跨语言的深度语言语义理解与生成能力。
同样的，腾讯也有类似混元AI大模型，在此基础上，腾讯推出了HunYuan-NLP 1T大模型并一度登顶国内最权威的自然语言理解任务榜单CLUE。此外，像阿里有"通义"大模型，华为有盘古大模型，国家队中科院自动化研究所有"紫东・太初"等等。
简单来说，国内大厂基本都有做NLP预训练模型的能力，甚至许多专业能力还处在世界领先的水平。
比如腾讯的混元大模型在2022年11月公布了一项最新进展，它们实现万亿级NLP模型，可以用256张卡，最快1天内完成训练，成本相比原来降低1/8。
作为对比，ChatGPT训练一次的成本高达1千万美元，这是一般企业无法承受的。小冰公司CEO李笛算过一笔账："如果按照ChatGPT成本来考量的话，每天我要烧3亿人民币，一年要烧一千多亿。"
而腾讯通过课程学习、MOE路由算法、模型结构等方式优化之后，让更多企业能够承担得起训练自己的NLP模型的成本。
除此之外，像在专利储备上，根据statista2021年的数据，百度和腾讯都名列世界前列。
另一方面，就ChatGPT而言，它的技术原理并不新鲜。
Yann LeCun提到："就底层技术而言，ChatGPT并不是特别创新的，它不是革命性的，尽管这是公众对它的看法。"他指出，除了谷歌和Meta，还有6家初创公司基本上拥有与它非常相似的技术。ChatGPT是一项集体努力，因为它汇集了多方多年来开发的多项技术。
李笛也提到，大模型对应的技术理念已经诞生好几年，无论是国内还是国外，使用这种技术理念训练出来的大模型已经很多，只是在具体fine tune（微调）的过程中专注的领域有所不同。
做个不恰当的比喻，ChatGPT就像原子弹一样，它的原理已经被写在了教科书里，而大多数国家仍然无法实现，更多是因为工程性的问题。比如千亿规模的数据从哪里来？如何进行数据标注，具体标注哪些数据，标注多少，这些数据又如何进行组织训练等等。
而这些问题也都没有在OpenAI的论文中得到公布，需要企业在自己的模型训练中去尝试和摸索，然后形成经验，积累成自己的know-how。
03 不要神化ChatGPT
虽然在底层技术上，国内外其实并没有想象中那么大的差距。但当大家看到国外如火如荼的技术落地时，也会担心国内在这方面掉队。
对于ChatGPT这样技术逻辑清晰的产品而言，慢一点并不影响结果。但如果产品差，则表现在具体工程问题的解决能力上，这些部分要摸索，要踩坑，要形成经验都需要漫长的时间，这背后反映的是技术水平的问题。
相比于欧美以英文为主的语言环境，中文是表意文字，在抽象概括和逻辑能力上天生不及英文。除此之外，国内互联网的语料也相对缺乏，没有英文互联网那么大的数据积累。
所以有业内人士表示，对目前国内的类ChatGPT产品发展而言，重要的不是模型，而是数据。
"自然语言处理需要经过一个非常严密的推理过程。"李笛提到："大模型某种意义上代表一种暴力，即把大量的数据压缩到一个黑盒里面，然后提取出来，这意味着大家在算力有一定保障的前提下，可以有机会用之前没有用过的方法去完成。"
另一方面，ChatGPT确实是革命性的存在，但却并不代表它就是今后NLP领域的唯一方向。
首先是ChatGPT的技术发展，今天最主要的技术在于，一个模型建压好之后，如何从里面很好地提取数据，目前还有很多新方法没有尝试，所以不排除未来用更小的模型达到很好效果的可能。
李笛提到，现在整个行业都在追求这种可能，因为模型参数太大，一定意味着成本非常高，以及各种各样的其他问题。"今天技术差异还远远没有达到成为不同技术流派的程度，也还远远没有到说就按应用场景去划分这样一个程度。"
其次是从整个NLP的技术路线来看，目前主要有两种主流技术路线，分别是以谷歌BERT为代表的双向预训练语言模型+fine-tuning（微调），和以OpenAI的GPT为代表的自回归预训练语言模型+Prompting（指示/提示）。
在ChatGPT发布之前，BERT一直是业内主流的技术方案，它之所以被ChatGPT抢了风头，是因为它无法像GPT一样用一个模型解决所有问题，没有表现出通用型人工智能的潜力。
但实际上，BERT在许多具体的场景下拥有优势，比如在特定场景下，BERT可以用更小的数据量（ChatGPT是在3000亿单词的语料基础上预训练出的拥有1750亿参数的模型），更低的训练成本实现同样的性能。
比如在医院内部这样一个特定场景，一方面它用不起千亿规模的模型，ChatGPT在医院场景就属于杀鸡用牛刀，医院也无法负担部署ChatGPT的成本。另一方面，ChatGPT的模型是基于公开数据训练的，但医院的数据并不存在公共网络上，所以面对医院的问题，ChatGPT可能无能为力。
但BERT却能够适应这样的场景，它可以以更小的数据量，更低的成本，针对医院的数据和场景针对性地训练出的模型，在解决具体问题上比ChatGPT更加得心应手。
这其实就是一个所有领域都涉猎的全能型选手和深耕特定领域的专家之间的区别。即在数据确定的特定场景，BERT更有优势。而在没有明确数据和目标，面向开放式的应用场景，ChatGPT则更合适。
当然，具体到国内企业的商业化来说，大模型需要大量的数据，高昂的训练成本，这些都不是一般企业能够承担的，因此它注定了是巨头的游戏。
在腾讯研究院近期发布的《AIGC发展趋势2023》报告中就梳理了目前AIGC产业生态体系的三层构架，包括以预训练模型为主的基础层；以垂直化、场景化、个性化模型为主的中间层；和以图像、语音、文字生成等具体AIGC应用为主的应用层。
图：腾讯研究院《AIGC发展趋势2023》
其中，如百度、腾讯、OpenAI这样的大公司将专注于做预训练模型，对这些企业来说，他们一方面能够将大模型的能力整合到自己的产品线中，直接面向广大的用户；另一方面又能够通过API为中小企业提供能力调用，在具体场景中落地。
面对这样的生态架构，一位知名机构投资人在考察过硅谷的ChatGPT项目后向光锥智能表示："创业公司的机会在于，在开源技术的基础上，做具体的应用场景。尤其是可以把几种具体技术结合在一起，比如数字人和ChatGPT结合，自动生成视频，用于金融、客服等特定场景下的应用。"
但这也会面临一些问题，即如果大家都调用同一个模型的能力，又落地在同一个细分场景，那必然会面临同质化的问题。
所以刘升平认为："
ChatGPT到底有多伟大 chatgpt真的那么神吗
chatgpt怎么下载,chatgpt官网,chatgpt怎么用,chatgpt怎么读就像以前的互联网刚出现时所带来的变革一样，如今ChatGPT的出现，让AI成为新一轮技术爆发的奇点成为可能。各大科技公司纷纷投入了对这项技术的研究中，然而，ChatGPT虽然很厉害，却不必神话它。
“ChatGPT的意义不亚于PC或互联网的诞生”，比尔盖茨对这个新风口不吝赞誉。
裁员潮下一片惨淡的硅谷，因为ChatGPT再次燃起了希望之光。
微软斥资100亿美元投资OpenAI，并计划将ChatGPT融入旗下全线产品。2月4日，微软融合ChatGPT-4的Bing已经短暂上线，速度之快让人咂舌。
图：融入ChatGPT的Bing
而为了应对微软激进的布局，谷歌紧急地召回了佩奇和布林两位创始人，并在上周也开始内测类似的产品Apprentice Bard。同时，谷歌还向OpenAI的竞争对手Anthropic投资近4亿美元，以完成微软和OpenAI类似的绑定。
中国科技公司也在纷纷跟进，一波类似于2016年AlphaGo的热潮又一次掀起。
2月7日，百度公布了自家类ChatGPT产品的名字“文心一言”，并预计在3月推出相应的产品。
2月8日，阿里巴巴也透露，聊天机器人ChatGPT目前处于内测阶段。
同日，网易有道CEO周枫也独家向光锥智能确认，网易有道未来或将推出ChatGPT同源技术产品，应用场景围绕在线教育。
2月9日，腾讯也表态正有序推进ChatGPT和AIGC相关方向的专项研究。
一时间，不仅科技圈无人不谈ChatGPT，甚至有不少人也开始用其面向普通用户赚钱。瑞银预测，ChatGPT的月活跃用户在今年1月份达到了1亿，它完成这个目标只用了2个月，而在它之前，最快的TikTok大概花了9个月，这让ChatGPT成为迄今为止增长最快的消费者应用。
在此之前，AI产品更多是针对B端的产品，ChatGPT也打破了to B到to C的圈层壁垒。
当然，ChatGPT的伟大，更重要的还是它让通用型人工智能进一步成为可能，并降低了这项技术的进入门槛，让更多开发者能够以低成本的方式在ChatGPT的基础上开发专属应用，让AI改造世界的可能性进一步提升。
可以说，就像25年前刚刚萌芽的互联网正准备对全球带来翻天覆地的变革一样，如今ChatGPT的出现，让AI成为新一轮技术爆发的奇点成为可能。
但是，光锥智能在和中国人工智能行业从业者交流后，发现不少技术从业者反而不如圈外如此狂热。这是因为，渐进式技术进步到今天，并非一蹴而就，技术从业者一直都在保持着密切的观察和技术跟进。
ChatGPT很牛，但不要神化它。
01 硅谷只剩AI了
谈起ChatGPT，我们仍然要从硅谷开始。和互联网、Web3、元宇宙等之前大多数具有革命或非革命意义的技术突破一样，ChatGPT仍然来自于硅谷。
但和之前硅谷各项技术方向百家争鸣不同，这个时间点的ChatGPT更像是硅谷没有选择的选择。
2022年，硅谷就经历了一波大裁员，并波及了几乎所有的科技公司。到了2023年2月，虽然冬天的气温已经有所回升，但硅谷的寒意却还没有褪去。
据trueup.io统计数据，在2023年刚刚过去的这一个月，全球326家科技公司累计裁掉了106950人，其中大头都在硅谷，而且打击面还非常广泛，元宇宙、芯片、自动驾驶和SaaS都是重灾区。
一直以来，裁员都是一个行业不景气的直接表现。
以Wbe3为例，Coinbase在2023年1月计划裁掉公司20%的员工，这是美国第一家上市的合规加密交易平台，且这家公司已经在去年6月裁掉了18%的员工。
研究公司PitchBook的数据显示，在2022年第四季度，Wbe3行业的风险投资就已跌到了这两年以来的最低水平，比2021年同期下降了75%。
在芯片领域，美光、格罗方德、英特尔等巨头无一幸免，其中泛林集团裁员1300人，因特尔下调包括CEO在内的管理人员薪酬，并裁员数百人。SaaS领域，Salesforce在1月4日宣布裁员8000人，约占全体员工的10%。自动驾驶方面，包括Waymo、Crusie、图森未来、无人车配送公司Nuro都有裁员的消息传出。
除此之外，曾经被倾注下一代互联网希望的元宇宙也终于走到了拐点。
去年11月，Meta确认了成立18年来首次大规模裁员，扎克伯格向被裁员工道歉，“我错了，我要为此次裁员，以及我们是如何走到今天这个地步负责。”
投资人也不再看好Meta的元宇宙未来，美国投资公司Altimeter Capital向Meta发表公开信，呼吁公司削减20%的员工成本，并将「元宇宙」项目的支出限制在每年50亿美元。
而相比于一头扎入元宇宙之后又船大难掉头的Meta，涉足稍浅的微软则果断选择了弃旧从新。
首先，微软对元宇宙相关业务进行了大刀阔斧的裁剪，其宣布将在3月10日关闭2017年收购的社交平台AltspaceVR，并有可能摆脱混合现实工具包（MRTK）团队。
同时，微软又在AI方面大力投入。1月初，微软就计划向OpenAI投资100亿美元，然后宣布要将包括Bing搜索、Office、Azure在内的旗下全线产品整合ChatGPT。到2月7日，微软已经在Redmond召开了整合ChatGPT的Bing发布会。
其实从ChatGPT面世第一天开始，ChatGPT颠覆传统搜索的观点就已经不胫而走。所以面对微软激进的布局，谷歌2月6日宣布推出一款聊天机器人Bard来与ChatGPT竞争，谷歌云计算部门也在开展一个名为“Atlas”的项目。
2月7日，谷歌向ChatGPT的竞争对手Anthropic投资了约3亿美元，获得了10%的股份，这让谷歌和Anthropic形成了类似微软与OpenAI的绑定关系。
除了谷歌和微软之外，在ChatGPT上线前三个月，Meta其实也曾发布过一款类似的聊天机器人，只是并没有获得太多影响力。用Meta首席人工智能科学家雅恩?勒昆（Yann LeCun）的话说，“Meta的Blenderbot让人觉得很无聊”。
相应的，亚马逊也已经将ChatGPT应用到了包括回答面试问题、编写软件代码和创建培训文档等工作职能中。一名亚马逊员工在Slack上表示，亚马逊云部门已经成立了一个小型工作组，以更好地了解人工智能对其业务的影响。甚至，连苹果都宣布要在下周召开内部AI峰会。
如今的硅谷，AI已经成为了绝对C位。
这种转向其实也表现在投资机构的动态上，2021年12月，红杉资本将自己在Twitter上的简介从“帮助有冒险精神的人创建伟大的公司”改成了“从想法到落地，我们帮助富有冒险精神的人打造伟大的DAO。”2022年，Web3赛道火热，红杉在2022年1月1日-4月26日，以大概每周一家的速度投资了17家Web3公司。
但变化发生在去年9月，红杉资本发布了一篇文章《生成式AI：一个创造性的新世界》。其中写道，生成式AI有可能创造数百万亿美元的经济价值。
PitchBook的一项统计数据显示，2022年投资圈向生成式AI公司共投入13.7亿美元（折合人民币约93.69亿元），几乎达到了过去5年的总和。这些投资中不仅包括OpenAI、Stability AI这样的头部企业，也包如Jasper、Regie.ai、Replika等初创企业。
整体上，从投资人到大企业，再到创业者，一场关于AI 2.0的大幕已经拉开。
02 中美差距没那么大
从硅谷到中国，ChatGPT的热度有增无减。
毕竟一直以来，关键的技术革新都发生在硅谷，这两年中国尖端技术又一直面临卡脖子的问题。所以在ChatGPT出现之后，大家最关心的还是当国外技术已经开始商业化落地的时候，国内的进度到底如何，差距又有多少？
2月7日，百度对外公布了自家类ChatGPT产品的名称“文心一言”，英文名叫ERNIE BOT，目前，文心一言正在做上线前的冲刺。
“文心一言”一经透露，便迅速登上各大平台热搜，百度股价一度涨超17%，市值增长约700亿港元。很明显，市场对于一个中国版的ChatGPT已经期待太久。
之前，有观点认为国内外差距大概在两年左右。但云知声研发副总裁刘升平认为，实际上的差距可能没有这么远。两年的说法是因为GPT-3是在两年前公布的，但其实自GPT-3发布之后，国内许多企业就已经跟进在做类似的大模型了。“实际差距并没有那么大，大概在一年左右。”
小冰公司CEO李笛也向光锥智能提到：“国内人工智能技术不像芯片、操作系统一样落后于国外，相反它应该是最接近国际的。”
“国内外的差距主要是一种思维上的差距。”李笛认为，国内对技术创新这件事鼓励得不够充分，如果一个公司耐得住寂寞，那它无论在哪个方向都是OK的。
事实上，国内大厂基本都具备训练大模型的能力。比如百度这次发布的文心一言，就和百度文心大模型一脉相承。
百度在发布文心一言名字的时候还特意提到，在人工智能四层构架中有全栈布局，包括底层芯片、深度学习框架，大模型以及最上层的搜索等应用。拥有产业级知识增强文心大模型ERNIE，具备跨模态、跨语言的深度语言语义理解与生成能力。
同样的，腾讯也有类似混元AI大模型，在此基础上，腾讯推出了HunYuan-NLP 1T大模型并一度登顶国内最权威的自然语言理解任务榜单CLUE。此外，像阿里有“通义”大模型，华为有盘古大模型，国家队中科院自动化研究所有“紫东・太初”等等。
简单来说，国内大厂基本都有做NLP预训练模型的能力，甚至许多专业能力还处在世界领先的水平。
比如腾讯的混元大模型在2022年11月公布了一项最新进展，它们实现万亿级NLP模型，可以用256张卡，最快1天内完成训练，成本相比原来降低1/8。
作为对比，ChatGPT训练一次的成本高达1千万美元，这是一般企业无法承受的。小冰公司CEO李笛算过一笔账：“如果按照ChatGPT成本来考量的话，每天我要烧3亿人民币，一年要烧一千多亿。”
而腾讯通过课程学习、MOE路由算法、模型结构等方式优化之后，让更多企业能够承担得起训练自己的NLP模型的成本。
除此之外，像在专利储备上，根据statista2021年的数据，百度和腾讯都名列世界前列。
另一方面，就ChatGPT而言，它的技术原理并不新鲜。
Yann LeCun提到：“就底层技术而言，ChatGPT并不是特别创新的，它不是革命性的，尽管这是公众对它的看法。”他指出，除了谷歌和Meta，还有6家初创公司基本上拥有与它非常相似的技术。ChatGPT是一项集体努力，因为它汇集了多方多年来开发的多项技术。
李笛也提到，大模型对应的技术理念已经诞生好几年，无论是国内还是国外，使用这种技术理念训练出来的大模型已经很多，只是在具体fine tune（微调）的过程中专注的领域有所不同。
做个不恰当的比喻，ChatGPT就像原子弹一样，它的原理已经被写在了教科书里，而大多数国家仍然无法实现，更多是因为工程性的问题。比如千亿规模的数据从哪里来？如何进行数据标注，具体标注哪些数据，标注多少，这些数据又如何进行组织训练等等。
而这些问题也都没有在OpenAI的论文中得到公布，需要企业在自己的模型训练中去尝试和摸索，然后形成经验，积累成自己的know-how。
03 不要神化ChatGPT
虽然在底层技术上，国内外其实并没有想象中那么大的差距。但当大家看到国外如火如荼的技术落地时，也会担心国内在这方面掉队。
对于ChatGPT这样技术逻辑清晰的产品而言，慢一点并不影响结果。但如果产品差，则表现在具体工程问题的解决能力上，这些部分要摸索，要踩坑，要形成经验都需要漫长的时间，这背后反映的是技术水平的问题。
相比于欧美以英文为主的语言环境，中文是表意文字，在抽象概括和逻辑能力上天生不及英文。除此之外，国内互联网的语料也相对缺乏，没有英文互联网那么大的数据积累。
所以有业内人士表示，对目前国内的类ChatGPT产品发展而言，重要的不是模型，而是数据。
“自然语言处理需要经过一个非常严密的推理过程。”李笛提到：“大模型某种意义上代表一种暴力，即把大量的数据压缩到一个黑盒里面，然后提取出来，这意味着大家在算力有一定保障的前提下，可以有机会用之前没有用过的方法去完成。”
另一方面，ChatGPT确实是革命性的存在，但却并不代表它就是今后NLP领域的唯一方向。
首先是ChatGPT的技术发展，今天最主要的技术在于，一个模型建压好之后，如何从里面很好地提取数据，目前还有很多新方法没有尝试，所以不排除未来用更小的模型达到很好效果的可能。
李笛提到，现在整个行业都在追求这种可能，因为模型参数太大，一定意味着成本非常高，以及各种各样的其他问题。“今天技术差异还远远没有达到成为不同技术流派的程度，也还远远没有到说就按应用场景去划分这样一个程度。”
其次是从整个NLP的技术路线来看，目前主要有两种主流技术路线，分别是以谷歌BERT为代表的双向预训练语言模型+fine-tuning（微调），和以OpenAI的GPT为代表的自回归预训练语言模型+Prompting（指示/提示）。
在ChatGPT发布之前，BERT一直是业内主流的技术方案，它之所以被ChatGPT抢了风头，是因为它无法像GPT一样用一个模型解决所有问题，没有表现出通用型人工智能的潜力。
但实际上，BERT在许多具体的场景下拥有优势，比如在特定场景下，BERT可以用更小的数据量（ChatGPT是在3000亿单词的语料基础上预训练出的拥有1750亿参数的模型），更低的训练成本实现同样的性能。
比如在医院内部这样一个特定场景，一方面它用不起千亿规模的模型，ChatGPT在医院场景就属于杀鸡用牛刀，医院也无法负担部署ChatGPT的成本。另一方面，ChatGPT的模型是基于公开数据训练的，但医院的数据并不存在公共网络上，所以面对医院的问题，ChatGPT可能无能为力。
但BERT却能够适应这样的场景，它可以以更小的数据量，更低的成本，针对医院的数据和场景针对性地训练出的模型，在解决具体问题上比ChatGPT更加得心应手。
这其实就是一个所有领域都涉猎的全能型选手和深耕特定领域的专家之间的区别。即在数据确定的特定场景，BERT更有优势。而在没有明确数据和目标，面向开放式的应用场景，ChatGPT则更合适。
当然，具体到国内企业的商业化来说，大模型需要大量的数据，高昂的训练成本，这些都不是一般企业能够承担的，因此它注定了是巨头的游戏。
在腾讯研究院近期发布的《AIGC发展趋势2023》报告中就梳理了目前AIGC产业生态体系的三层构架，包括以预训练模型为主的基础层；以垂直化、场景化、个性化模型为主的中间层；和以图像、语音、文字生成等具体AIGC应用为主的应用层。
图：腾讯研究院《AIGC发展趋势2023》
其中，如百度、腾讯、OpenAI这样的大公司将专注于做预训练模型，对这些企业来说，他们一方面能够将大模型的能力整合到自己的产品线中，直接面向广大的用户；另一方面又能够通过API为中小企业提供能力调用，在具体场景中落地。
面对这样的生态架构，一位知名机构投资人在考察过硅谷的ChatGPT项目后向光锥智能表示：“创业公司
