chatgpt真那么牛么 chatgpt手机版在哪里下
淘宝搜:【天降红包222】领超级红包,京东搜:【天降红包222】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】
? ? ? ?
作者:石秀峰,来源:谈数据
全文共 3846 个字,建议阅读10分钟
今年的科技领域最火爆的关键词莫过于“ChatGPT”!
ChatGPT(全名:Chat Generati【【微信】】rmer),美国OpenAI 研发的聊天机器人程序,于2022年11月30日发布 。ChatGPT是人工智能技术驱动的自然语言处理工具,它能够通过学习和理解人类的语言来进行对话,它背后有个庞大的数据库,通过机器学习,能够根据回答你提出的几乎任何问题,且可以根据聊天的上下文与人进行互动,真正像人类一样来聊天交流!
这款“上知天文、下知地理”的聊天机器人确实让人惊叹!不仅如此,ChatGPT甚至还能帮你撰写文章、翻译、编程,写论文、画画、写诗……,很多人慌了,ChatGPT会不会取代我,未来要怎么和机器人竞争?
01 ChatGPT 真的无所不知,无所不能吗?
这个答案一定是否定的。ChatGPT的强大是毋庸置疑的,但要说他“无所不知,无所不能”却也有些言过其实了。
1、ChatGPT具备交互功能,但不具备社交属性
ChatGPT是截止目前最厉害的聊天机器人,其强大的交互能力,可以对大部分问题对答如流,要比以往的所谓“聊天机器人”有趣太多,让很多人爱不释手。但是ChatGPT无法理解人类的情感和思维,没有主观判断,还远远做不到和你交流思想和情感。所以,不用担心ChatGPT会替代人类!
2、ChatGPT 是个文科学霸,但也是个理科学渣
ChatGTP会写诗歌、写作文、编故事、写论文,它可以根据你的文案内容帮你总结出几个新颖亮眼的文案标题,也可以根据你提供的关键词写出通俗、完整甚至优美的文章。如果说ChatGPT 是个“文科学霸”,那么在理科领域ChatGPT却是是一个地道的“学渣”,因为截止目前ChatGTP还算不对小学的应用题。
ChatGPT 是一个基于自然语言处理(NLP)用大量数据训练出来的语言模型,它能回答出什么问题,以及答案的质量,完全取决于用来“喂养”ChatGPT的数据集的数量和质量。所以,ChatGPT也不是完全没有数学能力,而是ChatGPT对于数学的计算完全是基于“经验”的“死记硬背”!
ChatGPT的强项在于组织出一个完整的答案,但给出的内容并不一定完全准确。你要是问它简单的加减乘除,它还是可以答出来的,而对于需要有推理逻辑才能计算出来的数学应用题,至少目前,ChatGPT在这方面还没有太多能力。
3、ChatGPT 会写代码,却替代不了程序员
ChatGPT还有一个强大的能力――编程。据说,ChatGPT不仅可以写出非常完整的代码,还可以检查程序错误,修改程序出现的bug。甚至前不久,【【微信】】对它进行模拟面试,结果发现ChatGPT写代码的能力可媲美【【微信】】三级工程师,该职位的平均年薪约达18.3万美元。虽然三级工程师在【【微信】】算是初级工程师,对于程序员来说能够入职谷歌已经很厉害了。因此,有人提出了ChatGPT可能替代程序员的担忧。
于是,ChatGPT迎来了大量程序员们的不断挑战和围攻,结果出人意料,却也在意料之中。
图片来源:互联网
出入意料的ChatGPT不仅可以输出“漂亮”的代码,更惊艳的是ChatGPT对语义的理解能力,他不仅能理解用户的输入,还能对代码的意思进行语言描述,解释代码的含义。
在意料之中是ChatGPT擅长的还是那些通用的、结构清晰的东西,比如:实现一些通用的功能、找出一些常见的bug、读写或压缩文件,输出一些常见的算法等等。而对于一些需要抽象的问题,ChatGPT的能力就明显捉襟见肘了,例如:根据业务需求的理解给出解决方案或架构设计,复杂业务逻辑的处理和代码调试,代码性能的调优,以及使用了Hadoop、ES等软件……
图片来源:码农翻身
因此,ChatGPT的“背诵”代码的能力非常强大,因为它可能看过了大量的专业编程书籍,这是任何一个程序员也做不到的,就这一点就已经很厉害了,这让ChatGPT至少可以成为程序员的一个得力助手。但是,目前ChatGPT还写不出一套完整的、符合业务所需的软件系统。
当然,以ChatGPT的学习能力来看,未来如果将SAP、Oracle、微软、IBM、【【微信】】、AWS等世界IT巨头的系统源码都“喂给”它的话,说不定有天ChatGPT真的可以取代程序员了!但就目前说ChatGPT替代程序员是不可能的。
02 ChatGPT 为什么如此强大?
虽然我们说ChatGPT还有很多限制,但ChatGPT无疑是目前最强大、最懂人类语言的AI聊天机器人。ChatGPT一经发布,就快速成为了科技领域的“顶流”,更带动了资本市场的狂热。我们看到,国内外科技巨头均纷纷布局ChatGPT产业,“ChatGPT”概念股也是一路狂飙。
ChatGPT本质上就是一个AI聊天机器人。聊天机器人这个并不罕见,我国市场上也有多款相关产品。那为什么ChatGPT就一下子变得这么火爆,不仅完全碾压了传统的聊天机器人,甚至还对搜索引擎、文案写作、翻译、编程等行业都造成了巨大影响和冲击,ChatGPT究竟有什么魔力?它的强大底气源自哪里?
1、ChatGPT 的大模型支撑
人工智能大多是针对特定场景应用进行训练,难以迁移,属于小模型范畴;而ChatGPT背后的支撑为人工智能大模型(InstructGPT、Transformer),可大幅扩充适用场景、提升研发效率。
实际上,ChatGPT 并不是“一步登天”就达到了如此高的成就,而是不断发展起来的,其经历了GPT1.0、GPT2.0、GPT3.0三个大的发展阶段,通过将InstructGPT模型的目标与人类用户可能喜欢的内容不断“对齐”,才使得ChatGPT给出更真实、更诚实的答案。
详情参考:
2、ChatGPT 拥有更大的资料库
刚才我们讲ChatGPT 经历了三个发展阶段:GPT1.0、GPT2.0、GPT3.0,每个阶段ChatGPT都会在前一个阶段基础之上学习大量的数据资料。虽然ChatGPT目前还未公开其数据集构成,但从其能够回答的问题类型中就可想而知,其背后的数据库是多么庞大。也有专家研究指出ChatGPT的资料库包括:维基百科,各类型的电子图书,各类社交、购物和新闻网站数据、各类资源链接等等,规模至少有上千TB。
3、ChatGPT 可以自我学习和进化
这个就厉害了!与传统人工智能需要针对各领域任务定制对应的系统不同,它不仅能完成多个场景、多轮的相当自然的人机对话,更为重要的是以自然语言交互式学习的“类人”新范式,能在多轮交互中以“类人”的方式交流、学习和进步,并可以自主、快速、不间断地学习各领域专业知识并达到人类专家水平!
4、ChatGPT 拥有强大的算力
据测算,ChatGPT的总算力消耗约为3640PF-days,相当于每秒计算1千万亿次,需要计算3640天,将近10年,并且需要7-8个投资规模30亿、算力500P(1P约每秒1千万亿次的计算速度)的数据中心才能正常运行。
算力成为了入局“ChatGPT”的高门槛,这让ChatGPT变得只有少数的巨头才能玩得起。
5、ChatGPT 具有更高的准确度
ChatGPT能够给出更高准确度的答案,有三个方面因素。第一,算力强大,上边我们说过。第二,算法强大,ChatGPT大参数语言模型(GPT3.5),通过调整模型参数,使模型得到最大的奖励(reward),最大奖励意味着此时的回复最符合人工的选择取向。第三,数据强大,ChatGPT拥有庞大的数据集和较高的数据质量。
6、ChatGPT 具有更好的适应性
ChatGPT具有较高的适应性,可以根据不同的场景和任务进行微调,以满足其在特定领域的应用效果。ChatGPT 大模型InstructGPT拥有1750亿个参数,可以通过大量的数据学习不同的场景,并且根据不同的场景来调整自己的行为,从而达到适应不同场景的目的。
03 关于ChatGPT的一些热点问题
1、ChatGPT 能否替代人类?
作为一个AI聊天工具,ChatGPT 确实很强大,但我们也要看到目前其能力是有限的,ChatGPT只能处理具体的任务,其灵活性还不足,更缺乏抽象能力和创造性,只能按照预定的步骤来做事。
ChatGPT 只是一个AI工具,或许它可以替代人类完成某些工作,例如:自动驾驶、自动翻译、自动识别、自动分析,ChatGPT可以替代人类完成一些重复性的工作,提高工作效率,减少人力成本。要说AI能替代人类,这并不是天方夜谭的问题,而是庸人自扰的问题。ChatGPT也好,还是其他更强大的AI智能也罢,都不可能替代人类,现在不可能,将来也不可能。
关于“AI能否替代人类”,有人问了ChatGPT,ChatGPT给出的答案如下:
不会,AI的目标是帮助人类完成更多的工作,而不是替代人类,也替代不了人类,主要原因:
1. AI 无法理解人类的情感和思维。
2. AI 无法自主思考,只能根据输入计算出相应结果。
3. AI 没有社会文化背景,从而无法理解人类潜在的文化内涵。
4. AI没有自觉,无法理解人类的自觉的行为。
5. AI没有灵魂,无法理解人类的内心情感。
6. AI没有记忆力,无法记住已说过的话。
7. AI没有能力进行高度抽象的思考,无法理解人类的抽象思考。
8. AI没有创造力,无法创造属于自己的想法。
9. AI无法理解人类的语言系统,只能按照编程语言规则计算出结果。
10. AI不能识别细微的表情变化,从而无法理解人类的复杂情感。
2、ChatGPT 如此聪明,被坏人利用怎么办?
不得不承认,ChatGPT在很多领域都能给出让人惊叹的答案。也有人担忧,ChatGPT这么厉害,被坏人利用怎么办?
其实这个问题最好还是问 ChatGPT自己。(注:目前ChatGPT好像不能注册了,我是一直没有注册成功,但找到了一个类ChatGPT工具,地址:【【网址】】)
于是,就有了以下的对话:
3、ChatGPT 回答不了哪些问题?
有人说你上知天文、下知地理,是真的吗?“类ChatGPT”自己的回答:
其实,如果你想让ChatGPT给出准确的答案,首先你的问题是正确的。如果你的问题是恶搞的,那ChatGPT也只能给出一个恶搞的答案。例如:
近几年,在互联网科技领域,总是“新词”不断,从大数据到云计算,从区块链到人工智能、从数据湖到数据中台,每一个“新词”出来,都会引来很多人的跟风,也会遭到很多人质疑。不出意外的话,这波吹捧ChatGPT的高潮过去,紧接着就会迎来下一波的质疑的浪潮,让我们拭目以待吧。
参考文章:
《让我们一起捅破ChatGTP的窗户纸》王建硕
《ChatGTP时代,别再折腾孩子了》刘欣
《ChatGPT帮我看下这段代码有什么问题》程序猿阿朗
揭秘chatgpt背后的核心技术 ChatGPT会带来什么机遇
chatteing,chatrge,chatplus,chatbat1、原理:
架构:ChatGPT是一种基于Transformer 神经网络模型, 使用了Reinforcement Learning的深度学习技术. 它是 GPT3.5 的衍生物. 对于 Transformer 和 Reinforcement Learning 的一个初步理解见另一篇blog. 这里不再展开。
训练过程:
第一阶段:训练监督策略模型
GPT 3.5本身很难理解人类不同类型指令中蕴含的不同意图,也很难判断生成内容是否是高质量的结果。为了让GPT 3.5初步具备理解指令的意图,首先会在数据集中随机抽取问题,由人类标注人员,给出高质量答案,然后用这些人工标注好的数据来微调 GPT-3.5模型(获得SFT模型, Super【【微信】】)。此时的SFT模型在遵循指令/对话方面已经优于 GPT-3,但不一定符合人类偏好。
第二阶段:训练奖励模型(Reward Mode,RM)
这个阶段的主要是通过人工标注训练数据(约33K个数据),来训练回报模型。在数据集中随机抽取问题,使用第一阶段生成的模型,对于每个问题,生成多个不同的回答。人类标注者对这些结果综合考虑给出排名顺序。这一过程类似于教练或老师辅导。
接下来,使用这个排序结果数据来训练奖励模型。对多个排序结果,两两组合,形成多个训练数据对。RM模型接受一个输入,给出评价回答质量的分数。这样,对于一对训练数据,调节参数使得高质量回答的打分比低质量的打分要高。
第三阶段:采用PPO(Proximal Policy Optimization,近端策略优化)强化学习来优化策略。
PPO的核心思路在于将Policy Gradient中On-policy的训练过程转化为Off-policy,即将在线学习转化为离线学习,这个转化过程被称之为Importance Sampling。这一阶段利用第二阶段训练好的奖励模型,靠奖励打分来更新预训练模型参数。在数据集中随机抽取问题,使用PPO模型生成回答,并用上一阶段训练好的RM模型给出质量分数。把回报分数依次传递,由此产生策略梯度,通过强化学习的方式以更新PPO模型参数。
如果我们不断重复第二和第三阶段,通过迭代,会训练出更高质量的ChatGPT模型。
2、成本:
训练通用大模型非常“烧钱”。据国盛证券报告《ChatGPT需要多少算力》估算,GPT-3训练一次的成本约为140万美元,对于一些更大的LLM(大型语言模型),训练成本介于200万美元至1200万美元之间。以ChatGPT在1月的独立访客平均数1300万计算,其对应芯片需求为3万多片英伟达【【微信】】,初始投入成本约为8亿美元,每日电费在5万美元左右。
更直观地理解,如果将当前的ChatGPT部署到谷歌进行的每次搜索中,需要 512820.51台【【微信】】服务器和总共4102568个【【微信】】,这些服务器和网络的总成本仅资本支出就超过1000亿美元。
“大模型的训练和推理成本一直以来是AI产业发展的瓶颈,因此具有大模型构建能力的企业往往是世界科技巨头。这会形成强大的护城河,造成强者恒强的局面。”法国里昂商学院人工智能管理学院(AIM)院长、全球商业智能中心(BIC)主任龚业明。
OpenAI正在一个从GPT3.5到GPT4.0的发展过程中。如果要彻底达到ChatGPT的水平,在短期内是不太可能的,语料库的建立,人工标注,算法的训练都需要时间。市场肯定会出现一批这样的所谓的GPT复制品,但要达到真正实用需要2-3年,那时候OpenAI又进步了。
3、难以追赶的原因:
从技术角度来看,国内的AI领域在基础理论、算法研究、语料库以及技术人才方面相对滞后。
第一,就语料库而言,语料库的构建和获取也许不是特别费劲,但是语料的标注与理解工作比较繁复。目前有很多人工智能专家还认为中文语料质量会影响国产大模型的发展。语言学的长期研究告诉我们,语料库的构建最好不能只局限于简体中文语料库,要能理解多种语言,才能构建一流的中文语料库。所以不要认为靠人海战术和低人力成本建一个简中语料库就能解决语言学问题。
第二是算法。GPT对算法的要求特别高。算法要能容纳和分析大数据,个别国产大语言模型出现了过载问题,就是算法处理不了更大的数据,或增加了数据后服务质量没提高。
第三是运算量。GPT需要高端显卡和高端芯片。在目前的国际环境中,并不是所有我国企业能获取足量的高端显卡和高端芯片。同时运算量也要求较高的投资。诚然很多国内厂商对ChatGPT有兴趣,但是他们的兴趣点也很多,跟风投机性强,无法像openAI那样全力以赴,意志坚定。
第四是技术人才。从商业模式角度分析,国内缺乏明确的前瞻性生态与商业布局。现在出现了ChatGPT这样的产品,国内也会出现很多的公司、机构,但在技术路径的复制上面,由于缺乏基础模型积累和大量的训练数据来源,所以复制难度较大。OpenAI在很多年前就理解了GPT的价值,我们到现在别人已经做出来,才知道该这样发展,才理解其中的商业价值,就慢了点。
未来研究方向:
虽然ChatGPT很强大,但其模型大小和使用成本也让很多人望而却步。有三类模型压缩(model compression)可以降低模型的大小和成本。
第一种方法是量化(【【微信】】),即降低单个权重的数值表示的精度。比如Tansformer从FP32降到INT8对其精度影响不大。
第二种模型压缩方法是剪枝(pruning),即删除网络元素,包括从单个权重(非结构化剪枝)到更高粒度的组件如权重矩阵的通道。这种方法在视觉和较小规模的语言模型中有效。
第三种模型压缩方法是稀疏化。例如奥地利科学技术研究所 (ISTA)提出的SparseGPT 可以将 GPT 系列模型单次剪枝到 50% 的稀疏性,而无需任何重新训练。对 GPT-175B 模型,只需要使用单个 GPU 在几个小时内就能实现这种剪枝。
AI's Future, 可能的变革
下游相关受益应用来看,包括但不限于无代码编程、小说生成、对话类搜索引擎、语音陪伴、语音工作助手、对话虚拟人、人工智能客服、机器翻译、芯片设计等。从上游增加需求来看,包括算力芯片、数据标注、自然语言处理(NLP)等。