chatgpt翻译靠谱吗 ChatGPT 语言
淘宝搜:【天降红包222】领超级红包,京东搜:【天降红包222】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】
随便找了几个日文片段做了一下试验 图图呢 快发图 好的,接下来请翻译一下这封信 日语看不懂了辣 因为主流机翻也是用的nlp技术,不过不像gpt一样几千万美元砸这个模型而已,公司发展路线不一样 目前有个问题是,如果片段过长,无法叫他继续翻译。翻错的地方重新翻一次有可能翻对,但是原本对的地方可能又会错 一般玩家自己玩时捣鼓捣鼓能应用到优化机翻中吗 用全是片假名的句子试试其实和机翻效果一样的 看着翻译的挺好的呀,不过有的地方感觉会莫名其妙装没看见那个 “がってみたがいいけれど,お腹を押さえる” 翻译成了“装作强硬,捂住肚子。” 那个 いいけれど,就直接无视了,好像把它和上一句连在了一起,翻译了一句 “尽管这样想”,不知道是个啥原理 yahoo上的一些新闻
陈经:ChatGPT引爆又一波AI热潮,“狼”真的来了吗?
陈经超[文/观察者网专栏作者 陈经]
近期,OpenAI开发并发布了一款新型自然语言处理(NLP)聊天机器人工具――ChatGPT。它被广泛视作未来人工智能在用户体验方面的领先者,备受世界瞩目。人们关心,ChatGPT可能对就业市场产生怎样的影响?
一方面,在许多岗位上,ChatGPT有望取代人类。例如,以往在营销领域,营销部门需要依靠客服代表与现有和潜在的客户进行沟通、解决问题、推广产品,以达成销售目标。但是,随着ChatGPT出现,机器可以更加自动化地完成客户服务等日常交易:通过自然语言理解、推断和应答,它可以执行几乎所有客户服务活动,包括提出问题、提供建议和解决问题,而这些曾经都是客服代表的职责。因此,未来ChatGPT可能取代客服代表这一职位,使一些人失去工作。
另一方面,ChatGPT也会为许多其他行业创造工作机会。例如,ChatGPT也可能给消费者带来更好的用户体验,根据消费者的实际意图提供准确的产品信息和服务,从而更有效地实现销售目标。因此,它也可以为许多公司和机构创造数据分析师、客户服务专员等新的岗位。毕竟,机器只是自动化的工具,而真正的商业成功和创新还需依赖具有创造力和独特思维能力的人类团队。
说了多少年“AI将取代人的工作”,这一次,“狼”是真的来了。可以断定,从客服代表到新闻写稿,许多人的工作可能被机器取代。如果你还无动于衷,事实上,本文开头四段就是笔者让ChatGPT写的。
ChatGPT的特性与原理
当然,由于ChatGPT的中文版本训练较少,它还没有学会我的语言风格。但正如许多西方作者所发现的,只要有足够多的样本,风格化的写作不是问题。
笔者让ChatGPT以“波动的市场”为主题,写一首许巍风格的歌词。它较好地完成了任务。(注:第三方开发者将ChatGPT接入了微信,群聊天转发到OpenAI的服务器给出反馈)
不过,当我让ChatGPT继续介绍OpenAI公司,它的表现证明,我们也无需对人工智能过于担忧――它写道:
OpenAI在相对较短的时间内取得了一些重大成功。2016年,它创建了一个叫AlphaGo的游戏系统,在一场围棋比赛中击败了世界冠军李世石。这一成就尤其值得注意,因为围棋此前被认为过于复杂,计算机无法掌握。
这让笔者不得不停止“白嫖”,自己来写――事实上,AlphaGo与OpenAI毫无关系,而是由其竞争对手Deepmind开发的;另外,在AlphaGo与李世石的棋局中,获胜者实为李世石,笔者2016年发表于观察者网的文章成功预测了这一结局。
由此不难看出ChatGPT的一个典型毛病:理直气壮地编造事实和数据,就像一个信心十足的“大忽悠”。如果不提高警惕,很容易上当。英文版本由于训练数据较多而比中文版本靠谱得多,但即便如此,也有不少人报告说机器撒谎。
无论如何,ChatGPT引发了人们很大的兴趣,不少人都要求入群围观调戏。如何理解这波热潮?
2016年,AlphaGo引爆了史上最大的人工智能热潮,一度到了“与会必谈”的程度。一些社科学者也对人工智能产生了兴趣,对人与智慧机器的关系进行了深入探讨,“机器是否会取代人的工作”一度引发热议。
后来,AI热潮逐渐退去,这也正常――AI的确很有用,但这几年间并没有取代多少人的工作。人们逐渐发现,AI并非宣传画中的人形机器,也还不完全具备送快递、自动驾驶等功能,只是能执行人的语音命令,并没有传说中那样神奇。
正如IT开发者早就指出的,虽然AI在所有棋类运动中都战胜了人类,但这并不意味着其具备了足以与人类匹敌的、真正意义上的智慧――棋类运动的本质即较为复杂的计算,因此AI在棋类运动中的胜利表明的无非是其深度学习、强化学习算法的威力。计算器刚发明时曾被视作神奇的产品,能卖上千美元,但随着时间推移也就逐渐“白菜化”了;同理,高水平AI作为更强大的计算功能,也终将被人们习以为常。
如何判断AI究竟有无“智慧”?相关学者对此早有思考,提出了“图灵测试”法则:如果机器能够像真人那样聊天、让人无法分辩,则可视作具有智慧。
但是,关于通过图灵测试的标准,研究者们各执一词,难有定论。例如,有研究者声称裁判无法区分其开发的聊天机器人和13岁小孩,谷歌工程师Blake Lemoine也曾声称聊天机器人LaMDA真的拥有“灵魂”,但上述案例并未得到业界的普遍认可,被视作笑话或炒作。另外,随着机器的表现越来越好,图灵测试的标准也相应地一再升级。
研究者们高度重视图灵测试,希望看到聊天能力强大的机器人――早在数年前,聊天机器人与图灵测试的关系就得到业界广泛关注。近两个月“火出圈”的ChatGPT被业界公认为最有希望通过图灵检验的AI,虽然它并不自称为人类。
聊天机器人的专业名称是“大型语言模型”(LLM, Large Language Model)。主要技术关键是谷歌2017年开始引入的Transformer模型,先是对机器翻译,再自然地到语言模型、聊天机器人。
上一波人工智能突破主要由图像识别领域的“深度学习”(DL,Deep Learning)引领,AlphaGo就是将棋盘当作图像输入。人们一度认为“强化学习”(RL,Reinforcement Learning)以及“对抗生成网络”(GAN,Generative Adversarial Network)很厉害。AlphaGo的升级版本AlphaZero就是用了这两个技术,几个模型反复对抗训练、一起进化,自己生成学习样例,进步非常明显。
GAN还被应用于不少其他有趣的方面,例如,可以用GAN框架做一个生成图片的神经网络和一个判别图片真假的神经网络,两个网络互相对抗、共同改进,最后获得足以以假乱真的图片生成能力,画出大师风格的油画。不少研究者觉得,GAN是多年来人工智能领域最大的突破,应该会是下一个出大成果的方向。
有点意外的是,实际大突破到出圈的却是LLM,这次人工智能热潮就是自然语言处理(NLP,Natural Language Processing)的飞跃进步引发的。
“Transformer模型是一种具有注意力机制的深度学习模型,可以用来解决自然语言处理(NLP)问题。它使用注意力技术来聚焦模型中每个符号的输入序列,从而可以捕捉句子中词语之间的关系,而无需显式地定义特征或构建特征提取器。此外,Transformer模型利用并行化,避免了传统序列模型(如递归神经网络)时需要等待前一步执行结束才能开始新一步的等待时间,提高了计算速度。”
上面这段是ChatGPT介绍的LLM技术关键:Transformer模型(这类常见概念介绍它不忽悠)。意思是说,Transformer训练和计算有利于并行加速,这样可以引入几百亿个参数的大模型。以前的语言模型,如“循环神经网络”(RNN,Recurrent Neural Network),参数不能太多,训练样本也多不了,“需要等待前一步执行结束才能开始新一步”,例如RNN将推理结果当作下一步推理的输入(这就是“循环”)。不方便并行,训练就慢,大模型训练需要的时间太长,没法用。
2015年底,谷歌收购最有可能做出通用人工智能的Deepmind,风险投资家Sam Altman(后来的OpenAI CEO)和马斯克等不少科技圈的人对此不满,于是共同投资成立了OpenAI。和Deepmind一样,OpenAI也开发了游戏AI,据说在Dota2项目上达到了人类水平。但真正取得大突破的还是2020年的语言模型GPT-3(Generative Pre-trained Transformer 3),前面还有GPT-2和GPT-1。
GPT-3的开发思想就是把整个互联网的知识都当成训练素材,做出几百亿个参数的超级大模型,看能训练出什么。语言模型的训练目标很简单,就是把一段话作为输入,“预测”后面最可能出现的词,以此类推,最后输出完整的对话或文章。
GPT-3似乎学会了整个互联网上的所有知识,鉴于许多程序员将代码放到了网上,GPT-3甚至学会了写程序。微软收购的Github开发了Copilot等辅助编程工具,机器编写的代码量占比逐渐上升至30%-40%,以至于程序员们一边使用辅助编程工具,一边默默忧虑自己何时会被AI取代。可以说,GPT-3使整个IT业界为之震撼,不过由于使用门槛相对较高,所以没有“出圈”。
随后,OpenAI在GPT-3的基础上开发出“GPT-3.5”也即ChatGPT,于2022年11月30日上线,并迅速火出了圈。相较于GPT-3,ChatGPT的关键优势在于人工优化――GPT-3肚里有大量干货,但不擅长理解人的对话,需要“懂行”人士的引导才能输出有效内容;OpenAI则经过了大量人工测试,人工对不对劲的反馈进行训练修正,用有点意外的方式解决了问题(业界习气是让机器干活,少搞人工操作)。
经过这一关键优化,聊天机器得以从专业人士才能用的GPT-3,进化成普通人也能欢快聊天的ChatGPT!后面的事大家都知道了:业界内外的大量用户纷纷注册,踊跃“调戏”ChatGPT,月活用户数在短短2个月内轻松突破1亿。作为互联网产品,这是现象级的。事实上,ChatGPT让人们首次意识到,AI也能直接成为互联网产品。
现在,LLM已成为互联网公司新的“必争之地”。微软宣布,Bing搜索引擎、Office套件等全线产品都将引入ChatGPT,对OpenAI增加投资100亿美元(之前投了10亿美元,有优先权)。
谷歌和百度也都计划推出竞品。据彭博社1月30日报道,知情人士透露百度公司计划在3月推出与ChatGPT类似的聊天机器人,并将之嵌入搜索服务。
谷歌更是不得不行动了――员工都让ChatGPT写关于谷歌裁员的诗了,写得很有意思。谷歌对前OpenAI员工2021年创立的公司Anthropic紧急投资4亿美元,后者的聊天机器人Claude有520亿个参数的模型,还在内测,尚未公开。值得注意的是,前OpenAI员工之所以创立Anthropic,就是因为他们认为ChatGPT商业化严重,输出内容的正确性有严重缺陷。
以上是ChatGPT简略的技术原理和发展历史。其实AI的原理并不难懂(希望一些技术名词没有造成理解困难),主要还是得实际干出来,Show me the code,这就需要海量的技术细节和投资。
为了超越ChatGPT写文章的层次,笔者还想从“AI哲学”层面进行一些深入的探讨。近日,杨立昆作为Meta首席科学家表示,就底层技术而言,ChatGPT不是多了不起的创新,主要是在产品层面设计组合很好,才被视为“革命性产品”。这一态度在很大程度上基于其AI哲学观――早在ChatGPT上线之前,图灵奖得主杨立昆(Yann LeCun)和研究AI哲学的Jacob Browning就在Noema杂志上发表文章,指出了AI语言模型的重大缺陷:
“这些系统只会有浅层理解,永远不会有人类的完全理解能力”
“放弃所有知识都是语言学的观点,让我们意识到知识中有多少是非语言的”
“只由语言素材训练的系统永远都不会接近人类智能,即使它训练到宇宙毁灭都不行”
杨立昆说的是什么意思?其实和ChatGPT聊一阵子就明白了。笔者的感觉是,机器“查找资料、泛泛聊天”能力已经超过了所有人类。但是,如果将聊天的标准上升,考察真正的智慧,那么ChatGPT将很快露出破绽,其后续版本(如将知识引擎从GPT-3升级到GPT-4)也难以解决这个问题。
再往深里说,这涉及哲学层面的语言之思。海德格尔怀疑,我们也许并不能从日常语言经验中获得获得本质洞见,而毋宁只能获得一种虚假的可理解性。随着计算机的发展,人们愈发深刻地认识到,语言不能直接等价于知识,知识还需要人的感官与情感作为支撑。
哲学性地说,人类在以语言表述知识时,有两种状态:一种是真正的智慧,也就是在对知识融会贯通、彻底理解之后,做出有条理、经得起盘问的表述;另一种是“人云亦云”,也就是不假思索地复述他人的说法。例如,对“中国2022年GDP是121万亿元”这一知识,绝大多数人只是能以不同形式复述这句话,但对于GDP这个名词的理解都是糊涂的、经不起盘问的,整个体系的相关知识接近于零。
表面上看,ChatGPT能回答中国GDP增长的问题。然而,笔者经过测试,可以肯定地说,ChatGPT并不理解GDP知识体系,会出一堆莫名其妙的问题。也就是说,最有水平的聊天机器人也只是“人云亦云”,没有体现人类深层理解的智慧水平。
这并不出人意料,因为ChatGPT只是一个语言模型,而不是知识体系。它只是在重复一个任务,“预测”下面应该说的一个词,不可能对整个知识体系产生飞跃性的理解。有时人们觉得它理解了,甚至理解得还挺深,但那只是因为它找到了合适的“参考资料”并对其做了灵活的组合。
ChatGPT学得太多了,因此乍看显得理解了人类的知识,而且聊起天来派头十足、很有信心,一副人类的“架势”。但是,这个特点也可能是大缺陷――在没有相关数据和事实时,它会煞有介事地编造,如果人们没有相关知识,就很容易被蒙骗。
例如,有新闻报道夸张地声称,ChatGPT通过了法律学和商学院课程考试的事,但事实上,它只是以C+或者B-的成绩勉强通过了明尼苏达大学法学院以及沃顿法学院的几门课程考试――只有简单题答得不错,一旦题目稍有分析难度,ChatGPT就不知所措了,即便勉强蒙对答案,答题逻辑也明显不对,成绩在全班垫底。
个人以为,从AI哲学的层面而言,ChatGPT的情况与AlphaGo差不多。但是,从对实际生活的影响而言,ChatGPT具有显著的优势,不能用杨立昆的高标准去贬低其意义。
AlphaGo证明人类在围棋方面不是机器的对手,但是机器也不理解自己在干什么。正确的应用方式是,人们利用围棋AI,对高明或有漏洞的招法做解读和分析,以此促进棋手对围棋的理解和棋艺的进步。换言之,棋类运动的中心还是人类棋手,AI不需要理解围棋,只要能为人类棋手提供帮助即可。对此,有人欢喜有人愁,但无可否认的是,AlphaGo使人们的围棋观发生了革命性、颠覆性的改变。
同理,杨立昆基于其AI哲学而低估ChatGPT的革命性意义的做法是不对的。ChatGPT等LLM聊天机器人,虽然没有真正的理解而只会人云亦云,但它出色的表现足以引发人类知识体系的大革命。
由Alphago引发的上一波人工智能热潮看似颇为戏剧性,引发了一系列不切实际的恐惧或希望,但实际影响并没有部分新闻报道所宣称的那样强烈――这波热潮主要在图像识别、下棋等专业领域取得突破,受影响很大的只是棋手、停车场收费员等少数人。因此,当时,笔者在与一些社科学者讨论AI的影响时,倾向于对AI“祛魅”、拒绝神化AI。
而这一次由ChatGPT引发的热潮看起来不那么石破天惊,却对社会造成了更大的真实影响。这一次,自然语言处理被机器全面突破,由此引发了两个结果:第一,机器人的聊天交互能力增强,很快大部分人都能接触和使用高水平的聊天机器人了,这是机器影响社会最大的“杀手锏”;第二,以前的机器只擅长某个专门领域,而现在的AI以几千亿个参数囊括了整个互联网的知识,其功能趋向于“通用”。说句悲观的话,很多靠嘴皮、文字等“自然语言处理”谋生的人,能力未必比得上机器。
对于ChatGPT等聊天机器人,哲学上我们仍然要“祛魅”,不鬼扯机器智慧。但是在实际社会经济运行、人们的学习生活中,要对通用聊天机器人的应用前景,展开想象力。
AI的一大应用前景是AIGC(AI Generated Content),即“以人工智能技术来生成内容”。目前,AIGC在生成图片方面取得突破:2022年,Stable Diffusion在图片生成方面取得较大进展,可生成质量较高的图片;ChatGPT也可以根据指令生成指定主题的画作。谷歌还开发了视频生成AI和音乐生成AI,但效果还不算太强。
当然,图片、视频和音乐生成影响的都只会是少数行业;大型语言模型的聊天、写作等通用能力才会产生更大的社会影响。所以,对AIGC,应该重点关注大型语言模型。
大型语言模型的极大影响与个人的应对
如果机器能“无所不知”地聊天,它将如何改变人类社会?可以展开想象力。
一个最直接的应用就是搜索。很容易理解,从原理上LLM就比谷歌、百度等基于爬虫的搜索服务更强大:两者都是以整个互联网为素材,把内容“爬”回来,区别在于,后者只能根据关键词把网络链接按相关程度展示出来,还需要人自己去点击察看;而前者能够生成更为高质量、系统性的反馈,很多情况下,LLM可以直接解决问题,即便不能直接解决,也能通过继续对话、深入沟通给出有效知识
陈经:ChatGPT引爆又一波AI热潮,“狼”真的来了吗?|AI|机器
陈经超[文/观察者网专栏作者 陈经]
近期,OpenAI开发并发布了一款新型自然语言处理(NLP)聊天机器人工具――ChatGPT。它被广泛视作未来人工智能在用户体验方面的领先者,备受世界瞩目。人们关心,ChatGPT可能对就业市场产生怎样的影响?
一方面,在许多岗位上,ChatGPT有望取代人类。例如,以往在营销领域,营销部门需要依靠客服代表与现有和潜在的客户进行沟通、解决问题、推广产品,以达成销售目标。但是,随着ChatGPT出现,机器可以更加自动化地完成客户服务等日常交易:通过自然语言理解、推断和应答,它可以执行几乎所有客户服务活动,包括提出问题、提供建议和解决问题,而这些曾经都是客服代表的职责。因此,未来ChatGPT可能取代客服代表这一职位,使一些人失去工作。
另一方面,ChatGPT也会为许多其他行业创造工作机会。例如,ChatGPT也可能给消费者带来更好的用户体验,根据消费者的实际意图提供准确的产品信息和服务,从而更有效地实现销售目标。因此,它也可以为许多公司和机构创造数据分析师、客户服务专员等新的岗位。毕竟,机器只是自动化的工具,而真正的商业成功和创新还需依赖具有创造力和独特思维能力的人类团队。
说了多少年“AI将取代人的工作”,这一次,“狼”是真的来了。可以断定,从客服代表到新闻写稿,许多人的工作可能被机器取代。如果你还无动于衷,事实上,本文开头四段就是笔者让ChatGPT写的。
ChatGPT的特性与原理
当然,由于ChatGPT的中文版本训练较少,它还没有学会我的语言风格。但正如许多西方作者所发现的,只要有足够多的样本,风格化的写作不是问题。
笔者让ChatGPT以“波动的市场”为主题,写一首许巍风格的歌词。它较好地完成了任务。(注:第三方开发者将ChatGPT接入了微信,群聊天转发到OpenAI的服务器给出反馈)
不过,当我让ChatGPT继续介绍OpenAI公司,它的表现证明,我们也无需对人工智能过于担忧――它写道:
OpenAI在相对较短的时间内取得了一些重大成功。2016年,它创建了一个叫AlphaGo的游戏系统,在一场围棋比赛中击败了世界冠军李世石。这一成就尤其值得注意,因为围棋此前被认为过于复杂,计算机无法掌握。
这让笔者不得不停止“白嫖”,自己来写――事实上,AlphaGo与OpenAI毫无关系,而是由其竞争对手Deepmind开发的;另外,在AlphaGo与李世石的棋局中,获胜者实为李世石,笔者2016年发表于观察者网的文章成功预测了这一结局。
由此不难看出ChatGPT的一个典型毛病:理直气壮地编造事实和数据,就像一个信心十足的“大忽悠”。如果不提高警惕,很容易上当。英文版本由于训练数据较多而比中文版本靠谱得多,但即便如此,也有不少人报告说机器撒谎。
无论如何,ChatGPT引发了人们很大的兴趣,不少人都要求入群围观调戏。如何理解这波热潮?
2016年,AlphaGo引爆了史上最大的人工智能热潮,一度到了“与会必谈”的程度。一些社科学者也对人工智能产生了兴趣,对人与智慧机器的关系进行了深入探讨,“机器是否会取代人的工作”一度引发热议。
后来,AI热潮逐渐退去,这也正常――AI的确很有用,但这几年间并没有取代多少人的工作。人们逐渐发现,AI并非宣传画中的人形机器,也还不完全具备送快递、自动驾驶等功能,只是能执行人的语音命令,并没有传说中那样神奇。
正如IT开发者早就指出的,虽然AI在所有棋类运动中都战胜了人类,但这并不意味着其具备了足以与人类匹敌的、真正意义上的智慧――棋类运动的本质即较为复杂的计算,因此AI在棋类运动中的胜利表明的无非是其深度学习、强化学习算法的威力。计算器刚发明时曾被视作神奇的产品,能卖上千美元,但随着时间推移也就逐渐“白菜化”了;同理,高水平AI作为更强大的计算功能,也终将被人们习以为常。
如何判断AI究竟有无“智慧”?相关学者对此早有思考,提出了“图灵测试”法则:如果机器能够像真人那样聊天、让人无法分辩,则可视作具有智慧。
但是,关于通过图灵测试的标准,研究者们各执一词,难有定论。例如,有研究者声称裁判无法区分其开发的聊天机器人和13岁小孩,谷歌工程师Blake Lemoine也曾声称聊天机器人LaMDA真的拥有“灵魂”,但上述案例并未得到业界的普遍认可,被视作笑话或炒作。另外,随着机器的表现越来越好,图灵测试的标准也相应地一再升级。
研究者们高度重视图灵测试,希望看到聊天能力强大的机器人――早在数年前,聊天机器人与图灵测试的关系就得到业界广泛关注。近两个月“火出圈”的ChatGPT被业界公认为最有希望通过图灵检验的AI,虽然它并不自称为人类。
聊天机器人的专业名称是“大型语言模型”(LLM, Large Language Model)。主要技术关键是谷歌2017年开始引入的Transformer模型,先是对机器翻译,再自然地到语言模型、聊天机器人。
上一波人工智能突破主要由图像识别领域的“深度学习”(DL,Deep Learning)引领,AlphaGo就是将棋盘当作图像输入。人们一度认为“强化学习”(RL,Reinforcement Learning)以及“对抗生成网络”(GAN,Generative Adversarial Network)很厉害。AlphaGo的升级版本AlphaZero就是用了这两个技术,几个模型反复对抗训练、一起进化,自己生成学习样例,进步非常明显。
GAN还被应用于不少其他有趣的方面,例如,可以用GAN框架做一个生成图片的神经网络和一个判别图片真假的神经网络,两个网络互相对抗、共同改进,最后获得足以以假乱真的图片生成能力,画出大师风格的油画。不少研究者觉得,GAN是多年来人工智能领域最大的突破,应该会是下一个出大成果的方向。
有点意外的是,实际大突破到出圈的却是LLM,这次人工智能热潮就是自然语言处理(NLP,Natural Language Processing)的飞跃进步引发的。
“Transformer模型是一种具有注意力机制的深度学习模型,可以用来解决自然语言处理(NLP)问题。它使用注意力技术来聚焦模型中每个符号的输入序列,从而可以捕捉句子中词语之间的关系,而无需显式地定义特征或构建特征提取器。此外,Transformer模型利用并行化,避免了传统序列模型(如递归神经网络)时需要等待前一步执行结束才能开始新一步的等待时间,提高了计算速度。”
上面这段是ChatGPT介绍的LLM技术关键:Transformer模型(这类常见概念介绍它不忽悠)。意思是说,Transformer训练和计算有利于并行加速,这样可以引入几百亿个参数的大模型。以前的语言模型,如“循环神经网络”(RNN,Recurrent Neural Network),参数不能太多,训练样本也多不了,“需要等待前一步执行结束才能开始新一步”,例如RNN将推理结果当作下一步推理的输入(这就是“循环”)。不方便并行,训练就慢,大模型训练需要的时间太长,没法用。
2015年底,谷歌收购最有可能做出通用人工智能的Deepmind,风险投资家Sam Altman(后来的OpenAI CEO)和马斯克等不少科技圈的人对此不满,于是共同投资成立了OpenAI。和Deepmind一样,OpenAI也开发了游戏AI,据说在Dota2项目上达到了人类水平。但真正取得大突破的还是2020年的语言模型GPT-3(Generative Pre-trained Transformer 3),前面还有GPT-2和GPT-1。
GPT-3的开发思想就是把整个互联网的知识都当成训练素材,做出几百亿个参数的超级大模型,看能训练出什么。语言模型的训练目标很简单,就是把一段话作为输入,“预测”后面最可能出现的词,以此类推,最后输出完整的对话或文章。
GPT-3似乎学会了整个互联网上的所有知识,鉴于许多程序员将代码放到了网上,GPT-3甚至学会了写程序。微软收购的Github开发了Copilot等辅助编程工具,机器编写的代码量占比逐渐上升至30%-40%,以至于程序员们一边使用辅助编程工具,一边默默忧虑自己何时会被AI取代。可以说,GPT-3使整个IT业界为之震撼,不过由于使用门槛相对较高,所以没有“出圈”。
随后,OpenAI在GPT-3的基础上开发出“GPT-3.5”也即ChatGPT,于2022年11月30日上线,并迅速火出了圈。相较于GPT-3,ChatGPT的关键优势在于人工优化――GPT-3肚里有大量干货,但不擅长理解人的对话,需要“懂行”人士的引导才能输出有效内容;OpenAI则经过了大量人工测试,人工对不对劲的反馈进行训练修正,用有点意外的方式解决了问题(业界习气是让机器干活,少搞人工操作)。
经过这一关键优化,聊天机器得以从专业人士才能用的GPT-3,进化成普通人也能欢快聊天的ChatGPT!后面的事大家都知道了:业界内外的大量用户纷纷注册,踊跃“调戏”ChatGPT,月活用户数在短短2个月内轻松突破1亿。作为互联网产品,这是现象级的。事实上,ChatGPT让人们首次意识到,AI也能直接成为互联网产品。
现在,LLM已成为互联网公司新的“必争之地”。微软宣布,Bing搜索引擎、Office套件等全线产品都将引入ChatGPT,对OpenAI增加投资100亿美元(之前投了10亿美元,有优先权)。
谷歌和百度也都计划推出竞品。据彭博社1月30日报道,知情人士透露百度公司计划在3月推出与ChatGPT类似的聊天机器人,并将之嵌入搜索服务。
谷歌更是不得不行动了――员工都让ChatGPT写关于谷歌裁员的诗了,写得很有意思。谷歌对前OpenAI员工2021年创立的公司Anthropic紧急投资4亿美元,后者的聊天机器人Claude有520亿个参数的模型,还在内测,尚未公开。值得注意的是,前OpenAI员工之所以创立Anthropic,就是因为他们认为ChatGPT商业化严重,输出内容的正确性有严重缺陷。
以上是ChatGPT简略的技术原理和发展历史。其实AI的原理并不难懂(希望一些技术名词没有造成理解困难),主要还是得实际干出来,Show me the code,这就需要海量的技术细节和投资。
为了超越ChatGPT写文章的层次,笔者还想从“AI哲学”层面进行一些深入的探讨。近日,杨立昆作为Meta首席科学家表示,就底层技术而言,ChatGPT不是多了不起的创新,主要是在产品层面设计组合很好,才被视为“革命性产品”。这一态度在很大程度上基于其AI哲学观――早在ChatGPT上线之前,图灵奖得主杨立昆(Yann LeCun)和研究AI哲学的Jacob Browning就在Noema杂志上发表文章,指出了AI语言模型的重大缺陷:
“这些系统只会有浅层理解,永远不会有人类的完全理解能力”
“放弃所有知识都是语言学的观点,让我们意识到知识中有多少是非语言的”
“只由语言素材训练的系统永远都不会接近人类智能,即使它训练到宇宙毁灭都不行”
杨立昆说的是什么意思?其实和ChatGPT聊一阵子就明白了。笔者的感觉是,机器“查找资料、泛泛聊天”能力已经超过了所有人类。但是,如果将聊天的标准上升,考察真正的智慧,那么ChatGPT将很快露出破绽,其后续版本(如将知识引擎从GPT-3升级到GPT-4)也难以解决这个问题。
再往深里说,这涉及哲学层面的语言之思。海德格尔怀疑,我们也许并不能从日常语言经验中获得获得本质洞见,而毋宁只能获得一种虚假的可理解性。随着计算机的发展,人们愈发深刻地认识到,语言不能直接等价于知识,知识还需要人的感官与情感作为支撑。
哲学性地说,人类在以语言表述知识时,有两种状态:一种是真正的智慧,也就是在对知识融会贯通、彻底理解之后,做出有条理、经得起盘问的表述;另一种是“人云亦云”,也就是不假思索地复述他人的说法。例如,对“中国2022年GDP是121万亿元”这一知识,绝大多数人只是能以不同形式复述这句话,但对于GDP这个名词的理解都是糊涂的、经不起盘问的,整个体系的相关知识接近于零。
表面上看,ChatGPT能回答中国GDP增长的问题。然而,笔者经过测试,可以肯定地说,ChatGPT并不理解GDP知识体系,会出一堆莫名其妙的问题。也就是说,最有水平的聊天机器人也只是“人云亦云”,没有体现人类深层理解的智慧水平。
这并不出人意料,因为ChatGPT只是一个语言模型,而不是知识体系。它只是在重复一个任务,“预测”下面应该说的一个词,不可能对整个知识体系产生飞跃性的理解。有时人们觉得它理解了,甚至理解得还挺深,但那只是因为它找到了合适的“参考资料”并对其做了灵活的组合。
ChatGPT学得太多了,因此乍看显得理解了人类的知识,而且聊起天来派头十足、很有信心,一副人类的“架势”。但是,这个特点也可能是大缺陷――在没有相关数据和事实时,它会煞有介事地编造,如果人们没有相关知识,就很容易被蒙骗。
例如,有新闻报道夸张地声称,ChatGPT通过了法律学和商学院课程考试的事,但事实上,它只是以C+或者B-的成绩勉强通过了明尼苏达大学法学院以及沃顿法学院的几门课程考试――只有简单题答得不错,一旦题目稍有分析难度,ChatGPT就不知所措了,即便勉强蒙对答案,答题逻辑也明显不对,成绩在全班垫底。
个人以为,从AI哲学的层面而言,ChatGPT的情况与AlphaGo差不多。但是,从对实际生活的影响而言,ChatGPT具有显著的优势,不能用杨立昆的高标准去贬低其意义。
AlphaGo证明人类在围棋方面不是机器的对手,但是机器也不理解自己在干什么。正确的应用方式是,人们利用围棋AI,对高明或有漏洞的招法做解读和分析,以此促进棋手对围棋的理解和棋艺的进步。换言之,棋类运动的中心还是人类棋手,AI不需要理解围棋,只要能为人类棋手提供帮助即可。对此,有人欢喜有人愁,但无可否认的是,AlphaGo使人们的围棋观发生了革命性、颠覆性的改变。
同理,杨立昆基于其AI哲学而低估ChatGPT的革命性意义的做法是不对的。ChatGPT等LLM聊天机器人,虽然没有真正的理解而只会人云亦云,但它出色的表现足以引发人类知识体系的大革命。
由Alphago引发的上一波人工智能热潮看似颇为戏剧性,引发了一系列不切实际的恐惧或希望,但实际影响并没有部分新闻报道所宣称的那样强烈――这波热潮主要在图像识别、下棋等专业领域取得突破,受影响很大的只是棋手、停车场收费员等少数人。因此,当时,笔者在与一些社科学者讨论AI的影响时,倾向于对AI“祛魅”、拒绝神化AI。
而这一次由ChatGPT引发的热潮看起来不那么石破天惊,却对社会造成了更大的真实影响。这一次,自然语言处理被机器全面突破,由此引发了两个结果:第一,机器人的聊天交互能力增强,很快大部分人都能接触和使用高水平的聊天机器人了,这是机器影响社会最大的“杀手锏”;第二,以前的机器只擅长某个专门领域,而现在的AI以几千亿个参数囊括了整个互联网的知识,其功能趋向于“通用”。说句悲观的话,很多靠嘴皮、文字等“自然语言处理”谋生的人,能力未必比得上机器。
对于ChatGPT等聊天机器人,哲学上我们仍然要“祛魅”,不鬼扯机器智慧。但是在实际社会经济运行、人们的学习生活中,要对通用聊天机器人的应用前景,展开想象力。
AI的一大应用前景是AIGC(AI Generated Content),即“以人工智能技术来生成内容”。目前,AIGC在生成图片方面取得突破:2022年,Stable Diffusion在图片生成方面取得较大进展,可生成质量较高的图片;ChatGPT也可以根据指令生成指定主题的画作。谷歌还开发了视频生成AI和音乐生成AI,但效果还不算太强。
当然,图片、视频和音乐生成影响的都只会是少数行业;大型语言模型的聊天、写作等通用能力