chatgpt浣跨敤浣撻獙
淘宝搜：【天降红包222】领超级红包，京东搜：【天降红包222】
淘宝互助，淘宝双11微信互助群关注公众号 【淘姐妹】
上知天文，下知地理;文能撰稿做作业，武能说“数”写代码；既是“传道受业解惑”的良师，又是陪聊解闷开怀的益友，还是提效节时省力的助手……传说中的“百晓生”来了，它的名字叫ChatGPT。
如果要问近来最火的应用是什么，非ChatGPT莫属。这个由美国OpenAI公司研发的聊天机器人一经推出便迅速“蹿红”，上线仅2个月，全球用户数量已突破1亿，成为史上用户数增长最快的消费者应用。目前，ChatGPT已在编程、文本处理、客服服务等领域大显身手，并在互联网上火爆“出圈”。
ChatGPT及类似的强人工智能(AI)能为石油和化工等流程工业做些什么?《中国化工报》记者近日采访了石油和化工、数字化、AI等领域的专家和从业人士，并采访了ChatGPT“本人”。多位受访者认为，ChatGPT等强AI将给以石油和化工为代表的流程工业带来深刻变革。
ChatGPT会说“化”：侃侃而谈“心眼”多
ChatGPT是否了解“化工”这一概念呢?在旅居新加坡的数字化专家刘博士的帮助下，记者与ChatGPT进行了对话。
“是的，我了解化工这个概念。”ChatGPT回答道，“化工是指通过化学反应制造化学产品的工业。它是用化学原理制造和加工各种物质，如石油、天然气、矿物质、生物资源等，以生产化学品、材料、能源、药品等。它是一个广泛的领域，包括从基础研究到工业生产的各个方面。”
这个答案和搜索引擎给出的结果基本一致。随后，记者询问了聚氯乙烯(PVC)的主要生产工艺和应用现状、哪种PVC生产工艺更环保等问题，ChatGPT也回答得有板有眼。
记者还询问了它对中国石油和化工行业未来发展前景的看法。“作为一个AI模型，我不能预测未来，但可以根据目前的趋势和环境来评估未来发展前景。”ChatGPT的回答显得很“真诚”。
“中国石油和化工行业是国民经济的重要支柱，未来仍将保持较高增长态势。”ChatGPT表示，但未来也存在一些挑战，因此需要不断加强行业技术创新和环境管理，以确保可持续发展。
有意思的是，刘博士提醒记者，ChatGPT会表现出很强的“求生欲”。用不同语言问同样的问题，得到的答案可能有差异。
记者遂用英文提问同样的问题，它的答案则变成：中国石油和化工行业未来发展前景复杂，可能会受到一系列因素的影响，包括全球对石油和化学品的需求、其他国家的竞争、行业的技术进步和环境问题。它还强调，相关结论是基于经济发展趋势、人口变化、竞争、技术进步和政府法规等因素综合分析得出的。
ChatGPT来应聘：多才多艺前途广
假如ChatGPT“应聘”石油和化工行业，它能胜任哪些职位呢?
ChatGPT表示，它可用于数据分析和可视化、技术支持和知识管理，以及生成市场分析、行业研究、项目评估等方面的报告。经二次开发，它还可用于生产过程预测和优化、设备维护和故障诊断、化学反应预测、安全风险评估和危险品运输的路线规划等。它强调，随着AI技术的不断发展，未来它将有更多应用机会和空间。
山东大学预测性维护与智能控制中心副教授姜向远指出，在石化领域，ChatGPT等强AI可用于售后服务系统、培训系统、办公自动化系统、报表管理系统、生产监控系统等智能化要求高的应用场景。
对于ChatGPT的“求职”意向，多位专家也表示，ChatGPT有望在多个岗位发光发热。
一是为员工“讲课”。“就目前ChatGPT的功能看，它可以是一个非常庞大、具有专业知识体系的数据库，通过和员工的交互输出知识。”湖北三宁化工股份有限公司智能工厂推进办公室主任杨文华接受记者采访时表示，ChatGPT可作为大型知识数据库的搜索引擎，为工人“答疑解惑”。
中化信息技术有限公司专家委员会副主任、华东理工大学讲席教授冯恩波则认为，ChatGPT这类强AI的应用，将改变石化行业的知识转化模式。过去石化行业深度知识和经验的转化依靠师徒传授、培训讲解或文本刊发，速率较为缓慢。如果把技术知识和运行经验统合进大型行业数据库，再利用这些数据对强AI进行训练，形成开环辅助决策系统，做出“IndustryGPT”甚至“ChemGPT”，就可加速知识和经验的实用化，改善甚至扭转石化行业技术人员培养难度大、周期长的问题。“这就相当于每人手头都有了一个非常强大的实时咨询师，其知识来自行业专家结合实践总结的最优方案，因而非常准确。”冯恩波说。
二是给装置“下命令”。“运维和控制的优化，也是实现强AI与流程工业场景对接的重要研究方向。”冯恩波解释道，目前常用的智能控制算法还是基于分散控制系统(DCS)或可编程逻辑控制器(PLC)等传统框架，控制策略的编写和运行管理仍大幅依赖人工和经验，运用于高端材料制备等存在间歇过程的生产会导致产品质量稳定性较低。如果能突破相关技术，利用AI的机器学习能力来自动实时生成控制策略，将是流程工业控制方式的重大变革。
东华工程科技股份有限公司信息中心主任任申龙认为，类似ChatGPT的强AI能为石化行业控制方式带来改变，最明显的一点是它让人机沟通变得更简洁高效，能降低沟通成本。他举例说，当后期人工智能发展到一定程度时，可将某个生产过程的控制操作全部封装。比如实现一个工艺，操作1、2、3是路径a，操作1、2、4是路径b，封装之后操作人员只要告诉AI“走哪条路”，AI就会自动操作，这就省下了操作人员一次次告诉系统“该做什么”的时间。
“鉴于其能较为精准地理解和识别自然语言，相信ChatGPT等强AI的迅猛发展还将给工业机器人领域的发展带来变革性影响。”姜向远补充说。
三是帮企业“写代码”。根据测试，目前ChatGPT已能使用Python、Java、C++、JavaScript等编程语言编写简单程序。日志易产品副总裁饶琛琳向记者介绍了他的实践体会――ChatGPT的编程能力比“前辈”AI有了极大提升，在追加两次提示后修正了编程错误，并在记住用户需求的同时，将程序优化得更高效;ChatGPT的另一作用是辅助生成代码，在明确需求的情况下，函数级代码的生成效果极佳。
“我尝试让ChatGPT用Java写一段冒泡排序的代码，以及用C++写一段CAD上对矩形框实现交互偏移的代码，它都完美实现了，且代码毫无遗漏，所有注释包括变量命名都非常规范。”任申龙告诉记者，AI编程能取代程序员写代码“垒砖头”的过程，开发人员只需进行整体框架搭建，而无需进行繁琐的代码撰写。这一定程度降低了工业软件开发的门槛，从而降低了石化企业数字化转型的成本。
杨文华表示，ChatGPT的编程能力未来还可用于石化产品生产过程的建模。现在用于解决石化生产装置问题的专业建模存在软件费用较高、专业性较强等缺点。如果能通过强AI技术将建模和软件开发面向非专业人员，将会引起石化行业数字化转型翻天覆地的变化，产生非常大的效益。
四是用于工业数字孪生的建模和设计。AVEVA剑维软件中国区售前技术总监曹科表示，以流程工业为例，工程的建模和设计均是基于行业标准和设计规则，并结合项目工程建设地点的地理情况进行的计算机辅助模拟与布置计算。这些计算与AI技术相结合，有助于提高工程设计的效率和质量，降低数字化交付、工厂数字孪生推广和应用的成本。未来ChatGPT或类似的AI可帮助企业快速设计出可扩展的数字模型，减少企业对IT设备的需求，也可帮助企业实施数字化规划，提高工厂数字化改造效率。
ChatGPT需成长：“入职”化工待培训
ChatGPT现在“入职”石油和化工企业行不行?
记者把问题抛给ChatGPT“本人”。它表示，其答案并不总是正确，要注意评估和验证；其语言表达中可能存在语法、拼写等错误;受技术和算法的限制，它仅能回答部分问题，不能解决所有问题。
多位专家也表示，ChatGPT目前的“知识面”更倾向于通识性，专业性不足。它在回答专业细分领域问题时深度不够，且缺乏对具体应用案例的展开。
“具体到生产环节，ChatGPT要在传统工业领域尤其是在石化领域有所作为，还有很长的路要走。”姜向远表示，主要瓶颈有三方面。
第一，以连续制造过程为主的石油和化工等工业生产过程，具有高实时性、高安全性的要求，一旦出现异常，可能带来灾难性后果。因此，这些生产环节的工业大数据往往是大量容易引起过拟合的时间序列，对诸如ChatGPT等强AI的生成没有帮助，即缺少ChatGPT“孕育”的母体。
第二，现有生产环节的控制系统是PLC、微控制单元(MCU)等边缘计算设备，算力低，不足以支持ChatGPT等强AI运行，且这些设备短期内难以见到替换的可能，即缺少ChatGPT“成长”的土壤。
第三，现有生产环节乃至整个传统工业领域，仍青睐既有的工艺经验和自动化手段，毕竟这些技术被实践检验过。考虑到ChatGPT改造升级的成本和巨大的不确定性，企业在短期内难有试用ChatGPT的较强动力，即缺少ChatGPT“成材”的大环境。
姜向远表示，ChatGPT要实现在传统工业领域的应用，应围绕上述3方面对症下药：采集或生成真正有效的工业大数据，提高现有工业生产环节的算力，对传统行业加强市场教育并加大AI领域人、财、物的投入。
曹科认为，ChatGPT等AI在工业垂直领域应用的瓶颈主要在4方面。一是数据采集。目前虽自动化水平已发展到了较高阶段，5G网络应用也开始普及，但数据采集仍不全面、数据质量待提升。二是大数据处理的复杂性。三是AI算法的科学性。受数据采集、工业海量级实时数据算力和各种工况条件下的算法等因素制约，AI在科学性、严谨性上还需完善。四是安全性。流程工业对系统的稳定性和安全性要求比传统行业更严格，因此系统实施难度及安全性也是制约因素。
此外，多位专家强调了训练数据的重要性。国内AI领域专家王虎表示：“作为一种语言模型，ChatGPT成功的基础在于海量的训练数据。由于互联网技术高速发展，各种各样近乎全量的语言对话、知识问答已通过信息技术完成数字化和结构化，并可在网络上公开访问。在庞大训练数据的基础上，ChatGPT的复杂模型和算力才能发挥作用。”
据悉，ChatGPT之前的模型算法GPT-3就使用了1750亿参数进行训练，ChatGPT不仅使用了更多参数，还嵌入了人类反馈强化学习及人工监督微调，才具备了理解上下文、连接关系等诸多先进特征，能在多种场景进行应用。
任申龙告诉记者，训练能在石化领域应用的强AI，也需足够多的使用量。用户不断使用AI检索相关知识，AI则将用户提出的问题进行分类汇总，逐步扩充数据库并进行更加深度的自主学习，从而“越用越聪明”，最终实现实时答疑、智能分析等功能。
ChatGPT存隐忧：网络安全须监管
去年下半年走红的AI绘画已引起艺术界对于数据隐私和作品版权的重视，此次ChatGPT的出现更引发各行各业对内容抄袭和网络数据安全的担忧。对此，ChatGPT“本人”提醒：在使用时要注意数据隐私，避免披露敏感信息。
“强AI的应用，可能涉及信息安全法的相关问题。例如允不允许AI收集用户企业问的问题，并作为知识资产存到自己的知识库中，再把这些知识共享给别的企业?”谈及AI应用的安全性，任申龙表示，数据越开放，AI肯定会越智能，但实现开放的过程中会有很多问题需要解决。
另外，强AI的应用使软件开发和代码编写成本降低的同时，也降低了黑客实施网络攻击的难度。有研究人员指出，黑客已设计出一种绕过限制的方法，利用ChatGPT来创建、销售恶意软件以及发布“钓鱼”电子邮件。
冯恩波建议，石化行业要保障强AI应用安全，可建设行业内部云，将AI与互联网保持在相对隔离的状态，只作为一个领域或一个行业的内网运营，以保证AI“不泄密”。
“目前主要问题有两个，一是如何保证AI数据库知识来源的合规性、完备性和正确性；二是如何建立一个能保密、够安全的网络来承载AI。”冯恩波说，“如果能把这两个问题解决，强AI与石化应用场景的对接就指日可待了。”
○业界观点
ChatGPT岗前培训
中化信息技术有限公司专家委员会副主任冯恩波：
目前我国已成为世界上规模最庞大的流程制造业大国，且化工行业门类齐全、应用场景丰富，有大量的数据积累可用于强AI训练。但是，构建专业数据库是AI垂直应用于流程工业的“拦路虎”。将企业过去积累的知识和经验汇总整合需大量人工，不是一家企业或组织能完成的事情，需行业头部企业与相关政府部门联合起来，从行业层面推广。
智言睿语一个人的时间和精力有限 菜根谭语录四则智言妙语感悟人生
一个人的时间说说,一个人的时间一个人的空间说说,一个人的时间用在什么地方,一个人的时间是有限的编者按: 智显未来，洞见新知。中科院之声与中国科学院自动化研究所联合开设“智言智语”科普专栏，为你介绍人工智能相关知识与故事，从最新成果到背后趣闻，带你徜徉AI空间，看人工智能如何唤醒万物，让世界变得更美好 。
在过去的一段时间里，ChatGPT受到了全世界人们热烈的关注和讨论。来自各行各业的使用者们或对以此为代表的人工智能技术发展振奋不已，或开始了一场关于人工智能的严肃思考。
关于ChatGPT的智能原理、对于人类社会可能产生的影响以及未来的可能性，你是否也还有很多问号？抛开噱头，本文将从几大问题出发带你科学、深入地了解ChatGPT，迎接人工智能与社会发展的更多可能。
首先，如果我们问问ChatGPT，人类对你最好奇的是哪些问题，它会做出怎样的“自我审视”呢？
它是否真的很厉害？有时候是不是很奇怪？是不是真的很智能？是否很有趣？
【好奇一：它是否真的很厉害？】
Q1：ChatGPT可以出色完成多少有难度的任务？
ChatGPT是基于人类反馈的强化学习（RLHF）和大规模预训练语言模型（LLM）结合的集成之作，通过 “模仿学习+强化学习”学习范式最终表现出非常通用且强大的自然语言处理能力，不仅可以与用户针对任意话题进行高质量的对话和闲聊，而且可以准确地按照用户意图实现分类、问答、摘要和创作等若干应用场景的自然语言理解与生成任务，快速形成具备基本逻辑的回答，甚至可以撰写行业报告等。
Q2：ChatGPT厉害到有可能取代部分职业吗？
ChatGPT本质上是一种基于上文预测下文的大规模语言模型，主要具备问答、对话、文档概括、文本创作等能力，有可能影响多个领域，比如基础的客服行业、归纳性的文字工作者、动画建模师、美工师、翻译师、低级代码开发人员以及提供基础咨询服务的行业等。可以预想，创造性较低且基于大量行业知识或训练就可以完成的工作会受到更大的冲击。
未来10年是认知智能的10年，AI能帮人类做的事情会越来越多，很多领域都将存在这种代替或辅助，但在目前，大家也不用恐慌。ChatGPT展现的语言智能只是认知智能冰山一角。这种技术革新，目前还只是语言维度，有一定的局限性。它还没有产生意识，更多的是帮人类做概括总结归纳，做一些知识的推理、写代码，这是一种通用的基础能力，但想要对人类有更加深刻、全面的理解，比如复杂的眼神、动作、表情等等，还有很长的路要走。
【好奇二：它有时候很奇怪？】
Q3：为什么它的回答有时候很奇怪？（为什么ChatGPT的回答有时候违背事实？）
虽然已经非常惊艳，但ChatGPT仍然存在着一些问题。比如在常识问题处理方面，ChatGPT缺乏常识驱动，难以突破复杂问题理解的瓶颈。由于基于海量互联网数据的生成式模型，在生成过程中存在一些张冠李戴的问题，同时过分估计人类的意图，当用户意图不明确时，很大概率给出不合适的回复。它通常过度使用一些常见的短语和固定句式模板，部分回复废话较多。当然，这与构造训练数据时，用户倾向于选择更长的回复有关。
Q4：小学生擅长的鸡兔同笼问题，为什么难倒了会写大学论文的ChatGPT？
ChatGPT经过了大量数学题库的逻辑训练，所以能够求解相当多的数学问题。但似乎它只学习到了推理的基本模式，而并未学习到推理的核心本质。作为生成式的大模型，在鸡兔同笼这样对人来说比较简单的数学问题上，ChatGPT即使列对了鸡兔同笼的方案，也难免产生错误的推理结果。
Q5：它真的可以像人一样沟通交流吗？
就目前来看，ChatGPT虽然展现了前所未有的强大功能，但离完全取代人工还有一定距离。首先，在多模态感认知方面，ChatGPT仅利用文本这一单模态数据，只能进行文本对话，难以适配真实世界的多模态对话场景；另外在常识问题处理方面，ChatGPT缺乏世界知识的驱动，难以突破常识问题理解的瓶颈。
并且，ChatGPT缺乏人类的生活体验，还无法真正理解世界和人类，没有鲜明的感情与个性。
【好奇三：它是否真的很智能？】
Q6：它的工作原理是什么？是直接复制信息吗？
ChatGPT的工作原理是利用GPT-3.5模型的世界知识建模、上下文学习和通用语言生成能力，通过在人工标注的高质量对话指令数据上监督式训练对话生成模型和对话质量评估模型，进而利用强化学习不断调优对话生成策略，实现了与人类意图相对齐的对话生成能力。
具体而言，基于GPT-3.5基础模型，ChatGPT首先通过收集的全球用户的真实问题，在人工标注的问答和对话数据基础上作为监督数据，对GPT-3.5基础模型进行微调，得到初步的ChatGPT模型；以此为基础，接着针对每个问题生成多个候选答案并进行人工排序，根据排序结果训练奖励模型；之后再基于强化学习方法利用奖励模型对ChatGPT模型再次进行微调，即在微调过程中让ChatGPT的回复使得奖励模型的得分最高。而优化后的ChatGPT模型又可以重复前面的“模仿学习+强化学习”步骤，不断优化ChatGPT，从而得到性能最优的通用人机对话模型。这样一来，不仅可以与用户针对任意话题进行高质量的对话和闲聊，而且可以准确地按照用户意图实现分类、问答、摘要和创作等若干应用场景的自然语言理解与生成任务。
Q7：可以说这是一项变革性的技术吗？
过去几年类ChatGPT技术已经得到深入研究，ChatGPT通过产品方式展现在大众面前。但ChatGPT的突然爆火意味着人机交互走出了技术深闺，标志着以大模型为核心的智能计算范式的确立，敲开了通用化人工智能大门。近年来，以GPT-3、ChatGPT为代表的大模型技术所取得的显著成果表明，增大模型规模和数据规模是突破现有人工智能技术应用瓶颈行之有效的方法。ChatGPT的成功标志着从以专用小模型训练为主的“手工作坊时代”到以通用大模型预训练为主的“工业化时代”的人工智能研究范式转变。
这一转变具有十分重要的意义。通过先进的算法架构、可能多的数据，汇集大量算力，集约化的训练模式，由此得到的通用大模型可在广泛应用场景下通过极低代价的模型微调实现高性能的任务适配，使人工智能技术的先进能力更好、更有效地应用到各个场景里面，从而大大降低开发成本，加速产业发展。ChatGPT的出现为人工智能产业注入了新的活力，同时也极大促进了通用化人工智能的发展。
Q8：ChatGPT的爆火，将如何影响未来全球人工智能领域的发展方向？
ChatGPT在实现通用化人工智能的道路上迈出了坚实的一步。未来，可以期待我们在知识推理、多模态感认知和基于真实环境的认知决策方面产生新的突破。
首先是多模态通用人机对话模型。从婴幼儿开始，人类就是在图、文、音等多模态的环境中通过交互的方式实现认知和学习，因此，通用文本对话模型必将进阶到通用多模态对话模型。突破单模态和两模态，实现图、文、音等更多模态的通用人机对话模型是人工智能融入现实世界的必然。基于多模态大模型“紫东太初”，中科院自动化所正在进行新的尝试。
其次是连接现实世界的认知决策模型。多模态通用人机对话模型实现了对真实世界的感认知，但是决策是通用人工智能的终极目标。如何让智能体具有从感知、认知到决策的一体化能力是未来的重要研究趋势。目前OpenAI、DeepMind等公司一方面研究面向感认知的通用大模型技术，一方面研究面向真实环境决策的强化学习和多智能体技术，未来两个方向的融合必将产生新的突破性成果。
【好奇四：它是不是有趣的机器人】
Q9：它能生成有趣的对话吗？
它可以根据人们的提问生成多种风格的文字！ChatGPT基于海量数据训练的生成式大规模语言模型GPT3.5作为基座，能够对世界知识进行建模和编码，同时结合大量监督的问题回答和人类反馈的学习，实现了ChatGPT从命令驱动转向了意图驱动，从而能按照人类的引导来估计人的意图，生成有趣的对话。
无论如何，在通往未来智能世界的道路上，ChatGPT写下了精彩的一笔，也点亮了更多的可能。人工智能研究离终极目标还有很远的距离，但人类正在朝着它光明前景的快速道上大步前进！
本文观点整理自中国科学院自动化研究所王金桥研究员
来源：中国科学院自动化研究所
本账号稿件默认开启微信“快捷转载”
转载请注明出处
其他渠道转载请联系 weibo@cashq.ac.cn
chatgpt的用法有哪些
写在前面:
现在的中文网络上, 关于国产ChatGPT的各种消息喧嚣尘上,?大有全互联网一起造ChatGPT的意思.?
在这么多的传闻里,?究竟哪些相对靠谱, 哪些纯粹炒作?
我们不妨通过网络上的公开资料, 一起深入探讨真相的蛛丝马迹.
ChatGPT降临
2022年的互联网一直有个词在流传: 躺平.
直到ChatGPT横空出世, 忽然所有人都醒悟过来:
投资人发现, 躺平一年, 白白错过了一波机会, 所幸亡羊补牢尚未晚;
商业公司发现, 即便大环境动荡, 可做的事情还是有, 商业机会还是有;
而普通人发现, AI时代的降临, 原来不是十年后, 就是现在.
"忽如一夜春风来, 千树万树梨花开."
一切都是因为ChatGPT的出现.
这两年, 在AI业务降温和经济大环境的双重影响下, 国内各大厂烧钱的AI团队的日子不算特别好过.
这一次, ChatGPT的出现, 很可能直接扭转大厂对AI投入的犹豫态度. 有消息称, 腾讯和阿里已经开始大肆招揽NLP人才.
一个媲美ChatGPT的AI系统对于互联网大厂的战略意义再明显不过:
C端, ChatGPT月活迅速破亿. 基于众所周知的原因, 这个C端服务不可能进入中国. 国内市场的巨大蛋糕, 谁先拿下?
B端, 当下各厂B端业务都在为盈利指标苦苦挣扎. 而有Jasper.AI和Notion付费使用GPT3 API的例子珠玉在前, 只要能给出能力相当的云服务, B端付费AI云计算的美好未来, 已经在决策者面前展开.
那么, 在这场巨大的浪潮里, 国内大厂都在什么位置呢?
现在是消息满天飞.?宣称做ChatGPT的大厂排了一个长队, 仿佛不做ChatGPT的就不是好大厂.?
究竟哪些相对靠谱, 哪些纯粹炒作?
从互联网的公开资料上, 我们可以推测一下真相的蛛丝马迹.
我们先从一个预备知识点讲起. 这就是大模型的"突现能力".
思维链, 大模型的"突现能力"
已有很多文章普及了ChatGPT的各种基本原理概念.
但有一个重要细节, 甚少被提到.
先上结论:?
只有千亿参数规模以上的大模型, 才可能出现"突现能力", 涌现出包括"思维链"等强大的推理模式;?
具备"突现能力"的大模型是ChatGPT得以诞生的必要条件.
以下是一些细节.
尽管GPT3.0在2020年就已推出, 但一直到2022年初,?科学家才发现了预训练大模型的一个重要演化:?"产生了类似人类推理思维的能力."
这就是所谓"思维链"(Chain-of-Thought)的概念.
什么是思维链?
我们向语言大模型提问的时候, 可以在提示问题(Prompt)里写几个示例, 让模型照着例子做生成.
如果提示里不仅给出示例的结果, 还一步一步写出这个示例的结果是怎么推理得到的; 某些大模型比如ChatGPT可以直接学习这个例子的推理来推导出正确答案.
在这里, AI模型神奇的出现了类似人类的复杂推理和知识推理能力, 这就是所谓"思维链".
基于"思维链"的推理能力不需要再进行复杂的训练, 而只是在提问时附加给出提示, 模型就能自动学习, 并做出相应推理得到正确结果.?彻底体现了AI模型对人类高级思维能力的模仿.
这个能力很可能是ChatGPT表现高度智能化的一个重要基础.
AI研究人员惊讶的发现, 思维链能力, 并不是随着模型参数大小的线性变化逐渐出现的;?而是当参数规模超过一个阈值后,?模型的"思维链"能力突然就涌现出来, ?这就是所谓大模型的"突现能力"(Emergent Abilities).
这个"突现"的阈值是多少呢？至少要达到GPT3.0的级别, 即模型要达到千亿参数的规模.
2222年6月15日, 谷歌研究院联合DeepMind和斯坦福大学发表了一篇论文:《大语言模型的突现能力》(Emergent Abilities of Large Language Models)
这篇论文整理了过往文献, 研究了谷歌,?DeepMind和OpenAI的5个语言模型系列的8个"突现能力":
如上所示, 种种研究结果表明, 量变导致了最终的质变:
突现能力: 模型在参数规模达到某个临界值之前, 其性能是近乎随机的, 之后性能会忽然大幅增加, 仿佛突然开窍一般, 类似自然学科里复杂系统的能力"涌现".
各种测试表明, 只有模型达到GPT3的规模, 即参数大于1000亿, 模型才有可能形成"突现能力".
大模型的"思维链"推理效果好于直接提问, 也好于传统的精调小模型的效果; 这种能力只存在于千亿规模的大模型中.
参数量级只是一个必要条件. 一些大模型比如GPT3的最早版本, 以及开源模型BLOOM并不体现出思维链能力.
前段时间, Nvidia的CEO老黄盛赞ChatGPT"堪比iPhone问世, 对科技领域有里程碑意义".?这个比喻很是精妙, 和其他问答式AI相比, ChatGPT的体验正是一次iPhone式的降维打击.
而从GPT3.0开始的, 大模型所具备的"突现能力", 就是ChatGPT脱胎换骨的基础.
综合大模型的最新研究成果, 可以得到一个简单的判断原则:?
千亿参数大模型才拥有"突现能力"; 这是打造ChatGPT级别AI的必要条件.
一个大厂能不能做出ChatGPT, 先考察是否拥有千亿参数规模的大模型.
百度: 必须赢的战斗
重点关注下百度.
毫无疑问, 在这场ChatGPT的浪潮里, 首当其冲站在风口浪尖的, 莫过于百度.
所有人的眼中, 百度都对标着Google. ?因此, 百度宣布打造中国版ChatGPT的时候, 股价大涨;
而Google因demo失误股价大跌时, 百度也直接受到了一些牵连.
百度已经官宣自家ChatGPT服务"文心一言"在3月份上线. 这是国内大厂最早和唯一的时间表.
结果只有两种:
1 假设, 百度真的拿出了一个接近甚至媲美ChatGPT的AI服务呢?
2 又假设, 百度不幸搞砸了, 最后结果并没有体现"AI大厂"的能力呢?
无论哪种结果, 都必将引发巨大的网络舆论海啸.?
在AI技术牛人圈子里, 对百度的"文心一言"大多是持谨慎乐观态度的.
信心或许有高低, 但一个基本的共识是:
如果国内有人能突破, 最可能的是百度;?
时间先不论, 百度"文心一言"最可能成为ChatGPT的国产替代.
百度文心, 英文名ERNIE, 全称“Enhanced Representation through Knowledge Integration”，即"通过知识集成实现增强型表示", 从知识增强的角度对源自Google的Bert模型结构进行优化.
很有趣, 百度不仅搜索对标着Google, AI研究也和Google同源.
百度文心是"纯粹"的自然语言模型. 上图是百度文心最新版本,2600亿参数规模的ERNIE 3.0 Titan的训练框架, ?训练输入都是结构化(知识增强)的文本内容.
这和后面看到的一些多模态模型 (即对"文本-图像", "文本-视频"等的交叉理解和识别)是有区别的.
(关于多模态模型的概念和应用, 作者关于AI绘画历史的文章有详细阐述
AI绘画何以突飞猛进? 从历史到技术突破, 一文读懂火爆的AI绘画发展史
>?)
相比Bert, ERNIE在理念上引入了知识图谱等外部知识信息, 百度在这里的想法非常明确, : 语料里的人名地名机构名这些概念, 句子间结构关系和逻辑关系等等, 这些"知识"都很有价值, 应该加入到大模型的训练体系里.
百度的大模型体系在知识图谱方向上浸淫了许久, 如果没有摸鱼, 这个长期积累的优势总会体现的.
根据官方2022年的公开资料, ERNIE 3.0 Titan模型和GPT-3模型在知识问答数据集上的对比效果, 准确率比GPT-3高8%。
高效的知识问答是ChatGPT被普遍赞誉的重要原因之一, 所以上述超越的结果或许是百度追赶ChatGPT的底气之一.
除了知识体系, ChatGPT为人称道的还有它特别像人类的沟通表达.
而百度手里, 不仅有文心ERNIE系列模型, 还拥有一个PLATO系列对话模型, 最新的PLATO-XL有110亿个参数.
尽管试用过的网友大多吐槽, PLATO只实现了一个闲聊系统, 并不具备ChatGPT那样的长问题问答能力.
但不得不承认的是, PLATO模仿人类自然语气的能力很强. 实际上,?PLATO还是"权威的全球对话技术顶级赛事DSTC"的多个冠军.
PLATO至少可以说明一点:?尽管底层机制和实现结果和ChatGPT不一样, 它依然是拿下了世界领先结果的生成式对话模型. 依然代表了百度对于自然对话AI的强烈关注.
那么, 如果百度把ERNIE系列的知识体系能力和PLATO系列的自然对话能力融合在一起呢?
在技术上,?简单的说, 百度在国内被认为是自然语言独一档, 因为手握文心系列模型ERNIE1.0, ERNIE2.0, ERNIE3.0, ERNIE3.0-Titan和PLATO系列模型PLATO1, PLATO2, PLATO-XL, 均积累多年, 且和自家核心业务息息相关.
(此外 百度还有一个低调但牛逼的从软件到AI芯片全栈打通的Paddle训练框架生态, 对标PyTorch和TenserFlow, 这也是国内独家, 不再赘述)
而在核心业务上, 和被微软"珍珠港偷袭", 苦苦防守的Google不同, 百度在国内牢牢把握着搜索的入口, 在可见的未来里无人挑战, ?除非新版Bing中国区更新. 但根据国家对境外ChatGPT的态度, 新版Bing要落地国内恐怕比较难.
因此,?百度倒是比Google更加从容, 不必焦头烂额应付挑战, 可以以自己的节奏过渡到"ChatGPT+搜索"的问答搜索新模式.
Google之所以舆论那么被动, 还有一个原因是, 根据主流专家观点, ChatGPT已经以完美姿态赢得了足够的先发用户, 再加上Bing的流量入口, ?在问答式数据反馈上将拥有绝对优势, 先发优势明显, Google将很难追赶.
针对中文环境, 这话用在已经垄断了中文搜索入口的百度身上似乎完全合适:
只要百度拿出类似新版Bing的"ChatGPT+搜索"产品, 哪怕效果没有ChatGPT那么好, 打个七八折, 但在全网中文搜索用户的反复蹂躏之下, 百度将获得海量的中文问答式搜索的反馈数据 -- 这个之前稀缺的数据足以让百度巩固和继续扩大在这方面的优势.
这也是作者认为, 在国内,?独立实验室在AI业务领域很难做过互联网巨头的原因(当然联合研发没问题, 类似OpenAI+微软);?只有后者巨大的数据流量才能培育和进化出顶级的AI模型.
还有一个普遍说法, 认为百度在算法、算力、数据、场景上都非常理想, 偏偏在"产品"这个点上差了点意思.
说起来有趣, Google近年来在产品层面也乏善可陈, ?两大搜索引擎公司似乎都因为核心业务过于强势, 以及技术思维影响过大, 导致了其他产品能力有点变形.
不过, ChatGPT问答本身在产品体验上是标准的极简主义, 竞争力的核心还是背后强大的AI模型输出能力.
所以, 在这个ChatGPT特别的"产品"上, 百度应该很开心, 回到了自己的好球区: 技术至上.
至于前端产品形态, 则完全不用担心. ?有微软Google两家在前, 可以大大方方的参考新版Bing和新版Google的UI交互.
新版Bing搜索究竟是如何结合ChatGPT进行搜索的我们不妨推测一下.
从传出来的内测截图可以看到, Bing首先是搜索, 然后再生成问答式内容, 每次的答案都基于数个特定页面合成, 还友好的给出了原页面链接.?
ChatGPT的调用成本非常昂贵, 几美分一次调用. 就算微软家大业大, 就算Bing搜索流量只占全球市场的5%不到, 也扛不住让ChatGPT亲自去穷尽所有页面挑选答案.?这样做的搜索成本绝对是天价.
合理推测是, ChatGPT的使用在Bing搜索里被控制在一个有限的范围:
先通过ChatGPT理解用户要做什么样的搜索, 拆解为搜索指令.
通过搜索引擎检索出若干符合要求的结果页面.
通过ChatGPT对页面内容进行评估, 二次确认优先级.
挑选最优先的结果页面, 通过ChatGPT进行答案合成.
以这样的方式, 在成本和系统耦合的复杂度上都完全可控, 我们有理由相信, 这个猜测和实际相差不大.
不知百度版ChatGPT做到了什么程度, 但是, 新搜索系统所需的另一部分基础能力"对多搜索结果的AI综合",? 百度之前已有类似的功能上线, 只是触发的次数很少, 恐怕很多人都没见过... 这就是百度的"搜索智能精选", 读者可以自行感受:
种种苗头看来, 百度离新版Bing搜索模式的距离并不是太远.
但是, 做出百度版的"ChatGPT+搜索"就够了吗? 并不.
网友最希望看到的, 还是一个可以自由发挥的问答式AI, 完全对标ChatGPT的国产替代. 从灵活性上看,
