芯片可能成为我们追赶ChatGPT的最大瓶颈
淘宝搜:【天降红包222】领超级红包,京东搜:【天降红包222】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】
ChatGPT一声惊雷,平静的搜索江湖瞬间风暴骤起。微软高调上线ChatGPT版Bing搜索引擎,逼得Google仓促应战,推出基于LaMDA 模型的同款聊天机器人,结果Bard变bug,反而把自家股价打掉了2000亿美元。
与此同时,百度也宣布自研的“文心一言”正在加速内测,预计三月底问世。
蛰伏已久的科技巨头们同时变得紧张,除了ChatGPT在公众中掀起的热潮,也因为他们预感到ChatGPT所代表的LLM(大语言模型)应用很可能是一种“元技术”。
“元技术”指的是该技术的持续运用可以反过来加速技术本身的进步。例如:芯片在现实世界中的应用能从开发效率,应用场景和资金投入上反哺研发,从而加速芯片本身的进步;“元技术”的发展符合指数增长的规律,因此能够克服研发管理中常见的复杂度爆炸,逃离“中等进步陷阱”的引力束缚。
也正是由于“元技术”的属性,芯片的研发才能够不断实现突破,追上摩尔定律的要求,相比而言生物技术等非“元技术”,则在摘光低垂的果实后搭不出技术升级的垫脚石,从而深陷Eroom’s Law(反摩尔定律)的泥潭。
正如大家体验到的,使用ChatGPT可以极大解放工作效率,这也包括Open AI自己的研发人员。亿级用户对ChatGPT的花式提问和反复测试出的“prompt黑魔法”,也为后续版本的迭代迅速积攒了海量素材。
除此以外,LLM单次训练的巨大成本和对算力资源的占据,也构成了对新玩家残酷的进入壁垒。
随着竞争的加剧,无论是资金还是算力都会理性的向技术领先者集中,从而自我实现“强者愈强”的马太定律。
至此,ChatGPT的“元技术”飞轮,隐隐已形成闭环。所以,如果没有在“技术奇点”前及时上车,已有科技巨头和OpenAI在AI应用上差距将不可逆的拉大,最终陷入万劫不复的螺旋衰落;而那些小型AI创业团队,面对模型代差和资源无法弥补的差距,灭顶之灾已然到来。
而在更高的层面上,作为“元技术”的ChatGPT可能对中国的未来具有核弹级的震荡性。
过去十年中国科技产业的进展,靠的是“fast follow”和工程化上充满暴力美学的 “饱和式执行”。而这背后所依托的,则是国内教育体制带来的“工程师福利”。
虽然培养不出S级的创新人才,但产出的B级标品量大管饱:稳定、勤奋、执行力强、而且还相当便宜,可以迅速填平从源头创新到应用落地的时间差距,直接把海外的原创者给卷没了。
但ChatGPT作为史上最优秀的复读机,恰好和“中国机器人”的功能重合了。
你会的我也会,你不懂的我还懂,你能996,但我能365天007,你行吗?更何况ChatGPT还不是人,无负面情绪之乱耳,无柴米油盐之劳形,不会辞职,绝不躺平。
熟练运用ChatGPT相当于雇了一个随叫随到,皮实耐造,拥有各知识领域基础技能的助理团队。
对眼高过顶的S级创新者而言, ChatGPT为其想法的prototype落地提供了全天候的助力;对集聚S级人才的创新企业而言,ChatGPT则意味着执行落地不再成为主要的发展瓶颈。而人员规模的瘦身和智力浓度的提升,还能进一步减少内部信息传导的损耗,如只有四百人的Open AI那样敏捷高效。
在这种情况下,使用开源框架fast follow的大厂策略还能产生规模效应吗?即便还能压缩出成本优势,也会在时间效率上遭遇降维打击。国内有人常常嘲笑美国大学在产出少量S级和A级精英的同时,却制造了一堆垃圾,以至于要从中印长期进口B级好员工;现在可能要笑不出来了。
过去擅长的骑射武功突然过时了,而机关枪对射的世界里没有你的位置。因此,如果BAT没有抢到此轮ChatGPT的船票,科技产业将错失这一致命的“奇点时刻”。遗憾的是,国内众多玩家不但在模型上被拉开身位,在算力和数据上也即将甚至已经面临极大的限制。
LLM对算力的吞噬是贪婪的,GPT-3 的1750亿参数(45.3T)模型单次训练需要1024张NVIDA A100 GPU训练34天。但是,目前A100这个级别的芯片是禁运的。接下来,GPT-4需要的算力可能会继续增加两个数量级,我们那时候用什么芯片来追赶呢?毕竟现在连45nm制程的光刻机都要被禁运了。
芯片禁运对国内AI技术的压制堪称智子锁死。
有人说这没关系,可以通过叠加成熟制程的芯片以量换质,或是慢点训练最终也能达到同等技术水平。芯片禁运,本来就不是为了一锤子打死你,而是通过增加中国科技企业的算力成本,让任何AI应用的落地在财务上不可行(甚至在热力学上都不可行),搞得你只能在利润失血和被迫缴械之间二选一,无法进入良性业务循环。
只要持续禁运,拖慢对手的进程,在过了“奇点时刻”后,“元技术”的代差可能就无法收敛了。如果新一轮LLM输出的成果反哺到芯片研发的流程,那么这种速度差距将会进一步拉开。
而在数据来源上,微软和Google依托的是超主权的全球互联网文本。以GPT-3为例,数据主要来自Common Crawl,共31亿个页面,覆盖了2016-2021年间的互联网文本数据,并用WebText2作为高质量文档类对原始数据进行了质量过滤;此外还导入2个图书库和Wikipedia进行了额外补充。
BAT所依托的中文互联网,在量级上不够(Common Crawl里中文数据不到5%),而且数据生态也不够好。
大部分中文页面的信息可信度还不如百度贴吧,极少的高质量数据则被圈在各个厂家私域的“围墙花园”中,而且有相当多的链接打开后是404。至于用结构化数据库进行补充,你指的是知网和百度百科这对哼哈二将吗?
以这种质量和结构性缺失的数据集进行训练,结果很可能是garbage in garbage out的废话生成器,就比如百度匆匆下线的Plato杠精机器人。
而在当前的数据主权和信息安全规范下,利用海外数据“西数东算”再翻译回中文也困难重重。更深一层思考,又如何剔除“进口模型”中内隐的意识形态植入?“根据相关法律,本答案不予显示”?精明如微软,一开始就封掉了中国IP使用ChatGPT版Bing搜索引擎的权限,割以永治。
致命的奇点时刻,正在敲响警钟。
ChatGPT和虚拟人区别 怎么利用chatgpt构建一个微信助手
虚拟人sdk,虚拟人叫什么,虚拟人是实体吗,虚拟人是什么人反正不都是不是人吗作 者丨董静怡
编 辑丨林曦
图 源丨图虫
ChatGPT的热度仍在,人们的关注点已从它本身转移,开始关注它能带来哪些产业的突破性进展。虚拟人就是其中之一。
这是一个随着元宇宙概念火热而兴起的产业。《虚拟数字人深度产业报告》预计,到2030年我国虚拟数字人整体市场规模将达到2703亿元。
其中,“身份型虚拟人”市场规模预计达到1740亿元,占主导地位,而“服务型虚拟人”总规模将超过950亿元。更有机构预测,AI数字人市场规模在2026年将达到102.4亿元。
ChatGPT所展现出的“灵活机智”令人啧啧称奇,这种特质如果从虚拟人身上体现出来,无疑使得该产业向着终极愿景迈进一大步。在热点之下,众多虚拟人企业纷纷发布公告宣布接入ChatGPT,受此影响股价连涨,投资者期待产业的突破与变革。
然而需要注意的是,ChatGPT虽是一个令人惊艳的产品,但其背后的基础技术并无大突破,且AI虚拟人的复杂程度远高于聊天机器人,或需要多种大模型的组合。被神化的ChatGPT,无法凭借一己之力扛起行业变革的大旗。
对于站在风口中的虚拟人企业来说,在受到推动的同时,仍有众多挑战在前方等待着。
虚拟人接上“大脑”?
AI作为虚拟人驱动的大脑之一,既是虚拟人能够在元宇宙感知行为并做出反馈的核心要素,也是其掌握与学习技能的关键所在。据市场调研机构IDC数据,预计到2026年中国AI数字人市场规模将达到102.4亿元,市场将呈现高速增长态势,有观点表示,AI驱动的虚拟数字人将会是下一个技术风口。
而ChatGPT的出世则给了由AI驱动的虚拟人更多想象空间。
国内虚拟技术服务商世优科技2月1日正式宣布,该公司的数字人业务已经接入ChatGPT,正在通过数字人自身的人设背景等相关数据集,并基于OpenAI对数字人专有大脑形成个性化模型训练。
据悉,由世优科技提供数字人技术支持的数字人「阿央」已经接入世优科技目前正在开发的ChatGPT微信小程序――世优数字人元宇宙。该程序可以展示排行靠前的热门问题,并通过接入ChatGPT后的世优科技数字人进行实时的内容解答。
该公司表示,在内测完成后,公司将会将更多数字人与ChatGPT结合,并开发合适的应用场景。与ChatGPT结合的虚拟数字人未来计划重点尝试在智能客服、电商、虚拟主播等领域拓展业务。
无独有偶,2月3日,天娱数科在互动平台表示,公司下属子公司元境科技致力于用AIGC推动元宇宙进入智能时代,依托MetaSurfing-元享智能云平台,元境科技虚拟数字人已经接入ChatGPT等模型,并已在Tik Tok跨境电商直播、虚拟主播直播互动等场景实现应用,并形成产品化解决方案。
2月7日,遥望科技在互动平台上回应投资者提问时表示,“公司规划在2023年发力虚拟人直播等业务,计划利用公司过往积淀的技术优势,实现高效率低成本的AIGC内容生成,使得直播时长更长,以长尾效应进一步扩大供应链竞争优势”。
2月10日,透明高清显示和AR显示领域的领军企业――深圳光子晶体科技宣布,基于光子透明芯片显示技术(nanoAR?)开发的“光子迎宾虚拟人”已实现与ChatGPT的对接,光子迎宾虚拟人的“人工智能”程度得到越级进化。
2月14日,风雨筑在互动平台表示,公司已在部分交互体验中使用AIGC技术,目前正在尝试将公司打造的数字人接入ChatGPT以强化数字虚拟人的场景识别和更新能力。此外,公司参股公司星图比特发挥本土团队在中文强化学习和本土合规方面的优势,围绕OpenAI GPT模型在NLP自然语言处理领域进行研发和应用。
沾上大火的ChatGPT,公司股价节节升高,但对它们来说,这是“蹭热度”还是真有大突破呢?
多模态是虚拟人的未来
日前,世优科技创始人兼CEO纪智辉曾表示,虚拟数字人驱动的最终形态,是实现AI驱动,即用“AI”替换掉“中之人”所扮演的角色。
但他同时也承认,AI虚拟数字人在制作成本和技术门槛上仍然大大高于真人动捕员,同时局限于AI目前所表现出的智商水平,目前并不能被广泛使用。
但ChatGPT所展现出来的高灵活度让人们对AI有了新的认知,它比普通的人工智能机器人更加像“人”,相较以往的大模型,它对知识的挖掘要更充分。
头豹研究院高级分析师朱晓雯在接受21世纪经济报道记者采访时表示,ChatGPT与市面上普遍用于虚拟人的AI模型相比,具有更大、更通用、更灵活的特点,可以处理更加复杂和抽象的自然语言文本,并且不需要大量标记的训练数据。
具体来讲,ChatGPT是一个通用语言模型,它可以用于许多不同的自然语言处理任务,例如语言翻译、问答、文本生成等。相比之下,普通的虚拟人AI模型通常专注于特定的任务,例如聊天、客服、语音识别等。
同时,ChatGPT还是一种基于无监督学习的模型,这意味着它不需要标记的训练数据即可学习自然语言规律,而市面上大量虚拟人AI模型都需要大量的标记数据才能进行训练。
此外,ChatGPT是目前最大的通用语言模型之一,参数超千亿,比许多传统的虚拟人AI模型要大得多。这使得ChatGPT能够处理更加复杂和抽象的自然语言文本,并生成更加自然流畅的回复。
面对如此惊艳的聊天机器人,业界不禁产生一个设想:将类ChatGPT的大模型依附于虚拟人之上,或更能使虚拟人接近于理想中的形态。
但虚拟人需要做到的显然不仅仅是和人对话那样简单,它还需要表情和动作,针对不同领域的虚拟人还需有不同的专业能力,理解文本、完成对话仅仅只是第一步。
近日,中科深智创始人兼CEO成维忠在接受21世纪经济报道记者采访时表示,要解决虚拟人的问题,关键还是在于多模态训练。
多模态指的是不同形态的数据形式。ChatGPT目前只支持文本、代码等模态,相对多模态大模型而言,ChatGPT当前技术能力还是主要集中在自然语言处理领域。
成维忠举例称,写一句话就能画出很炫酷图片的Dall.E2,就是OpenAI在多模态方面的探索,其运作过程大致分两个部分,前半段用的是GPT3,仍然是文本生成过程,后半段用的是Diffusion,真正把文本变成图像,即把两个完全不同的算法被有机拼接到一起来完成了多模态。
“在其他垂直领域,也会存在类似情况,需要针对这个领域的特点构建像Diffusion的专业领域大模型。”
以中科深智所专注的3D动作和表情生成为例,成维忠表示,前半段可以使用ChatGPT来赋能,提升文本生成能力,但重点还在后半段,即其生成动作和表情的大模型靠不靠谱。
“ChatGPT的出现对行业来说是好事,”成维忠向记者表示,“它只解决了部分问题,但没有做完全部的工作,对我们的发展有促进作用。”
成维忠认为,GPT4出世之后,垂直领域的多模态一定会越来越热。
技术成熟度仍有限
需要注意的是,ChatGPT本身并无革命性的技术突破,其背后的趋势和变革已持续多年。
从2018年起,ChatGPT背后的大模型思想已成为自然语言处理领域的主流技术趋势。随后四年,GPT模型逐步精进,参数从3亿增长到1750亿,训练数据规模达到45TB,不断用更多的数据找到对人类更通用的“语言模型”。
ChatGPT是基于GPT3.5的基础模型框架,核心变化是通过真实的调用数据以及人类反馈的强化学习进行训练,使其更会聊天、更“能言善辩”。
“大模型所对应的技术理念已逐渐被大家所掌握,国内外皆如此,市面上已有很多用这种方法训练出的大模型,只不过在fine-tune(微调)的过程中,研发者的专注度、投入度不一样。”小冰CEO李笛向21世纪经济报道记者表示,“我个人认为OpenAI是真的用工匠精神去磨,取得了这个效果,所以有一定‘时间壁垒’,但这和‘技术壁垒’是两回事。”
不仅如此,目前绝大部分大模型都还没办法实现“端到端”的落地,即使是ChatGPT,也存在相当高比例的事实性错误。
IDC中国研究总监卢言霞表示,ChatGPT所提供的答案在准确性、广泛性方面仍存在局限,因此现阶段无法直接用于企业特定的场景中以替代之前的AI应用,不可能彻底颠覆搜索市场,也不可能改变人工智能市场格局。
“今天大模型的应用普遍还停留在demo阶段,距离真正大规模商用还有很多事情要调整。”李笛表示。
因此,从技术角度来看,大模型的本质还是通过海量的数据训练生成内容,且这部分还没有实现绝对的稳定,这和像人一样拥有智慧是两回事。所谓将ChatGPT接入虚拟人就意味着它拥有了“聪明的大脑”和“有趣的灵魂”,并不属实。
更现实的问题是,大模型的思想偏好“大力出奇迹”的打法,想要有好的性能需要极大数据和算力支持,这背后是巨量的成本支出,对于多数虚拟人创业公司来说,要承受不小的资金压力。
“首要因素必须要确保‘端到端’的生成质量。同时,优化模型降低参数规模。”李笛表示。
当然,如果放低些要求,AIGC在辅助虚拟人内容创作、文本生成等方面还是有着显著的作用。国泰君安研报指出,ChatGPT等AIGC应用程序将显著提升数字人的制造效率,内容成本低且可定制。
“从目前来看,在部分细分场景,例如绘画、翻译等内容生产领域,可能会有很快的落地化普及,但要实现大规模的商业化落地,保守估计需要3至5年的时间积累才有可能。”朱晓雯表示。
SFC
本期编辑 江佩佩 实习生 肖楠
怎么鉴别chatgpt是不是真的
转自:半月谈
【#警惕山寨ChatGPT割韭菜#】#面对ChatGPT怎样加强自己的竞争力#熙熙攘攘,皆为利来利往,之所以出现一窝蜂的不择手段蹭热点行为,无非是想利用信息差赚快钱,收割“韭菜”谋取暴利。#半月谈评论#这样的情形并非首次出现。每次有新概念成为“顶流”话题时,类似现象都会出现,量子科学、元宇宙、区块链等新赛道“火热”时,都曾有一波“硬蹭”的操作,专注于割韭菜、炒概念、蹭热度、搭便车、造故事。然而,一旦热潮消退,回归现实的人工智能技术最终还是要比拼落地能力,以及是否能为客户创造价值、是否能够走出商业化道路等“硬性指标”。过度的炒作还会透支民众对科技创新领域的整体信任,甚至殃及一些踏实做事的“良币”,最终带来一地鸡毛。