国外名校对chatgpt的态度 chatgpt在教育培训领域的应用
淘宝搜:【天降红包222】领超级红包,京东搜:【天降红包222】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】
人工智能聊天工具ChatGPT的功能正在被人们充分挖掘,学生是最早开始使用这一工具的群体之一。
2月9日,报道《调查|国内高校已有学生用ChatGPT写论文,“杰作”快赶上老师了!“AI作弊”怎么防?》登上微博热搜,截至2月11日晚间,热搜词条阅读总次数达到8817.9万。足见,ChatGPT在教育领域的应用已成为公众热衷讨论的事情。
基于此,记者对全国多地的高校进行调研采访,受访学生覆盖文学、理工等多个学科,甚至有的已是博士、博士后。
除了在高校领域有着一席之地,记者发现,ChatGPT的适用范围已经下探至学龄前儿童和中小学阶段。在教育界,ChatGPT似乎已经“侵入”教育的各个年龄段。
在教育界和学界,有人积极拥抱ChatGPT,也有人如临大敌。据多家外媒报道,美国许多高校禁止使用这项工具,此外,据《独立报》最新报道,就连国际学术期刊《自然》和《科学》也开始规定限制ChatGPT的使用。
ChatGPT会给教育界带来怎样的冲击,又将与教育碰撞出怎样的火花?
一线教师:已经发现有学生用ChatGPT撰写论文
记者采访了北京、上海、四川等地的重点大学的一线教师,他们也正密切关注学生对于ChatGPT的使用情况。有的老师向记者表示,已经发现有学生用ChatGPT撰写论文。某位高校老师甚至直言,估计今年开学后会出现一些ChatGPT所引发的学术问题。
在学生群体中,他们有的直呼“时代变了!”,有的反馈称ChatGPT写论文“真的很牛”,更有已经毕业的大学生遗憾没有在大学中赶上这一次人工智能浪潮。
还有的网友表示,ChatGPT在正常社会条件下,将会产生意想不到的颠覆性变革。至少教育方式、体系、内容会一夜之间面目全非,人类获取知识认识世界的渠道路径被狠狠地更新了。
图片来源:截图
而有的大V对于依靠ChatGPT写论文表达出了一些担忧,其中一名大V表示:“如果大部分学生都开始靠AI写作业写论文,失去了思考的能力,那真的会很麻烦……”,获得了596次点赞。
图片来源:截图
也有大V表示,AI很美好,但依旧不完美。ChatGPT很好,但也远没有吹得那么好。“它站在巨人肩膀上说话,大多数的回答却都只能说是‘合格’而已……”某位网友称。
有博士生正琢磨用ChatGPT帮助自己搞科研
记者了解到上述情况后,立即对全国多地的高校进行调研采访,受访学生覆盖文学、理工等多个学科,甚至有的已是博士,博士后。
在采访中,一名大学生试着用ChatGPT写论文并称“反响很好”,也有大学生告诉记者,ChatGPT产出的文字“语法正确”、“用词优美”。
记者调查走访多位文理科学生后发现,ChatGPT目前在大学生中的使用场景多为社会科学、语言、管理、传媒等专业,相比之下,理工科学生的使用较为少见。
记者发现,有评论提出了这样一个疑惑――“啥论文能用人工智能写了?理科生表示不理解。”
图片来源:截图
此外,北京某高校传媒专业学生向记者反映,ChatGPT写出来的内容总体上还是有用,并且用英语比中文流畅。“但是在写‘参考文献’部分,基本都是它编出来的,编得又很像,所以最好用它的时候是在你擅长的领域,然后再自己对内容进行核对。”
针对目前采访者所提到ChatGPT在运用英语文本比中文文本更顺畅这一点上,记者发现,有的同学也正是利用这个优势,使用ChatGPT来润色英文作文。
记者调查后了解到,不仅仅是本科生和硕士生,甚至一些博士生也正在思考如何使用ChatGPT,一名四川某高校人力资源专业博士研究生告诉记者,他也正在琢磨用ChatGPT帮助自己搞科研,但通过比较ChatGPT的产出,他认为,ChatGPT的回答现在来看还是太过宽泛。
而在医学这一领域,ChatGPT似乎能有更大用处,某大学医学院的一位博士后则明确告诉记者,ChatGPT甚至还能帮助医学生问诊。
他给记者分别展示了ChatGPT用英文回答“晚期胰腺癌的最佳化疗方案是什么”和“转移性胰腺癌的最佳化疗方案是什么”等问题,ChatGPT显示了看似“专业”的回答,并且这位博士后承认,ChatGPT针对某一症状或者疾病的问诊回复一般都不会出错,只是比较保守。
图片来源:截图
记者注意到,早在去年12月,ChatGPT就已在医学上证明过自己的“能力”,“它”在一项研究中通过了美国执业医师资格考试(USMLE),该考试分为三项,研究称ChatGPT在所有这三项考试中均达到或接近通过。
但对于科研而言,ChatGPT似乎帮助并不大,该名医学博士后向每经记者进一步介绍称,“ChatGPT本质还是个聊天软件,专业性肯定不强,学习的资料太泛太旧了。对于我们来说显然是不够前沿的。”
不过,与ChatGPT相似的蛋白质工程深度学习语言模型最近大放异彩,加州伯克利的一家初创公司取得了惊人的进步,他们采用深度学习语言模型――Progen,首次实现了AI 预测蛋白质的合成。这项研究已经刊发在Nature子刊。有研究者认为,这个实验表明,自然语言处理虽然是为读写语言文本而开发的,但它也可以学习生物学的一些基本原理。
对此,这位医学博士后认为,“前沿医学的研究要开发专门的AI工具,ChatGPT提供了一个很好的逻辑思路。”
ChatGPT已下探至学龄前儿童和中小学阶段
在调研采访过程中,记者发现,ChatGPT除了在高校领域有着一席之地,其适用范围已经下探至学龄前儿童和中小学阶段了。在某一社交媒体上,多位博主上传询问ChatGPT关于“育儿”的相关话题。
记者随机走访了身边学龄前儿童的母亲,有一位居住在国内二线城市4岁小孩的妈妈向记者明确表示,她每天都会登录ChatGPT,和“它”聊会儿天,并且把“它”推荐给其他的妈妈们,解答孩子的教育问题。
目前来看,中小学的老师也在思考将ChatGPT融入到自己的教学工作中,一名刚入职的小学语文教师告诉每经记者,小学生由于年龄小,心智尚未发育成熟,在上课时不仅仅需要老师在知识上帮助,更需要在心理上的全方位培养,她经常询问ChatGPT诸如“如何矫正小学生行为习惯”、“教师如何与内向的小学生沟通”等问题。
另外她还提到,老师之间也在互相交流ChatGPT的使用体验,尤其在准备教学内容、探讨教学经验、以及处理突发学生问题的时候能显示出ChatGPT的用处。
“我每天都在用ChatGPT,这是个很好用的工具,”另一位某重点高中物理老师也对每经记者表示,ChatGPT不仅可以像搜索引擎那样使用,还可以对自己书写上提供建议。而当记者问及国内中学生的使用情况时,这名老师答复称,有学生已在他的鼓励下尝试把ChatGPT作为学习助手来使用。
“它(ChatGPT)相当于一个学习助手,可以提醒学生,哪些地方做得不太好,给一些指引。比如修改句子,给学习提纲,”谈到ChatGPT的具体用途,这名物理老师对记者说。
面对冲击,高校和学术界正采取行动
显而易见,ChatGPT带来了实实在在的变革,面对冲击,高校和学术界采取了行动。
据《独立报》报道,包括《科学》和施普林格-自然(Springer-Nature)在内的顶级科学期刊宣布了新的编辑政策,禁止或限制研究人员使用ChatGPT等先进的人工智能机器人来撰写科学研究,因为他们担心这可能会在学术文献中加入有缺陷甚至捏造的研究。
而在美国高校,因为担心学生可能会利用它作弊,纽约市教育部副新闻秘书珍娜・莱尔(Jenna Lyle)在一份声明中说,纽约市公立学校在1月初禁止使用ChatGPT,并称该工具无助于“培养批判性思维和解决问题的能力”。
洛杉矶联合学区早在12月12日就成为首批封锁ChatGPT网站的地区之一,一位发言人告诉《华盛顿邮报》,该禁令是为了“保护学术诚信”。
此外,据《纽约时报》报道,包括乔治华盛顿大学、罗格斯大学和阿巴拉契亚州立大学在内的学校,教授们正在逐步淘汰带回家的开放式作业,这种作业似乎容易受到聊天机器人的影响。取而代之的是,他们更多选择课堂作业、手写论文、小组作业和口试的方法。
但也不是所有教育界人士都如临大敌。据《纽约时报》报道,纽约市的一位高中历史教师亚当・史蒂文斯( Adam Stevens )发文明确反对他所在地区阻止ChatGPT的决定,他认为ChatGPT的出现是一个对学生的促进,而不是限制,他表示,ChatGPT 是批判性思维的宝贵工具。
图片来源:报道截图
英国剑桥大学负责教育的副校长Bhaskar Vira教授在接受剑桥大学学生校报Varsity采访时,表达了自己对ChatGPT的看法。他认为人工智能是一种供人们使用的工具,大学禁用像 ChatGPT 这样的人工智能软件并不“明智”,大学应该对学习、教学和考试过程进行相应的调整,以保证学生在使用该工具时保持学术诚信”。
记者注意到,国外许多学生也认为,人工智能是未来的发展方向,学校应该拥抱它,而不是限制它。一名学生在接受《纽约时报》采访时,认为学校的“禁令”是对于AI的过度反应,并称“每个人都需要冷静下来!ChatGPT并不是世界末日。”
可以看出,美国教育界对于ChatGPT的争议比较大。那么国内呢?
“AI在逻辑观点上,比如说针对学术的论文写作,可以对人的一个思路进行一定的有益补充”,一名北京重点大学社科类在读本科生告诉记者,他个人虽然对AI技术如今的发展表示振奋人心,也非常看好其未来的价值,但对于有些学生用ChatGPT整体的代替写作,他是不赞成这种行为的。
在采访中,一位浙江某高校研究生院的同学告诉记者,其导师在开组会时已经明确规定不能使用ChatGPT,一旦发现,就按照抄袭处理。即便如此,这位同学也提到,ChatGPT产出的内容用来做参考也是可以的。
部分高校和中学的老师对于ChatGPT的“侵入”向记者表达了相对乐观的情绪,其中一名上海重点高校社科类教授在接受每经记者采访时提到,虽然学生用这个(ChatGPT)写作业对教师来说是个麻烦事,但它只能做些简单重复的工作,高层次的做不到。另一名北京高校法学老师则称,“人定胜AI”,他表示,老师要是会提问题,就不会头疼了。只要老师了解每位学生的学术水平,就不用担心学生用AI来帮忙写论文的事情。
对此,前述高中物理老师则认为“堵不如疏”,并且积极鼓励学生接触ChatGPT。
不过,国内也有学生认为,ChatGPT不应该代替人与人在学术上的沟通,在采访中,有一位大学生向记者表示,就ChatGPT语言沟通交流技能而言,如果将其作为人与人之间相互沟通交流的媒介,沟通完全被机器替代,然后以AI的逻辑来进行普通的沟通和学术上的交流或者思维上的碰撞,对人类是有害的。
“文化是人与人之间沟通交流的基础,人们再通过实践产生了一个又一个人类智慧的结晶,如果是用AI来完全代替交流的话,我觉得就是丧失了人类进步本来的意义了。”这名社会科学系学生进一步解释称。
来源:每日经济新闻
编辑:张钰
chatgpt已成为公司盈利工具之一 ChatGPT火了背后逻辑
chatgpt官网,chatgpt国内能用吗,chatgpt中文,chatgpt注册【调查动机】
最近,由美国人工智能研究室OpenAI开发的全新“聊天机器人”ChatGPT火了。作为一款人工智能语言模型,它不仅能和人展开互动,还可以写文章、制定方案、创作诗歌,甚至编写代码、检查漏洞样样精通,上线仅两个月全球活跃用户破亿。
对此,有人直呼“太好用了,你要什么它就给什么”,也有人担忧“一些工作将被它取代”。
ChatGPT的问世掀起了新一轮人工智能浪潮,但其使用过程中可能涉及的法律问题不容忽视,记者对此进行了调查采访。
ChatGPT火了,在国内连续多日冲上热搜榜,一时与ChatGPT相关的各种信息遍布网络。
ChatGPT全称“Chat Generative Pre-trained Transformer”,按照其自我介绍,它是一个由OpenAI训练的大型语言模型,被设计用来回答各种问题并为人们提供帮助。
人工智能、人机交互、自动问答……与ChatGPT相关联的各种“高大上”的形容词让不少人感到好奇:ChatGPT到底能干什么?是否真的像一些人担忧的那样,可以取代文本创作等类型的工作?
《法治日报》记者近日采访发现,ChatGPT的火爆背后暗藏法律风险隐患。人工智能在给人们的生活增添乐趣、提供便利的同时,其信息真伪、知识产权等法律风险也愈发受到关注。另一方面,不少人盯上了其热度想“搭便车”牟利,出现了大批“山寨”产品和账号转卖行为。
存在信息泄露风险
可能侵犯知识产权
ChatGPT爆火后,很多博主拍摄了测评视频。不少人给出评价称,面对一些提问,ChatGPT反应速度、准确性较高,表现甚至优于一些搜索引擎。但ChatGPT的回答通常是笼统的、整合性的回答,而不是具有个性色彩的、创新性的回答。
公开资料显示,ChatGPT可以总结研究论文、回答问题、生成可用的计算机代码,甚至快速通过美国医学执照考试、沃顿商学院的MBA期末考试、司法考试。一些医学论文预印本和已发表的文章甚至正式赋予了ChatGPT作者身份。
但在受访的法律人士看来,ChatGPT的强大功能也隐含着不少法律风险。
“ChatGPT对信息、数据来源无法进行事实核查,可能存在个人数据与商业秘密泄露和提供虚假信息两大隐患。”北京盈科(上海)律师事务所互联网法律事务部主任谢连杰说。
谢连杰分析说,ChatGPT依托海量数据库信息存在,其中包括大量的互联网用户自行输入的信息,因此当用户输入个人数据或商业秘密等信息时,ChatGPT可能将其纳入自身的语料库而产生泄露的风险。虽然ChatGPT承诺删除所有个人身份信息,但未说明删除方式,在其不能对信息与数据来源进行事实核查的情况下,这类信息仍然具有泄露风险。
其次,人工智能生成的信息并不总是准确的,ChatGPT常常出现“一本正经地胡说八道”的情况,需要一定的专业知识才能辨别真伪;也可能有不法分子恶意“训练”人工智能,使其提供诈骗信息、钓鱼网站等内容,损害公民人身财产安全。
“对于这类隐患,平台应充分提示用户其生成的内容可能为虚假信息,且在其生成疑似违法信息时进行拦截或提示用户存在安全风险。”谢连杰说。
泰和泰(重庆)律师事务所高级合伙人朱杰说,ChatGPT在建立语料库、生成文本时,如果使用并非公开的开源代码、使用开源代码商用未办理许可证或者未按照许可证的要求实施的,可能会导致侵权。
他解释说,这类人工智能主要是通过挖掘人类日常交流以及文本,进而统计分析,因此,对于一些受著作权保护的文本、视频、代码等,如果没有经过权利主体的授权,直接获取复制到自己的数据库中,并在此基础上修改、拼凑,极可能侵害他人的著作权。
2019年,国际保护知识产权协会(AIPPI)发布《人工智能生成物的版权问题决议》,认为人工智能生成物在其生成过程中有人类干预,且该生成物符合受保护作品应满足的其他条件情况下,能够获得保护,对于生成过程无人类干预的人工智能生成物无法获得版权保护。
近日,多家国内学术刊物针对ChatGPT发声。《暨南学报(哲学社会科学版)》发布关于使用人工智能写作工具的说明提到,暂不接受任何大型语言模型工具(例如:ChatGPT)单独或联合署名的文章。在论文创作中使用过相关工具,需单独提出,并在文章中详细解释如何使用以及论证作者自身的创作性。如有隐瞒使用情况,将对文章直接退稿或撤稿处理。《天津师范大学学报(基础教育版)》发布声明,建议作者在参考文献、致谢等文字中对使用人工智能写作工具(如:ChatGPT等)的情况予以说明。
朱杰认为,ChatGPT生成的文本等内容是基于大量数据的统计和应用生成的,不具有自己的思想和创新,很难构成著作权法保护的作品。
谢连杰提到,ChatGPT的文本数据挖掘技术可能导致其在他人享有著作权的作品中“借鉴”部分内容。对于这部分内容,若不能构成我国著作权法所规定的“合理使用”的情形,则可能引发侵权纠纷。
借势贩卖租赁账号
“搭便车”山寨频出
ChatGPT走红后,由于服务端对中国大陆的IP有限制,无法注册使用,其账号一时在国内多个网购平台、社交平台上销售火热。在某电商平台上售卖成品账号的店铺,一天之内多达万人付款,价格最低1.68元。
记者在一家名为“ChatGPT账号供应商”的店铺购买了账号,商家随后私聊发来账号和密码,并特别标注输入时需要复制粘贴,还附有登录教程。登录后,记者发现这是一个多人共享账号,左侧聊天栏已经存在许多聊天窗口,系统运行十分缓慢,不一会记者就被提醒不能多人同时提问。
记者发现,某电商平台上,多数商家售卖的都是共享账号,而单人定制账号或者代注册账号的价格往往更高。
近日,多个电商平台对ChatGPT账号销售行为进行了查禁,相关关键词被屏蔽。记者先前账号订单显示商品不存在,进入到商家界面发现,所有的商品均已下架。
然而,记者在社交平台上搜索“ChatGPT账号”等关键词发现,仍有不少网友在提供代注册、有偿账号分享服务,围绕ChatGPT账号展开的买卖行为仍在野蛮生长。
朱杰认为,这种买卖行为可能构成非法经营等违法行为。ChatGPT的正版服务由境外机构提供,而未经我国相关部门批准利用VPN跨境提供经营活动是被明确禁止的,所以国内这些代问、代注册的商家以营利为目的,搭建或使用VPN进行注册账号,未办理国家相关行政许可,擅自经营买卖国外账号,可能会受到行政处罚甚至刑事处罚。
ChatGPT账号价值被炒作成商品以外,借其名称热度“搭便车”的牟利行为也大量出现。近日,记者查询发现,以“ChatGPT”“智能问答”等字眼作名称的小程序、公众号数量激增,不少小程序都显示有“1000+人最近使用”。
记者使用其中一些小程序后发现,这些产品不仅和ChatGPT毫无关系,而且大多以免费试用为噱头,吸引用户注册使用后,再推出收费服务,最终目的是诱人充值以牟利。例如,一个名为“××超级AI”的公众号中提到,可以为用户提供ChatGPT中文版的服务,小程序界面有不同的服务类型,从“AI情感问题”到“AI程序助手”,用户可以选择与不同的AI聊天。
可当记者点击进入“AI情感问题”一栏,还未进行任何操作,对话框就显示记者“已经用完今天的免费次数”,后续体验需要购买VIP,分别为19.9元的一天会员、199元的月度会员与999元的年度会员。
朱杰说,“山寨”软件打着正版软件的旗号进行宣传,欺骗消费者进行下载,可能构成虚假广告;同时,“山寨”软件使用的名称及标志如与正版软件相同或相似,引导他人误认为与正版存在特定联系,可能构成反不正当竞争法中规定的商业混淆行为,将受到行政处罚。
法律规范必不可少
部门监管精细治理
ChatGPT浪潮澎湃,其背后暴露出的人工智能法律风险、围绕ChatGPT展开的无序商业行为亦汹涌来袭,如何应对成为关注焦点。
上海政法学院人工智能法学院副教授郭金兰告诉记者,我国算法行业在此前的标准制定时已经初步尝试了以场景和架构为基准的思路。
2018年7月,中国科学院软件研究所联合15家产学研单位共同编制首个国内人工智能深度学习算法标准《人工智能深度学习算法评估规范》。这一规范基于深度学习算法可靠性的内部和外部影响,结合实际应用场景,确定了由7个一级指标和20个二级指标组成的算法可靠性评估指标体系,做了场景化和精细化算法治理实践的有益尝试。
2022年出台的《互联网信息服务算法推荐管理规定》中明确要求,人工智能的算法应当坚持社会主义主流价值观,不能利用算法危害国家安全和社会公共利益、扰乱经济秩序和社会秩序、侵犯他人合法权益。今年1月10日起施行的《互联网信息服务深度合成管理规定》中明确,任何组织和个人不得利用深度合成服务制作、复制、发布、传播法律、行政法规禁止的信息,不得利用深度合成服务从事危害国家安全和利益、损害国家形象、侵害社会公共利益、扰乱经济和社会秩序、侵犯他人合法权益等法律、行政法规禁止的活动。
随着人工智能产品不断迭代升级,未来对相关产品该如何进行监管与应对?
郭金兰认为,对人工智能监管,需要深入人工智能系统的整个生命周期,从模型的建立、语料库的标注、模型训练、投放市场后的迭代进化直到系统退出使用。监管需要关注到每个具体的环节,包括语料库的筛选标准制定、参与人工标注的人员培训,开发者的价值观考察等。
“对ChatGPT这类生成式人工智能的监管必须将算法监管和数据监管结合起来。在算法监管机制的未来探索中,应充分考虑算法决策的主体类型和作用类别,探索场景化和精细化的算法治理机制。”郭金兰建议说。
朱杰建议,国家应当加强对人工智能的伦理规制,将伦理道德纳入人工智能研发和应用的全过程,增强全社会人工智能的伦理意识和行为自觉,积极引导负责任的人工智能研发与应用活动,促进人工智能健康发展。
chatgpt手机版怎么注册 chatgpt怎么下载和使用
chatchlog,chatch it,chatroulette手机版能用吗,chatpic怎么打开最近,以ChatGPT为首的生成类模型已经成为了人工智能的新热点,硅谷的微软、谷歌等都纷纷大举投资此类技术。而在中国以百度等为代表的互联网科技公司也纷纷表示正在研发此类技术并且将于近期上线。
以ChatGPT为代表的生成类模型有一个共同的特点,就是使用了海量数据做预训练,并且往往会搭配一个较为强大的语言模型。语言模型主要的功能是从海量的现有语料库中进行学习,在经过学习之后可以理解用户的语言指令,或者更进一步根据用户的指令去生成相关的文字输出。
生成类模型大致可以分成两大类,一类是语言类生成模型,另一类是图像类生成模型。语言类生成模型以ChatGPT为代表,如前所述其语言模型不仅可以学习理解用户指令的意义(例如,“写一首诗,李白风格的”),而且在经过海量数据训练之后,还能够根据用户的指令生成相关的文字(在上例中就是写一首李白风格的诗)。
这意味着ChatGPT需要有一个足够大的语言模型(Large Language Model,LLM)来理解用户的语言,并且能有高质量的语言输出――例如该模型必须能理解如何生成诗歌,如何生成李白风格的诗歌等等。
这也意味着语言类生成式人工智能中的大语言模型需要非常多的参数,才能完成这类复杂的学习并且记住如此多的信息。以ChatGPT为例,其参数量高达1750亿(使用标准浮点数的话会占用700GB的存储空间),其语言模型之“大”可见一斑。
另一类生成类模型是以扩散模型(Diffusion)为代表的图像类生成模型,典型的模型包括来自OpenAI的Dalle,谷歌的ImaGen,以及目前最热门的来自Runway AI的Stable Diffusion。这类图像类生成模型同样会使用一个语言模型来理解用户的语言指令,之后根据这个指令来生成高质量的图像。
与语言类生成模型不同的是,这里使用到的语言模型主要用语理解用户输入,而无需生成语言输出,因此参数量可以小不少(在几亿数量级),而图像的扩散模型的参数量相对而言也不大,总体而言参数量大约在几十亿数量级,但是其计算量并不小,因为生成的图像或者视频的分辨率可以很高。
生成类模型通过海量数据训练,可以产生前所未有的高质量输出,目前已经有了不少明确的应用市场,包括搜索、对话机器人、图像生成和编辑等等,未来可望会得到更多的应用,这也对于相关的芯片提出了需求。
生成类模型对于芯片的需求
如前所述,以ChatGPT为代表生成类模型需要在海量的训练数据中进行学习,才能实现高质量的生成输出。为了支持高效率训练和推理,生成类模型对于相关芯片也有自己的需求。
首先就是对于分布式计算的需求。ChatGPT这类语言类生成模型的参数量高达千亿,几乎不可能使用单机训练和推理,而必须大量使用分布式计算。
在进行分布式计算时,对于机器之间的数据互联带宽,以及计算芯片对于这类分布式计算(例如RDMA)就有了很大的需求,因为很多时候任务的瓶颈可能并不在计算,而是在数据互联上面,尤其是在此类大规模分布式计算中,芯片对于分布式计算的高效率支持更加成为了关键。
其次是内存容量和带宽。虽然对于语言类生成模型分布式训练和推理不可避免,但是每个芯片的本地内存和带宽也将很大程度上决定单个芯片的执行效率(因为每个芯片的内存都被使用到了极限)。
对于图像类生成模型来说,可以把模型(20GB左右)都放在芯片的内存中,但是随着未来图像生成类模型的进一步演进,它对于内存的需求可能也会进一步提升。在这个角度来看,以HBM为代表的超高带宽内存技术将会成为相关加速芯片的必然选择,同时生成类模型也会加速HBM内存进一步增大容量和增大带宽。
除了HBM之外,CXL等新的存储技术加上软件的优化也有将在这类应用中增加本地存储的容量和性能,估计会从生成类模型的崛起中获得更多的工业界采用。
最后是计算,无论是语言类还是图像类生成类模型的计算需求都很大,而图像类生成模型随着生成分辨率越来越高以及走向视频应用,对于算力的需求可能会大大提升――目前的主流图像生成模型的计算量在20 TFlops左右,而随着走向高分辨率和图像,100-1000 TFLOPS的算力需求很有可能会是标准。
综上所述,我们认为生成类模型对于芯片的需求包括了分布式计算,存储以及计算,可谓是涉及了芯片设计的方方面面,而更重要的是如何把这些需求都以合理的方法结合到一起来确保某一个单独的方面不会成为瓶颈,这也将会成为一个芯片设计系统工程的问题。
GPU和新AI芯片,谁更有机会?
生成式模型对于芯片有了新的需求,对于GPU(以Nvidia和AMD为代表)和新AI芯片(以Habana,GraphCore为代表),谁更有机会能抓住这个新的需求和市场?
首先,从语言类生成模型来看,由于参数量巨大,需要很好的分布式计算支持,因此目前在这类生态上已经有完整布局的GPU厂商更有优势。这是一个系统工程问题,需要完整的软件和硬件解决方案,而在这个方面,Nvidia已经结合其GPU推出了Triton解决方案。Triton支持分布式训练和分布式推理,可以把一个模型分成多个部分到不同的GPU上去处理,从而解决参数量过大一个GPU的主存无法容纳的问题。
未来无论是直接使用Triton,还是在Triton的基础上做进一步开发,都是拥有完整生态的GPU更加方便一点。从计算上来看,由于语言类生成模型的主要计算就是矩阵计算,而矩阵计算本身就是GPU的强项,因此从这一点来看新的AI芯片相比GPU的优势并不明显。
从图像类生成模型来看,这类模型的参数量虽然也很大但是比语言类生成模型要小一到两个数量级,此外其计算中还是会大量用到卷积计算,因此在推理应用中,如果能做非常好的优化的话,AI芯片可能有一定机会。这里的优化包括大量的片上存储来容纳参数和中间计算结果,对于卷积以及矩阵运算的高效支持等。
总体来说,目前这一代AI芯片在设计的时候主要针对的是更小的模型(参数量在亿级别,计算量在1TOPS级别),而生成模型的需求相对而言还是比原来的设计目标要大不少。
GPU在设计时以效率为代价换取了更高的灵活度,而AI芯片设计则是反其道而行之,追求目标应用的效率,因此我们认为在未来一两年内,GPU仍将会在此类生成式模型加速中独占鳌头,但是随着生成式模型设计更加稳定,AI芯片设计有时间能追赶上生成式模型的迭代后,AI芯片有机会从效率的角度在生成式模型领域超越GPU。(作者:李飞 半导体行业观察)