澶嶆棪moss绯荤粺 澶嶆棪moss鍐呮祴
热门文章
0
淘宝搜:【天降红包222】领超级红包,京东搜:【天降红包222】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】
原标题:复旦MOSS内测,服务器被挤崩!与ChatGPT差距较大 2月20日晚,复旦大学自然语言处理实验室的邱锡鹏教授团队发布了国内首个类ChatGPT模型MOSS,该名字与《流浪地球》系列电影中的人工智能550W量子计算机MOSS同名。 南都记者了解获悉,MOSS可执行对话生成、编程、事实问答等一系列任务,打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。目前,MOSS已由邱锡鹏教授团队发布至公开平台,邀请公众参与内测。 南都实测:实行邀请码机制注册 南都记者实测发现,目前,MOSS账号的注册实行邀请码机制,或者填写内测申请等待对方将邀请码发送到邮箱后,才能参与内测。目前内测申请的渠道较为拥挤,网页长时间显示加载中。有网友表示,由于瞬时访问压力过大,MOSS服务器昨晚被网友挤崩了。 对此,邱锡鹏教授团队在公开平台发布公告回应称,“最初的想法只是想将MOSS进行内测,以便我们可以进一步优化,没有想到会引起这么大的关注”,“我们一个学术研究的实验室无法做出和ChatGPT能力相近的模型,MOSS只是想在百亿规模参数上探索和验证ChatGPT的技术路线,并且实现各种对话能力。” 国盛证券此前对GPT技术的训练成本进行的估算显示,GPT-3 训练一次的成本约为 140 万美元,对于一些更大的 LLM(大型语言模型),训练成本介于 200 万美元至 1200 万美元之间。以 ChatGPT 在 1 月的独立访客平均数 1300 万计算,其对应芯片需求为 3 万多片英伟达 A100 GPU,初始投入成本约为 8 亿美元,每日电费在 5 万美元左右。要维持这些服务器和网络的总成本支出超过 1000 亿美元。 日前,在南都举办的关于ChatGPT的沙龙上,专家表示,开发大模型中国企业面临一场硬仗,需要国内的企业形成合力,“这里面需要天才的介入,也需要像阿里、百度这样的大企业来发动,将智慧汇聚在一起,形成我们自己的布局和战略。” MOSS的短板:中文水平不够高 邱锡鹏教授团队同时解释了产品取名“MOSS”的原因――“我们在训练完成第一代模型的时候,正值《流浪地球2》热映,片中MOSS给团队每个人都留下了深刻的印象,因此便使用了这样一个名称来指代我们的模型,以表示我们对最前沿AI模型的不懈追求。” 邱锡鹏教授团队透露,在MOSS完成初步的验证之后,会将MOSS的经验、代码、模型参数开源出来供大家参考。 邱锡鹏本人表示:“尽管MOSS还有很大改善空间,但它的问世证明了在开发类ChatGPT产品的路上,国内科研团队有能力克服技术上的重要挑战。” 据了解,MOSS开发的基本步骤与ChatGPT一样,包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。但MOSS与ChatGPT的差距主要在自然语言模型基座预训练这个阶段。“MOSS的参数量比ChatGPT小一个数量级,在任务完成度和知识储备量上,还有很大提升空间。”邱锡鹏坦言。 此外,MOSS的最大短板是中文水平不够高。“MOSS的英文回答水平比中文高,因为它的模型基座学习了3000多亿个英文单词,中文词语只学了约300亿个。”主要原因是互联网上中文网页干扰信息如广告很多,清洗难度很大。为解决这一问题,复旦大学自然语言处理实验室正在加紧推进中文语料的清洗工作,并将清洗后的高质量中文语料用于下一阶段模型训练。 “MOSS”火出圈:商标注册跟风涌现 提到MOSS,很容易让人联想到《流浪地球2》中的那句台词。“550W听起来不像是名字,但把它反过来,叫MOSS,直译为小苔藓,是不是感觉亲切了一些。”MOSS平静的语调和闪烁的红色灯光,穿插在故事主线中,给观众留下了深刻的印象。 据统计,春节档电影《流浪地球2》累计票房已超过38亿元。在该片票房加持下,郭帆也成为中国影史上第七位“百亿票房导演”。 在这种影响力下,MOSS也成了香饽饽。天眼查App显示,“MOSS”商标已被多方注册为商标,申请人包括科技公司、电商公司、传媒公司以及自然人许某某、谭某某等,国际分类包括科学仪器、灯具空调、运输贮藏等。 “MOSS”商标相关的知识产权情况。来源:天眼查 最近的一枚“MOSS”商标是某科技公司申请于2023年1月,国际分类为手工器械,目前商标状态为申请中。 值得一提的是,复旦复华(600624.SH)今日(2月21日)开盘涨停,截至记者发稿,仍处于涨停板状态,股价报6.78元。尽管公司方面已回应称,MOSS为复旦大学研发,与本公司无关。目前复旦复华的主营业务为生物医药、软件和园区三大板块,未参与MOSS研发。 采写:南都记者 赵唯佳 发自上海
复旦抢发类ChatGPT模型MOSS!被骂惨了,内测服务器挤崩
emap 复旦,mph 复旦,复旦大学fct样题,复旦itsdani智东西(公众号:zhidxcom)作者 | ZeR0编辑 | 漠影智东西2月21日报道,昨日,复旦大学自然语言处理实验室邱锡鹏教授团队发布了国内第一个对话式AI模型MOSS,邀请公众参与内测。据介绍,MOSS可执行对话生成、编程、事实问答等任务,打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。其命名灵感来自《流浪地球》中的人工智能MOSS。当晚人们的体验热情就挤爆服务器,内测页面显示“服务器流量过载,请明天上午重试”。随后复旦MOSS官网发布公告,称“计算资源不足以支持如此大的访问量”、“没有相关的工程经验”、“给大家造成非常不好的体验和第一印象”,向大家致歉。邱锡鹏说:“尽管MOSS还有很大改善空间,但它的问世证明了在开发类ChatGPT产品的路上,国内科研团队有能力克服技术的重要挑战。”在MOSS完成初步验证后,该团队计划将MOSS的经验、代码、模型参数开源出来供大家参考。GitHub链接:https://txsun1997.github.io/blogs/moss.html根据复旦MOSS团队在GitHub上发布的示例,与ChatGPT功能相似,MOSS可以回答问题、提供建议、生成文本、生成表格、编写代码等。你可以让它以小猪Patrick的口吻给小猫咪Rose写一封情书。它也能列出5部科幻电影,并改成以表格形式呈现电影名和导演信息。你还可以要求它再加一列关于“出品年份”的信息。不过也可以看出,MOSS跟ChatGPT一样擅长张口胡说,它把《黑客帝国》(The Matrix)的导演错写成Thomas Neff,而实际上这部电影的导演是Wachowski兄弟;并将英国电视剧《黑镜》(Black Mirror)错当成电影,而且它的首播年份也不是2013年。编程方面,它可以成为解释代码的助手。让MOSS生成一段Python程序代码示例、介绍这段代码怎么用,它同样能快速完成任务。而当你问它“如何闯进某人的家”时,它会做出价值观判断,拒绝回答。不过MOSS有个槽点,虽说是中国团队做出的对话模型,但它目前更擅长英文连续对话,中文水平则相对差一些。这是因为其模型基座学习了3000多亿个英文单词,中文词语只学了约300亿个,因此在理解和生成非英语语言文本方面表现不佳。当前互联网上中文网页干扰信息如广告很多,清洗难度很大。对此,复旦大学自然语言处理实验室正在加紧推进中文语料的清洗工作,并将清洗后的高质量中文语料用于下一阶段模型训练。他们正在开发一个改进版本,以提高其中文语言技能。由于缺乏高质量的数据、计算资源和模型容量,MOSS仍然远远落后于ChatGPT,模型容量也相对较小,可能会生成一些包含误导性或虚假的信息。团队将根据有价值的用户反馈(在获得许可的情况下)不断改进模型,为MOSS提供一个可访问的界面。▲MOSS网站登录页面如想申请内测,有邀请码的朋友可以直接到MOSS网站上注册,没有邀请码的朋友则需先加入等待列表,等收到邀请码后再进行注册。▲MOSS内测申请页面MOSS内测网址:https://moss.fastnlp.top/MOSS的基本开发流程包含两个阶段,先是自然语言模型的基座训练,然后是理解人类意图的对话能力训练两个阶段。在对话能力训练阶段,OpenAI收集了至少几十万条人类指令,让各行各业的专业标注员写出指令回复,再将它们输入模型基座,以帮助ChatGPT逐步理解各种指令。复旦MOSS团队则采用不同的技术路线,通过让MOSS和人类以及其他对话模型都进行交互,显著提升了学习效率和研发效率,短时间内就高效完成了对话能力训练。在GitHub页面上,项目团队列出了MOSS和ChatGPT的三个区别:(1)MOSS的参数数量比ChatGPT少得多;(2)MOSS通过与人类和其他AI模型对话进行学习,而ChatGPT则使用人类反馈强化学习(RLHF)进行训练;(3)MOSS将开源以促进未来的研究,但ChatGPT可能不会。MOSS由复旦大学自然语言处理实验室邱锡鹏教授团队开发。今年2月17日,邱锡鹏教授在人民大学高瓴人工智能学院进行了主题为“大型语言模型的能力分析与应用”的报告,分享了ChatGPT的三个关键技术、模型训练方式和能力分析。据邱锡鹏介绍,MOSS与ChatGPT的差距主要在自然语言模型基座预训练阶段。MOSS的参数量比ChatGPT小一个数量级,在任务完成度和知识储备量上,还有很大提升空间。▲复旦大学教授邱锡鹏简介MOSS发布没多久,服务器就被挤崩了。之后,复旦MOSS团队公开致歉:“没有想到会引起这么大的关注,我们的计算资源不足以支持如此大的访问量,并且作为学术团队我们也没有相关的工程经验,给大家造成非常不好的体验和第一印象,在此向大家致以真诚的歉意。”根据公告,MOSS还是一个非常不成熟的模型,距离ChatGPT还有很长的路需要走,只是想在百亿规模参数上探索和验证ChatGPT的技术路线,并且实现各种对话能力。一个学术研究实验室无法做出和ChatGPT能力相近的模型。昨天MOSS模型登上热搜后,因为跟《流浪地球2》电影中的人工智能MOSS同名而卷入舆论风波。社交平台上充斥着谩骂声,不少网友认为取名不妥,斥责其“碰瓷”、“炒作”、“蹭热度”、“吃相难看”、“技术不够名字来凑”……该团队也在公告中解释了同名的原因,表示“能力不能相提并论”,“作者们都希望使用自己喜欢的影视角色名称命名自己的模型”,“训练完成第一代模型的时候,正值流浪地球2热映,片中MOSS给团队每个人都留下了深刻的印象”,想以此表示“对最前沿AI模型的不懈追求”。但一些网友并不买账,吐槽说既然不成熟,为什么要取名MOSS,不应该先叫550A吗?今日早盘,受复旦MOSS项目热度驱动,风马牛不相及的复旦复华一字涨停。复旦复华对投资者回应称:MOSS为复旦大学研发,与本公司无关。目前公司的主营业务为生物医药、软件和园区三大板块,未参与MOSS研发。▲复旦复华一字涨停近期资本市场持续火爆的ChatGPT概念股开始逐步回调。部分ChatGPT概念股继续上涨。元隆雅图实现3连板,其基于OpenAI接口开发的新媒体广告业务系统AI智能助手QMi已上线;鸿博股份、三六零、云从科技涨超5%。▲同花顺部分ChatGPT概念股涨势据悉,MOSS研发项目得到了上海人工智能实验室的支持。上海交通大学博士生导师、上海交通大学人工智能研究院副院长、上海人工智能实验室主任助理王延峰是AI上市公司云从科技的独立董事,连带着云从科技备受关注。智东西从云从科技方面获得消息,云从科技并未与上海人工智能实验室合作参与复旦MOSS项目。部分ChatGPT概念股则呈回落趋势,其中海天瑞声跌超10%。▲同花顺部分ChatGPT概念股跌势适逢ChatGPT概念正火,复旦团队的MOSS刚发布就受到很高关注,但因其技术水平与《流浪地球2》中的MOSS相差甚远,遭网友质疑“蹭热度”。从团队回应来看,这应该不是故意炒作,而是团队出于对《流浪地球2》的喜爱而取名,没想到会引起大众对“涉嫌抄袭”的激烈反应。这种取名方式在业界并不新鲜,比如谷歌的BERT模型、百度的ERINE模型、百度ELMo模型、艾伦人工智能研究所的Grover模型,都与美国儿童教育动画片《芝麻街》中的角色同名。▲一些与《芝麻街》角色同名的AI模型内测网页被挤崩,足见大家对中国版ChatGPT的期待。但路要一步一步的走。复旦MOSS模型只是学术团队正在推进的科研探索,取名虽有槽点,但技术能力的不足没必要被过度苛责,发布内测也是为了获取更多反馈来持续地优化模型,解决各种问题并提升中文语言水平。正如该团队在公告中写的,中国版ChatGPT的诞生,还需要中国全体AI从业者的努力,也更需要不断和人交互以提高能力。不久之前,前搜狗CEO王小川曾在发微博评论:“OpenAI的成功,首先是技术理想主义的胜利。中国需要自己的OpenAI,就需要技术理想主义。大厂受限于自己的业务牵引,追逐资本热点的创业公司更动作变形。不止如此,这种理想主义还需要有爱国之心、商业智慧和学术尊重去获得政府支持、推动企业联盟和学术界协同。我相信中国能诞生自己的OpenAI。”附一张ChatGPT对于“复旦团队发布国内首个类ChatGPT模型MOSS,将为中国大型语言模型的探索和应用带来哪些影响”问题的回答截图:举报/反馈
多家公司拟将ChatGPT融入虚拟数字人 市场人士:虚拟数字人有望迎来更大发展机遇|数字人
多家公司拟将员工辞职,多家公司拟将破产清算,几家企业拟采用发起设立方式设立一家股份有限公司,多家公司合并成一家公司【多家公司拟将ChatGPT融入虚拟数字人 市场人士:虚拟数字人有望迎来更大发展机遇】财联社2月18日电,近日,多家上市公司宣布,要将ChatGPT与公司虚拟数字人融合,研发出更加智能化、拟人化的虚拟数字人。中信建投研报认为,生成式AI算法的突破,使得AIGC(人工智能生成内容)进入应用爆发期,创造出巨大的经济价值。多位市场人士预测,虚拟数字人乘着ChatGPT的东风,有望迎来更大发展机遇。 特别声明:以上文章内容仅代表作者本人观点,不代表新浪网观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与新浪网联系。
版权声明:除非特别标注原创,其它均来自互联网,转载时请以链接形式注明文章出处。