复旦大学研发的MOSS距离ChatGPT还有多远？
热门文章
0
mse复旦,复旦大学模仿各国,复旦micro,复旦fist
科技日报报道 最近上热搜的MOSS，不是《流浪地球2》中量子计算机550W给自己起的新名字，而是复旦大学计算机科学技术学院教授邱锡鹏团队最新发布的国内第一个对话式大型语言模型，也被称作中国版ChatGPT。2月20日，MOSS悄然上线，邱锡鹏团队发布至公开平台(https://moss.fastnlp.top/)，邀公众参与内测。但是由于瞬时访问火爆，计算资源无法支撑，内测窗口已暂时关闭。悄然上线，又匆匆关闭，MOSS这一“快闪”的举动，让它的亮相饱受争议。科技日报记者在浏览器上输入公开平台的网址，其中对MOSS这样介绍：一种像ChatGPT的对话语言模型。MOSS能够按照用户的指示执行各种自然语言任务，包括问答、生成文本、总结文本、生成代码等。MOSS还能够挑战不正确的前提，并且拒绝不适当的请求。那么相对于美国OpenAI的ChatGPT，中国的MOSS有何特别之处呢？记者在主页看到了这样的介绍：MOSS和ChatGPT的区别――如MOSS的参数量比ChatGPT少得多；MOSS通过与人类和其他AI模型交谈来学习，而ChatGPT是使用来自人类反馈的强化学习(RLHF)进行培训；MOSS将是开源的，以促进未来的研究，但ChatGPT可能不是这样。据介绍，MOSS开发的基本步骤与ChatGPT一样，包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。作为MOSS主要作者之一，邱锡鹏表示：“MOSS与ChatGPT的差距主要在自然语言模型基座预训练这个阶段。MOSS的参数量比ChatGPT小一个数量级，在任务完成度和知识储备量上，还有很大提升空间。”ChatGPT语言模型的参数量高达1750亿，而在它问世前，世界上最大的语言模型是微软开发的Turing-NLG，其参数量为170亿。自去年11月30日正式发布以来，ChatGPT上线5天，注册用户就突破百万。目前，其用户规模已达到1亿，成为互联网发展史上用户增长最快的消费级应用。在关闭内测之后，MOSS官网发布公告称，MOSS还是一个非常不成熟的模型，距离ChatGPT还有很长的路要走。“我们是一个进行学术研究的实验室，无法做出和ChatGPT能力相近的模型。”科研团队相关负责人指出，当前版本的MOSS表现不够稳定，部分回答或存在事实差错、逻辑不顺等问题。不仅如此，MOSS的英文回答水平较中文回答水平更高，这主要受到其模型基座的单词收录量影响，MOSS学习了3000多亿个英文单词，但中文词语只学了约300亿个。复旦大学计算机科学技术学院教授张奇是推出MOSS的复旦大学NLP实验室核心成员之一。对于ChatGPT背后模型所拥有的1750亿的参数规模，他在一次公开讨论中表示，学校这类机构很难去完成，目前百亿级的规模都已经非常困难。按照ChatGPT目前开源的最简单复现版本、最便宜模式去计算，要做到1750亿的参数规模，需要大概6000万元的硬件成本，同时运算3.5个月。这还是所有事情都做对的情况，如中间有参数调整，或者想加速训练过程，就需要更高规模的投资。归根到底还是研发投入的问题。而除了学术界，国内科技企业也纷纷摩拳擦掌开发自己的ChatGPT：原美团联合创始人王慧文近日明确表示，要“组队拥抱新时代，打造中国OpenAI”；百度此前宣布将在3月上线百度版ChatGPT――文心一言(英文名为ERNIE Bot)；阿里达摩院正在研发类ChatGPT的对话机器人，目前已开放给公司内员工测试；科大讯飞也表示，Al学习机将成为公司类ChatGPT技术率先落地的产品……《科技日报》2023年2月23日第02版
来源：AI新媒体量子位（ ID: QbitAI）作者：Pine 萧箫没想到，众人加班加点抢“中国版ChatGPT”热度时，首个国内类ChatGPT模型竟然已经发布了！砸出这个重磅消息的，不是紧锣密鼓宣传的BAT大厂，也不是直接出手几亿的投资大V，而是这段时间来一直没吭气的复旦大学。事情一出，直接引爆了一众社交媒体，不仅在微博刷出数个热搜话题，知乎更是冲上热榜第一。各路“ChatGPT爱好者”连夜赶来围观，甚至由于官网访问人数太多，服务器一度被挤爆，又上了一次热搜。这是怎么回事？原来，复旦NLP团队这个类ChatGPT模型，发布即面向公众进行内测，甚至连预告都没有：紧接着，团队又投下另一颗重磅炸弹：模型3月份就会开源代码。最关键的是模型的名字。复旦团队用了《流浪地球》里面拥有自我意识的AI――MOSS来命名这一模型，直接把消息热度推上顶峰。有网友表示，MOSS率先开放至少有一大优势，那就是“获得更多数据”：ChatGPT有一个巨大的先发优势，就是通过抢先开始公测收集大量用户数据，并且这部分数据现阶段只有人家有。 算法都是成熟且公开的算法，真正的核心其实是数据和硬件。说回模型本身。据MOSS自己介绍，它同样具备ChatGPT能实现的这些功能：问答、文本翻译、摘要总结、故事撰写、情绪分析、建议提供、代码和算法编写等。但实际测试效果又是如何，具体训练方法和效果会不会有什么差异？我们一步步来看。MOSS与ChatGPT相比效果如何？据团队介绍，MOSS与ChatGPT主要有三大差异。最主要的就是参数量的不同。MOSS模型的参数量比ChatGPT小了一个数量级。然后是训练方式的不同。虽然MOSS也是自然语言模型基座训练+理解人类意图对话能力训练，但后者的训练方式与ChatGPT采用的RLHF不同。复旦团队没有采取人工标注（指令微调）的方式来进行理解对话能力训练，而是基于与其他AI对话模型的交互来训练自己。没错，相比人类调教，MOSS直接选择和其他AI模型进行对话……最后是开放程度不同。ChatGPT背后模型目前还没有开源，但MOSS承诺会将代码开源。说了这么多，MOSS的效果具体如何？从官方给出示例来看，它问答和生成代码的能力似乎还不错。在问答环节中，让MOSS列五部科幻片，分分钟就能给出（不过，《黑镜》好像是电视剧？）：做表格的速度也非常快：在代码生成中，写个快速排序算法也没问题：但与ChatGPT相比，MOSS的实测效果究竟如何呢？知乎已经有匿名用户称已经拿到了内测资格，并实时更新了一波测试结果，我们将MOSS的回答与ChatGPT简单对比一下。第一轮，先来看看写文章的能力。例如“帮忙写一下国家自然科学基金申请，杰青那种”，MOSS回答如下：我们把问题拿给ChatGPT后，得到了这样的回答：第二轮，来看看写代码的能力。这是MOSS给出的代码实现：完整代码：for(i=1:length(mat文件中的名字)){name=mat文件中的名字[i];data={name};fprintf(‘%s,’,name);}end for这是ChatGPT给出的代码与回答：第三轮，测试一下算法题的效果。MOSS给出了一个实现思路：ChatGPT则包办了代码和具体算法实现的流程：最后一轮，再来看看做数学题的能力。不过从功能介绍来看，MOSS应该还不具备解数学题的能力，这个问题确实不一定能回答出来。ChatGPT则列了个方程解决这个问题：整体来看，MOSS虽然在算法题上表现出了一定的逻辑，但在包括写文章、做数学题等具体解决方案的提供上，还有待继续训练提升。“只是想验证ChatGPT技术路线”针对种种疑问，团队也在官网上做出了回应。首先，是MOSS与ChatGPT的差距上。团队表示，目前它还是一个非常不成熟的模型，距离ChatGPT还有很长的路需要走：我们一个实验室无法做出和ChatGPT能力相近的模型，只是想在百亿规模参数上探索和验证ChatGPT的技术路线。接下来，是针对服务器被挤爆的回应：我们没想到会引起这么大关注，计算资源不足以支持如此大访问量，向大家致以真诚的歉意。最后还有关于命名MOSS的回应：就像过去NLP领域的其他优秀模型一样，作者们都希望使用自己喜欢的影视角色名称命名自己的模型。此外，研究团队还在介绍网站中详细列出了MOSS的限制因素：训练数据中的多语言语料库有限；模型容量相对较小，不包含足够的世界知识；执行方式比较迂回，甚至不按照指示执行；可能会生产不道德或有害的内容；……总结下来，就是MOSS的回答不及ChatGPT就是因为它缺乏高质量的数据、计算资源以及模型容量。不过，有意思的是，团队表示，在这些问题里面MOSS的最大短板是中文水平不够高。具体来说，相较于英文问答能力，MOSS的中文问答水平要低很多，这也与前面提到的预训练模型学习数据量有关：它的模型基座学习了3000多亿个英文单词，而互联网上的中文网页干扰信息如广告很多，清洗难度很大，导致中文词语只学了约300亿个。目前，复旦大学NLP实验室正在加紧推进中文语料的清洗工作，清洗后的高质量中文语料也将用于下一阶段模型训练。当然，和ChatGPT相比，MOSS也不是“一无是处”（手动狗头），起码它会在3月份开源代码。而这一把也将会直接有效降低预训练语言模型的研发和应用门槛，属实是利好中小企业了，邱锡鹏教授也表示：MOSS的计算量相对不那么大，中小企业都能用起来。此外，研究团队对MOSS的“野心”似乎还不止于对话问答、写代码等这些ChatGPT拥有的功能。在这次面向公众内测的同时，团队还透露出了MOSS的下一步计划：结合复旦在人工智能和相关交叉学科的研究成果，赋予MOSS更多的能力，如绘图、语音、谱曲和教学，并加强它辅助科学家进行高效科研的能力等。研究团队MOSS是复旦大学自然语言处理实验室的成果，并且该项目还得到了上海人工智能实验室的支持。研究团队由邱锡鹏带队，其余几位均为复旦大学NLP实验室的成员。复旦大学自然语言处理实验室，是由复旦大学首席教授吴立德先生创建，是我国最早开展自然语言处理和信息检索研究的实验室之一。目前实验室已经发表了大量高水平国际期刊和会议论文，其中包括中国计算机学会推荐的A/B类国际会议和期刊论文（ACL,SIGIR,IJCAI,AAAI,NIPS,ICML等）论文150余篇。此外，复旦NLP实验室还发布了国内首家中文自然语言开源系统FudanNLP，被包括联合国教科文组织在内的国内外多家研发机构采用。邱锡鹏，复旦大学计算机科学技术学院教授，博士生导师，研究方向为自然语言处理、深度学习，发表CCF-A/B类论文70余篇。他还主持开发了开源自然语言处理工具：FudanNLP 、FastNLP，获得了学术界和产业界的广泛使用。对于复旦MOSS模型的发布，你的看法是？参考链接：[1] https://txsun1997.github.io/blogs/moss.html[2] https://www.shobserver.com/staticsg/res/html/web/newsDetail.html?id=584634[3] https://www.zhihu.com/question/585248111/answer/2903204899[4] https://xpqiu.github.io/index.html为伟大思想而生！AI+时代，互联网思想（wanging0123)，第一必读自媒体
这些年，互联网大厂们齐刷刷的对一种技术浪潮表态，一共有两次。一次是 2018 年 " 中兴事件 " 后，大厂们纷纷表示，要掌握核心技术，积极 " 造芯 "；另一次是前一段时间，ChatGPT 大火之后，大厂们的人工智能热情被点燃。一见财经注意到，就在两三天时间内，大厂们纷纷向外界透露了自己的类 ChatGPT 研发计划。2 月 7 日，百度官宣将在 3 月上线文心一言（ERNIE Bot），称公司在文心一言的底层模型 " 文心 " 系列上已布局多年，"ChatGPT 相关技术，百度都有 "。2 月 8 日，阿里巴巴一名资深技术专家爆料，阿里达摩院正在研发类 ChatGPT 的对话机器人，目前已开放给公司内员工测试。同日，科大讯飞在投资者互动平台回应称，ChatGPT 主要涉及到自然语言处理相关技术，公司在该方向技术和应用具备长期深厚的积累。2 月 9 日，腾讯对外回应称，公司目前在相关方向上已有布局，专项研究也在有序推进。短短数日，"ChatGPT 热 " 席卷了几乎所有的国内互联网大厂，好像不和 ChatGPT 沾点边，公司就不属于互联网科技公司了。但很多人发现，明确表态推出具体产品的只有百度。｜不是喊口号｜除了大厂们积极表态跟进，"ChatGPT 热 " 也烧到了资本圈， ChatGPT 热度不减，相关概念股受到资本追捧，股价涨幅较大。2 月 8 日，海天瑞声临近尾盘 20% 涨停；云从科技自 1 月 30 日以来的八个交易日内收获了三个 20% 涨停板。不过，几天之后 "ChatGPT 概念股 " 股价相继回落，原因之一是个别公司存在炒概念的情况，根本就没有实际产品。比如，自称 " 人工智能服务器领域市占率位居全球 AI 服务器市场第一 " 的浪潮信息在不到两个月的时间里股价接近翻倍，但最近面对监管机构的问询函，公司称相关应用与 ChatGPT 存在差距，存在短期内无法大规模落地行业应用的风险，且相关应用尚未产生实际收入。而该公司此前曾表示，公司于 2021 年发布的 " 源 1.0" 超大规模预训练自然语言模型，结构与 GPT-3 类似，与 GPT-3 相比参数量增加 40%，训练数据集提升 10 倍，达到 2457 亿参数。分析人士指出，要搞出中国的 ChatGPT，并不是通过喊口号就能实现的，既需要雄厚的财力、人才储备，更需要长期的技术沉淀。ChatGPT 表面上看是一款聊天机器人，但他是基于全世界最强大的大语言模型之一 GPT-3，该模型由 1750 亿个统计性联系组成，在约三分之二互联网、整个维基百科和两个大型图书数据中集中训练。从目前各公司公布的进展看，百度决心最大，而且有成型的产品，这和百度这些年在该领域的深厚技术积淀有很大关系。ChatGPT 受关注，本质上是其背后的公司 OpenAI 在 NLP（自然语言处理）技术领域获得了突破，再加上采取了通过聊天的形式来训练，获得了全球追捧。NLP 被称为 " 人工智能皇冠上的明珠 "，其实百度很早就开始 NLP 方面的研究了，在百度诞生时，百度处理用户的第一次搜索开始，NLP 技术就成为搜索技术的重要组成部分。2010 年初，百度对 NLP 的工作进行了重新梳理与规划，成立百度自然语言处理部。2013 年，百度设立深度学习研究院，连投十年，超过 1000 亿元。2018 年，百度将深度学习平台 " 飞桨 " 升级为操作系统（文心一言的支持系统），并不计成本投入人力财力。2019 年 3 月，百度提出知识增强的语义理解框架 ERNIE（文心一言的前身），在深度学习的基础上融入知识，同时具备持续学习能力，曾一举登顶全球权威数据集 GLUE 榜单。2021 年 9 月，百度发布了 PLATO-XL，这是全球首个百亿参数的对话大模型，一举超过 Facebook 的 Blender、谷歌的 Meena 和微软的 DialoGPT。现在，该模型已更新迭代至文心 ERNIE3.0，参数规模高达 2600 亿，几乎比谷歌 LaMDA（1350 亿）高了一倍，也高于 ChatGPT（1750 亿），是全球最大的中文单体模型。" 目前在国内公司中，豪不夸张的说，没有一家公司的水平接近百度。" 有业内人士指出，百度之所以敢明确表示推出文心一言，是因为已经在这个领域默默耕耘了十几年。｜需要硬实力｜ChatGPT 的背后是大语言模型，而大语言模型背后则包含底层芯片、深度学习框架、海量数据、强大的算力以及雄厚的资金实力。2 月 13 日，原美团联合创始人王慧文在朋友圈发文：5000 万美元，带资进组，不在意岗位、薪资和 title，求组队。海通证券分析师郑宏达第二天就表示："5000 万美元够干什么的？大模型训练一次就花 500 万美元，训练 10 次？" 言外之意，要搞中国的 ChatGPT，一定是非常烧钱的。其实，OpenAI 创立之初就得到了来自硅谷很多大佬在资金上的支持，比如埃隆 ・ 马斯克、彼得 ・ 泰尔、雷德 ・ 霍夫曼等，2019 年 7 月，微软还对 OpenAI 进行了 10 亿美元投资。一见财经相信，国内能拿出巨资搞中国 ChatGPT 的互联网巨头不在少数，但有钱只是第一步，搞人工智能最关键的在于算法、数据和超强的算力。360 公司董事长兼 CEO 周鸿t最近指出，拥有技术积累的企业才能搭上这辆车，" 没有在服务器、算力上投入，也没有 AI 团队的企业，宣布入局都是在蹭热度。"OpenAI 背后，有微软为其提供资金和超强算力，有 GPU 巨头英伟达提供高性能 AI 芯片，而 OpenAI 主要专注于算法和大数据模型。目前，在国内能集齐以上超能力的，放眼望去可能只有百度，百度在人工智能四层架构中有全栈布局，包括底层 AI 芯片、深度学习框架、大模型以及最上层的搜索等应用，而文心一言则位于模型层。百度的文心大模型和 OpenAI 的 GPT 模型类似，2019 年就已经推出，并且已经迭代了多代，从单一的自然语言理解延申到多模态，包括视觉、文档、文图、语音等。最新发布的 ERNIE3.0 Zeus 迭代于 ERNIE3.0，拥有千亿级参数。其已经具备智能创作等各类自然语言理解和生成能力。算法方面，百度拥有多个超算集群。百度还自研了 AI 芯片 " 昆仑 "，已在多场景实际部署。深度学习框架层面，百度飞桨平台在 2022 年底已凝聚 535 万开发者，基于飞桨创建了 67 万个模型，服务 20 万家企事业单位。数据层面，百度的搜索业务本来就积累了很多数据，其在用户需求理解方面有比较明显的优势，这些数据都能支撑 ERNIE bot（文心一言）的充分预训练，而随着 3 月文心一言上线公测，这个模型可能会被训练的更聪明。中金互联网行业首席分析师白洋最近表示："AI 的三要素包括算力、算法和数据，我们认为百度在这三项上拥有领先优势。"｜" 文心一言 " 或重塑百度｜ChatGPT 火爆初期，有人预测会革了搜索的命，谷歌内部拉响 " 红色警报 "，没几天就宣布推出名为 "Bard" 的 AI 聊天机器人。在国内，也有观点认为，百度搜索业务也可能会受影响。但深入研究发现，百度和谷歌不同，面对 ChatGPT 谷歌是被威胁者，而百度是受益者。今年以来，百度股价飙升了近 36%，而在 2 月 7 日百度官宣 " 文心一言 " 的消息时，百度股价当天收盘涨幅超过 15%，创下自去年 2 月以来的历史新高。国盛证券在研报中称，百度在人工智能端具备从芯片到应用的全栈技术布局，在自然语言处理领域的积累深厚，同时 AI 大模型在其他领域也有应用落地。分析人士指出，在 " 文心一言 " 的应用上，百度的思路有点像微软。微软除了将 ChatGPT 与 Bing 搜索结合，还将 OpenAl 的多项技术模型引入 Azure 云服务中，并在 Ofice、Teams 和安全软件中采用更多的 OpenAl 技术。中金公司在研报中预测，百度通过其生成式 AI 产品文心一言，面向 B 端提供标准化 Al 能力，助力企业智能化转型。" 百度股价弹性来自于云、AIGC 和自动驾驶等新业务，若对标 OpenAI 目前的估值 290 亿美元左右，百度的技术和商业实力不弱于 OpenAI。" 中金公司在研报中称。据了解，目前已有接近三百家企业接入文心一言 Al 能力。另外，在近期流出的一份百度内部讲话中，百度 CEO 李彦宏指出，ChatGPT 是 AI 技术发展到一定阶段后的新机会，技术已经到了临界点。百度已经宣布将为百度搜索升级 " 生成式搜索 " 能力，为用户开放式的搜索提问或定制化的信息需求 " 创作答案 "。百度最新发布的 2022 年财报显示，实现营收 1236.75 亿，净利润 206.8 亿元，同比增长 10%，其中第四季度营收 330.77 亿元，净利润 53.71 亿元，同比增长 32%。另外一个值得注意的数据是，2022 年百度核心研发费用达到 214.16 亿元，占百度核心收入比例达 22.4%，已连续九个季度超过 20%。这些年百度一直在加大技术方面的研发投入，有些技术虽然短期看不到效果，但是长远来看，成果正在显现，比如 " 文心一言 "、自动驾驶、AIGC 等都是厚积薄发的成果。有人说，在国内互联网大厂中，百度对 AI 的投入是马拉松式的，所以能做出文心一言也就不奇怪了。上一篇小鹏汽车进入 " 生死时速 "
科技日报报道 最近上热搜的MOSS，不是《流浪地球2》中量子计算机550W给自己起的新名字，而是复旦大学计算机科学技术学院教授邱锡鹏团队最新发布的国内第一个对话式大型语言模型，也被称作中国版ChatGPT。2月20日，MOSS悄然上线，邱锡鹏团队发布至公开平台(https://moss.fastnlp.top/)，邀公众参与内测。但是由于瞬时访问火爆，计算资源无法支撑，内测窗口已暂时关闭。悄然上线，又匆匆关闭，MOSS这一“快闪”的举动，让它的亮相饱受争议。科技日报记者在浏览器上输入公开平台的网址，其中对MOSS这样介绍：一种像ChatGPT的对话语言模型。MOSS能够按照用户的指示执行各种自然语言任务，包括问答、生成文本、总结文本、生成代码等。MOSS还能够挑战不正确的前提，并且拒绝不适当的请求。那么相对于美国OpenAI的ChatGPT，中国的MOSS有何特别之处呢？记者在主页看到了这样的介绍：MOSS和ChatGPT的区别――如MOSS的参数量比ChatGPT少得多；MOSS通过与人类和其他AI模型交谈来学习，而ChatGPT是使用来自人类反馈的强化学习(RLHF)进行培训；MOSS将是开源的，以促进未来的研究，但ChatGPT可能不是这样。据介绍，MOSS开发的基本步骤与ChatGPT一样，包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。作为MOSS主要作者之一，邱锡鹏表示：“MOSS与ChatGPT的差距主要在自然语言模型基座预训练这个阶段。MOSS的参数量比ChatGPT小一个数量级，在任务完成度和知识储备量上，还有很大提升空间。”ChatGPT语言模型的参数量高达1750亿，而在它问世前，世界上最大的语言模型是微软开发的Turing-NLG，其参数量为170亿。自去年11月30日正式发布以来，ChatGPT上线5天，注册用户就突破百万。目前，其用户规模已达到1亿，成为互联网发展史上用户增长最快的消费级应用。在关闭内测之后，MOSS官网发布公告称，MOSS还是一个非常不成熟的模型，距离ChatGPT还有很长的路要走。“我们是一个进行学术研究的实验室，无法做出和ChatGPT能力相近的模型。”科研团队相关负责人指出，当前版本的MOSS表现不够稳定，部分回答或存在事实差错、逻辑不顺等问题。不仅如此，MOSS的英文回答水平较中文回答水平更高，这主要受到其模型基座的单词收录量影响，MOSS学习了3000多亿个英文单词，但中文词语只学了约300亿个。复旦大学计算机科学技术学院教授张奇是推出MOSS的复旦大学NLP实验室核心成员之一。对于ChatGPT背后模型所拥有的1750亿的参数规模，他在一次公开讨论中表示，学校这类机构很难去完成，目前百亿级的规模都已经非常困难。按照ChatGPT目前开源的最简单复现版本、最便宜模式去计算，要做到1750亿的参数规模，需要大概6000万元的硬件成本，同时运算3.5个月。这还是所有事情都做对的情况，如中间有参数调整，或者想加速训练过程，就需要更高规模的投资。归根到底还是研发投入的问题。而除了学术界，国内科技企业也纷纷摩拳擦掌开发自己的ChatGPT：原美团联合创始人王慧文近日明确表示，要“组队拥抱新时代，打造中国OpenAI”；百度此前宣布将在3月上线百度版ChatGPT――文心一言(英文名为ERNIE Bot)；阿里达摩院正在研发类ChatGPT的对话机器人，目前已开放给公司内员工测试；科大讯飞也表示，Al学习机将成为公司类ChatGPT技术率先落地的产品……《科技日报》2023年2月23日第02版
复旦抢先发布！国内首个类ChatGPT模型！已开放内测申请，代码将于3月发布
复旦 院系,复旦高校,复旦规模,复旦创立来源：AI新媒体量子位（ ID: QbitAI）作者：Pine 萧箫没想到，众人加班加点抢“中国版ChatGPT”热度时，首个国内类ChatGPT模型竟然已经发布了！砸出这个重磅消息的，不是紧锣密鼓宣传的BAT大厂，也不是直接出手几亿的投资大V，而是这段时间来一直没吭气的复旦大学。事情一出，直接引爆了一众社交媒体，不仅在微博刷出数个热搜话题，知乎更是冲上热榜第一。各路“ChatGPT爱好者”连夜赶来围观，甚至由于官网访问人数太多，服务器一度被挤爆，又上了一次热搜。这是怎么回事？原来，复旦NLP团队这个类ChatGPT模型，发布即面向公众进行内测，甚至连预告都没有：紧接着，团队又投下另一颗重磅炸弹：模型3月份就会开源代码。最关键的是模型的名字。复旦团队用了《流浪地球》里面拥有自我意识的AI――MOSS来命名这一模型，直接把消息热度推上顶峰。有网友表示，MOSS率先开放至少有一大优势，那就是“获得更多数据”：ChatGPT有一个巨大的先发优势，就是通过抢先开始公测收集大量用户数据，并且这部分数据现阶段只有人家有。 算法都是成熟且公开的算法，真正的核心其实是数据和硬件。说回模型本身。据MOSS自己介绍，它同样具备ChatGPT能实现的这些功能：问答、文本翻译、摘要总结、故事撰写、情绪分析、建议提供、代码和算法编写等。但实际测试效果又是如何，具体训练方法和效果会不会有什么差异？我们一步步来看。MOSS与ChatGPT相比效果如何？据团队介绍，MOSS与ChatGPT主要有三大差异。最主要的就是参数量的不同。MOSS模型的参数量比ChatGPT小了一个数量级。然后是训练方式的不同。虽然MOSS也是自然语言模型基座训练+理解人类意图对话能力训练，但后者的训练方式与ChatGPT采用的RLHF不同。复旦团队没有采取人工标注（指令微调）的方式来进行理解对话能力训练，而是基于与其他AI对话模型的交互来训练自己。没错，相比人类调教，MOSS直接选择和其他AI模型进行对话……最后是开放程度不同。ChatGPT背后模型目前还没有开源，但MOSS承诺会将代码开源。说了这么多，MOSS的效果具体如何？从官方给出示例来看，它问答和生成代码的能力似乎还不错。在问答环节中，让MOSS列五部科幻片，分分钟就能给出（不过，《黑镜》好像是电视剧？）：做表格的速度也非常快：在代码生成中，写个快速排序算法也没问题：但与ChatGPT相比，MOSS的实测效果究竟如何呢？知乎已经有匿名用户称已经拿到了内测资格，并实时更新了一波测试结果，我们将MOSS的回答与ChatGPT简单对比一下。第一轮，先来看看写文章的能力。例如“帮忙写一下国家自然科学基金申请，杰青那种”，MOSS回答如下：我们把问题拿给ChatGPT后，得到了这样的回答：第二轮，来看看写代码的能力。这是MOSS给出的代码实现：完整代码：for(i=1:length(mat文件中的名字)){name=mat文件中的名字[i];data={name};fprintf(‘%s,’,name);}end for这是ChatGPT给出的代码与回答：第三轮，测试一下算法题的效果。MOSS给出了一个实现思路：ChatGPT则包办了代码和具体算法实现的流程：最后一轮，再来看看做数学题的能力。不过从功能介绍来看，MOSS应该还不具备解数学题的能力，这个问题确实不一定能回答出来。ChatGPT则列了个方程解决这个问题：整体来看，MOSS虽然在算法题上表现出了一定的逻辑，但在包括写文章、做数学题等具体解决方案的提供上，还有待继续训练提升。“只是想验证ChatGPT技术路线”针对种种疑问，团队也在官网上做出了回应。首先，是MOSS与ChatGPT的差距上。团队表示，目前它还是一个非常不成熟的模型，距离ChatGPT还有很长的路需要走：我们一个实验室无法做出和ChatGPT能力相近的模型，只是想在百亿规模参数上探索和验证ChatGPT的技术路线。接下来，是针对服务器被挤爆的回应：我们没想到会引起这么大关注，计算资源不足以支持如此大访问量，向大家致以真诚的歉意。最后还有关于命名MOSS的回应：就像过去NLP领域的其他优秀模型一样，作者们都希望使用自己喜欢的影视角色名称命名自己的模型。此外，研究团队还在介绍网站中详细列出了MOSS的限制因素：训练数据中的多语言语料库有限；模型容量相对较小，不包含足够的世界知识；执行方式比较迂回，甚至不按照指示执行；可能会生产不道德或有害的内容；……总结下来，就是MOSS的回答不及ChatGPT就是因为它缺乏高质量的数据、计算资源以及模型容量。不过，有意思的是，团队表示，在这些问题里面MOSS的最大短板是中文水平不够高。具体来说，相较于英文问答能力，MOSS的中文问答水平要低很多，这也与前面提到的预训练模型学习数据量有关：它的模型基座学习了3000多亿个英文单词，而互联网上的中文网页干扰信息如广告很多，清洗难度很大，导致中文词语只学了约300亿个。目前，复旦大学NLP实验室正在加紧推进中文语料的清洗工作，清洗后的高质量中文语料也将用于下一阶段模型训练。当然，和ChatGPT相比，MOSS也不是“一无是处”（手动狗头），起码它会在3月份开源代码。而这一把也将会直接有效降低预训练语言模型的研发和应用门槛，属实是利好中小企业了，邱锡鹏教授也表示：MOSS的计算量相对不那么大，中小企业都能用起来。此外，研究团队对MOSS的“野心”似乎还不止于对话问答、写代码等这些ChatGPT拥有的功能。在这次面向公众内测的同时，团队还透露出了MOSS的下一步计划：结合复旦在人工智能和相关交叉学科的研究成果，赋予MOSS更多的能力，如绘图、语音、谱曲和教学，并加强它辅助科学家进行高效科研的能力等。研究团队MOSS是复旦大学自然语言处理实验室的成果，并且该项目还得到了上海人工智能实验室的支持。研究团队由邱锡鹏带队，其余几位均为复旦大学NLP实验室的成员。复旦大学自然语言处理实验室，是由复旦大学首席教授吴立德先生创建，是我国最早开展自然语言处理和信息检索研究的实验室之一。目前实验室已经发表了大量高水平国际期刊和会议论文，其中包括中国计算机学会推荐的A/B类国际会议和期刊论文（ACL,SIGIR,IJCAI,AAAI,NIPS,ICML等）论文150余篇。此外，复旦NLP实验室还发布了国内首家中文自然语言开源系统FudanNLP，被包括联合国教科文组织在内的国内外多家研发机构采用。邱锡鹏，复旦大学计算机科学技术学院教授，博士生导师，研究方向为自然语言处理、深度学习，发表CCF-A/B类论文70余篇。他还主持开发了开源自然语言处理工具：FudanNLP 、FastNLP，获得了学术界和产业界的广泛使用。对于复旦MOSS模型的发布，你的看法是？参考链接：[1] https://txsun1997.github.io/blogs/moss.html[2] https://www.shobserver.com/staticsg/res/html/web/newsDetail.html?id=584634[3] https://www.zhihu.com/question/585248111/answer/2903204899[4] https://xpqiu.github.io/index.html为伟大思想而生！AI+时代，互联网思想（wanging0123)，第一必读自媒体
大厂齐刷刷跟进 ChatGPT，为何只有百度做出了文心一言？
这些年，互联网大厂们齐刷刷的对一种技术浪潮表态，一共有两次。一次是 2018 年 " 中兴事件 " 后，大厂们纷纷表示，要掌握核心技术，积极 " 造芯 "；另一次是前一段时间，ChatGPT 大火之后，大厂们的人工智能热情被点燃。一见财经注意到，就在两三天时间内，大厂们纷纷向外界透露了自己的类 ChatGPT 研发计划。2 月 7 日，百度官宣将在 3 月上线文心一言（ERNIE Bot），称公司在文心一言的底层模型 " 文心 " 系列上已布局多年，"ChatGPT 相关技术，百度都有 "。2 月 8 日，阿里巴巴一名资深技术专家爆料，阿里达摩院正在研发类 ChatGPT 的对话机器人，目前已开放给公司内员工测试。同日，科大讯飞在投资者互动平台回应称，ChatGPT 主要涉及到自然语言处理相关技术，公司在该方向技术和应用具备长期深厚的积累。2 月 9 日，腾讯对外回应称，公司目前在相关方向上已有布局，专项研究也在有序推进。短短数日，"ChatGPT 热 " 席卷了几乎所有的国内互联网大厂，好像不和 ChatGPT 沾点边，公司就不属于互联网科技公司了。但很多人发现，明确表态推出具体产品的只有百度。｜不是喊口号｜除了大厂们积极表态跟进，"ChatGPT 热 " 也烧到了资本圈， ChatGPT 热度不减，相关概念股受到资本追捧，股价涨幅较大。2 月 8 日，海天瑞声临近尾盘 20% 涨停；云从科技自 1 月 30 日以来的八个交易日内收获了三个 20% 涨停板。不过，几天之后 "ChatGPT 概念股 " 股价相继回落，原因之一是个别公司存在炒概念的情况，根本就没有实际产品。比如，自称 " 人工智能服务器领域市占率位居全球 AI 服务器市场第一 " 的浪潮信息在不到两个月的时间里股价接近翻倍，但最近面对监管机构的问询函，公司称相关应用与 ChatGPT 存在差距，存在短期内无法大规模落地行业应用的风险，且相关应用尚未产生实际收入。而该公司此前曾表示，公司于 2021 年发布的 " 源 1.0" 超大规模预训练自然语言模型，结构与 GPT-3 类似，与 GPT-3 相比参数量增加 40%，训练数据集提升 10 倍，达到 2457 亿参数。分析人士指出，要搞出中国的 ChatGPT，并不是通过喊口号就能实现的，既需要雄厚的财力、人才储备，更需要长期的技术沉淀。ChatGPT 表面上看是一款聊天机器人，但他是基于全世界最强大的大语言模型之一 GPT-3，该模型由 1750 亿个统计性联系组成，在约三分之二互联网、整个维基百科和两个大型图书数据中集中训练。从目前各公司公布的进展看，百度决心最大，而且有成型的产品，这和百度这些年在该领域的深厚技术积淀有很大关系。ChatGPT 受关注，本质上是其背后的公司 OpenAI 在 NLP（自然语言处理）技术领域获得了突破，再加上采取了通过聊天的形式来训练，获得了全球追捧。NLP 被称为 " 人工智能皇冠上的明珠 "，其实百度很早就开始 NLP 方面的研究了，在百度诞生时，百度处理用户的第一次搜索开始，NLP 技术就成为搜索技术的重要组成部分。2010 年初，百度对 NLP 的工作进行了重新梳理与规划，成立百度自然语言处理部。2013 年，百度设立深度学习研究院，连投十年，超过 1000 亿元。2018 年，百度将深度学习平台 " 飞桨 " 升级为操作系统（文心一言的支持系统），并不计成本投入人力财力。2019 年 3 月，百度提出知识增强的语义理解框架 ERNIE（文心一言的前身），在深度学习的基础上融入知识，同时具备持续学习能力，曾一举登顶全球权威数据集 GLUE 榜单。2021 年 9 月，百度发布了 PLATO-XL，这是全球首个百亿参数的对话大模型，一举超过 Facebook 的 Blender、谷歌的 Meena 和微软的 DialoGPT。现在，该模型已更新迭代至文心 ERNIE3.0，参数规模高达 2600 亿，几乎比谷歌 LaMDA（1350 亿）高了一倍，也高于 ChatGPT（1750 亿），是全球最大的中文单体模型。" 目前在国内公司中，豪不夸张的说，没有一家公司的水平接近百度。" 有业内人士指出，百度之所以敢明确表示推出文心一言，是因为已经在这个领域默默耕耘了十几年。｜需要硬实力｜ChatGPT 的背后是大语言模型，而大语言模型背后则包含底层芯片、深度学习框架、海量数据、强大的算力以及雄厚的资金实力。2 月 13 日，原美团联合创始人王慧文在朋友圈发文：5000 万美元，带资进组，不在意岗位、薪资和 title，求组队。海通证券分析师郑宏达第二天就表示："5000 万美元够干什么的？大模型训练一次就花 500 万美元，训练 10 次？" 言外之意，要搞中国的 ChatGPT，一定是非常烧钱的。其实，OpenAI 创立之初就得到了来自硅谷很多大佬在资金上的支持，比如埃隆 ・ 马斯克、彼得 ・ 泰尔、雷德 ・ 霍夫曼等，2019 年 7 月，微软还对 OpenAI 进行了 10 亿美元投资。一见财经相信，国内能拿出巨资搞中国 ChatGPT 的互联网巨头不在少数，但有钱只是第一步，搞人工智能最关键的在于算法、数据和超强的算力。360 公司董事长兼 CEO 周鸿t最近指出，拥有技术积累的企业才能搭上这辆车，" 没有在服务器、算力上投入，也没有 AI 团队的企业，宣布入局都是在蹭热度。"OpenAI 背后，有微软为其提供资金和超强算力，有 GPU 巨头英伟达提供高性能 AI 芯片，而 OpenAI 主要专注于算法和大数据模型。目前，在国内能集齐以上超能力的，放眼望去可能只有百度，百度在人工智能四层架构中有全栈布局，包括底层 AI 芯片、深度学习框架、大模型以及最上层的搜索等应用，而文心一言则位于模型层。百度的文心大模型和 OpenAI 的 GPT 模型类似，2019 年就已经推出，并且已经迭代了多代，从单一的自然语言理解延申到多模态，包括视觉、文档、文图、语音等。最新发布的 ERNIE3.0 Zeus 迭代于 ERNIE3.0，拥有千亿级参数。其已经具备智能创作等各类自然语言理解和生成能力。算法方面，百度拥有多个超算集群。百度还自研了 AI 芯片 " 昆仑 "，已在多场景实际部署。深度学习框架层面，百度飞桨平台在 2022 年底已凝聚 535 万开发者，基于飞桨创建了 67 万个模型，服务 20 万家企事业单位。数据层面，百度的搜索业务本来就积累了很多数据，其在用户需求理解方面有比较明显的优势，这些数据都能支撑 ERNIE bot（文心一言）的充分预训练，而随着 3 月文心一言上线公测，这个模型可能会被训练的更聪明。中金互联网行业首席分析师白洋最近表示："AI 的三要素包括算力、算法和数据，我们认为百度在这三项上拥有领先优势。"｜" 文心一言 " 或重塑百度｜ChatGPT 火爆初期，有人预测会革了搜索的命，谷歌内部拉响 " 红色警报 "，没几天就宣布推出名为 "Bard" 的 AI 聊天机器人。在国内，也有观点认为，百度搜索业务也可能会受影响。但深入研究发现，百度和谷歌不同，面对 ChatGPT 谷歌是被威胁者，而百度是受益者。今年以来，百度股价飙升了近 36%，而在 2 月 7 日百度官宣 " 文心一言 " 的消息时，百度股价当天收盘涨幅超过 15%，创下自去年 2 月以来的历史新高。国盛证券在研报中称，百度在人工智能端具备从芯片到应用的全栈技术布局，在自然语言处理领域的积累深厚，同时 AI 大模型在其他领域也有应用落地。分析人士指出，在 " 文心一言 " 的应用上，百度的思路有点像微软。微软除了将 ChatGPT 与 Bing 搜索结合，还将 OpenAl 的多项技术模型引入 Azure 云服务中，并在 Ofice、Teams 和安全软件中采用更多的 OpenAl 技术。中金公司在研报中预测，百度通过其生成式 AI 产品文心一言，面向 B 端提供标准化 Al 能力，助力企业智能化转型。" 百度股价弹性来自于云、AIGC 和自动驾驶等新业务，若对标 OpenAI 目前的估值 290 亿美元左右，百度的技术和商业实力不弱于 OpenAI。" 中金公司在研报中称。据了解，目前已有接近三百家企业接入文心一言 Al 能力。另外，在近期流出的一份百度内部讲话中，百度 CEO 李彦宏指出，ChatGPT 是 AI 技术发展到一定阶段后的新机会，技术已经到了临界点。百度已经宣布将为百度搜索升级 " 生成式搜索 " 能力，为用户开放式的搜索提问或定制化的信息需求 " 创作答案 "。百度最新发布的 2022 年财报显示，实现营收 1236.75 亿，净利润 206.8 亿元，同比增长 10%，其中第四季度营收 330.77 亿元，净利润 53.71 亿元，同比增长 32%。另外一个值得注意的数据是，2022 年百度核心研发费用达到 214.16 亿元，占百度核心收入比例达 22.4%，已连续九个季度超过 20%。这些年百度一直在加大技术方面的研发投入，有些技术虽然短期看不到效果，但是长远来看，成果正在显现，比如 " 文心一言 "、自动驾驶、AIGC 等都是厚积薄发的成果。有人说，在国内互联网大厂中，百度对 AI 的投入是马拉松式的，所以能做出文心一言也就不奇怪了。上一篇小鹏汽车进入 " 生死时速 "
版权声明：除非特别标注原创，其它均来自互联网，转载时请以链接形式注明文章出处。
