转:ChatGPT一个新时代正拉开序幕:它将为世界和中国带来什么?乔布斯颠覆了手机行业。马斯克改变了电动车行业和火箭运载...
淘宝搜:【天降红包222】领超级红包,京东搜:【天降红包222】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】
转:ChatGPT一个新时代正拉开序幕:它将为世界和中国带来什么?
乔布斯颠覆了手机行业。马斯克改变了电动车行业和火箭运载产业。俄罗斯人Ilya Sutskever 帮助美国正在改变互联网产业。这个移民美国的年轻人创造了一个互联网新物种ChatGPT,宣示着一个新时代正拉开序幕。ChatGpt不仅仅止于写代码调Bug,有人甚至将ChatGPT比喻为“搜索引擎+社交软件”的结合体,能够在实时互动的过程中获得问题的答案,ChatGPT所带来的搜索引擎新范式也让其在寻找答案、解决问题的效率上超越了百度、谷歌等平台。ChatGPT目前还处在早期发展阶段,数据的收集还仅限于2021年之前的资料,想要取代谷歌成为下一代智能搜索引擎ChatGPT还有很长的一段路。据悉,微软将向人工智能工具ChatGPT的创建者OpenAI投资100亿美元。中国在数据分析式的AI领域并不落后,甚至领先于美国,但在生成式的AI领域远远落后于美国。在高科技和互联网领域,有句话很经典:美国负责预测,中国负责实现。在生成式AI上美国新开辟的这个领域,中国已经落下很远。最近A股这个概念炒的火热,虽然离题万里,但只要是新概念,金融市场都会热好几次,第一波结束了,很快就会有下一波的。这是2023年又一个从零到一的行业,只是又一个西风东渐,谁先搞出来,谁会被爆炒。网页链接阿里确认也在研发,中国公司快速跟进类ChatGPT技术
阿里研发了什么,阿里研发人员,阿里的研发部门,阿里 研发(编辑/吕栋)
中国公司正快速跟进类ChatGPT技术。
2月8日晚间,市场上传出阿里巴巴一名技术专家的爆料,称阿里达摩院正在研发类ChatGPT的对话机器人,目前已开放给公司内员工测试。从曝光截图来看,阿里巴巴可能将AI大模型技术与钉钉生产力工具结合。
受此消息影响,阿里巴巴美股盘前短线拉升,一度涨超4%,但开盘后高开低走,截至发稿跌近1%。
观察者网就此事联系阿里方面,对方表示:确实在研发中,目前处于内测阶段。
市场上同时有消息显示,曾有钉钉用户尝试在钉钉机器人中接入OpenAI开发的ChatGPT,测试后发现钉钉机器人不仅可以接入ChatGPT,开放的API接口还可以接入更多机器人,甚至是用户自己开发的机器人。
不过,目前尚不清楚阿里内部研发的聊天机器人与钉钉将以怎样的方式结合,而且该款产品的命名似乎还没有最终确定。
阿里内部人士向观察者网提供的测试图片
阿里并不是首个跟进类ChatGPT技术的中国公司。
同样在2月8日晚间,百度CEO李彦宏2023年一季度OKR关键任务被曝光,内容为“引领搜索体验的代际变革”。此前一天,百度正式对外确认将发布类ChatGPT项目“文心一言”(ERNIE Bot)。
据接近百度的人士透露,此次“文心一言”落地,首站将直接接入百度搜索,目前“文心一言”的相关功能已陆续在百度搜索内上线或内测,包括多答案回复、智能生成等。
百度港股在昨天(2月7日)大涨15%后,今天跌超3%,百度美股截至发稿跌近5%。
在阿里确认研发类ChatGPT的对话机器人后,BAT中只有腾讯尚未披露相关项目。
不过,一位知情人士告诉观察者网,腾讯内部的研究院已推出AIGC(AI生成内容)报告,业务侧也在跟进,但按腾讯的风格,对外官宣还是要等业务侧有落地的东西出来。
从市场信息来看,腾讯确实也拥有一些ChatGPT相关技术储备,例如AI大模型、机器学习算法以及NLP(自然语言处理)等。在业务进展上,腾讯混元AI大模型团队已推出万亿级别中文NLP预训练模型HunYuan-NLP-1T,该模型已落地于腾讯广告、搜索、对话等内部产品。
众所周知,自2022年底以来,以ChatGPT为代表的AIGC技术持续成为市场焦点,多模态预训练大模型、生成式AI等技术也被达摩院列为2023年十大科技趋势。
达摩院在报告中指出,基于多模态的预训练大模型将实现图文音统一知识表示,成为人工智能基础设施。生产式AI进入应用爆发期,将极大推动数字内容生产与创造。
随着AIGC概念火热,除了BAT外,网易、三六零、科大讯飞等公司都或多或少透露了相关研发信息。
例如,科大讯飞在投资者互动平台透露,ChatGPT主要涉及到自然语言处理相关技术,属于认知智能领域的应用之一,科大讯飞在该方向技术和应用具备长期积累。
科大讯飞还提到,该公司于2022年12月份进一步启动生成式预训练大模型任务攻关,科大讯飞AI学习机将成为该项技术率先落地的产品,于今年5月进行发布。
观察者网注意到,科大讯飞股价自1月中旬以来已反弹40%,但较2021年的历史高点仍有30%的跌幅。
2月7日,数字安全公司三六零透露,该公司计划尽快推出类ChatGPT技术的demo(试用)版产品。与此同时,网易有道AI技术团队也被传出已投入到ChatGPT同源技术在教育场景的落地研发中。
在连续两天涨停后,三六零披露股价异动公告,称该公司的类ChatGPT技术的各项指标只能达到略强于GPT-2的水平,与当前的ChatGPT相比尚有代差的落后。该公司何时推出基于类ChatGPT技术的demo版产品及其实际效果如何,均存在重大不确定性。
事实上,随着越来越多的公司披露相关信息,普通投资者很难分辨出哪些公司是有“真材实料”,哪些是在蹭热点炒作股价。不可否认,ChatGPT是AI深度学习领域的惊艳一笔,其快速的反应能力和高超对话水平,让大家看到了AI应用的无限潜力。但从投融资角度来看,对于超出一般人认知范畴的新科技、新趋势,更应疏理好兴奋的情绪并理性冷静地看待。
实事求是地说,目前AIGC只能基于现有信息形成综合,就像自动驾驶一样,只有在单纯的测试环境下,才能让AI独立上岗;其次,相关概念股的“含AI量”也存在较大水分,有部分公司是处于研发的初级阶段,从模型的规模到效果,距离商业化还有很大探索空间,更有部分公司仅是参股子公司掌握了少量相关算法技术,依旧被划入“概念股”范畴。
2月8日,有证券行业媒体发表评论文章称,仰望星空也要脚踏实地,新技术的突破固然值得欣喜,但投资者也要擦亮眼睛,尤其是概念股股价狂飙之下,切莫盲目“上头”跟风。
不止证券媒体在发声,监管机构也在行动。2月8日,ChatGPT热门股海天瑞声、云从科技均因有关事项收到上交所监管工作函。此前一天汉王科技收关注函。
本文系观察者网独家稿件,未经授权,不得转载。
首个“开源ChatGPT”来了:基于谷歌5400亿参数大模型
开源百度百科,新开源官网,开源中国官网,新开源公司明敏 发自 凹非寺
量子位 | 公众号 QbitAI
就说程序员的手速有多快吧,首个开源ChatGPT项目已经出现了!
基于谷歌语言大模型PaLM架构,以及使用从人类反馈中强化学习的方法(RLHF),华人小哥Phillip Wang复刻了一个ChatGPT出来。
项目GitHub星已经超过1.7k了,而且还在一路飙升ing。
不过一反常态的是,网友们看到“开源ChatGPT”却没有火速开冲,反倒齐刷刷在发问:
这……有人能run?
开源了但没完全开?
项目的核心内容,是在PaLM架构上实现基于人类反馈的强化学习。
其中,PaLM(Pathways Language Model)是谷歌在今年4月发布的5400亿参数全能大模型,基于Pathways系统训练,BERT之父Jacob Devlin为主要贡献者之一。
PaLM可以完成写代码、聊天、语言理解等任务,并且在大多数任务上实现了SOTA少样本学习性能。
另一个核心点是RLHF“从人类反馈中强化学习”。
OpenAI提出InstructGPT时就用到了这一方法,它能让AI的回答更加符合情景要求,降低“有害性”。
具体分三步:
第一步,找一些人写下示范答案,来微调GPT-3模型,训练监督模型baseline。
第二步,收集某个问题的几组不同输出数据,由人类对几组答案进行排序,在此数据集上训练奖励模型。
第三步,使用RM作为奖励函数,近端策略优化(PPO)算法微调GPT-3策略,以强化学习方法最大化奖励。
ChatGPT使用的GPT-3.5,其中text-davinci-002就是在code-davinci-002的基础上,采用了InstructGPT训练方法改进得到。
正是基于如上两方面核心内容,作者实现了ChatGPT的复刻。
大致步骤有3步:
首先来训练一下PaLM,就和其他自回归Transformer一样。
第二……
等等,训练PaLM???这确定不是在开玩笑?
现在明白为啥大家都觉得这个开源项目完全不能run了……
打个不恰当的比方,这就像如果想吃熊肉,那先自己去打头熊来。
项目中只有PaLM架构和代码,没有预先训练好的权重。
所以完成第一步,大概效果就是……
话虽如此,但还是继续接着往下看看……
第二步,就要训练基于RLHF的奖励模型了。作者使用的是一种轻量级训练大语言模型方法LoRA,这种方法是开源的。
然后,再把之前训练好的模型和奖励模型用强化学习进行微调。
经过这三步后,就能得到一个开源版的ChatGPT了。
这中间面临的问题包括巨大的计算量、超大模型和难收集的文本……所以有人也不免发问:
有没有一种可能,它也没啥用?
不过有网友觉得这本质上还是一件好事啦。
AI的一个关键区别就是,每有一个重大突破,很快就会出现一个开源版本。
实际上,开源项目作者小哥Philip Wang一直都热衷于复刻各种明星项目,过去还尝试过Dall・E 2、AlphaFold 2等。
以及LAION也发起了一个类似项目Open Assistant,他们将通过“众筹脑力”的方式,共同开发一个开源的聊天AI。
Stable Diffusion用的开放数据集,就是这一组织做的。
感兴趣的童鞋不妨去试试看~
PaLM-rlhf-pytorch主页:
https://github.com/lucidrains/PaLM-rlhf-pytorch
Open Assistant主页:
https://github.com/LAION-AI/Open-Assistant
参考链接:
[1]https://twitter.com/rasbt/status/1608133663937495041
[2]https://twitter.com/omarsar0/status/1608143718460055552
― 完 ―
科技前沿进展日日相见 ~
原标题:《首个“开源ChatGPT”来了:基于谷歌5400亿参数大模型,华人小哥出品,网友吐槽:这谁能跑?》
阅读原文