头条焦点:ChatGPT制造商OpenAI称正在努力减少偏见和不良行为
淘宝搜:【天降红包222】领超级红包,京东搜:【天降红包222】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】
(资料图片仅供参考)
据智通财经消息,热门聊天机器人ChatGPT背后的人工智能研究公司OpenAI表示,该公司正在努力减少系统中的偏见,并将允许用户在一系列关于其结果中的不当交互和错误的报告后自定义其行为。
该公司在一篇博客文章中表示:“我们正在投资于研究和工程,以减少ChatGPT在回应不同输入时存在的明显和微妙的偏见。在某些情况下,ChatGPT目前拒绝了它不应该拒绝的输出,在某些情况下,它不会在应该拒绝的时候拒绝。”
标签: ChatGPT 研究公司 人工智能
开普云:公司数字人已经与OpenAI的GPT3-003接口完成对接
开普云是上市公司吗,开普云公司好吗,开普云前景,开普云是什么公司松果财经获悉获悉,近日,开普云在互动平台表示,ChatGPT目前没有开放接口,但公司的数字人已经与OpenAI的GPT3-003接口完成对接,该接口是ChatGPT的前一个版本,待ChatGPT接口开放后即可快速完成集成,并结合开普云的内容安全能力形成更可靠的数字人对话服务。
此外,开普云还表示,公司在数智内容、数智安全及元宇宙业务方向上的核心技术均采用了与ChatGPT类似的预训练语言模型。以GPT、BERT等Transformer类模型为基础,结合专业领域知识图谱过滤语言模型中存在的事实性错误,同时可以根据交互反馈进行模型的优化训练。
据悉,该公司元宇宙业务方向的虚拟数字人已在政府网站的智能化问答专业领域开展了服务,后续将扩大训练数据覆盖范围,提高训练数据质量,将政务领域的交互能力持续提升,并进一步根据政务领域的产品和项目实践,总结形成高效的跨领域模型训练微调方案,实现更多应用领域的覆盖。
张红甫与张红超什么关系
OpenAI成功并不只属于企业,又属生态;它将为商业带来新的思维和模式,使其更具灵活性。这种生态容纳了一种离奇点子,使得灵活的商业探索得以实现。
2011年2月,微软和诺基亚宣布全面合作,联手挑战Android系统。两家公司都宣称,他们的目标是将移动互联技术推向一个新时代。Google高级副总裁维克・冈多特拉(Vic Gundotra)在社交媒体上评论这。“这是个非常有意思的现象――两家公司都希望能利用彼此的优势来实现一个共同目标。”件事:“两只火鸡加一起,也变不成一只鹰。”
冈多特拉理所当然地说得对,微软与诺基亚在手机市场上的失利并没有持续数年。不过,这也不影响他们的合作步伐。弱弱合力挑战强者通常会有如此下场。
ChatGPT大热过后,其创始人OpenAI就被贴上了“PayPal黑帮”、“乌托邦式的创业”等标签。在当时,它是个非常有前途的初创公司。不过2015年这支球队组建之初,似乎还只是个妄想向雄鹰挑战的“火鸡大联盟等”。
OpenAI最早的投资者尽管在硅谷都叫得响:埃隆・马斯克(Elon Musk)、彼得・蒂尔(Peter Thiel)、山姆・阿尔特曼(Sam Altman)、里德・霍夫曼(Reid Hoffman)、杰西卡・利文斯顿(Jessica Livingston),但是,他们掌管的企业和组织,并不是各自领域中最擅长人工智能的企业。
海量数据与顶尖人工智能科学家,通常被视为开发人工智能所必需的资源。而美国最有资源的正是四大科技巨头――Google(手机、地图、搜索、邮件)、Facebook(社交)、苹果(手机)、亚马逊(购物)。它们中的大多数人都拥有强大的计算能力,并且能够开发出具有商业价值的算法。4家企业的市值均为数年万亿美元,并且把人工智能应用到其产品中去。不过,在人工智能领域,真正有实力的人并不多。其中仅亚马逊就涉及OpenAI,但是仅仅捐出部分云计算资源。
霍夫曼执掌的LinkedIn并不能与Facebook在数据量上比肩。他对社交网络的投入远远超过了其他创业者。阿尔特曼接手的Y-Combinator虽然有名,不过,孵化出的企业中,最伟大的不过Airbnb一家。特斯拉就是这些人工智能巨头中惟一的一个,如今,全世界数以百万计的汽车每天都要收集数据―但是到了2015年时,这不过是个年产量五万辆的企业,前景不明的创业公司。三年后,特斯拉的销量大增、增加对人工智能研究的投入,马斯克便退出OpenAI董事会,表示双方存在“利益冲突”。
就是这样的一个开局,七年后的OpenAI,让Google成为全球最受瞩目的人工智能公司、Facebook这样的科技巨头猝不及防。
在创建OpenAI前,阿尔特曼是斯坦福大学教室里的一个公式:成功创业=创意*产品*执行*团队*运气。
他唯一成功的创业项目OpenAI完美地证明了这个公式。
01、常见的恐惧感帮助OpenAI拉拢了一群顶尖AI科学家
OpenAI的故事开始于2015年7月份加州门罗帕克举行的宴会。这场宴会邀请了来自世界各地的创业者和投资人,共同讨论了未来科技创新的趋势与方向。召集者为刚刚继任硅谷知名孵化器Y Combinator总裁一年有余的阿尔特曼。他在会议上表示,他希望通过这次聚会来与创业者和投资人交流一下自己的看法,并分享一些关于人工智能的新想法。晚宴的参加者都认识很久了,很多都是创业时代才有交集的。他们对瑞典哲学家尼克・博斯特伦的(Nick Bostrom)也都很熟悉,都害怕人工智能前景。
当时AlphaGo并非世界围棋冠军,但是计算机在人脸识别方面的准确度已经超越人眼,Google自动驾驶汽车在公路上也已经开了很多年,数千万人使唤苹果、亚马逊语音助手。人工智能技术让世界发生了巨大改变。机器变得更聪明了,虽不及人。
但根据博斯特伦2014年出版的《超级智能》(Super Intelligence):用计算机的发展规律,假如人工智能聪明到了与人亲近,其智力使用时间不长,将大大甩开人类―距离如同人和老鼠一样巨大,这次却,人充当老鼠。
马斯克、阿尔特曼等人曾多次公开援引这一论点,以为人类一定要事先有所准备。人工智能是一种新技术,但它却能带来巨大的好处。阿尔特曼与马斯克并没有想过要去约束,但希望积极促进惠及全人类的人工智能发展,供大家使用,去和糟糕的人工智能做斗争。他们希望在不久的将来,所有的人都可以通过机器来完成自己的工作任务。就是这恢宏的愿景,帮助他们汇聚起顶尖人才。
晚宴现场,负责Google Brain项目的人工智能科学家伊尔亚?苏茨克维(Ilya Sutskever)表示有意参与。他是一位拥有多年计算机视觉与机器学习经验的学者。2012年,他参加了AlexNet模型的提出,验证深度学习的潜能。它被视为当今人工智能的又一次浪潮,其中,无人驾驶技术就是开始。
另一位加入的技术天才是今天的OpenAI董事长、CTO格雷格・布罗克曼(Greg Brockman)。布罗克曼,硅谷新兴独角兽Stripe第四大成员,担任首席技术官,促使Stripe价值升至35亿美元,以及重塑美国电商支付体验。在他看来,”我们现在的成功很大程度上归功于人工智能技术带来的商业变革和商业模式创新。假如他一直陪伴Stripe一起成长的话,未来七年能得到几亿美元的收益――目前Stripe估值已上升至630亿美元。但是那时布罗克曼提出来,致力于人工智能的研究,更是重中之重。
左边是格雷格・布罗克曼,右边是伊尔亚?苏茨克维。在他的办公室里。从布罗克曼博客上。
宴会之后,布罗克曼开始到处挖人,组成队伍。他发现,一个很有天赋的年轻人已经出现了。他找的第一个人是约书亚・本吉奥(Yoshua Bengio)。他是一名心理学专家,但并不是一个很有前途的职业,他一直在为自己寻找工作。由于为深度学习做出了贡献,2019年,本吉奥和杰弗里・辛顿(Geoff Hinton)、杨立昆(Yann LeCun)一起获得图灵奖,唯独他不在为大公司效力。
本吉奥为布罗克曼列出深度学习领域最优秀的研究者。随后数周,布罗克曼挨了一个接触名单,虽然不是Google、Facebook和其他企业天价薪水,他仍然凭借恢宏的视野说动,有九名成员加盟。
2015年岁末,全球顶尖人工智能学术会议――NeurIPS会议(当时还叫NIPS)召开,OpenAI携投资承诺10亿美元宣布成立,以发展“通用人工智能”技术为宗旨,专利及研究成果均已公开。
大家对OpenAI所提出的设想感到吃惊,但是,没有太多的人相信,这一缺乏资料的联盟。因为这是在没有任何信息共享协议和商业合作基础上进行的工作,而这也意味着,未来的互联网将完全依靠数据驱动、人工智能以及其他智能技术来创造价值。那一年担任NeurIPS大会主席的计算机科学家尼尔・劳伦斯(Neil Lawrence)说,OpenAI愿景令人敬佩,但“没有数据共享,OpenAI将无法造福人类”。
02、顺着Google奠定的根基去寻找技术上的可行方向
2016年人工智能的主流技术路线为“监督式深度学习等”,需使用仔细标记的数据,教计算机自动执行任务。这就涉及到了一个如何从海量的、不规范的图像中快速定位和理解所需信息的问题。例如,您希望计算机能辨认图片上的那只猫,您需要使用数万张带猫的图片来训练模型,并要求人们标出每一张照片上都有哪些猫的形象,那么,计算机就可以从新图中识别出这只毛绒绒动物了。这个过程就相当于人类通过一个程序把自己与狗联系起来了,但要记住它的名字和主人,就必须先对猫进行标记。若事后辨认犬,还要重新开始。
但是OpenAI并不拥有大范围数据,也没有充足的资金雇人标记数据。因此它只能选择一些小部分样本进行训练来建立模型。其选择的技术路线为“加强学习非监督”。这种算法可以通过机器自动学习,找到最优解或者近似解来解决问题。所谓强化学习,就是让机器不停地摸索着学会做事的方法。它把学习看作一个过程,在这个过程中机器会不断尝试错误和不正确。不监督代表让机器自己学习,不需要有人指点。这类方法可以提高机器学习能力和准确率。在DeepMind上着重介绍了一些技术,它们被用来制作AlphaGO。
人工智能科学家达里奥・阿莫代(Dario Amodei)评价说,他曾经负责OpenAI的技术路线图,OpenAI较早进行调研的模式与风险投资相似,建立某方面的“投资组合”,不同队伍向不同方向押注,最后评选出了有可能做通用人工智能。
OpenAI在早期选择三个方向:一种是制造机器人,他们认为“机器智力的发展需要物理实体”,因此,研发了能单手玩转魔方的机器手系统――Dactyl;二是最为游戏的人工智能,在玩游戏的帮助下,提高机器的智力,最初是在雅达利的复古游戏里进行试验,后从事玩Dota人工智能工作;三,发展语言模型,使人工智能能够以文本语言的方式来研究和认识世界,即GPT系列。
OpenAI在头三年里的研究成果并无特殊之处。“我们所做的一切都只是简单的想法,但正确吗?我们还没有搞清楚,有点茫然”,OpenAI的创始人之一布罗克曼在2018年的一次访谈中表示。“我们的目标是把语音技术应用到实际中去,并取得实质性进展”.“现在我们已经有了很多成果。”此时Google已远远领先,其语音机器人,在发布会期间乔装成人类,致电饭店订位―迅速引起商业公司关于人工智能滥用问题的热议。
OpenAI的转折时刻是2019年2月14日发布GPT-2模型,主要作用就是按照用户录入的信息进行,产生续写文本。这个时候用户只需要通过简单点击即可完成整个续写过程。例如,录入《指环王》一句话,多次重复试验中的某次,产生使人分不清真伪、情节与原著有所不同,却显得顺理成章,续篇不断。
GPT-2是一个主要用800万篇Reddit论坛帖子、共计40GB课文训练语言模型,由资料提炼出规律与特点―即参数达15亿条,比上一代语言模型GPT大十倍。
当时,阿尔特曼出席了一个播客的录制,他说:“自然语言模型变得越来越好,是人工智能领域最令人兴奋的发展之一。”这句话被很多人引用过。向来言简意赅,讲两遍我的话。
大型语言模型还是很多大公司的一个投资方向。Google发布了BERT系列模型,在阅读理解,对话和其他多项文本任务中,成绩均高于人,并且创造了新的世界纪录。2020年初,微软训练了170亿参数的Turing-NLG大模型,就是那个年代最伟大的模式。
然而,大公司里,培养大语言模型仅仅是人工智能研究院提出的计划。以及OpenAI中最优先考虑的问题,研究员投资30余人,其拉拢来的顶尖科学家,几乎全都卷入了进来。
除先前训练GPT-2时所用Reddit中的数据外(后来大幅扩充),OpenAI科学家也将之前12年间在6000万个域名上搜集到的新闻报道,帖子、书籍全文和各类网页等几千亿个字英文资料喂入模型,所有英文维基百科仅在数据量上占到了一定比例,接着耗费几千万美元计算资源研制GPT-3。
GPT-3的参数是Turing-NLG的10倍,无需针对培训,即可写诗/报告,答题,编代码,多数时候,其结果令人真假难辨。“你怎么可能在一个没有任何语言输入工具的地方写出这么好的东西?这不是痴人说梦吧?”《纽约时报》在其后推出的专栏中说GPT-3创作散文和诗歌、代码的能力“令人惊奇”“令人羞愧”又“令人毛骨悚然”。
但是这种大型的语言模型还存在着一定的问题,那时候调用1次,要耗费很多的资源,等上几分钟,甚至十多分钟,就能拿出个效果来,要进行商业上的运用,基本上是不太可能的。
在GPT-3推出之后,OpenAI继续向两方面发展,其一是GPT-4的研制,今年将有较大的可能性出台。二是将其移植到通用机器学习算法中,并与其他机器学习方法进行对比,寻找更好的性能表现。二是从GPT-3中取出的参数较小、以具体工作为中心的一种模式,使用更新数据对其进行培训,与人的反馈数据相配合,增强能力以降低成本和提升能力,使得它具有商业应用的可行性。
ChatGPT是GPT-3显著增强对话能力的产品、并利用几十万人类反馈数据进行训练,取得了良好的成绩,其基础模型称为GPT-3.5模型。它是基于深度学习方法的新一代智能语音技术。有消息称ChatGPT由OpenAI于2022年11月中暂时研发,仅用13天。这款机器学习工具最初只是用来测试和分析语音识别技术。事情的起因在于OpenAI高管害怕竞争对手首先推出类似产品“抢尽风头”。效果出乎人们的预料,ChatGPT引发了一场世界范围内的风暴。
Meta(Facebook母公司)人工智能首席科学家、图灵奖得主杨立昆看来,ChatGPT“不特别具有创新性”“没有什么革命性”。
ChatGPT及其基本大型模型GPT-3确实是基于多年的技术积累,相当一部分来自Google。它可以快速、准确地对大量数据进行计算分析。其核心技术为Google于2017年推出的Transformer模型架构,使得海量数据的大规模并行处理得以实现。
因ChatGPT而备受关注的“人的反馈加强了学习”(RLHF)训练方式,也出自DeepMind,它允许模型不断地从人对机器的不同结果的反馈(赞扬或批评)中学到、改善输出结果。
正如iPhone上市之前一样,多点触控也已经诞生很多年了,在历史上,凡是有重大影响的商品问世之前,其背后的技术要素多数是完备的。
相比较于单一方向实现0向1技术拓荒创新而言,OpenAI所做的不仅仅是将多种技术集成到一起,也在不断地反馈中反复迭代了5年,为公众寻找合适的产品形态。
对于OpenAI而言,从2018年开始坚持培养大语言模型也是要有胆量。在这个时候发布一个新项目,可能会带来更多的风险和挑战,但这也是一次难得的机遇。在GPT-2上市之前OpenAI的钱还没有足够的钱。它的团队已经把注意力集中到如何让机器学习算法更高效地运行上来。按照OpenAI向美国国税局递交的,2017年,其仅云计算支出就达790万美元。布罗克曼和其他人的计算,训练大模型所耗费的计算量将每隔三到四个月增加一倍。在云计算环境下,训练一个大模型所需时间比传统计算机要短很多。这一倾向已被证实。不过,这并不意味着大数据时代已经来临,因为大数据只是一种工具而已,它需要一个庞大而复杂的系统来完成。有业内人士估计,OpenAI培训GPT-3一年,光是算力成本,就高达2000万美元。
而当时OpenAI投资人2015年年底许诺的10亿美元以上的钱只到账一小部分。
03、和微软联盟巧妙地平衡了利益
布罗克曼和其他人促使OpenAI实现了由0向1转变。此后,OpenAI由耗资巨大的支持GPT-3的推出,变成了ChatGPT的震撼,主要依靠阿尔特曼。
阿尔特曼在去年年初于社交媒体上发表了一篇文章,恰到好处地反映出其世界观:“我非常感兴趣的一种大学替代方案是:找出全球最聪明、最有进取心的18岁年轻人,给他们10年以上的薪水和资源,让他们做自己想做的任何项目,配上聪明的同龄人――换他们未来收入里的几个百分点。”
这几乎是他曾经在YC从事过的一项工作:挑选智慧、立志成才的青年,对其进行训练,帮助他们获得成功――以少量资金(1.2万美元)换取创业项目7%的股权。这就是他曾经为之奋斗一生的事业。硅谷创业教父保罗・格雷厄姆(Paul Graham)创办YC后,孵化出了Airbnb、Stripe、Cruise、像Dropbox这样的超级独角兽,如今,这类企业总价值已达到上千亿美元,超过阿里巴巴或者腾讯。
2014年,格雷厄姆把YC交给阿尔特曼时,阿尔特曼除早年拥有过一段成功创业的经历外,职业经历多担任YC孵化器的指导、提出融资建议。但是YC与大多数的投资机构有所