中信建投ai金融短视频 中信建投七大首席推科技报告
淘宝搜:【天降红包222】领超级红包,京东搜:【天降红包222】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】
智通财经APP获悉,中信建投梳理生成式AI海内外有相关布局的上市公司。国内关注百度(09888)类ChatGPT产品布局情况、科大讯飞(002230.SZ)、拓尔思(300229.SZ)、海天瑞声(688787.SH);也关注视觉中国(000681.SZ)、昆仑万维(300418.SZ)等。
海外:弯道超车的微软(MSFT.US)与蓄势待发的谷歌(GOOG.US)
1)微软:老牌PC软件&云业务厂商,19年来不断加深与OpenAI投资、合作,近期通过ChatGPT出圈一定程度上实现弯道超车,OpenAI也有望发布GPT4;
2)谷歌:搜索引擎龙头,14年即收购AI实验室Deepmind并始终保持较大投入,也曾诞生Alpha GO等出圈成果,23年有望测试对标ChatGPT的智能对话机器人Sparrow、Apprentice Bard,关注蓄势待发。微软在人工智能领域进行系统性布局的时间并不算早(2019年),但把握住对【生成式AI龙头公司】OpenAI的投资与合作,一定程度上实现了弯道超车。
通过与OpenAI更加深度的绑定,我们展望微软旗下各产品体验均有望“智能升级”
1)企业级云计算领域:或将帮助企业级客户更加自主、安全、方便地开发AI应用;
2)个人生产效率方面:此前微软提到计划将ChatGPT整合进旗下搜索引擎必应(Bing,同时Chat-GPT功能引入Office,用于部分文本的生成和问答等,这些都将提升个人用户的生产效率;3)娱乐交互领域:此前微软计划收购动视暴雪,叠加在云游戏的布局,若能引入生成式AI模型,有望在游戏的生产、分发与最终体验方面进一步升级。
风险提示:生成式AI技术发展不及预期: 算力支持程度不及预期:数据质量及数量支持程度不及预期;用户需求不及预期: 技术垄断风险:原始训练数据存在偏见风险: 算法偏见与歧视风险: 算法鲁棒性风险算法透明度风险: 增加监管难度风险等。返回搜狐,查看更多
责任编辑:
人工智能数学三大定律 利用数学解决人工智能问题的例子
人工智能数学基础,人工智能数学基础pdf百度云,人工智能与大数据学院,人工智能数学要求大模型可能是人工智能发展的一个突破口,但参数量并非是通向人工智能的唯一途径。图片来源:unsplash
日前,人工智能研究机构OpenAI的研究人员使用新方法,训练出一个会做数学题的系统――GPT-f。它能像真正的学生一样,解决90%的数学应用题。在提供的数据集中进行的小样本测试表明,9至12岁学生测试正确率为60%,该系统测试正确率为55%。
这个仅60亿参数的GPT-f,在解决数学应用题方面,效果直逼参数规模高达1750亿的GPT-3。在业界认为人工智能的大模型时代已经到来的背景下,这是否能引发大家的一些“冷思考”?
不俗的成绩
去年6月,OpenAI推出GPT-3。这个能完成对话、搜索、写作等多项任务的大模型一面世就引起轰动。尤其在文本生成方面,GPT-3的表现几乎可以与人类的作品媲美。
在训练GPT-f时,研究人员创建了高质量、高多样性、中等难度和自然语言的答题形式的数据集(GSM8K)进行反复训练。测试结果发现,这个仅60亿参数的GPT-f准确率翻倍,甚至优于拥有1750亿参数、采用微调方法的GPT-3模型。
“GPT-f能达到这个效果还是有些出乎意料。”清华大学人工智能研究院常务副院长孙茂松对《中国科学报》说,“但它并未提出非常深刻的问题,没那么让人惊喜,也不必做过度解读。”
孙茂松解释说,让人工智能解决数学应用题还是有难度的。当前的人工智能技术都是基于大数据的一种概率式推断模型,其内部并没有深刻的理解机制。比如,曾轰动一时的GPT-3本身是个语言模型,它看过大量人类创作的作品,包括互联网上发表的文章,所以它能在写文章、自然对话、语义搜索甚至自动编程等方面有着不俗的表现。然而,它很难完成需要精细理解的多步骤推理任务,比如解决小学阶段的数学应用题。
“做数学应用题首先要正确理解题意,才能把题做出来。”孙茂松说,“虽然实现这一任务对人类来说很简单,但对人工智能而言目前尚缺乏一个有效的理解机制,尽管类似GPT-f这样的模型可以推导出正确的答案,但难免也会产生严重的逻辑错误。”
让人工智能在复杂逻辑条件下,具备解决问题的能力,模型必须具有判别自身错误的能力,并谨慎地执行之后的过程。为此,OpenAI的研究者用一个训练“验证器”来判断模型完成的正确性。
OpenAI的GSM8K数据集由8.5K高质量小学数学应用题组成,每个问题需要2到8步解决,涉及加减乘除运算,难度近乎9至12岁小学生的数学题。在测试阶段,这个验证器会生成多个候选解决方案并选择排名最高的一个。
“我没想到GPT-f能得这么高分,即使它取得30多分我也觉得合理。”孙茂松说,“它能把这件事做得跟小学生及格分数差不太多的确很不容易。”
不公平的对比
时至今日,参数规模达1750亿的GPT-3仍被人们视为“大力出奇迹”的结果。而仅凭新的“验证”方法,只有60亿参数的GPT-f就在数学“考试”中胜出。大模型的算力和数据的“千斤”,真的不如算法“四两”么?
专家认为,用更小的参数规模达到和大模型差不多的效果的确不错,但仅拿数学“考分”来对比并不公平。
“从论文上看,两者方法上并没有本质的不同。”孙茂松说,“GPT-f是针对特定的任务做了调整,针对数学语料做过专门训练,用验证的方法反复‘折腾’数据,让它发挥较大的效益。”
与之相比,GPT-3是自然语言处理方面的模型,就像一个擅长写作的“文科生”,做数学题不是它的强项,它也没有专门针对这个问题的语料库进行训练。
“这(GPT-f)算是一个算法的创新吧。”中科院自动化研究所模式识别国家重点实验室研究员王金桥对《中国科学报》说,“GPT-3相当于一个通用模型,有比较开放的数据集,里面数据杂乱,什么都有。现在GPT-f虽然只用8.5K的数据集和60亿参数,但它的数据质量特别高,而且针对于小学数学题进行训练,相当于一个专有领域的模型。”
虽然用了更小的参数量,但GPT-f在算法和数据两个方面都做了改善。为解决逻辑关系,GPT-f加了一个验证模块,但同时也带来了新的问题。
“现在它仍然缺乏可解释性。”王金桥说,“即使我知道它验证的答案是正确的,但不知道验证的中间步骤对错,不知道它是怎么推理出来的。”
OpenAI在论文中所展现的10个数学实例也表明,使用验证方法比单纯扩大参数表现得更加智能,但缺点是并不稳定。
专家认为,任何一项技术的发展,都要经历兴起、成熟再到落地的过程。从发展规律来看,大模型刚刚兴起,大家正在围绕模型体量及模型体量带来的推动效应展开探索。从目前发展阶段来说,这种拥有巨量数据和更强算力的大模型表现“更突出,贡献还是会更大一些”。
“大模型可能是人工智能发展的一个突破口,但参数量并非是通向人工智能的唯一途径。”清华大学教授、智源研究院学术副院长唐杰告诉《中国科学报》,“OpenAI 60亿参数的GPT-f表现出众,也说明算法、算力或数据任何一方面都有可能在未来发展中,在特定条件下取得优势。”
不可能精通所有领域
在人工智能技术解决数学问题方面,我国也有类似的研究,但国内多是用传统的小模型并针对具体问题进行研究。研究者要先知道问题是什么、其关键的逻辑关系是什么,然后针对这类题设计方法,“分而治之”。
这相当于一类题型用一种方法解决,而GPT-f的强大之处在于它能用一些中间标签进行验证推理,并根据中间结果总结出一套规律,应用于所有的数学题。
“从GPT-f的表现可以看出,高质量的数据资源非常重要。”王金桥说,“数据能让人工智能‘见多识广’。”就像人类想取得好成绩需要“刷题”一样,人工智能也需要见识各种“题型”(数据),然后从中总结规律和学习推理关系。
“对于提升人工智能效果来说,首先是数据规模要大、质量要高。”王金桥说,“其次,还要有大的参数规模,这样才能避免训练出一个‘死记硬背’的数学模型;第三,我们要利用计算中心的算力,发展专用和通用两类大模型。”
王金桥解释说,从利于实际应用的角度出发,目前应针对某一专门领域或场景来设计模型,每个模型解决一个或一类任务。
“即使像人类这样,有非常厉害的大脑,并最终拿到博士学位,也只能是某个小领域的专家,不可能精通所有领域。”王金桥说,“‘学得越好、领域越小’,大模型也是这样,因此要分两个层次发展,一是针对某一行业或领域的知识、数据形成的专用大模型;二是发展通用普适性的超级大模型。”
人类在掌握某项技能时,有个“1万小时”定律,即要成为某领域的专家,至少要学习和练习1万小时。同样,人工智能模型也需要针对某一领域的知识、数据进行专门训练,并结合大的算力取得优异的表现。
王金桥认为,现阶段发展人工智能时,还应充分利用国产化的算力,如中科院自动化所面向图像、文本和语音三模态的“紫东太初”、智源人工智能研究院的“智源悟道”、鹏城实验室的“盘古”等,并结合算法和数据方面的进步,推动通用人工智能的发展。
相关论文信息:
https://arxiv.org/pdf/2110.14168.pdf
https://github.com/openai/grade-school-math(张双虎)
仅用60天月活1亿,ChatGPT 的内幕是?OpenAI创始人Sam Altman如何用微软的数十亿美元打造了全球最热门技术
60天等于几个月?,60天等于两个月吗,60天一次月经正常吗,一个月是六十天▲关注信息化时代
新视界、新思维、新洞察
本文作者:JEREMY KAHN,首发于FORTUNE官网。由MoPaaS编译为中文分享供大家阅读学习。
?OpenAI 是怎样偏离其初心坚持商业化?
?凭什么 Altman可以让微软早期押注他们?
?OpenAI原来的安全团队为什么分家与他们分庭抗争?
?ChatGPT的编程能力是怎样被发现的?
?ChatGPT 为什么差点被扼杀掉?
?ChatGPT是怎样歪打正着成为爆款?
?Altman 为什么时而理想主义狂热时而又回到反乌托邦?
?OpenAI 今年还可能会有哪些惊喜?...
“The inside story of ChatGPT”(“ChatGPT 的内幕故事”)将为你解密这一切。
Sam Altman, CEO and cofounder of OpenAI.
1
在一代人的时间中总有一种产品的出现,它将从工程系昏暗的地下室、书呆子们臭气熏天的青少年卧室和爱好者们孤独的洞穴中弹射出来,变成了你的祖母Edna都知道如何使用的东西。早在 1990 年就有网络浏览器,但直到 1994 年Netscape Navigator的出现,大多数人才发现了互联网。2001 年 iPod 问世之前就已经有了 MP3 播放器,但它们并没有引发数字音乐革命。在2007 年苹果推出iPhone之前,也有智能手机,但在 iPhone 之前,没有智能手机的应用程序。
2022 年 11 月 30 日,人工智能迎来了 Netscape Navigator 时刻。
这一时刻是由OpenAI 的首席执行官Sam Altman 开启的,OpenAI 是一家总部位于旧金山的人工智能公司,成立于 2015 年, 得到了包括Elon Musk 、Peter Thiel 和PayPal校友、LinkedIn联合创始人Reid Hoffman 等多位硅谷重量级人物的资金支持。11 月 30 日,也是公司成立大约七年后,Altman 在推特上写道:“今天我们推出了 ChatGPT,尝试在这里与它交谈”,然后是一个链接, 任何人都可以注册一个帐户,开始免费与 OpenAI 的新聊天机器人交谈。
ChatGPT的界面
任何人都可以,而且不仅仅只是聊聊天气。软件 CEO 兼工程师 Amjad Masad 要求它调试他的代码,它做到了。美食博主兼网红Gina Homolka用它写了一份健康巧克力曲奇的食谱。Scale AI 的工程师 Riley Goodside 要求它为Seinfeld剧集编写剧本。Guy Parsons 是一名营销人员,他还经营着一家致力于 AI 艺术的在线画廊,他让它为他编写提示,以输入另一个 AI 系统Midjourney, 从文本描述创建图像。斯坦福大学医学院的皮肤科医生 Roxana Daneshjou也研究 AI 在医学上的应用,她向它提出了医学问题,许多学生用它来做作业。而这还只是在聊天机器人发布后的 24 小时内出现的。
以前也出现过聊天机器人,但都不是这样的。 ChatGPT 可以进行长时间、流畅的对话,回答问题,并撰写人们要求的几乎任何类型的书面材料,包括商业计划、广告活动、诗歌、笑话、计算机代码和电影剧本。它远非完美:结果并不总是准确的;它不能引用其信息来源;它几乎不知道 2021 年之后发生的任何事情。它所提供的内容虽然通常流畅到足以通过高中课程甚至大学课程的考试,却很少像人类专家那样完美。另一方面,ChatGPT 会在一秒内生成这些内容,用户几乎没有等待,而且它吐出的很多内容都还不错。 在ChatGPT发布后的五天内,就有超过100万的玩家,这是Facebook花了 10 个月才达到的里程碑。
在过去的十年中,人工智能技术稳步进入商业领域,并悄悄改进了我们每天使用的许多软件,但并未引起非技术人员的太大兴趣。ChatGPT 改变了这一点。突然之间,每个人都在谈论人工智能如何颠覆他们的工作、公司、学校和生活。
ChatGPT 是相关人工智能技术浪潮的一部分,这些技术统称为“生成式人工智能”――其中还包括热门的艺术生成器,如 Midjourney 和 Lensa。OpenAI处于科技行业下一件大事件的最前沿,具有初创公司史诗般的标志,包括全明星阵容和狂热的投资者,据报道,该公司的估值达到 290 亿美元。
但是,尽管其最近的激增引发了嫉妒、惊奇和恐惧――据报道,其利润丰厚的搜索帝国可能会受到攻击,谷歌宣布了内部“红色代码”,以回应 ChatGPT―OpenAI 不太可能成为技术超级大国俱乐部的成员。直到几年前,它还根本不是一家公司,而是一家致力于学术研究的小型非营利性实验室。崇高的创始原则仍然存在,例如保护人类免受不受限制的人工智能的威胁。与此同时,OpenAI 也经历了内部转型,将其原来的员工分开,并更加关注商业项目而不是纯科学项目上。(一些批评家认为,将 ChatGPT 推向市场本身就很危险,这也标志着 OpenAI 的方法发生了深刻的转变。)
“我认为 [对于 AI] 的好案例是如此令人难以置信的好,以至于你谈论它听起来像个疯子。我认为最坏的情况是我们所有人都熄灯了。”
OPENAI 联合创始人兼首席执行官 SAM ALTMAN 于 1 月 12 日在旧金山举行的以风险投资为重点的活动上发表讲话
本周,微软宣布扩大与OpenAI的合作伙伴关系,其中包括高达 100 亿美元的新资本,这可能会使这家软件巨头在未来几年占据 OpenAI 利润的最大份额。这笔交易可能会加深人们的看法,即曾经理想主义的努力现在主要关心的是赚钱。尽管如此,《财富》杂志看到的文件显示,OpenAI 的业务目前是多么无利可图。
37 岁的联合创始人兼首席执行官Altman体现了 OpenAI 令人费解的本质。Altman 是一位连续创业的科技企业家,他更以商业头脑而非工程壮举而闻名,他既是 OpenAI估值飙升的设计师,也是该公司的首席执行官,他曾公开表示 ChatGPT 离真正可靠还有多远。与此同时,他认为这项技术是朝着开发一种被称为人工通用智能(AGI)的计算机超级智能的宏大而不切实际的企业使命向前迈出的一步。“AGI 可能是人类生存所必需的,” Altman在 7 月份发推文说。“如果没有更好的工具,我们的问题似乎太大,我们无法解决。”
对于一家赚钱的企业来说,这是一种不同寻常的指导理念,尤其是考虑到一些计算机科学家认为Altman的痴迷只是一种幻想。“AGI 很愚蠢,”加州大学伯克利分校的计算机科学家 Ben Recht 说。“我的意思是,这不是一回事。”
然而,借助 ChatGPT,Altman 已将 OpenAI 以及更广泛的 AI 使命转变为吸引科技界的东西。问题在于,他与微软建立的合作伙伴关系是否可以修复 ChatGPT 的缺陷并利用其早期领先优势来改变科技行业。谷歌和其他巨头正在努力开发自己的人工智能平台;未来,更完善的软件会让 ChatGPT 看起来像小孩子在玩游戏。OpenAI 可能有一天会发现,就像 Netscape 短暂的浏览器统治一样,它的突破打开了一扇通往未来的门,而这扇门并不属于它。
2
1 月中旬的一个星期四晚上,Altman罕见地在旧金山公开露面。这位 CEO 穿着灰色毛衣、蓝色牛仔裤和一双颜色鲜艳的时髦扎染运动鞋,走进了一个满是投资者、技术人员和记者的房间,他们聚集在一起收集关于 ChatGPT 或即将到来的融资轮的任何信息。当Altman的采访者、专注于风险投资的媒体公司 StrictlyVC 的创始人 Connie Loizos 向他询问媒体的狂热时,Altman回答说:“我不看新闻,我也不太会做这样的事情”。
该活动在Salesforce 大楼的 46 层举行,现场只有站立的空间。在接受采访前举行的金融科技小组讨论会上, 一位发言人甚至告诉听众,她知道他们“都在等 Sam Altman”。
但是,尽管议论纷纷,并且流传着微软投资的谣言,但Altman似乎还是刻意打消了人们的这种兴奋。“这些技术的一个奇怪之处在于,它们令人印象深刻但并不稳健,”他告诉人群。“所以你在第一个演示中使用它们;你会有种令人印象深刻的反应,“哇,这太不可思议了,准备好了”。但你看到它一百次,你就会看到它的弱点。”
这种谨慎似乎是 OpenAI 总部的官方模式,该总部位于旧金山 Mission 区的一家旧箱包工厂。事实上, 如果 ChatGPT 是 AI 的 Netscape Navigator 时刻,那它几乎从未发生过,因为 OpenAI 几个月前几乎扼杀了这个项目。
允许用户用简单的英语(和许多其他语言)与 AI 交谈的聊天界面最初是由 OpenAI 构想的,作为改进其“大型语言模型” LLM 的一种方式。大多数生成式人工智能系统的核心都是LLM。它们是通过采用非常庞大的神经网络(一种基于人脑连接的人工智能)并将它们应用于大量人类创建的文本而创建的。从这个库中,该模型学习了一个复杂的映射,即在任何给定上下文中,任何一组单词将会出现在另一个单词旁边。这使得 LLM 能够执行大量的自然语言处理任务,从翻译到摘要再到写作。
OpenAI 已经创建了世界上最强大的LLM 之一。它被称为 GPT-3,拥有超过 1750 亿个参数,并在大约三分之二的互联网、所有维基百科和两个大型书籍数据集上接受训练。但是 OpenAI 发现让 GPT-3 产出用户想要的东西可能很棘手。一个团队有使用强化学习的想法,人工智能系统通过反复试验来学习以最大化奖励,来完善模型。该团队认为聊天机器人可能是这种方法的理想候选者,因为以人类对话的形式不断提供反馈将使人工智能软件很容易知道它何时做得很好以及需要改进的地方。因此,在 2022 年初,该团队开始构建 ChatGPT。
当ChatGPT准备就绪后,OpenAI 让 Beta 测试人员使用ChatGPT。但根据 OpenAI 联合创始人兼现任总裁Greg Brockman 的说法,他们并没有像 OpenAI 希望的那样接受它;人们不清楚他们应该与聊天机器人谈论什么。有一段时间,OpenAI 改变了策略,试图构建专家聊天机器人,以帮助特定领域专业人士。但这项努力也遇到了问题,部分原因是 OpenAI 缺乏训练专家机器人的正确数据。Brockman说,几乎就像孤注一掷一样,OpenAI 决定将 ChatGPT 从板凳上拉下来,并将其放在野外供公众使用。“我承认,我不知道这是否会奏效,” Brockman说。
聊天机器人的迅速传播让OpenAI 猝不及防,OpenAI 的首席技术官 Mira Murati 说,“这绝对令人惊讶,”。在旧金山 VC 活动上Altman 说,他“本以为一切都会少一个数量级,少一个数量级的炒作。”
OpenAI 首席技术官 Mira Murati 于
2022 年 10 月 25 日在“The Daily Show with Trevor Noah”上发表讲话
ChatGPT 不是 OpenAI 唯一的炒作工具,该公司只有 300 名左右的员工,规模相对较小,但在创建数据(而不仅仅是分析数据)方面,已经突破了人工智能的极限。DALL-E 2 是 OpenAI 的另一项创作,它允许用户通过输入几个词来创建他们可以想象的任何事物的逼真图像。该系统现在已被其他公司模仿,包括 Midjourney 和一个名为Stability AI的开源竞争对手. (所有这些图像生成器都有缺点,最显着的是它们倾向于放大训练数据的偏差,生成可能具有种族主义和性别歧视的图像。)通过在计算机代码上微调其 GPT LLM,OpenAI 还创建了Codex ,一个可以为程序员编写代码的系统,程序