ChatGPT与AI算力 chatgpt使用了多少颗ai芯片
热门文章
0
淘宝搜:【天降红包222】领超级红包,京东搜:【天降红包222】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】
残夜若白 2023-02-23 05:30 ・广东 是的,沉寂已久的AI时代又回来了。六年前,2017年9月2日,在德国IFA 2017举办期间,华为海思推出采用了台积电10nm工艺的新一代芯片――麒麟970芯片,全球首款内置独立NPU(神经网络单元)的智能手机AI计算平台。 打开网易新闻 查看精彩图片 自那之后,AI逐渐作为成为了智能手机的主要卖点,各家开始围绕AI开始构建生态,同年,苹果也推出了自家第一款具备神经网络引擎的AI芯片,得名“A11仿生”。 打开网易新闻 查看精彩图片 后来的数年里,人工智能深入到了我们生活中的方方面面,最能直观感受到的是无处不在的图像识别,例如,手机拍照时的物体识别和自动优化,相册里的人脸识别并自动分类,文字识别(OCR),iOS 16快速抠图,增强现实等等。这些都方便了我们的生活,但并没有从根本上让我们感受到翻天覆地的变化。追根究底,过去的人工智能给用户的感觉还是一个逻辑很差,可有可无的程序。而Ch-a-t-G-PT,虽然本质上还是个没有真正的智能,但有不少时刻,我似乎从它身上感受到那么一丝人性,因为他说出了我们想要表达的想法,甚至,他表达得比我们更完美。Ch-a-t-G-PT爆发后,全球巨头纷纷布局。2月8日凌晨,微软表示已经将该模型引入了必应搜索和Ed-ge浏览器中。谷歌推出了Ba-rd AI。百度将在3月推出文心一言。 打开网易新闻 查看精彩图片 可见的未来,Ch-a-t-G-PT会被引入各行各业中,这已经成为了大家的共识。我认为,在半导体行业中,Ch-a-t-G-PT的风靡所带动的算力需求,再一次加强了Ch-i-p-l-et的逻辑。我在与Ch-a-t-G-PT交谈中获得了以下信息:1. 构建 Op-e-n-AI 的 GPT 模型需要大量的计算资源和数据。具体而言,GPT-3 是一个多层的 Tr-a-n-s-f-o-r-m-er 模型,拥有 175层和超过 10^11 的参数。2. 模型的训练需要数以千计的 GPU 或 TPU 芯片的运算能力,以及几十个 TB 的硬盘存储空间。根据 Op-e-n-AI 的官方数据,GPT-3 的训练耗费了数千万美元的成本,以及数月的时间。3. 由于GPT-3模型非常庞大,其训练所需的时间和资源是非常巨大的。单单以RTX3090的算力,完成GPT-3模型的训练仍然是非常困难的。必须应用专业加速卡。在实际应用中,Op-e-n-AI使用了大量的分布式硬件资源来完成GPT-3的训练。4. Ch-a-t-G-PT表示,目前市面上高性能的GPU包括Nv-i-d-ia的A100和Te-s-la V100,以及AMD的In-s-t-i-n-ct MI100等。这些GPU都具有高达几千TF-L-O-PS的算力,以及数GB的显存容量,适合用于训练需要大量计算资源的深度学习模型。它虽然不肯公开它使用了那些型号的GPU来训练,但基于前文的GPU和TPU,以及最近的新闻,可以推测可能使用了最先进的英伟达H100(GPU)和谷歌的张量计算单元(TPU)。这些,美西方国家肯卖给我们吗?2022年8月,英伟达和AMD被告知停止向中国出口部分高性能GPU芯片,其中包括英伟达A100芯片、H100芯片以及AMD M1250芯片等多款高性能显卡。10月,美国对我国出口芯片产品的限制以算力做划分,4800TO-PS以上算力受到限制。AMD的MI100/MI200和英伟达的H100都已经暂停向我国出口。英伟达A100暂时逃过一劫。欧盟内部市场执行委员布雷顿表示:“我们完全同意剥夺中国最先进芯片的策略,我们不能让中国获得最先进的技术。在限制中国获得微芯片、量子计算和人工智能等技术方面,欧盟和美国有非常强烈的一致性。”在国内,由于没有同性能的替代品,几乎所有的云服务提供商和超算都采用英伟达的芯片来支持其AI计算,包括BAT在内的众多科技公司和科研院所都是英伟达的客户。国内的Ch-a-t-G-PT,在算法、高质量数据集、算力都还有一定差距,前两者还好,后者算力的基础在于高性能的运算芯片。这部分,从消费电子到5G基站,到Ch-a-t-G-PT,我们一直被老美卡得死死的。对于人工智能来说,算力的规模极大地影响了模型训练迭代的效率,其中,高性能的计算集群则是形成算力规模的关键。美国对于我国芯片的限制一直是那三点,一,限制制程发展,不给造先进制程芯片。二,限制人才交流,不造你也不能研究。三,算力线以上的高性能芯片不出口中国,无法形成算力规模优势。现在,一场关于算力的AI军备竞赛已经开始了。 打开网易新闻 查看精彩图片 近几年,AI 模型的参数正呈指数级增长,参数量从几十上百亿发展到了破万亿。“训练这些巨型模型仍然需要几个月的时间,减少这种训练时间的一个关键是数据中心中的 GPU 质量,”英伟达产品管理高级总监帕雷什・卡里亚(Pa-r-e-sh Kh-a-r-ya)说,“新的 Ho-p-p-er 架构将有助于改善这些困难,而且,H100 上的 Tr-a-n-s-f-o-r-m-er 模型的训练速度比上一代芯片快 6 倍。”可以说,中国能不能诞生出自己的Ch-a-t-G-PT,中文世界的Ch-a-t-G-PT是否能赶上国外的水平,除了高质量的数据集,最重要是看能不能造出自主可控的高性能运算芯片,形成自身的算力优势。目前,国内壁仞科技推出首款面向云端人工智能(AI)训练及推理的7nm通用GPU算力产品BR100系列,应用了Ch-i-p-l-et,使其旗舰产品的峰值算力超过了英伟达目前在售的旗舰计算产品A100 GPU的3倍,达到了国际领先水平。不久美国要求台积电禁止代工,后来壁仞据理力争,证明了 BR100 在美国限制线以下,所以仍然可以生产。 打开网易新闻 查看精彩图片 但未来,英伟达和AMD停止向我国出售最新一代的加速卡已经是板上钉钉,国内无法制造先进制程的加速卡产品,成熟制程即使不够用必须担起重任。在此逻辑下,扩大晶体管密度和规模的办法只有一个,那就是在没有严格的功耗限制下拼命叠Ch-i-p-l-et小芯片,与此同时等待国内先进制程的突破,两者配合提高性能。综上所述,我国发展Ch-a-t-G-PT的关键之一是算力,先进芯片被卡脖子,所以算力被卡脖子,无法形成算力优势。因此,自主可控的高性能计算芯片是未来发展Ch-a-t-G-PT乃至更多元的人工智能的绝对关键,通过Ch-i-p-l-et将是制造高性能计算芯片的最优解,对于我国的半导体现状来说也是唯一解。对于世界而言,在先进制程不断逼近硅基芯片物理极限,摩尔定律放缓甚至失效的大背景下,Ch-i-p-l-et仍然能够延续摩尔定律,并且是解决芯片算力瓶颈的关键,目前相关产品已经陆续推出,将在数年内持续放量,未来值得期待。作者:残夜若白本文于2023年2月8日首发在雪球平台本文仅为个人想法,不构成任何投资意见和建议。未经作者本人许可,不允许转载。 特别声明:本文为网易自媒体平台“网易号”作者上传并发布,仅代表该作者观点。网易仅提供信息发布平台。
ChatGPT,将元宇宙拍在沙滩上?
元宇宙vdn,zoon元宇宙,元宇宙xr,元宇宙吧中新网2月22日电 (中新财经记者 吴涛)“长江后浪推前浪,ChatGPT将元宇宙拍在沙滩上。”在ChatGPT火爆出圈的同时,近年“新贵”元宇宙则显落寞。 “Facebook母公司Meta准备进行新一轮裁员”“腾讯宣布正式解散XR(混合现实)团队”“微软开始在Surface设备、混合现实硬件(MR)HoloLens和Xbox等部门裁员”“字节跳动旗下的PICO业务大裁员”……各种传闻频频传出,元宇宙已从风口掉落? 腾讯、PICO等企业回应 腾讯相关工作人员对中新财经回应,解散报道不实,实际情况为变更硬件发展路径,相关业务团队进行调整。据了解,腾讯将为受影响员工提供2个月过渡期,并优先安排转岗面试和外部推荐机会。 PICO相关负责人对中新财经表示,“大裁员”信息不实。PICO近期确实进行了一轮组织优化,但整体比例不高。而且此次调整仅涉及部分业务,属于公司正常的组织架构调整,不会影响到业务的正常运行。 对于元宇宙行业来势汹汹的“调整”,清华大学新闻学院教授、元宇宙文化实验室主任沈阳接受中新财经采访时分析,受全球经济环境影响,裁员是一个行业现象,没有不裁员的公司。 工信部2022年年底数据显示,据不完全统计,我国虚拟现实相关企业已经超过1万家。在2021年我国虚拟现实领域投融资规模涨幅超过100%。 元宇宙为何不那么“香”了? 元宇宙明明去年还是“红人”,为何今年在科技巨头眼里一落千丈?沈阳指出,最近ChatGPT获得革命性突破之后,大家发现了AI板块能够更快速的变现,所以要做一些力量的调整,这也是最近科技巨头纷纷调整元宇宙业务板块的一个原因。 还有分析指出,元宇宙相关的硬件出货量不及预期和业务持续亏损也是其中一个很重要的原因。 Meta的2022年财报显示,RealityLabs(元宇宙现实实验室)在2022年共亏损137.17亿美元,较2021年亏损扩大34.57%,其中第四季度亏损42.79亿美元。 Meta相关负责人在该公司2022年四季度财报电话会议上称,关于RealityLabs(元宇宙现实实验室),预计亏损将在2023年增加。 在国内,腾讯的元宇宙相关消息曾经几次登上微博热搜,被打上元宇宙标签的腾讯3D超级QQ秀测试版面世后,虽增加了3D版“小窝”,但未引发网友共鸣。有网友称“与此前的QQ秀最大的区别就是2D平面版变成3D立体版。” 另,去年下半年,PICO发布了并入字节跳动旗下后的首款产品PICO4,但截至今日,并未透露其出货量。 光大证券一份研报指出,2021年全球VR头显出货量突破1000万台;2023年VR出货量有望超1800万台。但是,“VR设备渗透不及预期,企业相关业务增长将受到影响。” 沈阳认为,看待元宇宙这样一个全新概念,需要有一个长远的目光,它需要持续投入,今天ChatGPT的爆发也是长期投入的结果。 元宇宙迎来巨大的变数? 虽然科技巨头有所调整,但有分析指出,元宇宙未来发展可期,这也就是为什么科技巨头调整而不是全部砍掉该业务的原因。 接近腾讯人士透露,腾讯并未放弃探索XR,仍会考虑其他发展方向。2月20日,有消息称,腾讯XR团队未来将推进引入Meta旗下的Oculus Quest 2(VR设备),类似腾讯引进国行Switch一样。 “我们正在不断调整路线图,显然,其中一些是长期的事情。到目前为止,没看到任何信号表明我们应该改变RealityLab的长期战略。”Meta相关负责人表示,会不断调整细节,并考虑如何执行。 不少企业在调整元宇宙业务,但另有消息称,对头显研发已长达7年之久的苹果公司则可能推出自己的头显设备。这或给行业带来一个巨大的变数。 对此,在沈阳看来,“如果苹果这么一家顶级软硬件一体化的公司,都不能把用户体验做到极致化和真正的大众化,那么这个板块还需要等待几年的技术进步,才能够在C端实现很好的大规模普及。反之,这个行业或迎来一波爆发。”(完)
idc鏁版嵁棰勬祴 idc棰勬祴妯″瀷
idc app,idck,idc idc,idcf文|智能相对论作者|叶远风谁在跟风,谁又有真本事能做出中国版的对标产品来?这恐怕是ChatGPT这股热潮以来,关心中国AI发展的业界人士最想问的问题。或者说,在中国人工智能不落后于全世界的当下,业界也在普遍渴望一个真正有实力的ChatGPT类产品出现。但是,在一个人人都有那么点AI底子、能说出一些AI技术成果的今天,如果没有专业的、系统的判断标准,这个问题可能很难有答案――风潮下人人都像是跟风的,也都像是有能力的。不过,IDC刚刚发布的一个关于大模型的报告,却某种程度上“附带”解决了这个问题。在《2022中国大模型发展白皮书》中,面向大模型的发展,IDC在行业首次提出大模型评估框架,通过多维度标准,对行业主要大模型的发展状况进行了系统化的判断和评分。当大模型能力的判断有了较为权威的行业标准后,谁能做出真正的ChatGPT类产品,其实已经有了答案。ChatGPT是AI的一大步,但只是大模型的一小步在问能不能之前,先要问是什么。虽然ChatGPT的问世已经有数个月的时间,但对多数人尤其是行业外的“吃瓜群众”而言,除了知道这是AI领域的一大突破外,对它究竟是什么并没有深入地了解。实际上,ChatGPT就是一种大规模语言模型(LLM Large Language Model),是大模型在NLP领域不断发展的一种结果。从技术角度看,目前大模型已经深入各个AI领域,如NLP、CV、科学计算等,但它最早发端于NLP,以谷歌的BERT、OpenAI的GPT和百度文心大模型为代表,参数规模逐步提升至千亿、万亿,同时用于训练的数据量级也显著提升。随着“大本营”NLP领域大模型的不断进化,最终OpenAI的GPT率先开出了ChatGPT这朵花。所谓GPT,即Generative Pre-Trained Transformer,就是通过Transformer为基础模型,使用预训练技术得到通用的文本模型。GPT家族已经先后拥有GPT-1,GPT-2,GPT-3,以及图像预训练iGPT等模型,ChatGPT本质就是GPT-3.5,只不过因为强大的对话能力突然爆火起来。不同的是,ChatGPT采用了新的指示学习(Instruction Learning)和人工反馈的强化学习(Reinforcement Learning from Human Feedback,RLHF)来指导模型的训练,前者带来了理解能力,后者增强了模型效果。无论如何,大模型良好的通用性、泛化性,以及显著降低人工智能应用门槛的优势,在ChatGPT上得到了淋漓尽致的展示。从这个意义上看,任何NLP领域的大模型,在良好的发展之后,都会、都可以生长出自己的ChatGPT,或者,更专业的概念称为ChatBot类产品。“智能相对论”总结目前市面上领先的NLP大模型以及ChatBot产品如下:从这个列表可以看出两件事:1、所有成型的ChatBot都只能是大模型发展的一种产品化结果,国外Google的Bard、国内百度的文心一言(ERNIE Bot)都是如此,其本质都是前期大模型家族的最新产品。2、不管哪个ChatBot,能做得怎么样,几乎都取决于前期大模型家族的发展情况。对大多数缺乏优秀大模型基础的厂商而言,要么必须花长周期重走一遍类似从“文心”到“文心一言”的路径,要么就绕过大模型直接做ChatBot――其质量可想而知。而判断大模型家族的基础究竟如何,IDC的报告刚好就起到了作用。此次IDC为了充分评估大模型技术能力、功能丰富度与底层深度学习平台开发能力,以及对各行业赋能的实际效果,并考虑到大模型的未来商业化前景,搭建起了大模型评估框架V1.0:最终,IDC中国将大模型市场服务划分成了L1-L5五个层级(层级越高,厂商在大模型市场梯队越靠前),最终评价结果是当前大部分厂商能力处于L2-L3层级。其中,最为凸显的是唯一处在第一梯队的百度文心大模型,产品能力、生态能力达到L4水平,应用能力达到L3水平:目前,被IDC高度评价的文心大模型已经建设了包括基础大模型(NLP、CV、跨模态)、任务大模型、行业大模型三大类在内的36个大模型。IDC认为,百度文心大模型在产品能力上呈现出较强技术实力和平台积累,“文心大模型+深度学习平台”创新了人工智能研发应用范式,满足市场大规模落地需求,达到行业前端水平。IDC中国副总裁兼首席分析师武连峰表示,“大模型的背后蕴藏着一场人工智能落地模式的变革。如今火爆全球的ChatGPT背后的技术支撑正是大模型。没有对大模型的长期投入,就不会诞生ChatGPT这样的应用。在IDC提出的大模型评估框架下,百度文心大模型在本次评估中表现非常突出,是其打造文心一言的坚实基础。”因此,国内已经宣布要做ChatGPT类产品的科技大厂中,能够最终做出类ChatGPT产品的,可能还是只有拥有中国科技企业最成熟的大模型开发工具和产品体系的百度。当然,这个结果并不意外,国内长期坚持在大模型领域投入的,百度就是其中一。大模型评估框架下,ChatBot两种发展路径显现既然IDC以权威、系统的方式证明了国内(主要是百度文心、文心一言)有充分的推出ChatBot的大模型基础能力,那么为什么最先走出来被广泛关注到的还是ChatGPT?如果从文心的发展与GPT的发展对比来看,大模型时代,ChatBot的两种发展路径的不同已经显现出来。早在2019年3月,百度就做出了文心 ERNIE 1.0,这一技术创新与“同类”GPT-1、BERT的差距都只有几个月,且百度积累的大规模知识和海量多元数据,让文心得以快速发展。到了2021年,ERNIE 3.0大模型即拥有千亿参数,后来ERNIE 3.0 Titan更是达到了2600亿。这个发展过程,百度也逐渐构建起一套包括文心大模型层、工具平台层、产品与社区的三层体系,这就是IDC在报告中强调的,“模型+工具平台+生态”三级协同加速产业智能化。说白了,百度从一开始就在想着怎么让文心大模型进产业、怎么落地获得商业价值,也是按照这个“总纲”在走、在设计其整个体系。最典型如,文心已累计发布11个行业大模型,在金融、能源、制造、城市、传媒、互联网等行业拥有实际落地的标杆案例,盯住的是解决客户的实际痛点,把大模型能力应用到客户业务流程关键环节中,求技术效果突破、求产品创新、求生产流程变革、求降本增效,等等。在这些行业大模型往下,还有任务大模型、基础大模型的全力支撑;再往上,又有工具、产品的落地转化。这种体系化面向产业的做法,一方面源于中国独特的产业智能化需求的大背景,另一方面与百度将AI的发展更多地转向现实产业价值有关。如果说这种做法有什么后果,那就是集中B端落地、晦涩的技术和产品带来的技术认知不足。现在,大洋彼岸的ChatGPT突然搞出了“大新闻”,举起了旗帜,文心基于此前的能力积累也能做出类ChatGPT的面向C端大众的ChatBot产品文心一言,于是,这就成了百度彰显自身技术能力的一个契机。反过来看,ChatGPT则先面向C端做出了老少咸宜的大众化可触达产品,相似的技术底子下,声量自然就更高。毫无意外的是,在OpenAI的布局中,ChatGPT接下来也会尝试走入更多垂直产业中发挥价值。最终,两种路径都将殊途同归,实现B、C的全覆盖,只是所处阶段不同而已。技术层不可跟风也跟不了风,但ChatBot产业应用却值得广泛尝试做ChatBot,在技术层面不应该跟风上马,它只能是LLM的一种自然的结果。用更直接的话说,如果认为ChatBot真的有用,想要造福自身业务或者惠及伙伴、客户,更多缺乏基础的科技大厂应该沉下心来做这件事,而不是大干快上、急着表态。跟风哄抬股价、刺激关注并不可取,最终欺骗的是投资者和关心企业的人。不过,在这股风潮中,于产业方而言,却并不存在什么跟风不跟风。作为AI领域好不容易等来的确确实实可能改变价值认知的产品,ChatBot在任何产业都值得尝试,只要有益于业务都可以探索这股AI的全新力量。之前,在ChatGPT被归入的AIGC(生成式AI)场景下,百度文心已经有大量的产业实践。例如,ERNIE 3.0文本理解与创作API,覆盖写作文、摘要、文案、小说、对联等多项生成能力,每天服务上万用户;而基于文心大模型的智能视频合成平台则让用户在一键输入新闻图文内容链接后,就可以自动化完成视频制作,这些都大大提升了内容创造的效率和质量。在文心一言推出后,已有携程、汽车之家、爱艺奇、大量媒体机构等宣布接入。最近,百度方面还宣布,未来会推出生态合作计划,要吸引和支持更多伙伴加入进来,一起拓展覆盖范围更广的商业市场。在热烈的预期之下,真实的产业成果正在被探索、走向落地。值得一提的是,作为基于百度智能云技术打造出来的大模型,文心一言未来也将通过百度智能云对外提供服务,为产业带来真正的AI普惠,这也将根本性地改变云市场的游戏规则。之前选择云厂商更多看算力、存储等基础云服务,以后用户对云厂商的需求更加聚焦智能服务,会更多关注模型、框架、芯片以及应用,这四层架构之间的协同。云服务正从数字时代跃迁到智能时代,智能化对各行各业效率的提升将显著显现。正如IDC所言,各行业技术买家都应该尽早拥抱大模型,利用大模型进行降本增效、产品革新,“越早开始将大模型与自身行业、任务相结合,模型与技术之间才有更多的时间进行打磨优化,在未来大模型深入各行各业的时候才能拥有话语权”。除了“看热闹”,想要在ChatGPT带来的风潮中抓住商业机会的企业,以及对ChatBot真正有需求的产业主体,都应该行动起来了。*本文图片均来源于网络举报/反馈
版权声明:除非特别标注原创,其它均来自互联网,转载时请以链接形式注明文章出处。