GPT-4其实是“数学不太好的文科生”,交大教授指出开发难点 |新科普
淘宝搜:【天降红包222】领超级红包,京东搜:【天降红包222】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】
转自:俞陶然
北京时间今天凌晨,OpenAI公司发布了GPT-4,引发全球关注。与ChatGPT不同,这是一个多模态大模型,除了能处理并输出文本,还能处理图像并给出文本分析。在文章生成、问题回答、代码编写等方面,GPT-4的能力也比ChatGPT更强。由于在GRE数学和语文考试中取得高分,有专家称“GPT-4能考上斯坦福大学”。业内人士如何看待这个多模态预训练大语言模型?解放日报・上观新闻记者采访了上海交通大学教授、自然语言处理专家赵海。
“读图编程”表演令人惊艳
赵海教授解释,模态对应的是人类感知类型,包括文本、图像、声音等。一个智能系统如果能处理两种或两种以上的感知信息,就属于多模态。一些网络媒体对GPT-4有误解,以为它能根据用户输入的文字生成图片,其实它没有这个功能。GPT-4比ChatGPT多出的功能,是用户可以输入图片,它能“读图”并输出文字。
这方面,OpenAI给出的一个案例是:输入一张有4种食材的照片,并问GPT-4:“我们能用这些食材做什么?”它马上会罗列多种菜肴和点心。用户还可以继续问它:怎么做其中的几种菜肴和点心?这就是ChatGPT也能回答的问题了。
GPT-4根据上图给出了多种食品名称。
在执行编程任务上,这个多模态大模型也能“读图”。OpenAI的产品发布会上,研发人员演示了GPT-4能识别他手绘的一张网页草图,并根据草图写出网页的前端代码。虽然这个网页很简单,但它的“读图编程”还是令人惊艳,显示出较高的图片理解和编程能力。不过遗憾的是,这家美国企业表示,这项功能目前不对公众开放。
GPT-4 根据网页草图给出了前端代码。
谈及这种多模态功能,赵海直言:“GPT-4的产品形态会让公众感到惊艳,但对一些业内人士来说,可能就没那么惊讶了。”在他看来,GPT-4强大功能的核心与ChatGPT一样,也是参数量高达1750亿的预训练大语言模型。至于图像分析能力,可看作给大语言模型“打补丁”、拼接图像向量的结果。
“从理论上说,给大语言模型拼接图像向量是不难的,但工程实现的难度很大。”赵海分析,“因为GPT-3模型已有千亿级参数,在此基础上增加大量图像参数,算力上的压力会非常大。”
这与达观数据首席执行官陈运文博士的观点颇为吻合。作为上海最大的自然语言模型研发企业创始人,陈运文认为,在大语言模型的工程基础领域,国内科技界还需要突破一个难关――如何将成千上万张GPU卡串联在一起,让它们充分发挥算力作用。这是“BAT”目前也没有完全解决的问题。
数学解题能力靠“打补丁”
除了功能增加,GPT-4的文本处理和生成能力也优于ChatGPT。比如,在GRE、统一律师考试等多个考试中,GPT-4的得分较ChatGPT显著提高,超过大部分人类考生。特别是在GRE数学考试中,GPT-4得了163分(满分为170分),超过80%的考生,让网民直呼“智商好高”。
谈及这个大模型的数学水平,赵海笑道:“很多人没考过GRE,其实GRE的数学题难度和中国小学数学题差不多。GPT-4的数学水平不会很高,很多小学奥数题可能就解不出来。”
GPT-4为何是“数学不太好的文科生”?他解释说,和图像分析能力一样,它的数学解题能力也是通过在大模型上“打补丁”才获得的。如果只接受过互联网上的文本大数据训练,GPT-4和ChatGPT只能做出简单的算术题。要让它解出难度高一点的代数和几何题,研发团队必须为大模型加入数学领域的解题算法。
“OpenAI说GPT-4有强大的推理能力,我感觉主要指的是它的数学水平高。”赵海告诉记者,“其实,推理能力包含逻辑推理能力和数学抽象思维能力,这两种能力是有区别的,前者侧重寻找因果关系。相对而言,GPT-4的逻辑推理能力更强。”
OpenAI官网发布GPT-4。
从OpenAI的GPT系列(GPT-1、2、3、ChatGPT和GPT-4)开发思路来看,这家美国企业在向着通用人工智能商用目标迈进。与ChatGPT相比,GPT-4离商用产品又进了一步。这种进步包括:在应对政治敏感、违反伦理或法律的指令和问题时,GPT-4表现得越发成熟和安全。一些体验过GPT-4的用户还反映,输入同样的问题,GPT-4的回答常常优于ChatGPT,表现为信息量更大,“车轱辘话”更少。
未来,GPT产品可能会成为一个类似电脑操作系统的平台,让通用人工智能进入千家万户,帮助人们生成各类文章、分析和生成各种风格的图片、编写代码、回答问题……赵海指出,这种革命性产品的基础是预训练大语言模型,国内科技界和产业界的当务之急,是开发出高质量的大模型,在此基础上发展产业生态就会有很大潜力。“真正的问题不是我们能否做出来,而是能做得有多好。”
GPT-4 王炸来临 “文心一言”能否一战
chatgpt热度还未散去,chatgpt开发商openai发布了更强大的gpt-4,堪称“王炸”产品。
近日,openai公开发布大型多模态模型gpt-4,与chatgpt所用的模型相比,gpt-4不仅能够处理图像内容,且回复的准确性有所提高。目前gpt-4没有免费版本,仅向chatgpt plus的付费订阅用户及企业和开发者开放。
与此前的gpt系列模型相比,gpt-4最大的突破之一是在文本之外还能够处理图像内容。openai表示,用户同时输入文本和图像的情况下,它能够生成自然语言和代码等文本。
3月16日,百度将召开主题围绕“文心一言”发布会,同样也是一款值得期待的产品。
天眼查数据显示,截至目前,人工智能相关企业258.8万余家,其中,2022年新增注册企业73.2万余家,新增注册企业增速41.5%;从近三年(2020-2022年)人工智能相关企业新增注册企业增速均超过40%;
从地域分布来看,广东以38.8万余家位列区域首位;江苏、北京分列二、三位,分别拥有21.8万余家以及20.9万余家;
从成立时间来看,54.2%的相关企业成立于1-5年内,成立于10年以上的相关企业占比4.8%;
从企业性质来看,87.2%的相关企业属于有限责任公司。