GPT4震撼发布！最大变革在「一切数据Token化」
3月15日凌晨，OpenAI正式发布了大家期待已久的GPT-4，很快就在中外科技圈刷屏了。
这款新的AI大模型确实拿出了一些新东西，不但理解能力、可靠性、输入处理长度上都有显著提高，还有一个重大进化――拥有了多模态的能力，简单说就是不仅能看懂文字，也能看懂图片了。
在OpenAI的技术分享和视频演示中，展示了GPT-4在各种标准下的性能提升，比如实事求是回答问题的可能性提高了40%；律师模拟考试成绩从ChatGPT的后10%，直接冲进了前10%，超过了大多数人；看图表完成数据分析、找到搞笑图片中的笑点也不在话下。
不少媒体可能受发布会演示的影响，注意力都集中在这些直观的指标上，不停渲染GPT-4的各种能力多强。
在我看来，这些都是AI技术调优下正常的性能提升，真正值得关注的，是实现图片和文字同时处理的多模态能力，这个能力的底层预示着的其实是「一切数据Token化」的新变革。
为什么这么说呢？
首先，如果你了解AI技术的进步趋势，就会明白今天的这些性能提升是必然的事情。
虽然OpenAI以竞争和安全为由，没有公布GPT-4的任何技术细节，只发布了份手机测评一样的《技术报告》（GPT-4 Technical Report）。
但从模型性能提升的情况看，理解能力、可靠性这几个关键指标的提高，主要是来自于AI模型算法架构和数据集的改进，简单说就是AI的工程调优。
我跟大家谈过AI大模型的「伸缩法则」，当时就提到了OpenAI和谷歌的Deep mind关于AI参数和数据关系的研究，简单说AI大模型中参数规模也不是越大越好，必须和数据匹配才行。第二天，谈Bing上线ChatGPT的时候（点击跳转阅读），继续和大家聊了，目前训练AI大模型的数据用到了1.4 万亿token，数据瓶颈摆在眼前，谷歌和OpenAI都在做算法架构上的优化。
了解这些，你就会明白为什么发布会前盛传，GPT-4参数超过100万亿的说法不靠谱，也就能理解性能提升是很正常的事情。
接着，我们就来聊聊为什么多模态技术底层是「一切数据Token化」的变革。
这里先要区分一下，「数据Token化」的概念其实很早就已经出现，最初是作为互联网上数据加密的一种思路，后来还被Web3领域借鉴过去，演化成通过Web3存储数据的方法。
不过我们今天要说的Token是AI大模型的数据单位，「一切数据Token化」指的是AI大模型加持下，文字、图片、声音所有数据都能被统一处理的新变革。
2022年6月，我在大数据专题和大家聊过互联网产业兴盛之后，人类社会中80%以上的数据都是图片、音频、视频等等非结构化的数据，这些数据不像文字、字符一样能被计算机处理，如何挖掘这些数据背后的价值成为大数据变革的一大方向。
当时我预测AI会是这轮变革中重要的颠覆力量，如今OpenAI用实际行动证明了这个趋势正在到来。
AI大模型能使用多种类型的数据训练，其实已经是非常常见的事了。
OpenAI自己的AI绘画软件Dall-E就是基于GPT-3，用图片数据训练出来的，他们之前还做过分享，一张图片最长会被转化为1024个Token，打个不准确的比方，相当于所有图片都会拉成一个长条，AI是通过这些长条上的数据掌握经验的。
谷歌去年5月在这方面做的更为极致，他们将图片、文字、机器坐标等数据全部Token化，AI经过训练后分类掌握各种经验，然后根据实际情况，匹配对应Token中的经验，一下就拥有了完成600多种任务的能力。
GPT-4这次实现的多模态进化则是再前进了一步，以前图片数据训练出的AI也就是用于生成图片，或者识别某些具体的物品，这次体现出对图片信息更强的理解能力，提供了图片数据处理的新方案，这背后潜在的价值难以估量。
由此我们也会看到，AI的数据需求同样还会继续爆发，在文字数据之后，各种图片数据的标注需求将是新的热点。
我可以这样说，未来所有的数据都会Token化，衡量数据质量的标准将不再是清晰、完整这些为人服务的指标，而是能拿来训练AI的数据才是好数据。
可以说，数据Token化，就相当于石油精炼成汽油的过程，会使得人工智能这个发动机得到广泛运用，最终无所不在。未来各个领域的人工智能水平，甚至能用Token化的数据量大小来做评估。
（作者为海银资本管理合伙人）
GPT4横空出世 教育当有何变
吴晨/文 老一辈中国人都知道，“学好数理化，走遍天下都不怕” 这句话讲述了一个简朴的学科选择和就业方向――学习科学，掌握一项技能，在任何时代都不会错。
不仅中国是这样的认知，过去20年全球各国都加强了对STEM课程（科学、技术、工程、数学）的投入，美国大学在过去十年里文科生比例明显下降。
可问题来了。最近GPT4横空出世，能力比刚刚出圈的Chat-GPT所使用的GPT3.5又上升了至少一个数量级，且支持语言与文字的输入。面对如此强大的人工智能，年轻人在学科选择上要有什么变化吗？或者说，我们的教育需要什么样的改变？
在上一轮人工智能爆火的时代，对人工智能的一大畅想是，如果一家企业拥有了人工智能，就可以替代海量大学毕业生的人力成本。因为大学毕业生已完成人生最主要的学业，具有一定的学习能力和认知，可塑性强，能够在训练和督促下完成新任务，人工智能与他们的能力相当。
GPT-4正在把这样的设想变成现实。
举一个简单例子，如果一家公司积累了上千万字的资料和内部文档，想要把它们整理成一本简明的手册，供新员工入职使用，之前可能需要一些职员花上几个月的时间才能读完资料，归纳总结，写作成文。现在，这样的工作GPT几分钟就能搞掂了。GPT最擅长的是对文本搜索、分析、总结，产出中规中矩的文字（尤其适用于总结、说明和市场营销），完成基本的编程。而这些工作也恰恰是大量普通大学生经过一段时间训练可以完成的。
回到主题，在有了GPT这样的超级助手之后，大学的教育应该做什么样的改变？
有人会说，应该在STEM上加码。有人则会强调，应该在机器不擅长的领域加强。我的理解却是，在人工智能大发展的时代，我们需要跳出文科或理科，科学或人文的“二选一”，重新回到大学教育的“初心”，也就是塑造更健全的人的轨道上来。
GPT-4尽管功能更加强大，而且以机器迭代的速度，未来机器对普通常规工作的取代势不可挡，但AI仍然无法取代人之所以为人的特质。人工智能最强大的是寻找相关性，无论是最早的图片识别还是GPT所基于的自然语言学习，都是把海量数据中相关性研究推向极致，以至于可以生成我们熟悉的“自然语言”。但是机器在因果性上无法给出明确的解答，GPT-4还会犯逻辑错误。在很长一段时间内，机器不可能学会思考――ChatGPT仍然需要基于人的不断提问来给出解答，人在人机互动过程中仍然占据主角。
这就需要回到“培养健全的人”的根本上来。死记硬背出来的标准答案最容易被机器所取代，用已有的方法解决问题，机器也得心应手，但创造性地解决新问题，仍然是人类独霸的领域。而这一能力的基础就是反事实思考（Counter Factual），问出“如何，那么？”（ What if）的问题，对现实中并不存在的事物进行思维模型创建。
如何培养反事实思考的能力？这就需要我们打破学科之间泾渭分明的界限，一方面让每个人都能拥有一定的人文积淀，另一方面鼓励每个人在校园里就开始跨界学习。牛津和剑桥最牛的专业是PPE（哲学、政治学、经济学），几乎二战之后大多数英国首相都毕业于这一专业。美国校园里现在比较流行的跨专业学科是文化、科技与环境（Culture, Technology and En【【微信】】），同样聚焦在培养思考力与解决未来问题上。比如，气候变暖是全人类面临的重大课题，也是仅仅依赖技术无法解决的集体行动难题，这恰恰需要新一代年轻人去面对。
上周我与《无形经济的崛起》和《重启未来》的作者――帝国林工学院经济学教授哈斯克尔沟通，特别聊到未来学科选择的问题。他的回答很有意思，在无形资产变得更加重要的时代，学习一项技能固然重要，但培养一个人的软实力可能有更广阔的应用场景。这些软实力包括：学会倾听、善于沟通、有较强的人际交流能力；拥有想象力，擅长问问题；跨学科写作的能力，整合不同领域资源解决复杂问题的能力等等。
