不做大模型，就没有算力用。

这是 ChatGPT 点燃 AI 风口后，国内某 top3 高校 AI 实验室的残酷现状。

同一个实验室里，非大模型团队 6 人用 4 块 3090 卡，比起同实验室的大模型团队 10 个人用 10 块 A800 卡，本就已经不算富裕。

现在，校企合作也更偏爱大模型。去年 11 月 ChatGPT 发布后，与非大模型团队合作的企业骤减，近期找上门的，也是张口就问：

" 你们做大模型不？"

做，有高校和企业的通力支持；不做？那就只能眼睁睁看着算力花落别家。

哪怕某量化私募基金的有 10000 张 A100 卡，还对高校研究团队开放申请，也不见得能落一张到你头上。

" 要是我们组能分到一些就好了。" 看到这条微博，非大模型团队带队的数据科学方向博士小哥羡慕不已，因为缺算力，他都愁得快仰天长啸了：我们也值得投资啊！！！

现在，大伙争先恐后扑向 ChatGPT 背后 GPT-3.5 般的各种大模型，算力流向亦然。

其他 AI 领域本就不足的算力更荒了，尤其是国内学界手里的算力分配下来，贫富差距肉眼可见。

一整个实验室就 4 块 3090 卡

巨大规模算力以月为单位的租用成本，对研究团队来说不是小数目。大模型正当其道，学界研究大模型的实验室或团队拥有算力资源的优先分配权。

就拿小哥在学校的亲身体验来说，在他们研究室，大模型小组 10 个人有 10 块 A800 卡可用，而另一个研究传统机器学习方向的实验室，整个实验室只有 4 块 3090 卡。

拥抱主流趋势是一重原因，另一重原因是实验室需要运转和维护的经费，获得拨款的一种形式是申请国家项目，但必要步骤是提供论文成果。

双重原因下，本就不多的算力资源，不得不优先分配给大模型这样热门且相对容易出成果的研究。哪怕对学界来说，训一个大模型其实练不太动――因为数据、算力和资金都有些捉襟见肘。

为了获得更多的资源，有的非大模型实验室甚至额外专门成立研究大模型的团队。

当然，想要获得资金和资源，校企合作也是不可或缺的一种方式。

这种推动产研融合的重要支撑形式持续已久，2020 年，KDD 中校企合作论文占比超过 50%，这个比例在 ICCV 中达到 45%。

举例来说，2021 年，清华大学 KEG、PACMAN（并行与分布式计算机系统）、NLP 等实验室着手推进训练千亿参数的稠密模型，但团队用于训练模型的计算资源并不充足。最终，校外企业智谱 AI 租用了近百台 A100 的服务器，免费提供所需算力，这才有了双语预训练语言大模型 GLM-130B 的诞生。

△GLM-130B 的任务表现

但在众人争先恐后扑向 GPT-3.5 般大模型的当下，非大模型团队开始不太好谈这类合作了。

去年 11 月 ChatGPT 发布后，与小哥所在团队洽谈校企合作事宜的公司数量急剧减少。在其他高校，AI 领域的非大模型团队也总是面临企业询问，" 要不要 / 会不会做大模型 "。

本就稀缺的算力，在学界有成为追逐热点的砝码的倾向，算力资源分配的马太效应由此逐渐扩大，带给学术研究很大困扰。

ChatGPT 加剧算力分配贫富分化

算力是 AI 飞速发展必不可少的指标，2018 年，OpenAI 发布的报告中点出一个算力趋势：

自 2012 年以来，AI 训练任务所运用的算力每 3.43 个月就会翻倍。到 2018 年，AI 算力需求增长了 30 万倍。

产学研对算力需求暴增，我们能提供的算力有多少？

据中国算力集团统计，截至 2022 年 6 月底，我国数据中心机架使用总规模超过 590 万标准机架，服务器规模约 2000 万台，算力总规模排名全球第 2。

这个排名还算不错，但摊开来看仍旧远远不够，毕竟放眼全球，没有哪个国家不是嗷嗷待哺，等着更多的算力资源 " 投喂 "。

再退一步讲，买得起显卡，拥有的算力上去了，电费也是天文数字。

况且我国还有特殊情况――

开放原子开源基金会业务发展部部长朱其罡在本月举办的 CCF YOCSEF 上发言阐述现状称，超算领域的核心技术，一个是 IBM LSF 超算系统，一个是开源系统。目前，国内多数超算中心都基于开源系统做封装，但这个版本调度资源的效率和能力都有很大的提升空间。

以及，因为众所周知的原因，A100、H100 这俩目前性能最强的 GPU，还没找到可规模替代的方案。

△英伟达 A100 显卡

综上，算力不够已是积弊，但 ChatGPT 时代，算力需求剧烈扩张，除了大量训练算力，大量推理算力也需要支撑。

所以现在的情况是，因为 ChatGPT 显示出大模型的推理能力，训练和研究大模型的算力需求增加；同时因为大模型热度爆棚，蜂拥至大模型的算力资源也增加。

分配给大模型领域的算力资源丰富起来，其他 AI 领域缺衣少食的情况逐渐加剧，研发能力受到掣肘。

可以说，ChatGPT 成为如今的 AI 届白月光后，加剧了算力分配的贫富分化。

这般 " 富 " 甲一方的大模型，是不是 AI 研究路径上最好的？还没人能够回答。

但值得引起注意和重视的是，GPT 系列为首的大模型不应该吸引全部目光，整个 AI 领域还有各种各样的研究方向，还有更加细分的垂直领域，以及带来更多生产力的模型和产品。

当 ChatGPT 的热度趋于平缓，学界的算力资源分配差距会缩小吗？

所有非大模型方向的实验室和团队，恐怕都在期待之中。

― 联系作者 ―

ChatGPT对未来的影响 ChatGPT会成为操作系统吗

现在chatgpt已经能够很好地处理语言，理解里面的逻辑，理解人类问题的意图，并拥有上下文的记忆和连贯性，能够很好地表达输出。虽然它的训练包含了大量现成的资料讯息，但它给出答案时并不是去资料库里面实时搜索，就好像我们人考试时并没有去翻答案一样。这样的一个智能体，难道不是跟人已经很接近了吗？虽然现在确实能找到它的很多问题，但要看它的机制是怎样的，它还有多少成长空间。我们人类的逻辑基本都是建立在语言之上的，如果它有能力从语言中学习和整理逻辑，随着模型参数的持续增长以及类似提示工程师这样的智能挖掘/训练，它必将越来越复杂，逻辑能力越来越强，越来越智能，并且这个演进应该是加速的。但我看到似乎没有人将它和强人工智能关联到一起讨论，即使是专业人士。不少人还是像AI尚未碾压人类顶尖围棋手时那样只去找它当前的薄弱点去轻视它。这是为什么呢？

是的，因为chatgpt已经证明通过大数据和算法回答能力可以质变。

先看看无法语言的人类：

狼孩是在童年时期与家庭和社会隔离、长期生活在野外或与野生动物接触的孩子，他们失去了正常的人类社交、行为和语言能力。因为人类语言能力主要是通过社交互动和接受语言刺激学习而来，所以狼孩在孤立环境中长期缺乏语言刺激和社交互动，很难获得正常的语言能力。

再看看gpt如何学会说话：

GPT并不是真正“学会说话”，而是通过从大量文本数据中学习语言规则和模式来生成自然语言文本。在生成自然语言文本时，GPT会根据输入的文本内容和上下文信息，结合自身学习到的语言规则和模式，生成合理的自然语言文本。

目前人类如何获得智慧的，没有一个明确的标准，但可以确定的是：没有语言交互无法获得智慧。而gpt随着获得语料量的提高，正在显得越来越智能，力大砖飞，大量阅读诞生智慧也说不定呢