来源：雪球App，作者： 郭伟松_鑫鑫投资，（https://xueqiu.com/2524803655/241614735）

（报告出品方/作者：海通国际，郑宏达、杨林、洪琳）

1.大模型是人工智能的发展趋势和未来

大模型，又称为预训练模型、基础模型等，是“大算力+强算法”结合的产物。大模型通常是在大规模无标注数据上进行训练，学习出一种特征和规则。基于大模型进行应用开发时，将大模型进行微调，如在下游特定任务上的小规模有标注数据进行二次训练，或者不进行微调，就可以完成多个应用场景的任务。 迁移学习是预训练技术的主要思想。当目标场景的数据不足时，首先在数据量庞大的公开数据集上训练基于深度神经网络的 AI 模型，然后将其迁移到目标场景中，通过目标场景中的小数据集进行微调，使模型达到需要的性能。在这一过程中，这种在公开数据集训练过的深层网络模型,即为“预训练模型”。使用预训练模型很大程度上降低了下游任务模型对标注数据数量的要求，从而可以很好地处理一些难以获得大量标注数据的新场景。大模型正是人工智能发展的趋势和未来。

1.1 国内外公司与机构竞相研发，大模型生态已初具规模

从参数规模上看，AI 大模型先后经历了预训练模型、大规模预训练模型、超大规模预训练模型三个阶段，参数量实现了从亿级到百万亿级的突破。从模态支持上看， AI 大模型从支持图片、图像、文本、语音单一模态下的单一任务，逐渐发展为支持多种模态下的多种任务。 国外的超大规模预训练模型起步于 2018 年，并在 2021 年进入“军备竞赛”阶段。 2017 年，Vaswani 等提出 Transformer 架构，奠定了当前大模型领域主流的算法架构基础；Transformer 结构的提出，使深度学习模型参数达到了上亿的规模。2018 年， 谷歌提出了大规模预训练语言模型 BERT，该模型是基于 Transformer 的双向深层预训练模型，其参数首次超过 3 亿规模；同年，OpenAI 提出了生成式预训练 Transformer 模型――GPT，大大地推动了自然语言处理领域的发展。此后，基于 BERT 的改进模型、ELNet、RoBERTa、T5 等大量新式预训练语言模型不断涌现，预训练技术在自然语言处理领域蓬勃发展。

2019 年，OpenAI 继续推出 15 亿参数的 GPT-2，能够生成连贯的文本段落，做到初步的阅读理解、机器翻译等。紧接着，英伟达推出了 83 亿参数的 Megatron-LM，谷歌推出了 110 亿参数的 T5，微软推出了 170 亿参数的图灵 Turing-NLG。2020 年， OpenAI 推出了超大规模语言训练模型 GPT-3，其参数达到了 1750 亿，在两年左右的时间实现了模型规模从亿级到上千亿级的突破，并能够实现作诗、聊天、生成代码等功能。此后，微软和英伟达在 2020 年 10 月联手发布了 5300 亿参数的 MegatronTuring 自然语言生成模型（MT-NLG）。2021 年 1 月，谷歌推出的 Switch Transformer 模型以高达 1.6 万亿的参数量成为史上首个万亿级语言模型；同年 12 月，谷歌还提出了 1.2 万亿参数的通用稀疏语言模型 GLaM，在 7 项小样本学习领域的性能超过 GPT-3。可以看到，大型语言模型的参数数量保持着指数增长势头。这样高速的发展并没有结束，2022 年，又有一些常规业态大模型涌现，比如 Stability AI 发布的文字到图像的创新模型 Diffusion，以及 OpenAI 推出的 ChatGPT，ChatGPT 是由效果比 GPT3 更强大的 GPT-3.5 系列模型提供支持，并且这些模型使用微软 Azure AI 超级计算基础设施上的文本和代码数据进行训练。

而在国内，超大模型研发展异常迅速，2021 年成为中国 AI 大模型的爆发年。2021 年，商汤发布了书生（INTERN）大模型，拥有 100 亿的参数量，这是一个相当庞大的训练工作。在训练过程中，大概有 10 个以上的监督信号帮助模型，适配各种不同的视觉或者 NLP 任务，截至 2021 年中，商汤已建成世界上最大的计算器视觉模型， 该模型拥有超过 300 亿个参数；同年 4 月，华为云联合循环智能发布盘古 NLP 超大规模预训练语言模型，参数规模达 1000 亿；联合北京大学发布盘古 α 超大规模预训练模型，参数规模达 2000 亿。阿里达摩院发布 270 亿参数的中文预训练语言模型 PLUG，联合清华大学发布参数规模达到 1000 亿的中文多模态预训练模型 M6；7 月，百度推出 ERNIE 3.0 知识增强大模型，参数规模达到百亿；10 月，浪潮信息发布约 2500 亿的超大规模预训练模型“源 1.0”；12 月，百度推出 ERNIE 3.0 Titan 模型， 参数规模达 2600 亿。而达摩院的 M6 模型参数达到 10 万亿，将大模型参数直接提升了一个量级。2022 年，基于清华大学、阿里达摩院等研究成果以及超算基础实现的“脑级人工智能模型”八卦炉（BAGUALU）完成建立，其模型参数模型突破了 174 万亿个，完全可以与人脑中的突触数量相媲美。

部分公司中国公司虽然目前还没有正式推出自身大模型产品，但是也在积极进行研发，例如云从科技，公司的研究团队高度认同“预训练大模型+下游任务迁移”的技术趋势，从 2020 年开始，已经陆续在 NLP、OCR、机器视觉、语音等多个领域开展预训练大模型的实践，不仅进一步提升了公司各项核心算法的性能效果，同时也大幅提升了公司的算法生产效率，已经在城市治理、金融、智能制造等行业应用中体现价值。 而且，中国的超大模型并不落后于国外同类产品，在某些领域还能实现反超。以商汤科技的书生（INTERN）为例，书生（INTERN）在分类、目标检测、语义分割、深度估计四大任务 26 个数据集上，基于同样下游场景数据（10%），相较于同期 OpenAI 发布的最强开源模型 CLIP-R50x16，平均错误率降低了 40.2%，47.3%， 34.8%，9.4%。同时，书生只需要 10%的下游数据，平均错误率就能全面低于完整 （100%）下游数据训练的 CLIP。

可以看到，国内外众多公司和研究机构积极开展对大模型的研发。目前，大模型参数规模最高可达百万亿级别，数据集达到 TB 量级，且面向多模态场景（同时支持文字、图像、声音、视频、触觉等两种及以上形态）的大模型已成为趋势。大模型生态已初具规模。

1.2 大模型能给 AI 产业带来什么

1.2.1 大模型加速 AI 产业化进程，降低了 AI 应用的门槛

人工智能正处于从“可以用”逐渐走向“好用”的落地应用阶段，但目前仍处于商业落地早期，主要面临着场景需求碎片化、人力研发和应用计算成本高、长尾场景数据较少导致模型训练精度不够、模型算法从实验室场景到真实场景效果差距大等行业痛点。而大模型的出现能够在在提高模型的通用性、降低训练研发成本方面等方面降低 AI 落地应用的门槛。

（1）大模型能够实现 AI 从“手工作坊“到”工厂模式”的转变

过去十年中，通过“深度学习+大算力”从而获得训练模型是实现人工智能的主流技术途径。由于深度学习、数据和算力这三个要素都已具备，全世界掀起了“大炼模型” 的热潮，也催生了大批人工智能企业。但是，在深度学习技术兴起的近 10 年间，AI 模型基本上是针对特定应用场景需求进行训练的，即小模型，属于传统的定制化、 作坊式的模型开发方式。传统的 AI 模型从研发到投入应用需要完成包括确定需求、 数据收集、模型算法设计、训练调优、应用部署和运营维护等阶段组成的整套流程。这意味着除了需要优秀的产品经理准确确定需求之外，还需要 AI 研发人员扎实的专业知识和协同合作能力完成大量复杂的工作。

传统模式中，研发阶段，为了应对各式各样的场景需求，AI 研发人员需要设计专网专用的个性定制化神经网络模型。模型设计过程要求研究人员具有充分的网络结构和场景任务专业知识，且需承受人力设计网络结构的试错成本和时间成本。一种降低专业人员设计门槛的思路是通过网络结构自动搜索的技术路线，但是这种方案对算力要求很高，并且不同场景任务都要调用大量机器进行自动搜索以获取最优模型，算力成本和时间成本仍然很高。一个项目往往需要专家团队实地驻场数月才能完成，其中数据收集和模型训练评估是否能够达到指标要求往往需要多次循环迭代，人力成本很高。 落地阶段，经“一个场景一个模型”式的作坊式模型开发得到的模型在许多垂直行业场景任务不通用。譬如无人自动驾驶全景感知领域，常常需要多行人跟踪、场景语义分割、视野内目标检测等多个模型协同作战才行；而同样是目标检测和分割应用，在医学图像领域训练的皮肤癌检测和分割 AI 模型也无法直接应用到监控场景的行人车辆检测和场景分割。模型无法复用和积累，同样导致了 AI 落地的高门槛、高成本与低效率。

而大模型通过从海量的、多类型的场景数据中学习，并总结不同场景、不同业务下的通用能力，学习出一种特征和规则，成为具有泛化能力的模型底座。基于大模型进行应用开发或面对新的业务场景时，将大模型进行微调，例如在下游特定任务上的小规模有标注数据进行二次训练，或不进行微调，就可以完成多个应用场景的任务，实现通用的智能能力。由此利用大模型的通用能力可以有效的应对多样化、碎片化的 AI 应用需求，为实现规模推广 AI 落地应用提供可能。

（2）大模型具有自监督学习能力，能够降低 AI 开发以及训练成本

传统的小模型训练过程中，涉及众多调参、调优的手动工作，需要大量的 AI 专业研发人员来完成；同时，模型训练对数据要求高，需要大规模的标注数据。然而许多行业数据获取困难、标注成本高，同时项目研发人员需要花费大量的时间收集原始数据。譬如，人工智能在医疗行业病理学、皮肤病学和放射学等医学图像密集领域的影响扩展增长，但是医学图像通常涉及到用户数据隐私，很难大规模获取到用于训练 AI 模型。而在工业视觉瑕疵检测领域，以布匹瑕疵为例，市场上需要检测的布匹种类包括白坯布、色坯布、成品布、有色布、纯棉、混纺等等，瑕疵种类繁多， 颜色、厚薄难以识别，需要在工厂里长时间地收集数据并不断优化算法才能做好瑕疵检测。

工业视觉应用场景千变万化，每个场景都具有专业知识的个性化的需求， 而不同行业的数据在另一个场景或任务可能并不适用，还需重新收集、标注数据和训练模型，造成重复造车轮子现象，研发流程虽然相通，但研发的模型却难以复用。此外，AI 模型也需要完整的、实时的支持机器自学习的数据闭环，从而能够不断迭代优化。这一方面整体也导致了当前 AI 研发整体门槛、成本较高。 而大模型通过自监督学习功能将输入的原始数据直接进行自动学习区分，合理构造适合模型学习的任务，不需要或很少需要通过人工标注的数据进行训练，很大程度上解决了人工标注数据标签的高成本、长周期和精确度的问题，并降低了训练所需要的数据规模。这在很大程度上减少了大模型训练数据获取、标注的成本，也更适合于小样本学习，从而有利于将传统的、有限的 AI 扩展到更多的应用场景。

我们认为，大模型相对于传统 AI 模型开发模式在研发时拥有更标准化的流程，在落地时拥有更强的通用性，可以泛化到多种应用场景；并且大模型的自监督学习能力相较于传统的需要人工标注的模型训练能够显著降低研发成本，共同使得大模型对 于 AI 产业具有重要意义，为解决 AI 落地难、促进 AI 产业化进程这一问题提供方向。

1.2.2 大模型带来更强大的智能能力

除通用能力强、研发过程标准化程度高外，大模型最大的优势还是在于“效果好”， 其通过给模型“填喂”大数据提高其自学习能力，进而具有更强的智能程度。比如在自然语言处理领域，百度、谷歌等巨头的探索表明，基于预训练大模型的 NLP 技术的效果，已超过过去最好的机器学习能力。OpenAI 的研究表明，2012 至 2018 年 6 年间，在最大规模的人工智能模型训练中所使用的计算量呈指数级增长，其中有 3.5 个月的时间计算量翻了一倍，比摩尔定律每 18 个月翻一倍的速度快得多。下一代 AI 大模型，参数数量级将堪比人类大脑突触的水平，并且或将不仅能处理语言模型， 将更是一个能处理语言、视觉、声音等多任务的多模态 AI 模型。大模型为通往强人工智能提供了一条可能的通道。

从大模型发展历程中能够看出，多模态大模型是发展趋势之一。由于具有在无监督情况下自动学习不同任务、并快速迁移到不同领域数据的强大能力，多模态大模型被广泛认为是从限定领域的弱人工智能迈向强人工智能的路径探索。OpenAI 联合创始人、首席科学家 Ilya Sutskever 也曾表示，“人工智能的长期目标是构建多模态神经网络，即 AI 能够学习不同模态之间的概念，从而更好地理解世界”。将文本、语音、图像、视频等多模态内容联合起来进行学习，大模型由单模态向多模态方向发展，能够对更广泛、更多样的下游任务提供模型基础支撑，从而实现更加通用的人工智能模型。

更具体来看，大模型带来的更强大的智能能力，能够推动人工智能向更高级智能应用领域迈进，例如 AIGC、更智能的对话客服等领域。GPT-3 等大模型在新闻文本生成、商业文本分析、法律文本分析等领域具有较高的产业应用价值。2022 年 OpenAI 发布的基于 GPT-3.5 的 ChatGPT 则能够以对话方式进行交互；除问答以外，ChatGPT 能够完成编程、写稿等众多超出人们想象的任务。甚至有研究人员表示未来 ChatGPT 这样的新兴人工智能技术很可能会影响白领的工作。在一项由医疗初创公司 Ansible Health 领导的研究中，ChatGPT 参加美国医生执照的三项考试，考试成绩可以达到或接近达到及格；ChatGPT 在法律领域的表现甚至更加优秀，研究人员发现，ChatGPT 可以取得美国多州律师考试的及格分数；ChatGPT 的能力也已经获得了大型科技企业的认可，谷歌公司指出，如果 ChatGPT 参加谷歌的面试，理论上会得到入门级程序员的聘任。

2022 年，大模型正在成为 AIGC 领域发展的算法引擎。在大模型的能力加持下，包括以文生图以及虚拟数字人等 AIGC 类应用将快速进入到商业化阶段，并为元宇宙内容生产带来巨大的变革。大模型正在让人工智能技术从五年前的“能听会看”，走到今天的“能思考、会创作”，未来有望实现“会推理、能决策”的重大进步。 我们认为，随着大模型不断地进步、迭代、向多模态方向发展，大模型能够达到更强的通用性以及智能程度，从而使得 AI 能够更广泛地赋能各行业应用，尤其是更高级智能应用领域，这是大模型能够给 AI 产业带来的突破之一，也是大模型构成人工智能发展趋势和未来的原因之一。

2. 模型公司将是 AI 世界的基础类公司

2.1 大模型，智能时代的基础设施

大模型的“大规模”和“预训练”属性，决定了其具有能力泛化、技术融合、应用支撑三大核心作用。 能力泛化方面，AI 大模型预先在海量通用数据上训练并具备多种基础能力，可结合多种垂直行业和业务场景需求进行模型微调和应用适配，能够摆脱传统 AI 能力碎片 化、作坊式开发的束缚。AI 大模型得益于其“大规模预训练微调”的范式，可以很好地适应不同下游任务，展现出它强大的通用性。 技术融合方面，单个 AI 大模型通过端到端联合训练调优，能有效集成自然语言处理、计算机视觉、智能语音、知识图谱等多个 AI 核心研究领域的多项技术，性能上 可实现“1+1>2”的效果，可显著提升 AI 大模型的功能丰富性和性能优越性。 应用支撑方面，AI 大模型已成为上层应用的技术底座，能够有效支撑智能终端、系统、平台等产品应用落地，可解决传统 AI 应用过程中存在的壁垒多、部署难问题。

从人工智能到各行业的商业应用，可以看作是上下游的关系。而 AI 大模型因为其自身而也正是大模型在能力泛化与技术融合方面的优势，使其在应用支撑方面具有先进性；同时大模型做到了相对标准化，下游可以降低对算法的使用成本，以及商业应用的适配成本。因此，大模型在 AI 产业链中将承担“基础设施”式的功能，作为底座将 AI 技术赋能千行百业。也就是说，在基于数据的互联网时代、基于算力的云计算时代之后，将进入基于大模型的 AI 时代。在未来，基于大模型，人工智能将如供水供电一般流向终端，流向用户和企业。

如果将 AI 比作电力，那么大模型则相当于“发电机”，能将智能在更大的规模和范围普及。大模型的智能能力在未来将成为一种公共基础资源，像电力或自来水一样随取随用。每个智能终端、每个 APP，每个智能服务平台，都可以像接入电网一样， 接入由 IT 基础设施组成的“智力”网络，让 AI 算法与技术能够更广泛地应用于各行各业。

基于大模型形成的大规模智能网络和云计算完全不同。云计算尽管也将算力比作随取随用的资源，但目前仍然做不到像电力一样的方便。这是因为云计算本质上需要云和用户进行双向的资源交换，用户需要经过繁琐的数据准备、计算过程定义等过程，将数据和算法转移到云端，再由云端完成任务后传回本地。而基于大模型的大规模智能网络则不需要用户定义计算过程，只需要准备好数据，大模型强大的能力能够在少量微调甚至不微调的情况下直接完成用户所需的

什么是OpenAI？如何注册OpenAI帐号

一、什么是OpenAI OpenAI是一家人工智能研究公司，成立于2015年，总部位于美国加利福尼亚州旧金山，由Elon Musk、Sam Altman、Greg Brockman、Ilya Sutskever、Wojciech Zaremba等人创立。其宗旨是使用人工智能技术提高人类生活质量。OpenAI的目标是要把人工智能发展成一个可以帮助人类做出更好决策的工具，以帮助人类实现更高的效率。

二、OpenAI的优势 1、OpenAI采用了大量的深度学习技术，可以让计算机更加智能，更加灵活。 2、OpenAI拥有大量的数据集，可以帮助开发者建立更为完善的模型。 3、OpenAI拥有强大的计算能力，可以让开发者建立更复杂的模型，以解决更复杂的问题。 4、OpenAI拥有丰富的应用，可以帮助开发者更好地利用人工智能技术。

三、如何注册OpenAI帐号 1、访问OpenAI官网，点击右上角的“Sign Up”按钮，进入注册页面。 2、输入用户名、邮箱地址和密码，然后点击“Sign Up”按钮。 3、确认用户名和密码，然后点击“Confirm”按钮。 4、在弹出的页面中输入验证码，然后点击“Verify”按钮。 5、确认您的账号已经创建成功，然后点击“Log In”按钮，即可完成OpenAI帐号的注册。