自然语言理解与行业知识图谱:概念、方法与工程落地,自然语言理解与行业知识图谱 pdf,自然语言理解与行业知识图片,自然语言理解原理

（报告出品方/作者：西部证券，李艳丽）

一、为什么ChatGPT值得关注？

1.1、ChatGPT推出后用户量增长迅速

ChatGPT 于 2022 年 11 月推出，上线两个月后便跻身全球访问量排名前 50 名的网站， 且访问量仍在快速提升中。 根据 SimilarWeb 的数据，2023 年 1 月 31 日，【【网址】】 网站当天的访问量达到 2801 万，高于世界前五大出行预定网站之一 【【网址】】（全球访问量排名第 45）的 1771 万，作为对比，亚马逊官网 【【网址】】（全球访问量排名第 12）当天访问量 8076 万。 2022 年 12 月至 2023 年 2 月，【【网址】】 累计访问量达 18.82 亿，并且日均访问 量保持上升态势，2 月 28 日当日访问量突破 4500 万，作为对比，【【网址】】 与 【【网址】】 累计访问量分别为 15.36 亿和 74.08 亿。 此外，微软搜索引擎 Bing 在接入 ChatGPT 功能后用户活跃度也迅速上升，据 Bing 官方 博客，整合了 ChatGPT 功能的新版 Bing 上线一个月后为 Bing 搜索引擎贡献超过 100 万 新增用户，目前必应搜索引擎日活已经突破 1 亿。

1.2、ChatGPT极大的提升了人机的交互体验

传统的 NLG 在平时生产生活中应用比较广泛： 1）基于模板填充（Template-based）的，比如酒店预订官网中用户输入日期、酒店位置 等就能自动生成订单，电子邮件通知中的“尊敬的 XX 先生/女士，您的订单（订单编号） 已成功提交，预计（预计送达时间）送达，请注意查收。” 2）基于规则（Rule-based）的：用预定义的语法规则和词汇表来生成自然语言文本。例 如，给定一个表示天气情况的数据，规则可以生成“今天的天气晴朗，温度在 25℃左右， 风速较小”这样的文本。 3）基于统计（Statistical-based）的：用统计学习算法从大规模的语言数据中学习语言模型，例如翻译中可以利用概率模型建立源语言和目标语言之间的映射关系，以节省一定的 人力。

但传统的自然语言生成局限性也很明显： 1）缺乏灵活性和泛化能力：传统方法通常需要手工编写规则或模板，难以适应多样化和 复杂化的语言生成任务，并且很难泛化到新领域或新语境中。 2）难以处理语言的复杂性：语言生成涉及到词汇、语法、语义、语用等多个方面，而传 统方法往往只能处理其中的一两个方面，难以实现全面的语言生成。 3）生成的语言不够自然：由于传统方法对语言的处理不够全面，生成的语言常常会显得 生硬、不自然，甚至出现语法错误、歧义等问题。

因此，自然语言处理技术也不断的进化，目前 ChatGPT 是 GPT-3.5 模型。GPT（Generati【【微信】】rmer）即预训练大语言模型，基于主流自然语言处理模型 Transformer 进行预训练，是深度学习自然语言生成（NLG）的一种。由于在大量的文本数据上进行了 训练，使其能够对广泛的问题和提示产生类似人类的反应。ChatGPT 的 GPT 模型、谷歌 的 BERT 大模型和百度的文心大模型（Ernie）同宗同源，都是基于谷歌 2017 年开发的开 源 Transformer 模型，在其上不断迭代。ChatGPT 是人工智能研究机构 【【微信】】 开发的基于自然语言处理和深度学习技术的对话 生成模型，除了 ChatGPT，【【微信】】 的主要产品项目包括语言处理模型 GPT 系列，图像 生成模型 Dall-E，语音识别模型 Whisper。

ChatGPT 背后的人工智能研发公司 【【微信】】 成立于 2015 年，创始人包括业界知名科学家 和企业家 Sam Altman、马斯克、里德霍夫曼等人。随着时间推移，公司的目标从开发通 用人工智能系统转向开发基于深度学习的语言模型如 GPT-2 和 GPT-3，除了模型，【【微信】】 还开发了许多工具如 Codex。【【微信】】 作为 AI 领域内的重要参与者，与多个企业与学术机 构合作，微软是 【【微信】】 的一位重要投资者，二者在 2019 年达成战略伙伴关系，2023 年1 月，微软宣布向 【【微信】】 投资数十亿美元。模型参数特征上，GPT-3.5 模型具有 1750 亿个参数（vs 人脑 860 亿个神经元），据微软 发布会，当地时间 3 月 16 日，【【微信】】 将推出新一代语言处理模型 GPT4，预计 GPT-4 模型参数数量与 GPT3 相近。

ChatGPT 作为一款基于深度学习的生成式语言模型，和传统的 AI 助手（苹果 Siri、小米 小爱同学、微软 【【微信】】 等）在模型训练方式、语言生成能力、适用场景上有显著区别。 由于采用了深度学习自然语言生成模型，ChatGPT 可以通过自我学习和优化生成明显优 于传统 AI 助手的回答，文本更加自然、流畅且较为准确，能和用户多轮对话，带来更好 的用户体验。

1.3、不仅仅是新技术出现后昙花一现的炒作

和以往新技术引起关注不同，ChatGPT 不仅仅停留在技术和概念层面，已经可以嵌入到 人类的生活和工作当中，给人类带来效率的提升，撬动了最具规模效应的 C 端（消费者） 用户，让蓄力多年的深度学习 AI 研究取得了应用层的突破，并且开始初步的商业化。 ChatGPT 提出了新的技术发展路径，长期发展空间值得关注。历史上很多新技术出现后 引起关注，但后续乏力，比如谷歌的深度学习围棋 AI Alpha Go 等。ChatGPT 具备广泛的 应用场景，后续开发空间广阔。尽管具体的革命还需要多项技术的配合，但是未来随着技 术迭代，成果值得期待： 1：成本下降空间大：据 【【微信】】 官方，ChatGPT 12 月起成本较之前下降 90%，仅为 0.0002 美元/1000 词。2：应用场景可拓展性强：用户自发尝试，可以使用的场景广泛，在 ChatGPT API 可调用 后，更多的 C 端应用迅速推出。

3：依托技术融合创新，不断提升产品功能：通过调用技术工具/数据库提升答案的准确性 和可靠程度，通过调用不同类型的工具，不断丰富产品功能。由于 ChatGPT 可以借助 API （Application Programming Interface，应用程序接口）方式被外界调用，意味着它可以 接入各类软件，它的出现也将像浏览器改变互联网、苹果应用商店改变软件行业一样，对 整个科技业产生巨大的冲击。 海外知名社交应用 Snapchat 宣布将推出采用 ChatGPT 模型的 AI 聊天机器人“My AI”， 并会被固定在应用的聊天选项卡上。My AI 将首先面向付费用户开放，不久后会进一步面 向更多用户开放。云服务公司 Saleforce 也宣布将 ChatGPT 接入旗下办公软件 Slack，用 户可以通过生成摘要来高效地了解工作对话内容，并更迅速地撰写回复、会议纪要，从而 留出更多的时间用于实施工作计划以及拓展客户。

ChatGPT 类似一把“语言的钥匙”，向人们提供了一种新的信息交互方式，也为人工智能 发展找到了新的落地方向。它能够更好地理解人类语言表达，具有强大的语言建模和推理 能力，能够结合用户反馈不断调整自己的回答和建议，从而实现更个性化的对话服务。 正如计算机和互联网改变了我们的生活方式一样，ChatGPT 的出现也将改变人们与信息 交流的方式。ChatGPT 可以应用于多个领域，例如自然语言处理、聊天机器人、智能客服、语音助手、智能家居、自动文本摘要等，提高效率和准确性，帮助人们更好地解决问 题，影响人们工作、生活和社会的方式，也可以被用于加强人工智能的研究和开发，这将 有助于推动更广泛的科技创新和进步。

也由于 ChatGPT 的应用还处于探索阶段，目前 ChatGPT 应用于生活的案例广泛分布于 多个场景，使用体验也更加个性化，目前它对于生产效率的提升暂时不能得到可靠的归纳， 但随着应用落地时间推移，这一工具未来的使用效果以及适用场景将逐渐清晰。 站在当前时点无法预测未来会发生什么，但是 ChatGPT 的确具有潜力在多个领域产生深 远的影响。 根据 future market trends 测算，2022 年全球内容生成整体价值规模达到 149 亿美元，预计将在 2032 年达到 472 亿美元，复合增速 12.2%。人工智能接受度的提升以 及人工智能工具的辅助下，AI 生成内容占比将不断提升，并带动整个内容产业持续增长。

二、自然语言生成领域的竞争格局如何？

2.1、大模型层面：类似云计算市场，头部玩家的游戏

近年来，人工智能和 NLP 行业经历了显著的增长，在广泛的应用中对复杂的语言处理能 力的需求不断增加，如客户服务、内容生成和情感分析。Market Research Future 的一份 报告预测，到 2023 年，全球 NLP 市场的价值将达到 160.6 亿美元，2017 年至 2023 年 的复合年增长率为 16.5% 在深度学习语言模型领域，大型科技公司在算力、历史投入、科技人才密度、数据规格、 资金实力等方面具有明显优势，因此大（公司）模型有较大可能挤压小模型闭环方案的一 些创业公司的生存空间。ChatGPT 作为尖端语言模型，在自然语言理解和生成方面具有 广泛能力和潜在应用，也需要具备工程上的综合能力。未来，谁能拿到更多场景里、用户 参与的、高质量反馈的私有数据，并以更高效率迭代，将形成竞争关键点。

类似云计算，我们认为在大模型层面，最终市场主导者仍将是算力、历史投入、科技人才 密度、数据规格、资金实力等方面具有明显优势的头部科技公司，只有头部科技公司会研 发大模型，其余用户选择租用头部公司开发的大模型：

大模型层面，我们认为竞争格局将类似于云计算市场，头部玩家占据大部分份额，CR3 将或超过 50%。参考云计算市场，据 Gartner 和 IDC 数据统计，2021 年全球云计算市场 规模达到 3307 亿美元，近五年 CAGR 约为 18%，其中公有云 IaaS 领域是云计算服务的 最底层，市场发展相对较成熟，形成了较为清晰的竞争格局；2021 年，亚马逊/微软/阿里 分别占全球公有云 IaaS 市场的 38.90%/21.10%/9.50%；中国云计算行业近年来取得迅速 增长，从 2007 年的 266 亿元增长到 2021 年的 2181 亿元，GAGR 达 52%，2022 年上半 年，阿里云/华为云/天翼云分别占国内公有云 IaaS 市场的 34.5%/11.6%/11.0%。

在商业模式及市场绩效方面，相较于国际巨头，中国 laaS 和 PaaS 厂商大多仍在发展期， 在产品种类和功能的完善性，以及收费和盈利模式的灵活性上仍有一定差距，并且尚未能 够实现盈利，市场不确定性更大，因此下文主要以 AWS 等国际巨头为例分析云计算最终 将呈寡头垄断竞争格局的原因。

1、研发深度学习大语言模型需要大量的资源投入。 深度学习模型作为 ChatGPT 类产品的基础设施，在前期需要大规模资金支持，以满足数 据调试的适用场景普适性的需求，根据谷歌披露数据，训练参数规模 1750 亿的大模型， 理想训练费用超过 900 万美元。 类似的，计算服务为了实现覆盖的产品和功能范围的广度，要求云服务提供商持续进行产 品功能更新和产品矩阵建设来满足用户多元需求，Amazon 和 Google 持续进行大额资本 投入以完善产品能力。2022 年 Amazon 和 Google 的资本性支出分别达 583 亿美元和 315 亿美元，并仍然呈现上涨趋势。因此，深度学习模型和云计算行业具备很高的资源壁垒、 技术壁垒和客户壁垒，市场进入门槛较高，资金能力有限的小厂商很难进入这个行业。

2、头部公司具有望实现规模效应和低价壁垒的良性循环。 ChatGPT 上线一个月后，就实现运营成本降低 90%。2023 年 3 月推出的 GPT-3.5-Turbo 调用 1 千万词（Token）的费用为 20 美元，较先前的 davinci 模型下降 90%。随着公司根 据大量用户体验反馈不断积累运营数据，提升模型性能，将使得模型体验效果维持在行业 前列。

参考云计算领域的 AWS，2009 年已开始降价，2013 年甚至有一年降价 13 次的举动，但 是营业收入仍然保持高速增长，2013 年到 2022 年其营业收入以 CAGR 43.5%的速度增 长到 800.96 亿美元，一方面是因为 IaaS 产品功能相对同质化，客户对价格较为敏感，低 价可以吸引更多客户，另一方面，由于边际成本较低，AWS 能够实现规模效应，服务器 等折旧支出随着收入增长占收入比重稳定下降，2021 年已降至 12%， AWS 已建立了客 户规模增加-利润率提升-价格下降的正向循环，同时成本优势也使得 AWS 相对于其他竞 争者拥有低价护城河。

3、品牌效应强，先发优势明显 客户迁移成本高，倾向选择具有技术优势和成熟案例的领先厂商。云计算市场具有明显的 网络效应，即用户越多，企业在产品交付和售后的经验更多，产品打磨更精细，因此，客 户会更加信任有成功案例实施经验、产品商业应用时间厂的云服务厂商，这使得云计算市 场上的领先企业拥有强大的品牌效应，市场上的领先企业更加难以被取代。 与云计算类似，自然语言生成市场同样具有网络效应，自然语言生成质量部分取决于大规 模数据和模型的训练，使用自然语言生成模型的用户越多，模型可从用户生成的数据中学 习，提升内容生成质量；更多用户使用也会促成更多的投资研究，推动头部公司探索更先 进的算法和模型结构。因此头部公司的 AI 模型论文转化率往往更好，同时能够将模型迅 速转化为产品获取用户，进一步加强自身市场影响力。

2.2、小模型层面：或诞生一批具有行业/区域属性的小而美玩家

小模型开发训练及维护的成本更低，应用领域更窄，小公司可以为垂类场景，如广告、教 育、医疗、金融等针对性地搭建小模型，为用户提供可靠准确的回答。目前在 AI 生成文 本领域，已有大量创业公司/小公司主要采用开源大模型或者调用第三方接口研发自己的产 品，提供具备差异化的服务，也在大语言模型这一领域展开竞争。随着语言生成模型在客 户中的接受度逐步提升，出于对数据安全以及模型效率的考量，越来越多的公司将有意愿 对原始大模型进行微调训练，基于自身业务场景以及数据部署个性化的 AI 模型。

综上所述，由于行业壁垒较高、规模效应明显和先发优势显著的原因，大模型领域最终或 将形成寡头垄断的竞争格局。而在小模型层面，由于不同行业不同客户的需求更加多样化、 行业和地区差异明显，且需要在客户的基础设施上进行部署等原因，行业集中度会较低， 更容易出现具有行业或区域属性的垂直性龙头企业，市场垄断程度可能会相对较低。

三、自然语言生成模型如何影响传媒行业？

ChatGPT 作为文本交互工具，对于传媒行业中存在大量文字生成、交互任务的搜索引擎、 影视、广告营销、游戏以及出版行业未来的生产方式开始产生影响。目前 ChatGPT 在文 本生成、信息总结上具备良好表现，而在提供事实信息方面的能力还亟待提升。现阶段在 与事实关联较低、需要创造性的场景已经涌现出多项具体应用。

3.1、搜索引擎：问答式交互更好地理解用户需求

LLM 与搜索引擎结合，可提升用户体验。ChatGPT 基于其大规模的语言模型和海量的语 料库为用户提供对话反馈，快速高效的生成答案。区别于传统搜索引擎的搜索，内嵌 ChatGPT 可以回答复杂的问题，提供总结性的答案，以及可以进行一定的“创作类”内 容生成。

在面对没有标准答案问题时，ChatGPT 角色向个人助手的方向演变，满足用户对于学习、 生活等各方面问题的解决需求。例如在向新版 Bing 寻求商品推荐时，会基于知乎、B 站 等平台发布的测评内容展示结果，详细列出了推荐产品的售价、参数、使用场景等，方便 用户比较，并附带标注所引用的来源与网址，更具可靠性；除了单次搜索结果展示外，可 以点击进入 Chat 继续进行对话，细化查询结果。对话过程中，新版 Bing 还会使用语言表 情符号，更生动，符合人类之间的对话习惯。增加变现渠道，创造增量市场。搜索引擎与 ChatGPT 结合下，广告商业化亦有较强探索 空间，包括聊天界面广告位的增加、生成回答时广告链接的引用甚至排序推荐等。同时用 户与 Chat 的互动能为模型收录更具针对性、个性化的数据，有利于提高广告推送的精准 度。

百度搜索嵌入文心一言，市占率有望提升。百度类 ChatGPT 产品将于 3 月完成内测并面 向公众开放，该项目名字确认为文心一言，英文名 ERNIE Bot。文心一言项目是基于文心 大模型技术推出的生成式对话产品，公司计划将多项主流业务与其整合。反馈方式变革， 传统搜索引擎模式为用户提供关键词相关链接，文心一言将基于庞大数据库以对话形式直 接给用户的问题做出解答，提升搜索效率，丰富搜索场景需求。

【【淘密令】】 数据显示，2023 年 2 月百度搜索市场占有率 55.9%，相较于前两年有一定程 度的下滑。和海外产品比，百度搜索在中文内容上的数据储备上优势突出，预计在对用户 内容理解性、反馈程度与使用便捷性更优。我们预计文心一言推出后，将有利于提升百度 搜索引擎的市场份额提升。据头豹研究院，2022 年国内搜索引擎市场规模约 895.34 亿元， 1%的市场份额变动意味着 8.95 亿元的营收。【【淘密令】】 数据显示，2023 年 2 月百度搜 索市场占有率约为 55.9%，我们认为文心一言推出后有望提升市场份额。

3.2、影视：内容创作、传播提供更加高效的支持

AI 生成技术可以协助完成影视内容创作。GPT 可以生成具有一定逻辑性和连贯性的剧本 段落，为编剧提供创作灵感和辅助创作工具。而在 AI 生成领域，通过智能生成图像与音 频可以帮助创作者完成各类影片内容的制作，2023 年 2 月，Netflix 上线了一部 AI 协助制 作的动画短片《犬与少年》，动画中的背景全部由 AI 协助制作，创作者绘制背景草稿，由 AI 自动生成画面细节，最后由创作者进行少量调整完成最终背景的制作。

视频字幕翻译与概括：GPT 可以根据视频内容生成准确、流畅的字幕，同时也可以实现 视频的翻译，为国际化发展提供了更多的可能性。基于 AI 技术实时生成字幕翻译前两年 就有，ChatGPT 目前在台词翻译连贯性上仍有提升空间，翻译水准与传统机器翻译相近， 表现更好的是视频字幕摘要，帮助用户高效获取视频内容信息。在 ChatGPT 开放 API 后， 针对网站视频中的文本信息（字幕、简介）概括视频关键信息的软件工具快速推出，以插 件 Glarity 为例，上线一个月，使用用户数量约 10000 人，评分 4.4/5，反馈较好。

3.3、广告营销：节约人力，提升广告效果

提升文案写作效率：广告行业拥有大量的文案需求， GPT 模型可以通过学习大量的营销 素材，生成新的广告文案和创意，从而提高广告的质量和效果。AI 创业公司 Jasper 推出 的同名应用，就是基于 GPT-3 的 API 为用户提供 AI 写作服务，Jasper 比较擅长输出电商 产品介绍，博主的种草文案等短篇内容，每月收取用户 82 美元订阅费。除了 GPT3，Jasper 还融合了多种模型算法，包括 NeoX、T5 等，并在此基础上根据实际业务需求，人工调整 出量身定制的学习模型，使 AI 产品更易于日常使用，如今 Jasper 的使用界面上提供了数 百种垂直领域的模板，产品服务 7 万多名客户。 优化客服体验：GPT 模型可以通过智能化的对话系统，自动回答客户的问题，提高客户 满意度，同时也降低了企业的人工成本。

3.4、游戏：丰富内容交互，提高互动体验和可玩性

游戏剧情创作和内容生成：GPT本身的训练数据集中包含部分游戏以及故事相关的内容， 可以生成新的游戏剧情和故事概念，为游戏开发者提供创意和灵感；可以通过学习大量游 戏元素和规则，生成新的游戏关卡、道具、任务等内容，增加游戏的可玩性和趣味性。此 外，对于一些以文本互动为主的游戏，可以使用ChatGPT直接制作再进行调整，节约开 发成本。游戏对话系统提升。GPT 模型可以直接将 API 接入游戏中的对话系统，实现更智能化的 对话体验，提高游戏可玩性。例如已有玩家将 ChatGPT 的 API 接入高自由度游戏《骑马 与砍杀 2》的某位 NPC，提高了 NPC 的角色丰富度和交互体验。

游戏智能角色和 NPC： GPT 模型可以生成智能角色和 NPC 的对话和行为，为游戏开发者提供更真实、多样化的 游戏体验。网易旗下开放世界武侠手游《逆水寒》将实装国内首个游戏版 ChatGPT。通 过内嵌与 ChatGPT 同源的“游戏 GPT”。其不仅能够让智能 NPC 和玩家自由通过文字或 语音进行对话，并基于对话内容自主给出有逻辑的行为反馈，还可以通过 AI 随机生成任 务、关卡地牢，甚至能通过文字形式进行捏脸。游戏中智能 NPC 的所有对话文字、表情、 语音、镜头均由 AI 自由生成，NPC 拥有更高的自主性与随机性。 海外初创公司 Character.ai 推出的聊天机器人可以从文章、新闻故事、书籍和其他数字资 源中提取内容帮助用户生成喜欢的角色或个人回复，未来也可以在不同行业场景中落地应 用。比如，用户可以选择与苏格拉底或任天堂角色马里奥交谈。

ChatGPT 以及 AIGC 可以作为更高效生产力工具，提高虚拟人的制作效率，对虚拟人 公司来说，1 个月即可上线相关产品，创造出和用户交互性更强的虚拟人。虚拟人行业 市场潜力巨大，根据艾媒咨询，以 ChatGPT 为代表的 AIGC 相关技术有望撬动更大的 市场空间，预计到 2025 年，相关市场规模将达到 6402 亿元。

3.5、出版：辅助创作，降低校对翻译成本

辅助创作：GPT 模型的训练数据集中涵盖大量图书内容，具备自动生成新故事、小说等 作品的能力，为作者提供更多的创作灵感和创意。ChatGPT 上线后已经有大量用户尝试 使用其进行创作，亚马逊的 Kindle 商城已经出现接近 300 本创作者包含“ChatGPT”的 图书。智能编辑校对以及翻译： GPT 模型支持多种语言，能够自动检查不同语言的图书中文本 的语法、逻辑、文笔等方面的问题并提出修改建议，帮助提高作品内容质量和可读性，减 轻人工校对成本；也可以用于文本自动翻译，提升翻译的效率，加快推动更多图书走入全 球市场。目前已有多个接入 ChatGPT API 的翻译插件，可用于论文、网页文本、图书的 修改润色以及翻译。

四、自然语言生成模型面临的问题？

给出错误/负面回答：自然语言生成模型的性能受到训练数据的质量和数量的影响。如果 数据集存在偏差或缺乏多样性，模型可能会出现过拟合或无法很好地泛化到新的数据集上 的问题。伴随着用户的大规模使用，ChatGPT 出现了生成传播错误信息、生成负面信息 的多个案例，对其有效性和可靠性造成了负面影响。

计算资源和能源消耗过高：自然语言生成模型的训练和推断需要大量的计算资源和能源， 这使得它们在许多应用中不太实际。此外，这种计算资源和能源的消耗还会对环境造成影响。 根据 towardsdatascience 测算，训练 GPT-3 模型大概消耗 318 万度电，制造碳排放 271 吨， 为美国人均每年碳排放量（16 吨）的 17 倍以上。

可能导致法律问题：GPT 模型可以生成自然语言文本，

如何汉字转拼音首字母 汉字文本转换提取拼音首字母

如何汉字转拼音打出来,怎么把汉字转换拼音,汉字如何转换成拼音,汉字转拼音方法

//汉字转化为简拼 【【微信】】 "【【微信】】QPSSQBYCDSCDQLDYLYBSSJGYZZJJFKCCLZDHWDWZJLJPFYYNWJJTMYHZWZHFLZPP【【微信】】SJNKKTMOMLCRXYPSNQSECC【【微信】】HQWJSSGGYXYZYJWWKDJHYCHMYXJTLXJY【【微信】】PCBZJJBRCFTL…

2023/3/11 3:04:25