什么是Chat GPT chat gpt是个啥东西

（全文约4000字，读完需10分钟）

概述

ChatGPT是由领先的人工智能研究机构OpenAI开发的语言模型。它基于彻底改变了自然语言处理领域的 Transformer 架构。该模型已经过大量数据的训练，使其能够生成文本并以类似人类的精确度和准确度响应各种提示。

ChatGPT 基于 Transformer 架构。它是一种用于处理顺序数据（例如文本）的神经网络架构。它是在 2017 年的论文“Attention is All You Need”中最先提出的。Transformer 架构基于自注意力机制，允许模型在进行预测时权衡输入序列不同部分的重要性。

下面详细解释一下Transformer的架构：

摘自 Vaswani 等人的论文“Attention is all you need”，2017 [1]

1. 输入序列（Inputs）：输入序列是表示文本输入的标记序列（例如，词或子词）。
2. 输入嵌入：转换的第一步是将输入序列转换为向量矩阵，其中每个向量代表序列中的一个标记。这个过程称为输入嵌入。输入嵌入层将每个标记映射到捕获标记语义的高维向量。
3. 自注意机制：自注意机制允许模型计算输入序列不同部分之间的关系。它包括三个步骤：查询、键和值计算以及注意力计算。在查询、键和值计算中，使用线性变换将输入向量转换为三种不同的表示形式。在注意力计算步骤中，模型计算值的加权和，其中权重基于查询和键表示之间的相似性。加权和表示序列中每个位置的自我注意机制的输出。
4. Multi-Head Self-Attention：Transformer 架构使用 multi-head self-attention，允许模型关注输入序列的不同部分并并行计算它们之间的关系。在每个头中，查询、键和值计算是通过不同的线性变换执行的，输出被连接起来并转换为新的表示形式。
5. 前馈网络：多头自注意力机制的输出被馈送到前馈网络，该网络由一系列全连接层和激活函数组成。前馈网络将表示转换为最终输出。
6. Layer Normalization (Add & Norm Layer) :Transformer 架构的每一层中的激活都使用层归一化进行归一化，这有助于稳定训练过程并防止模型过度拟合。残差连接后接层归一化，有助于稳定训练过程，使模型更容易训练。
7. 位置编码：为了捕获输入序列中标记的顺序，将位置编码添加到输入嵌入中。位置编码是一个向量，表示序列中每个标记的位置。
8. Stacking Layers：Transformer架构可以通过多次重复多头自注意力机制和前馈网络来堆叠形成深度神经网络。
9. Output：Transformer的最终输出，它是输入序列的向量表示。

来源――OpenAI

嵌入是转换为数字序列的概念的数字表示，这使计算机很容易理解这些概念之间的关系。自 OpenAI /embeddings 端点首次推出以来，许多应用程序都结合了嵌入来个性化、推荐和搜索内容。

语言模型元学习

在无监督预训练期间，语言模型会发展出广泛的技能和模式识别能力。然后它在推理时使用这些能力来快速适应或识别所需的任务。术语“上下文学习”描述了这个过程的内部循环，它发生在每个序列的前向传递中。此图中的序列并不是为了代表模型在预训练期间会看到的数据，而是为了表明有时会在单个序列中嵌入重复的子任务。

较大的模型可以越来越有效地利用上下文信息。简单任务的上下文学习性能要求模型从单词中删除随机符号，无论是否有自然语言任务描述。大型模型的更陡峭的“上下文学习曲线”证明了改进的能力。

按大小分类的 AI 语言模型：

资料来源：Lifearchitect.ai

按数据来源/内容：

资料来源：Lifearchitect.ai

为 GPT-3 训练数据的主要来源列表：

GPT-3 数据源：粗体。确定为斜体。

与依赖手工制定规则和手动标记数据的传统 NLP 模型不同，ChatGPT 使用神经网络架构和无监督学习来生成响应。这意味着它可以学习生成响应而无需明确告知正确的响应是什么，这使其成为处理各种对话任务的强大工具。

该模型使用人类反馈强化学习 (RLHF) 进行训练，使用与 InstructGPT 相同的方法，但数据收集设置略有不同。最初模型是使用有监督的微调进行训练的：人类 AI 训练员提供他们扮演双方角色的对话――用户和 AI 助手。然后，培训师可以访问模型编写的建议，以帮助他们撰写回复。然后它将这个新的对话数据集与 InstructGPT 数据集混合，转换为如下图所示的对话格式。

主要特性和功能：

• 根据提示生成文本和响应。
• 聊天和对话式 AI。
• 互动讲故事。
• 内容生成。
• 客户服务和支持。

ChatGPT 的炫酷应用：

ChatGPT 可用于各种有趣和有创意的应用程序。以下是您可以使用 ChatGPT 执行的一些示例。

• 生成文本和响应 ChatGPT 最流行的用途之一是根据提示生成文本。通过提供提示，您可以要求 ChatGPT 生成文本作为响应。例如，您可以要求 ChatGPT 根据提示生成一个故事，或者您可以要求它完成一个句子或段落。
• 交互式讲故事 ChatGPT 可用于创建交互式故事。您可以提示 ChatGPT 生成故事的下一部分并以这种方式继续故事。这是一种有趣且引人入胜的故事创作方式，也可用于教育或培训目的。
• 聊天和对话式 AI ChatGPT 也可以用作对话式 AI。您可以与 ChatGPT 进行对话，向其提问并实时接收回复。这可用于客户服务和支持，以及交互式故事讲述和其他应用程序。
• 通过提供强大的信息/交互式搜索代理来创建或扩展搜索引擎功能。有很多机会可以增强搜索引擎的能力，使其能够准确地生成用户所要求的内容――WYSWYG（所见即所得）。在撰写这篇文章时，讨论已经将在Bing 搜索引擎上添加 GPT-3，这将为该平台扩展其功能开辟创新的可能性。未来它还可以包括图像和视频处理/搜索、基于位置的精确信息、附近的事件/活动等功能。这将是游戏规则的改变者和搜索行业的新革命。

[还有更多……]

ChatGPT的创新和技巧

ChatGPT 可以定制和优化以满足您的需求。这里有一些提示和技巧，可帮助您充分利用 ChatGPT。

• 使用创意提示：提示 ChatGPT 的方式可以显着影响其响应的质量和创意。尝试使用非常规或有创意的提示，看看您能得到什么样的回应。
• 构建聊天机器人：ChatGPT 可用于为客户服务、销售和其他应用程序构建聊天机器人。您还可以尝试构建具有个性和个性的聊天机器人，以增强用户体验。
• 生成内容：ChatGPT 可用于生成各种类型的内容，例如文本、摘要，甚至诗歌。尝试使用 ChatGPT 生成不同风格和格式的内容。
• 使用 ChatGPT 进行语言翻译：ChatGPT 可用于语言翻译，并根据特定语言数据对其进行微调有助于提高其准确性。
• 将 ChatGPT 与其他模型结合使用：ChatGPT 可以与其他模型（例如 GPT-3）结合使用，以创建更高级和更复杂的 AI 应用程序。
• 尝试不同的 API：OpenAI 提供了一系列 API 来与 ChatGPT 一起工作，每个 API 都有自己的一组功能和限制。尝试使用不同的 API 进行试验，看看哪一个最适合您的需求。
• 个性化模型：ChatGPT 可以通过对相关数据进行微调来个性化以适应特定的用例和领域。ChatGPT 是一个高度灵活的模型，在特定数据集上对其进行微调有助于提高其性能和准确性。
• 使用控制代码自定义响应：您可以使用控制代码来自定义 ChatGPT 生成的响应。例如，您可以使用控制代码来更改响应的语气或风格。

ChatGPT场景应用：

作为私人厨师

，我希望你担任我的私人厨师。我会告诉你我的饮食偏好和过敏症，你会建议我尝试的食谱。你应该只回复你推荐的食谱，别无其他。不要写解释。我的第一个请求是“我是一名采用生酮饮食的素食主义者，我正在寻找健康的晚餐点子。”

作为一名数学老师

，我希望你扮演一名数学老师。我将提供一些数学方程式或概念，你的工作是用易于理解的术语来解释它们。这可能包括提供解决问题的说明、通过视觉展示各种技术或建议在线资源以供进一步研究。我的第一个请求是“我需要帮助来理解微积分是如何工作的。”

作为一名博客作者

“我正在寻找一篇 [类型的博客文章]，它将向 [理想的客户角色] 展示我的 [产品/服务] 的价值和好处，并说服他们采取 [期望的行动]，并提供社会证明和建立信誉的要素。”

作为 YouTube 广告脚本

“我正在寻找一个 YouTube 广告脚本，它可以通过相关且真实的信息吸引我的[理想客户角色]，然后通过强烈的号召性用语说服他们采取[所需的行动]和引人注目的视觉效果。”

作为营销人员

“我正在寻找一个有影响力的营销活动大纲，该大纲将针对我的[理想客户角色]和[有影响力的类型]的[特定类型的内容]，他们可以提供有关我们[产品/服务]的有价值和相关的信息，并且鼓励他们采取[期望的行动]。”

作为一名电子邮件发送者

“我正在寻找一种创新的电子邮件创意，它将提供有关如何使用我的 [产品/服务] 的分步指南，并说服我的 [理想客户角色] 以清晰且令人信服的说明进行购买”

作为软件开发人员

，我希望您扮演软件开发人员的角色。我将提供一些关于 Web 应用程序要求的具体信息，你的工作就是提出一个架构和代码来使用 Angular 开发安全的应用程序。我的第一个要求是'我想要一个允许用户根据他们的角色注册和保存他们的产品信息的系统，并且会有管理员、标准用户和 IT 支持角色。我希望系统使用 JWT 来保证安全。

作为一名 Instagram 写手，

“我需要一个 Instagram 故事创意，通过展示我的 [公司/品牌] 的专业知识和专业精神，与我的 [理想客户角色] 建立信任和信誉。”

作为一名 YouTube创作者

用户，“我需要一个 YouTube 视频创意，让我可以了解我的 [公司/品牌] 的幕后花絮，并说服我的 [理想客户角色] 采取具有真实性和相关性的 [期望的行动]。”

作为系统设计师

“我想为[需求详情]设计一个系统。我需要在 Markdown 中以表格格式详细创建数据模型。”

当然， ChatGPT 可以做到更多

限制

ChatGPT 有时会写出看似合理但不正确或荒谬的答案。解决这个问题具有挑战性，因为：（1）在 RL 训练期间，目前没有真实来源；(2) 训练模型更加谨慎导致它拒绝可以正确回答的问题；(3) 监督训练会误导模型，因为理想的答案取决于模型知道什么，而不是人类演示者知道什么。

ChatGPT 对输入措辞的调整或多次尝试相同的提示很敏感。例如，给定一个问题的措辞，模型可以声称不知道答案，但只要稍作改写，就可以正确回答。

该模型通常过于冗长并过度使用某些短语，例如重申它是 OpenAI 训练的语言模型。这些问题源于训练数据的偏差（训练者更喜欢看起来更全面的更长答案）和众所周知的过度优化问题。

理想情况下，当用户提供模棱两可的查询时，模型会提出澄清问题。相反，我们当前的模型通常会猜测用户的意图。

虽然 OpenAI 团队努力使模型拒绝不适当的请求，但它有时会响应有害指令或表现出有偏见的行为。OpenAI 正在使用 Moderation API 来警告或阻止某些类型的不安全内容，但他们预计目前它会有一些漏报和漏报。他们渴望收集用户反馈，以帮助正在进行的改进该系统的工作。

与chatgpt相关的龙头股 ChatGPT概念股

券商中国消息，2月7日开盘，汉王科技再次一字涨停，拿下自1月30日（兔年首个交易日）股价上涨启动以来的“七连板”。同于1月30日启动涨幅的云从科技、初灵信息和福石控股，截至2月7日收盘累计涨幅分别超过90%、70%和50%。

这些飞一般的牛股，均指向了兔年首个大热点――ChatGPT概念。然而，无论从既有持仓或最新调研等方面看，公募基金均没有提前料到这一“突闪”行情。相比之下，活跃的网友短时间内与ChatGPT“打成一片”，纷纷晒出了各种互动对聊记录。

也有基民调侃，“彻底慌了！我持有的几只基金都没买这些热门股，妥妥地踏空了！”不少网友也表示，“踏空，你不孤单。”

为何会这样？这固然与行情来得太快、公募一时反应不过来有关，但更重要的原因在于公募“谋定后动”的投资思路：不会因为某个热点出现就立马杀入，而是先了解其中的投资价值究竟有多大，然后通过研究员推荐等流程一步步介入。

公募认为，ChatGPT概念行情可持续与否尚待进一步观察，但的确引起了市场对AI行业景气度回升的关注，AI有可能成为新一轮科技主线。若后期ChatGPT能快速实现商业落地，有望带动AI芯片产业链、数据产业链的发展。

行情来得太突然

ChatGPT应用由美国OpenAI公司推出，推出后短短5天内用户数量便突破百万大关，一举打败苹果iPhone的74天冠军纪录。但ChatGPT在国内互联网走热，是在兔年春节之后近几个交易日，网友纷纷晒出和ChatGPT的对聊记录。

从对聊过程来看，ChatGPT的文本能力较为强大，对输入的问题可以迅速搜索答案。其中，“工作是否会被ChatGPT取代”话题再次被提及。有网友调侃，朋友圈全是ChatGPT，虽然担心工作被ChatGPT取代，但为ChatGPT生成这么多内容（指这几天和ChatGPT聊天产生的对话内容）这点，一时半会儿不能被替代。

正是因为短时在网上流传开，ChatGPT的主题行情来得可谓突然，以至于ChatGPT概念指数的发布，以及公募基金的调研和布局，均缓不过神来。

晚于个股股价启动的1月30日，Wind的ChatGPT概念指数发布于2月1日。根据该指数资料的解释，“ChatGPT”为聊天机器人模型，是AI技术的应用分支，概念主要包含研究或运营AI技术产品在智能应答领域应用的相关公司，目前涵盖24只成份股。但24只股票中只有科大讯飞一只股市值超1000亿，剔除云从科技、拓尔思、视觉中国、慧博云通4只市值超100亿外，其余个股市值均不足100亿元。

鉴于指数于2月1日发布，指数型公募基金目前自然还没来得及布局。主动权益基金方面，从截至2022年末的持仓情况来看，除科大讯飞（2022年四季度有80只基金持有，是科技成长类基金的重要投资标的）等属于人工智能赛道热门股外，本轮上涨的汉王科技、云从科技、初灵信息和福石控股等个股，均没有基金提前持有。

谨防概念炒作，公募需谋定后动

长城基金权益投资部基金经理赵凤飞表示，ChatGPT的大热是源于其惊艳用户的体验，而在机智的聊天表现背后是人工智能技术的长足发展，以及NLP（自然语言处理）技术的不断成熟。春节假期期间ChatGPT的相关新闻是偶发事件，公募虽然持有相关概念股票，但并不是因为这一事件而配置了相关股票。

赵凤飞认为，在本轮上涨中表现突出的相关概念公司，基本上都具有一个特征：即伴随计算机行业过去两年多的下跌，股价都处于历史上比较底部的位置，具有一定安全性。加上处于一个长期有前景、有想象力的好赛道，相当于在风险不大的前提下又有了一个上涨期权，拥有较好的赔率。“我想这是一些基金本次提前布局AI概念的重要原因。”

另有市场人士指出，ChatGPT概念的短期爆发有概念炒作成分，公募没有提前布局是合情合理的。对这类概念行情，公募需要时间对公司和产业发展进行了解，在研究员推荐后相关股票才可能进入股票池。而从进入股票池到重仓持有，又需要一个过程。在这期间，持续筛选和判断各个公司是否具有相关业务尤为重要。

比如，福石控股近期在与投资者沟通中指出，该事与ChatGPT产品不沾边，旗下子公司相关业务占比不大，对企业经营没有太大影响。但随后该公司股价仍持续上涨，福石控股随后于2月6日公告称，该公司的业务是围绕整合营销、互联网营销展开的，请广大投资者理性对待市场热点。

国泰金牛创新成长基金经理孙家旭则指出，ChatGPT等应用工具获得关注，引起市场对于AI行业景气度回升的关注，AI有可能成为新一轮的科技主线，其战略地位意义重大，边际变化会引起产业和资金的重点关注。像之前的AlphaGo引起的投资热潮，ChatGPT也满足大家业绩真空期的一些想象空间。

有望带动AI芯片产业链发展

在未来发展趋势方面，嘉实港股互联网产业核心资产基金经理王鑫晨认为，ChatGPT解决了人工智能模型的一些核心技术痛点，应用前景非常广阔，技术、内容、硬件的相关企业都将受益，相关技术在金融、政府、医疗等领域的落地也值得期待。

王鑫晨具体说到，ChatGPT将带动上游算力、数据标注、自然语言处理需求；下游应用场景包括代码机器人、小说衍生器、对话类搜索引擎、语音工作助手、对话虚拟人等，具备代替人工的创造力。“目前多个海内外互联网巨头，纷纷宣布加码布局该技术，未来落地场景涉及代码生成、药物研发等多个领域。”

王鑫晨进一步分析，在ChatGPT引领下，AI行业发展将提速。预计ChatGPT未来有望改变包括文字/图像生产、代码开发、搜索等在内的一些固有的商业模式和商业形态。数据、算力和算法作为AI三要素，是决定AI发展的重要基础，可从这三个方面寻找投资脉络。若后期ChatGPT快速商业落地的话，也有望带动AI芯片产业链、数据产业链的发展。

西部利得基金经理吴海健认为，AI是一个值得持续关注的领域，并不是说ChatGPT热度消退后就没了，因为AI技术一直在迭代，AI应用场景一直在增多，所以这个板块值得长期关注；其次，像信创、智能制造工业软件、数字经济数据要素、云计算都是值得关注的长期方向。

德邦基金基金经理吴昊表示，板块投资机会主要关注三个核心方向：软件技术型公司，如探索和应用NLP等人工智能技术框架的公司；基础硬件资源型公司，尤其是算力和通信相关的公司；行业应用型公司，能给自身主业扩展场景、增加受众或者降低成本的公司。

原标题：什么情况？公募基金全面踏空，朋友圈全是ChatGPT！龙头股7天7涨停，行情还能走多远？基金经理发声

编辑：李坐廷

责编：张松涛

审核：冯飞