chatgpt,chatgpt下载,chatgpt怎么用,chatgpt账号
机器之心报道编辑：泽南1750 亿参数，只需要一块 RTX 3090，ChatGPT 终于不再是大厂专属的游戏？计算成本是人们打造 ChatGPT 等大模型面临的重大挑战之一。据统计，从 GPT 进化到 GPT-3 的过程也是模型体量增长的过程 ―― 参数量从 1.17 亿增加到了 1750 亿，预训练数据量从 5GB 增加到 45TB，其中 GPT-3 训练一次的费用是 460 万美元，总训练成本达 1200 万美元。除了训练，推理也很花钱。有人估算，现在 OpenAI 运行 ChatGPT 的算力费用每天就有 10 万美元。在发展技术，让大模型掌握更多能力的同时，也有人在尝试降低 AI 所需的算力资源。最近，一种名为 FlexGen 的技术因为「一块 RTX 3090 跑 ChatGPT 体量模型」而获得了人们的关注。虽然 FlexGen 加速后的大模型看起来仍然很慢 ―― 跑 1750 亿参数的语言模型时每秒 1 个 token，但令人印象深刻的是，它已经把不可能变成了可能。传统上，大语言模型（LLM）推理的高计算和内存要求使人们必须使用多个高端 AI 加速器进行训练。本研究探索了如何将 LLM 推理的要求降低到一个消费级 GPU 并实现实用性能。近日，来自斯坦福大学、UC Berkeley、苏黎世联邦理工学院、Yandex、莫斯科国立高等经济学院、Meta、卡耐基梅隆大学等机构的新研究提出了 FlexGen，这是一种用于运行有限 GPU 内存的 LLM 的高吞吐量生成引擎。通过聚合来自 GPU、CPU 和磁盘的内存和计算，FlexGen 可以在各种硬件资源限制下灵活配置。通过线性规划优化器，它搜索存储和访问张量的最佳模式，包括权重、激活和注意力键 / 值（KV）缓存。FlexGen 将权重和 KV 缓存进一步压缩到 4 位，精度损失低到可以忽略不计。与最先进的 offloading 系统相比，FlexGen 在单个 16GB GPU 上运行 OPT-175B 的速度提高了 100 倍，并首次实现了 1 token/s 的实际生成吞吐量。如果提供了更多的分布式 GPU，FlexGen 还带有流水线并行 runtime，以允许在解码时进行超线性扩展。目前，该技术已经放出代码，获得了几千 Star 量：https://github.com/FMInference/FlexGen简介近年来，大语言模型在广泛的任务中表现出卓越的性能。LLM 在展现出前所未有的通用智能的同时，也让人们在构建时面临着前所未有的挑战。这些模型可能有数十亿甚至数万亿个参数，这导致运行它们需要极高的计算和内存要求。例如，GPT-175B（GPT-3）仅用于存储模型权重就需要 325GB 的内存。要让此模型进行推理，至少需要五块英伟达 A100（80GB）和复杂的并行策略。降低 LLM 推理资源需求的方法是最近人们经常讨论的内容。这些努力分为三个方向：（1）模型压缩以减少总内存占用量；（2）协同推理，通过去中心化分摊成本；（3）Offloading 以利用 CPU 和磁盘的内存。这些技术显着降低了使用 LLM 的计算资源需求。然而，人们通常假设模型适合 GPU 内存，而现有的基于 offloading 的系统仍然难以使用单块 GPU 以可接受的吞吐量运行 1750 亿参数规模的模型。在新研究中，作者专注于高吞吐量生成推理的有效 offloading 策略。当 GPU 显存不够用时，我们需要将其卸载到二级存储，通过部分加载的方式，逐段进行计算。在典型的机器上，内存层次结构分为三级，如下图所示。高级内存速度快但稀缺，低级内存速度慢但充裕。在 FlexGen 中，作者不追求低延迟，而是瞄准面向吞吐量的场景，这些场景在基准测试、信息提取、数据整理等应用中很受欢迎。实现低延迟对于 offloading 来说本质上是一个挑战，但是对于面向吞吐量的场景，可以大大提高 offloading 的效率。图 1 说明了三个具有 offloading 的推理系统的延迟吞吐量权衡。通过仔细的调度，I/O 成本可以通过大量输入分摊并与计算重叠。在研究中，作者展示了就单位算力成本而言，单块消费级 GPU 吞吐量优化的 T4 GPU 效率要比云上延迟优化的 8 块 A100 GPU 的效率高 4 倍。图 1. OPT-175B（左）和 OPT-30B（右）上三个基于 offloading 的系统的延迟和吞吐量权衡。FlexGen 实现了新的帕累托最优边界，OPT-175B 的最大吞吐量提高了 100 倍。由于内存不足，其他系统无法进一步提高吞吐量。尽管已有研究在训练的背景下讨论了 offloading 的延迟 - 吞吐量权衡，但尚未有人将其用于生成 LLM 推理，这是一个截然不同的过程。由于 LLM 的自回归性质，生成推理提出了独特的挑战。除了存储所有参数外，它还需要顺序解码并维护一个大的注意力键 / 值缓存（KV 缓存）。现有的 offload 系统都无法应对这些挑战，因此它们执行过多的 I/O，只能实现远低于硬件能力的吞吐量。为生成推理设计良好的 offloading 策略具有一定挑战性。首先，这个过程中存在三种张量：权重、激活和 KV 缓存。该策略应指定在三级层次结构上的卸载内容、位置以及卸载时机。其次，逐个 batch、逐个 token 和逐个 layer 计算的结构形成了一个复杂的依赖图，可以通过多种方式进行计算。该策略应该选择一个可以最小化执行时间的时间表。这些选择共同构成了一个复杂的设计空间。为此，在新方法 FlexGen 上，人们提出了一种用于 LLM 推理的 offloading 框架。FlexGen 聚合来自 GPU、CPU 和磁盘的内存，并能有效地调度 I/O 操作，作者也讨论了可能的压缩方法和分布式管道并行性。该研究的主要贡献如下：1、作者正式定义了可能的 offloading 策略的搜索空间，并使用成本模型和线性规划求解器搜索最佳策略。值得关注的是，研究人员证明了搜索空间捕获了一个几乎 I/O 最优的计算顺序，其 I/O 复杂度在最优计算顺序的 2 倍以内。搜索算法可以针对各种硬件规格和延迟 / 吞吐量限制进行配置，从而提供一种平滑导航权衡空间的方法。与现有策略相比，FlexGen 解决方案统一了权重、激活和 KV 缓存的放置，从而实现了更大的 batch size。2、研究表明，可以将 OPT-175B 等 LLM 的权重和 KV 缓存压缩到 4 位，而无需重新训练 / 校准，精度损失可忽略不计。这是通过细粒度分组量化实现的，可以显著降低 I/O 成本。3、通过在英伟达 T4 GPU (16GB) 上运行 OPT-175B 来展示 FlexGen 的效率。在单块 GPU 上，给定相同的延迟要求，与 DeepSpeed Zero-Inference (Aminabadi et al., 2022) 和 Hugging Face Accelerate (HuggingFace, 2022) 相比，不压缩的 FlexGen 可以实现高出 65 倍的吞吐量，后者是目前业内最先进的基于 offloading 的推理系统。如果允许更高的延迟和压缩，FlexGen 可以进一步提高吞吐量并达到 100 倍的改进。FlexGen 是第一个可以使用单块 T4 GPU 为 OPT-175B 实现 1 token/s 速度吞吐量的系统。如果给定多块分布式 GPU，具有流水线并行性的 FlexGen 可在解码时实现超线性扩展。在研究中，作者还将 FlexGen 和 Petals 作为 offloading 和去中心化集合推理方法的代表进行了比较。结果表明，具有单块 T4 GPU 的 FlexGen 在吞吐量方面胜过具有 12 块 T4 GPU 的分散式 Petal 集群，并且在某些情况下甚至可以实现更低的延迟。运行机制通过聚合来自 GPU、CPU 和磁盘的内存和计算，FlexGen 可以在各种硬件资源限制下灵活配置。通过线性规划优化器，它搜索存储和访问张量的最佳模式，包括权重、激活和注意力键 / 值 (KV) 缓存。FlexGen 将权重和 KV 缓存进一步压缩到 4 位，精度损失可以忽略不计。FlexGen 的一个关键思想是进行延迟 - 吞吐量权衡。实现低延迟对于卸载方法来说本来就具有挑战性，但对于面向吞吐量的场景，可以极大地提升卸载效率（见下图）。FlexGen 利用块调度来重用权重并将 I/O 与计算重叠，如下图 (b) 所示，而其他基线系统使用低效的逐行调度，如下图 (a) 所示。目前，该研究作者的下一步计划包括对苹果 M1、M2 芯片的支持和 Colab 部署的支持。FlexGen 自发布后在 GitHub 上的 Star 量很快上千，在社交网络上热度也很高。人们纷纷表示这个项目很有前途，似乎运行高性能大型语言模型的障碍正在被逐渐克服，希望在今年之内，单机就能搞定 ChatGPT。有人用这种方法训练了一个语言模型，结果如下：虽然没有经过大量数据的投喂，AI 不知道具体知识，但回答问题的逻辑似乎比较清晰，或许未来的游戏中，我们能看见这样的 NPC？参考内容：https://news.ycombinator.com/item?id=34869960原标题：《跑ChatGPT体量模型，从此只需一块GPU：加速百倍的方法来了》阅读原文

chatgpt 人工智能3.0 chatgpt人工智能有多厉害

chatgpt,chatgpt是什么意思,chatgpt中文,chatgpt注册
02.2308:42 关注 来源：锦缎本文系基于公开资料撰写，仅作为信息交流之用，不构成任何投资建议。编者：人工智能革命的另一面，是算力基础设施的革命。需要提起注意的是，我们不能被ChatGPT吸引全部注意力，而忽视了基础研究层面的短板。一旦错过窗口期，将错失在最基础技术标准领域的话语权。训练支撑许多现代人工智能（AI）工具的大型神经网络都需要真实强大的计算能力。例如，OpenAI最先进的语言模型GPT-3训练就需要惊人的10亿亿次运算，其计算时间耗资约500万美元。工程师们认为他们已经找到了一种方法，通过使用不同的方式表示数字，进而减轻计算负担。早在2017年，当时在A*STAR计算资源中心和新加坡国立大学就职的约翰?古斯塔夫森（John Gustafson）以及在星际机器人与电脑公司任职的艾萨克?约莫托（Isaac Yonemoto）就开发了一种新的数字表示方法。这些数字称为“posit”，他们提议将这些数字作为对目前使用的标准浮点算数处理器的改进表示。现在，马德里康普顿斯大学的一个研究团队开发了首个可在硬件中实现posit标准的处理器内核，并表明，与使用标准浮点数字计算相比，基本计算任务的位对位（bit-for-bit）精度提高了4个数量级。他们在2022年9月的IEEE计算机算数研讨会上发表了其研究结果。“如今，摩尔定律似乎已开始衰落。”康普顿斯大学ArTeCS小组的研究生研究员大卫?马拉森?金塔纳（David Mallasén Quintana）说，“所以我们需要找到其他方法来提高机器的性能。其中一种方法就是改变我们的实数编码方式，以及如何表示实数。”用数字表示方法来突破极限的并非只有康普顿斯团队。早在2022年9月，Arm、英特尔和英伟达就形成了一项技术规范，在机器学习应用程序中，使用8位浮点数字替代通常的32位或16位浮点数字，即使用短小、低精度的格式，以降低计算精度为代价，提高计算效率和内存使用率。实数不能在硬件中完美表示，因为实数的数量是无限的。为了适应指定的位数，许多实数必须四舍五入。posit的优势在于，这种方法表示数字的精度是沿着数轴分布的。在数轴中间，1和-1周围，posit表示的精度比浮点的高。在数轴两翼会逐渐出现较大的负数和正数，posit精度比浮点下降得更平稳。古斯塔夫森说：“这与数字在计算中的自然分布相吻合。动态范围是合适的，在需要更高精度时，它的精度可以满足需求。浮点运算中有很多从来没有用过的位串，这是一种浪费。”posit之所以能实现1和-1周围精度的提高，是因为该表示方法有一个额外组成部分。浮点数由3个部分组成：一个符号位（0为正，1为负），几个“尾数”（小数）位表示二进制小数点后面的数，其余的位用来定义指数（2exp）。posit保留了浮点数的所有组成部分，但添加了一个额外的“regime”部分，即指数的指数。regime的优点在于它的位长度可以变化。对于较小的数字，它可以只需要2位，为尾数留下更高的精度。这样posit可以在1和-1周围的“甜蜜点”位置实现更高的精度。深度神经网络通常使用被称为权重的归一化参数，因此它们是从posit获益的完美候选者。许多神经网络计算都由乘积累加运算组成。每次执行这种计算，每个求和都必须再次截断，导致精度损失。采用posit，一个名为quire的专用寄存器能够有效地执行累加步骤，减少精度损失。但目前的硬件应用的是浮点，而且到目前为止，在软件中使用posit带来的计算收益在很大程度上被格式转换的损耗掩盖了。使用他们用现场可编程门阵列（FPGA）合成的新硬件，康普顿斯团队对32位浮点和32位posit的计算进行并列比较。该团队还将结果与更精确但计算成本较高的64位浮点格式的结果进行比较，对结果的精度进行评估。对于矩阵乘法（神经网络训练中固有的一连串乘积累加）的精度，posit比浮点运算惊人地提高了4个数量级。该团队还发现，提高精度并没有以计算时间为代价，只是芯片使用面积和功耗略有增加。尽管提高数字精度是不可否认的，但确切地说，它对训练GPT-3等大型AI有怎样的影响还有待观察。马拉森说：“posit可能会提高训练速度，因为在训练的过程中不会丢失太多信息。但这些事我们还不知道。有人已经在软件中试过了，现在也要在我们的硬件中试一下。”其他团队正在研究实现自己的硬件，促进posit的使用。“这正是我所希望的，它被疯狂地接受了。”古斯塔夫森说，“posit数字格式爆火，正在使用posit的有几十个团队，公司和大学的团队都有。”（作者：Dina Genkina）特别声明：以上内容仅代表作者本人的观点或立场，不代表新浪财经头条的观点或立场。如因作品内容、版权或其他问题需要与新浪财经头条联系的，请于上述内容发布后的30天内进行。

chat ai和chatgpt是什么关系 集成chatgpt功能的office应用

原标题：这是关于 ChatGPT 的最强科普，强烈推荐 作者：李睿秋Lachel 来源：L先生说（ID：lxianshengmiao） 我想，最近许多朋友的生活中，可能或多或少都被 ChatGPT 刷屏了。 你或许已经看过了许多相关的文章。它们或许从商业角度出发，告诉你 ChatGPT 引发了怎样的商业浪潮；或许从技术角度出发，告诉你 ChatGPT 的原理和技术有多厉害；又或者，直接向你推销各种各样的类似产品，告诉你这些产品多么有前途…… 但这些，离我们的生活都有些遥远。你可能看了很多文章，依然没有搞明白，ChatGPT 究竟是什么，它跟我有什么关系？ 因此，今天，我想简单聊聊这个话题。 如果你对 ChatGPT 从未听闻，那希望能告诉你一些新信息；如果你对此感兴趣但不熟悉，那希望能为你提供一点指引。 因为今天的文章较长，所以做了一个简单的大纲： 1）ChatGPT 是什么？ 2）ChatGPT 能做什么？ 3）ChatGPT 的缺点和问题 4）ChatGPT 的未来前景 5?）微调：训练你自己的人工智能 6）ChatGPT 会替代什么岗位？ 7）结语 ChatGPT 是什么？ ChatGPT 实际上不是一个新事物。它是2022年11月推出的，刚推出的时候我就使用了，还在知乎发了一条想法吐槽了一下。 没想到，时隔两个月之后，随着微软及一票商业公司的入场，它又开始火了，火得家喻户晓。 那么，ChatGPT 究竟是什么？ 从原理上来讲，ChatGPT 其实也不是新事物，它背后的基础，是母公司 OpenAI 在几年前发布的自然语言模型 GPT。对人工智能有所了解的朋友一定知道，OpenAI 于 2018 年发布了 GPT-1，首次让人工智能能够让人类一样「理解文字」、写出文字。 随后几年里，OpenAI 陆续推出了 GPT-2、GPT-3，用更庞大的参数实现了更精细的学习。通俗来说，就是让人工智能更「像人」了。 目前 GPT-3 已经用在了很多场合。像国外已经有用 GPT-3 来写新闻的应用，至于用 GPT-3 写小说、生成游戏台词、生成代码，也都在探索中了。 而 ChatGPT，就是在 GPT-3 的升级版 GPT-3.5 的基础上，进行一定的包装、微调、优化，所做出来的产品。过往的 GPT-3 只是一个底层引擎，必须接入到一个软件中才能使用。 而 ChatGPT，可以理解为 OpenAI 自己为 GPT 做了这么一个软件，让用户可以直接使用它。 所以它才叫 ChatGPT，也就是「可以聊天的 GPT」。 那么，GPT 又是什么呢？它的全称是 Generative Pre-trained Transformer，生成式预训练转换器。简单来说，它的原理是：先给它提供一个庞大的语料库（通常是直接从互联网上抓来的），让模型通过上千亿个参数对这些文本进行打散、标记、学习，构建起一个复杂的预测模型。 然后再依据这个预测模型，判断一个单词在这个情境下应该接哪一个单词。就这样一个一个单词串起来，形成一段话，或者一篇文章。 这种预测的模式，其实跟我们大脑的学习和加工模式是非常相似的（详见《打开心智》第一章）。因此，这也是它能够更「像人」的一个重要原因。 我们可以用三层模型来理解： 这个模型背后无需人工参与的「无监督」式预训练自学习原理，或者说让模型像大脑「自由生长」的过程，就是它的动力层； 借由这个原理所完成的 GPT-3.5，就是一个结构层，是 ChatGPT 起作用的主要基础； 而对这个 GPT-3.5 进行包装、优化所形成的 ChatGPT，就是一个交互层，它的本质就是加了一层更友好的用户界面和交互方式，让个人用户能够更容易地应用它。 ChatGPT 能做什么？ 了解完 ChatGPT 的原理，我们自然会关心一个问题：就目前而言，ChatGPT 究竟能做什么？ 1）回答问题。 这可能是 ChatGPT 最简单的应用。你在聊天界面里向它提问，比如「波粒二象性是什么意思」，它就会用流畅的语言向你解释，把这个概念讲解得非常清楚。就我试用的体验而言，效果非常好，简洁晓畅，表达能力胜过许多人。 2）撰写文章。 你可以向它提要求，让它按照你的要求撰写一篇文章。这是我去年做的一个实例，大家可以看看： 质量还是挺像模像样的。 在这个基础上，可以有非常多针对性的应用。比如： 你可以让它撰写一封邮件，告诉客户你的报价，并且用礼貌、恳切的语言去表述。它写出来的作品保证用词精确，句子流程，比一般人写的要好； 你可以给它一个主题，再给一些背景和指引，让它撰写一份策划方案，甚至让它帮你想创意、提供各种不同方向的点子和灵感。这可以帮你节省大量时间精力； 你可以给它一些数据，让它根据这些材料撰写一份报告。它会非常智能地组合这些材料，生成一份文质兼美、结构清晰的报告，省去你斟酌文字的大量功夫； 你可以给它一个选题，让它生成大量内容、风格和行文都截然不同的文章，发布在各个平台上。据说已经有一些营销号开始这么干了； 你甚至可以让它按照老师的要求写一篇论文。实际上，国外已经有许多学生开始用 ChatGPT 完成作业了，也开始有大学教授跟 ChatGPT 「斗智斗勇」，比如要求学生现场写作，要求学生解释每段话的意思，等等。 所以有一个笑话是这样的： 老师对 ChatGPT 说：请帮我想一个题目；学生对 ChatGPT 说：请按照这个题目帮我写一篇文章；助教对 ChatGPT 说：请帮我给这些文章写评语并打分。 3）总结提炼。 ChatGPT 还有一个非常强的能力，就是对输入的材料进行总结提炼。比如：你可以给它输入一篇文章，让它概括文章大意；或者给它输入一段讨论，让它总结主要观点和论证。 现在也已经出现了一些产品，利用 ChatGPT 背后的 GPT 构建，能够实现这样的效果：你输入一个视频、一个播客，AI帮你收听，听完，用简洁的语言总结出视频或播客的要点，呈现给你。 4）生成代码。 许多程序员朋友盛赞 ChatGPT 的一点，在于它的代码能力非常强。你提一个要求，比如「如何实现XXXX效果」，ChatGPT 会告诉你几种可行的方案，并提供这些方案的主要函数和算法；你向它提问，比如「在XXXX情况下出现了一个bug，为什么」，ChatGPT 会告诉你几种可能的原因，并告诉你如何处理每一种可能性。 我自己试了一下，我觉得它写代码的能力比我强多了，大概有100倍吧。 之所以 ChatGPT 能够掀起这么大的热潮，一大原因是因为它太「像人」了。你会感觉，跟你对话的似乎不是一台机器，而是一个非常聪明，几乎无所不知、无所不能，并且能满足你任何要求的人。这一点，令许多人欲罢不能。 这表现在几个地方： 1）每一次跟 ChatGPT 聊天时，只要你不关闭窗口，你说的每一句话都会成为它的「上下文」。 换言之，你可以像跟真人对话一样，不断问它「然后呢？」「还有吗？」，或者表达你的态度，它会给出像真人一样的回应，无需你不断重复、补充、完善问题。 举个例子：你抛出一个话题，它回答，你对它的回答里有个地方不太满意，可以直接指出来，它会道歉，然后给出一个更好的、满足你要求的回答。这个过程非常自然、流畅，你就像在跟一个真人对话，它能完全理解你的每一句话，并给出合乎逻辑的回应。 2）得益于海量的训练参数（GPT-3 有 1750 亿个参数），ChatGPT 的文字生成能力非常精细，质量极佳。 它写的文章，表达能力甚至强于许多不擅长写作的普通人。我有时向它提几个问题，它给出的回答会让我感到「有启发」，或者是一个新的角度，或者是一个完善的框架，这已经非常有价值了。 ChatGPT 的缺点和问题 但是，ChatGPT 也并非绝对完美。实际上，就目前而言，ChatGPT 依然存在好几个亟待解决的问题。 最严重的问题，就是 ChatGPT 的错误率实在是太高了。举一个简单的例子，这是我去年用 ChatGPT 测出来的实例： 为了模仿一个外行人，我刻意把问题写得不太准确，可以看到，答案非常离谱。这可能跟 ChatGPT 的训练语料库主要是英文材料有关。用英语提问的话，答案的正确率会提升，但依然会出错。 并且，ChatGPT 往往会用非常自信、言之凿凿的语气来回答问题。这就导致了，如果你是一个外行人，很多时候你可能压根没办法分辨它给出答案的准确性。哪怕是内行，对于一些较为琐碎的细节，也很难去验证。 去年 ChatGPT 刚发布时，知名的程序开发交流论坛 Stack Overflow 就很快将其封禁。官方的解释是：这是因为 ChatGPT 给出的答案经常有错误，但我们很难看出错误在哪里。 从我的角度来说，如果一款人工智能工具，100次回答里面有3-5次是错误的，那我可能就不会用它。因为我很难判断它会不会再某一次突然犯一个大错误，给我造成严重损失。 实际上，我可能希望等它的错误率达到千分之一以下时才会去使用。但就目前来看，可能还需要很长一段时间，才能达到这个水平。 另一个问题是道德伦理问题。 ChatGPT 是一个人工智能程序，它只会忠实地按照内在的预测模型回答问题。因此，如果你向它进行诱导性提问，那可能会得到一些偏离道德伦理的答案。这可能会引起不必要的负面反应。 尽管官方已经在不断修复漏洞了，但毕竟防不胜防。再者，你修复得越多，也就意味着这个工具能够发挥作用的场景越少。这可能是一个需要考虑的平衡。 最后一个非常重要的问题，是摄入信息的水准问题。 ChatGPT 不能凭空生成信息，它所有的知识，都只能来自于它被喂养的语料。那么，显而易见，它所能够提供的答案，能够输出的内容，也不会超过这些语料的平均水平。你不可能指望它摄入一大堆插科打诨的帖子，要求它写出《三体》。 而由于互联网上存在大量的劣质信息，这就导致了：ChatGPT 摄入的信息越多，它整体的水平可能也就越低下。 遗憾的是，我们至今还没有一套可靠的方法，能够客观地判断内容质量的优劣。高引用的论文也可能是错的，名气颇大的学者也可能是灌水出来的，关注者颇多的 KOL 也可能是营销号。 而如果依赖于用户的点赞或转发等数据去判断内容质量，常识和经验告诉我们：这样带来的势必是大量哗众取宠、吸引眼球的劣质内容，只会更严重地污染这个池子。 并且，随着大量工具和服务开始使用 ChatGPT 等工具，大量由人工智能生成的文章会充斥互联网。这就会造成「自产自销」。一旦人工智能只能喂养由其他人工智能产出的语料，它的水准就将会遭遇一面难以打破的障壁。 有研究认为，在5-10年内，互联网上的内容可能就会被用光。届时，人工智能将成为无米之炊，只能再次反刍自己所产出的信息。 这可能会是制约 ChatGPT 等 AIGC（人工智能生产内容，AI Generated Content）工具的一个最严重的问题。 ChatGPT 的未来前景 如果我们用乐观的眼光去看待，认为 AIGC 能够克服上述这些问题，那么，它对我们的生活，会带来什么样的改变呢？ 1）搜索。 互联网发明之前，我们的信息获取可以说是搜索1.0时代。那时，我们只能到图书馆去查阅资料，用卡片和笔记本做笔记，通过摄影或手抄的方式记录，繁琐，麻烦，成本又高。因此，「做研究」成了一件阳春白雪的事情，只有少数人有能力去做。 后来，有了互联网，有了搜索引擎，大量的信息被电子化，放到网络上。我们获取信息的方式被大大拓宽了。只需要输入关键词，就能看到刊载在各种期刊上面的文献，存放在图书馆里面的资料，看到别人的分析、观点和见解。我们迎来了一个信息爆炸的搜索2.0时代。 而有了 ChatGPT 等 AIGC 工具的辅助，我们可能会迎来搜索3.0的时代。 搜索2.0迫切需要解决的问题是什么呢？信息太多了。如何有效地筛选、提炼、整合这些信息，就成了一个难题。但 AIGC 可以解决这个问题。我们向它提问，给出一个关键词，它快速整合知识库里相关的信息，总结提炼出最符合我需求的答案，呈现给我们。 整个过程流畅，自然，舒适，可以省去我们在大量信息间来回穿梭、整理的时间，极其便捷 ―― 这就是搜索3.0。 你问，它答，答案就在那儿，以最好的面貌呈现给你。 现在已经有一些类似这样的工具了。比如我在用的学术搜索引擎 Elicit，就是使用人工智能检索我想要的论文，不过还停留在比较初级的阶段。也许等有了更成熟 GPT 的加持，会再上升一个台阶。 因此，ChatGPT 也吸引了许多巨头的关注。目前最受关注的，应该就是微软和谷歌了。 微软已经直接投资了 OpenAI，并且计划在自己的搜索引擎必应和浏览器 edge 中嵌入 ChatGPT。目前，ChatGPT 版必应已经在国外向少量媒体开放，个人使用可能还要等一段时间。你可以登录必应国际版，会有一个加入等待清单的提示。 谷歌也宣布将一个人工智能 Bard 嵌入 Google 搜索之中。Bard 背后依托的是谷歌自己开发的人工智能模型 LaMDA，跟 GPT 效果相似但不同。 2）阅读。 前面提到，ChatGPT 有总结提炼的能力。这一点，可能彻底改变我们阅读和学习知识的方式。 试想一下：未来我们会如何学习一个新概念？你向人工智能提问，它直接把概念详细讲解给你。不懂的地方可以继续追问，它会进一步向你解释。那么，你还需要去到处找资料、看教材、听课程吗？不需要了。有人工智能就够了。 未来我们会如何阅读一本书？也许你可以把它导入人工智能，它会自己帮你总结提炼出书里最有价值的内容。可能是作者的观点，可能是方法论和步骤，可能是案例或论据……你想要什么，就向它下达什么指令，让它帮你「脱水」，呈上一份完善的摘要。 未来我们会如何看视频、听播客？或许我们也不用看、不用听了，直接导入人工智能，它会帮我们总结出其中的要点，甚至可以帮我们写一份妙趣横生、文采飞扬的阅读报告，让我们能轻松愉快地摄入知识。 未来，我们可能每个人都有拥有属于自己的专属医生、律师、财务经理……无论我们想要咨询什么问题，直接问人工智能就好，它会给出最新、最全面、最准确的答案。 当然，上面说的这些，现在的人工智能还远远不能做到。但很可能我们离这一天也不会多遥远了。 3）写作。 这一点可能是更简单的了。 我们不再需要自己字斟句酌去写邮件，只需要给它一个指令，人工智能就会自动帮我们写好一份邮件。 我们不再需要自己写材料、写报告，只需要给它足够的信息，人工智能就会自动帮我们整理好文字，并且文笔上乘。 我们不再需要把大量的精力耗费在撰写方案、文档上面，而只需要思考，想出各种各样的创意、主题、想法……再把这些想法告诉人工智能，它就可以自动帮我们把这些繁琐的事务全都搞定。 甚至，连思考本身都可以让人工智能来辅助 ―― 你可以给它一个话题，让它帮你寻找素材、案例、参考资料；或者让它帮你头脑风暴，提供各种各样的点子供你参考…… 我们或许将真正迎来一个「人工智能助理」时代。 微调：训练你自己的人工智能 在这些应用之中，最令我感兴趣的，其实是微调（fine-tuning）。 什么意思呢？它指的是：在人工智能本身的基础上，你再喂给它一些独特的、专属于你自己的材料，把它训练成一个属于你自己的人工智能，让它能够回答一些更具针对性的问题，满足你独特的需求。 举几个例子。 国外有人分享了一个实例：她把自己童年时的日记上传到一个人工智能模型中，让程序去学习她的思维、经历和文字，从而制造出了一个「童年的自己」。然后，跟这个「童年的自己」交谈。把自己遇到的问题，产生的困惑，面临的抉择向她询问，从自己的内心中寻找答案。 这是一个非常有意思的例子，也令我非常难忘。 同样，如果把一位作家的所有作品输入进去，或许再加上他的生平和经历，这个人工智能就能用作家的口吻去回答一些相关问题。国外有人做了这么一个尝试，向 ChatGPT 输入《反脆弱》作者塔勒布的作品，让它煞有介事地回答问题，使得塔勒布本人不得不出来纠正。 那么，如果把《红楼梦》以及明清的各种史料喂给一个更成熟的人工智能，它有没有可能续写出《红楼梦》？我想，这是可能的。 我感兴趣的点在于：通过微调，我们完全可能创造出一个专属于我们自己的人工智能 ―― 只需要把我们所有的笔记，工作中产生的材料，平时的思考和日记……都喂给它，就可以了。 在这个情况下，它就是你，甚至它比你自己还更接近你自己 ―― 因为许许多多你可能已经忘却了的记忆，它都能够忠实地保留着，并依据一套算法完善自己的预测模型，做出更符合你内心和需求的选择。 换言之，这就是一个专属于我们的「内脑」。当我们有疑惑时，当我们需要搜寻信息时，当我们需要分析问题、做出判断时，都可以参考它的意见。 不过，目前的 ChatGPT 似乎还不提供微调的功能，但 OpenAI 官网是有几个模型提供微调的，只不过需要一定的技术能力。感兴趣的朋友可以试一试。 另外，现在有些工具也在往这个方向尝试。比如有一些新兴工具，尝试记录你在电脑上浏览过的一切信息；以及知名笔记软件 Notion 也推出了 Notion AI，能够提供类似 ChatGPT 的功能。 那么，如果在我们的电脑中内置一个人工智能助手，或者在笔记软件中内置一个人工智能，把我们摄入和记录的信息都作为语料喂给它，似乎并不是遥不可及的事情。 到时也许可以出现这样的事情：你闲来无事，向它提问：最近有没有什么适合我看的电影？它会向你推荐一个清单。上面的内容来自哪里呢？ 来自它对你打过分的电影、读过的小说、有感而发的想法、平时搜索的内容、甚至跟朋友聊天的信息……这些数据进行综合分析之后，所推断出的你的喜好。 它甚至会告诉你：这部电影用到了你三年前偶然想到的一个点子，处理得非常好，有没有兴趣看一下？这部电影探讨了一个议题，正好是你前段时间一直感兴趣的，不妨参考一下…… 当然，这个「内脑」无法绕开的，就是隐私安全的问题。如何确保我们的隐私不被别人所获得？我们愿意付出多少隐私作为代价来换取这样一个内脑？我们又能否接受它的存在，如何理解它与我之间的同一性？ 这些，也许都是可以探讨的问题。 ChatGPT 会替代什么职业？ 似乎每次聊到人工智能，都有人会问这个问题。 不过，我的答案依然是比较乐观的。就目前来看，甚至就上文所述的近未来来看，ChatGPT 等 AIGC 工具，什么都不会替代 ―― 它只会提升我们的效率。 原因很简单：AIGC 的定位不是一项「职能」，而是一种「工具」。 什么叫职能？比如有一款人工智能，功能是帮助你看X光片，那这是一项职能，它可能会替代掉一部分医生的功能；但 AIGC 的功能是搜索、阅读、写作，这是所有职业都需要的基础技能。它本质上是辅助性的，是一种辅助的工具。 AIGC 可以帮我们做到的是什么呢？我们不需要再给每个 NPC 写一堆重复的台词了，而是可以设计 NPC 的背景，让 AIGC 自动生成他们的台词，甚至产生任务和剧情；我们也不再需要给小说中的每个人物设定人设了，可以先做好背景框架，再让 AIGC 生成一大堆人物，我们从中挑选，润色一下就好…… 因此，有了 AIGC 的存在，我们能够想象的未来是：搜索信息更准确了，阅读效率更高了，得到的专业建议有了更多的渠道可以参考对比，游戏的剧情和任务可以更丰富了，小说和影视剧可以更多元化了，新闻可以更加实时地推送给我们…… 所有的创作型职业都应该为此感到开心，因为困扰着他们的最大障碍 ―― 无聊的、繁琐的、劳动密集型的操作性工作，可以被 AIGC 替代掉了。 那么，面对 ChatGPT 等 AIGC 工具，最需要、可能也是最重要的一项能力是什么呢？―― 是明确自己想要什么，并且能够表达清楚自己想法的能力。 能够提出一个好问题，有时候比能够解决一个问题更重要。ChatGPT 的出现，更加清楚地表明了这一点。 你对自己的清晰认知，对外部世界的独特见解，深入事物本质的洞察力，以及将其表达出来的沟通能力。 这四点，会是我们在面对一个由人工智能驱动的世界时，更加潇洒自如的武器。 最后，用我之前写的一个想法来作结吧。 随着 ChatGPT 等 AI 工具的发展，我们还需要记笔记吗？未来我们该如何管理知识？ 所有知识，大体上可以分成三类： 一是客观存在的信息和事实； 二是我们对这些客观信息的理解、总结和思考； 三是我们行动实践所获得的经验和心得。 ChatGPT 等 AI 工具，能够替代的是绝大部分的一，以及一部分二。也就是它能替代客观信息库，以及我们对客观信息的总结。但二里面我们自己的思考加工， 以及三里面我们的实践记录，是没有办法被替代的。 实际上，这也是让每个人的知识体系和知识结构真正有别于其他人的地方：重要的不是你收集和掌握到了多少信息，而是你对这些信息有着怎样的理解、形成了哪些自己的看法。 随着 AI 的发展，未来更好的形态，可能是一个「公用的外脑+私人的内脑」。我们可以接入这个公用的外脑，询问客观知识库所存在的一切信息和资料，包括论文、互联网文章、书籍、视频，等等。 而每个人基于他所记录的思考和项目实践，可以有一个经过自己微调和训练的内脑，让它学习自己的生活和思考方式，通过向它提问获得更加私人的、针对自己需求的答案，成为自己的秘书。 到时所谓的「记笔记」，可能就会变成向这个内脑喂材料和微调的过程。而每个人的大脑+内脑，可能就会变成一个专属于他的思考机器，也是将每个人区分开来的方式。 我非常期待这一天的到来。 闲聊时刻 那么，如何体验 ChatGPT 呢？ 使用 ChatGPT 需要注册 OpenAI 的账号。遗憾的是，注册账号有一定的门槛。目前，OpenAI 不接受中国大陆的 IP 访问，也不接受中国大陆的手机接收验证码。如果你有海外朋友，可以请求他们的帮忙。 然后，ChatGPT 现在需要付费了，每月的价格是20美元。免费账户也能用，但是会有限制，经常遇到网络堵塞。也许过段时间热度下去了会好一些。 最后，也许是这几天热度太高了，ChatGPT 的官网经常出问题，经常访问不了。因此，不妨多等几天，不用急着去尝试。 另外，前文也讲过，微软的必应和谷歌都在尝试将类似产品嵌入到搜索引擎之中，等正式上线了也可以体验一下。 同样，国内应该很快也会有类似产品出现，或者直接接入 OpenAI 的 API。大家可以留意一下。 97岁丰田章一郎去世！丰田家族最牛的7个字 ChatGPT 最可能取代的 10 种工作 赚钱最多的聪明人 返回搜狐，查看更多 责任编辑：