淘优惠

淘优惠

chatgpt-2 涓巆hatgpt-3 鍖哄埆 濡備綍鍦╟hrome 娴忚鍣ㄤ笂瀹夎chatgpt

热门文章 0
chatgpt官网,chatgpt怎么下载,chatgpt中文,chatgpt账号

仿佛每一次关于人工智能技术的“狂欢”,都会将社会各界推入焦虑的渊薮。

上线不到一周日活用户破百万,2个月破亿...人工智能研究机构OpenAI在2022年11月30日发布的AI聊天机器人ChatGPT火爆全球,一时间成为现象级消费类AI应用。人工智能的发展已经有了方向性的改变,从理解语言、文字、图片,走向了生成内容。

不少人开始唱起失业的悲歌,认为处在数字智能社会,很多行业的人都将“被迫自由”。ChatGPT会给我们的工作、生活带来哪些影响,它的商业化发展前景如何?我们是否会被机器人抢走饭碗呢?

1.什么是ChatGPT?

现在ChatGPT是热点话题,什么是ChatGPT?给个标准答案:ChatGPT是美国"开放人工智能研究中心"研发的聊天机器人程序,它是人工智能技术驱动的自然语言处理工具。

图|自OpenAI官网

2.ChatGPT真的“魅力似火”么?

有人说ChatGPT的魅力像一把火,已经从互联网从业者燃烧到普通大众。

网友体验后感慨“太夸张了这个AI,真的和以往用的都不一样”,“我感觉ChatGPT是我用过最聪明的智能机器人,其回答内容的行文风格是最像人的,结构清晰,有条理”。

然而,“我听不懂你在说什么。”这也许是我们和人工智能们聊天时最常得到的回答。其魅力不过是“一个死记硬背者所能达到的顶峰”。华数机器人副总经理冯小童告诉央广网,ChatGPT所采用的底层逻辑并非新技术,ChatGPT在新知识、新创造方面的能力稍弱,发散性、逻辑性不是特别好。小冰公司CEO李笛提到,ChatGPT非常强调回答的因果关系,而回答的结论本身是否正确对它而言并不重要。

图|OpenAI官网对ChatGPT的介绍

3.过度追捧ChatGPT真的好么?

针对大众普遍担心的失业问题,ChatGPT在LinkedIn上分享了一篇帖子写道:“AI不会取代你。一个使用AI的人将取代你”。

图| ChatGPT在LinkedIn上分享的帖子

“过度的追捧,或者是过度的担忧ChatGPT产生的影响,我觉得也不可取。”北京社科院研究员,南昌理工学院数字经济研究院院长王鹏给出了理由:“首先,新技术每天都在产生,我们不能因为新技术的产生就杞人忧天;其次,任何事物都要一分为二地看,一方面可能对我们原有的商业模式、工作产生颠覆,但同时也可能提升我们的工作效能,提质、降本、增效,更有助于智能化、数字化转型,让我们的很多工作变得更轻松,效率更高。”

4.ChatGPT的“阿喀琉斯之”

目前,ChatGPT在两个维度还存在不足,需要我们重新审视:

第一个维度是技术的原理。从它自身的技术原理来看,它大量的训练其实是基于既有的资料、数据和知识,问一些已经有定论和有答案的问题,它的检索能力、搜集能力、整合能力很强。但是,对于新知识,对于一些具有创新性和挑战性,或者说它没遇到过的,数据库里没有的、没训练过的问题,它可能就没法回答,或者回答起来欠妥帖。

第二个维度是功能的可取代性。现在很多人担忧自己的工作会不会受ChatGPT影响,对一些简单重复的工作,初级的搜集、整理、核对,包括一些简单的客服回答,我觉得这些工作可能会被取代。但是,更深层次点的,带有一定创新性的工作,带有一定情感色彩,需要人和人沟通,基于大量经验的工作,比如针对学生个性的心理咨询,目前ChatGPT还没法胜任,所以大家不用盲目悲观。

5.ChatGPT能否商业变现?

任何一个好的产品,最后都要思考怎么变现。包括抖音、喜马拉雅,大量的中文英文互联网平台,有了流量之后,怎么变现,怎么去跟实际的行业相结合,是一大难点。如果简简单单就靠智能语音机器人的问答充值,可能大量用户玩一玩,新鲜感过去了,也就不充值了。如果提供定制化服务,其实训练成本非常高。

比如让ChatGPT做一个投资分析,在目前的技术路径之下,它可能给出的结果,只能是简单的资料搜集,如果要达到中高层次的分析师水平,就要付出更多的精力和时间成本。所以,对于ChatGPT的开发者而言,现在面临一个两难境地:面向大众化开发,可能大家的热乎劲儿过去了,就不付费了;面向专业领域开发,可能用户付的费用还不足以支撑开发成本。

值得注意的是,无论是谷歌、百度,还是互联网大平台,都有一定的技术储备和资源,大家看到了ChatGPT的发展前景,纷纷开始加紧布局。这几天的A股市场,相关行业的上市公司的股票价格涨得很快。

6.“阳光下的暗礁”:ChatGPT行业的伦理隐患

清华大学人工智能国际治理研究院院长薛澜曾将人工智能描述为“潘多拉的魔盒”,“如果控制不好,有可能会成为人类‘最后的发明’”。人工智能的高速发展,也将人类引入了一个不确定的未来。伦理问题成为人工智能发展进程中“阳光下的暗礁”。ChatGPT作为大型语言模型前沿科技产物,也面临着诸多伦理挑战。“失业焦虑”之外,技术的“狂欢”也带来了更多的伦理隐患,包括了训练数据来源合规性、数据使用的偏见性、学术造假的可能性以及对人类独立智能的负面影响等。

首先,使用数据挖掘或爬取技术抓取、第三方购买却由于未保障授权主体的知情权和授权范围而存在较大的伦理隐患。来自学者高泽晋研究中的一位面向AI开发的受访者说,“我知道这可能存在一些问题,但目前我在研究开发时确实需要大量数据,算法难题解决后不仅能够为行业带来突破,很多衍生应用也将为社会、经济带来益处。我需要数据,没有另外的选择。但我希望会有技术以外的方式去为我们解决来源合规与技术需要之间的难题。”可以看出,尽管当前存在着不少关于数据来源的伦理隐患,技术人员自身是难以进行平衡的,并且期望社会科学领域能找到合适的方式来解决。

其次,人工道德智能体的研究发现,机器学习人类语言能力的过程,也是深度吸收隐含其中的种种偏见的过程。而ChatGPT的训练是人类反馈强化学习(RLHF)的方式,这种训练方式建立在人类人工智能训练师提供对话的基础上。因此,如果人工智能训练师按照自己的主观意愿与偏见对ChatGPT进行训练,那么ChatGPT将会延续这种偏见,最终造成潜在的社会隐患和危害。

再次,“如何用ChatGPT快速完成一篇论文”,当带有这类标题的内容出现时,意味着学术伦理将受到极大的挑战。传统形式教育评估的丧钟即将敲响,如何防止学生使用人工智能完成作业将成为教授们的一大难题。

另外,我们常说,教育得看未来趋势。要不然费劲心思鸡娃,就如同投入一切埋头苦干造了一艘船,过了几十年却发现旅行目的地是沙漠一样无用。所以,如何把AI当做工具,让其成为教育的机会而非威胁,是教育体系未来不得不得面对的新变化。

图|关于AI对教育挑战的论文

我们几乎每天都站在挑战着底线的十字路口,比如在高压下要不要用ChatGPT作弊?为了成绩该不该要吃聪明药?为了变得更优秀,我们要不要换掉一只手、一只脚或者一个眼睛,或植入一个芯片?

选择背后的本质,是技术进步带来的大量诱惑之下,不断校准自己内心伦理道德的天平,利用少数比ChatGPT有优势的地方,至少才能不做技术的奴隶,从而才有机会将ChatGPT作为美好生活的工具。

图|人类与chatGPT

7.关于ChatGPT的未来

ChatGPT是个颠覆性新技术,也是一个目前只有三岁的婴儿。有很好的发展前景,未来会对我们产生重要影响。但是,过分的追捧、过分的神话,甚至过分的妖魔化,也是不对的。目前来看,无论是从它的技术路线、工作替代,还是商业化角度来说,都存在一些先天的不足,还需要进一步的发展。过分的追捧、过分的炒作,要么就是赚取流量,要么就是借这波儿炒作进行资本市场的操作,大家都要谨慎。

图|3岁的chatGPT

腾讯前创始人、走在科技前沿的李海翔先生认为:工种之外,AI为社会带来的最大颠覆,其实是改变了人类延续了上万年的仅以线下物理为主的生活状态。因为这种人格分界会引起人类基本共识的“范式转移”。所谓“范式”指的是说对于基本认知的共识是一致的,再做进一步的研究。科技进步却让我们原来以为的共识都识变了。

无论AI如何强大,其解决的问题,也只是人类面临所有问题的很小一部分。因为现实世界中有海量的问题并不是数学问题,也就不可能通过计算来求解。目前人工智能已经找到解决方案的问题,也只是可计算问题的一小部分。

当然,从技术哲学的视角来看,机械革命最终将带来人类的大解放。先是人类的四肢五官的能力被汽车、手机、电脑给解放,接着是人类大脑被解放,最后是文明的进化。


chatgpt究竟是什么黑科技 ChatGPT 技术难度

chatgpt,chatgpt是什么意思,chatgpt国内能用吗,chatgpt账号

机器之心发布

机器之心编辑部

火爆全网的 ChatGPT,仿佛开启了第四次工业革命,让微软、谷歌等全球科技巨头打得昏天黑地,引得各路玩家纷纷入局,抢占赛道。

然而由于 OpenAI 没有开源 ChatGPT,如何有效复现 ChatGPT 已成为摆在大家面前的头号难题,急需可靠的开源共建方案。

Colossal-AI 快速跟进,首个开源低成本复现 ChatGPT 完整流程。作为当下最火热的开源 AI 大模型解决方案,Colossal-AI 已收获开源社区 GitHub Star 近万颗,此次开源亮点包括:

开源完整基于 PyTorch 的 ChatGPT 复现流程,涵盖全部 3 个阶段,可实现从预训练模型到 ChatGPT 的蜕变;

体验最小 demo 训练流程最低仅需 1.62GB 显存,任意单张消费级 GPU 即可满足,单卡模型容量最多提升 10.3 倍

相比原生 PyTorch,最高可提升单机训练速度 7.73 倍,单卡推理速度 1.42 倍,一行代码即可使用

对于微调任务,可最多提升单卡的微调模型容量 3.7 倍,同时保持高速运行,仅需一行代码;

提供单卡、单机多卡、1750 亿参数等多个版本,支持从 Hugging Face 导入 OPT,GPT-3,BLOOM 等多种预训练大模型;

收敛验证正在进行中,该项目也在吸引合作者共建生态

开源地址:https://github.com/hpcaitech/ColossalAI

ChatGPT――AIGC 引发的工业革命

如果问新年伊始,最火爆的科技热点是什么?非 ChatGPT 莫属。

它仿佛无所不能的六边形战士,可以聊天、写代码、修改 bug、做表格、发论文、写作业、做翻译、甚至代替 Google 搜索引擎等……

自发布以来,ChatGPT 便已摧枯拉朽之势席卷各个行业,不仅 5 天时间便突破百万用户,月活用户突破 1 亿更是仅用时 2 个月,成为史上增速最快的消费级应用,远超如今其他知名应用,如 Twitter 5 年、Meta(Facebook)4 年半,TikTok 9 个月等,而手机普及到 1 亿用户则用了 16 年。

1 亿用户月活用户耗时

比尔?盖茨盛赞 “ChatGPT 的意义不亚于 PC 和互联网诞生”,而微软 CEO 萨蒂亚?纳德拉(Satya Nadella)更是直言 “堪比工业革命,这辈子第一次见这么大的技术浪潮” “AI 正在重塑互联网”。作为向 OpenAI 投资上百亿美元的大金主,微软已火速将 ChatGPT 整合进自家的搜索引擎必应 Bing 和 Edge 浏览器,还计划加入 Teams 以及 Office 等办公套件全家桶,股价一夜市值飙涨超 800 亿美元。

微软与谷歌发布会后股价对比

而隔壁需要担心被 ChatGPT 革命掉自家搜索引擎的谷歌,虽然拉响 “红色警报”,紧急发布对标竞品 Bard,却因 Demo 首秀翻车,股价市值瞬间蒸发 1000 亿美元。

一夜之间,全球的科技巨头们仿佛都回到了自己年轻时的样子,纷纷宣布要打造自己的 ChatGPT。

但 ChatGPT 发布已有数月,市面上不仅没有预训练权重开源,连可靠的完整开源训练流程都仍是空白,更无法实现基于千亿大模型的 ChatGPT 全流程高效搭建和应用。临时上线,号称 “对标 ChatGPT” 的一众新品们,因为闭源也难辨真伪。

为什么 ChatGPT 有如此魔力?复现它又有哪些难点?

ChatGPT 技术分析

ChatGPT 的惊人效果,重要特征是在训练过程引入人类反馈强化学习(RLHF),使得模型表现更符合人类价值观。

ChatGPT 的训练流程主要分为三个阶段:

1. 从 Prompt 库中采样,收集其人工回答,利用这些数据来微调预训练大语言模型。

2. 从 Prompt 库中采样,使用大语言模型生成多个回答,人工对这些回答进行排序后,训练奖励模型(RM),来拟合人类的价值判断。

3. 基于阶段 1 的监督微调模型和阶段 2 的奖励模型,利用强化学习算法对大语言模型进一步训练。

其中阶段 3 是 RLHF 训练的核心部分,OpenAI 采用了强化学习中的近端策略优化算法(PPO),借此引入奖励信号,使得语言模型生成内容更加符合人类评判标准。

RLHF 的三个阶段?

ChatGPT 模型的复杂性在于强化学习的引入会带来更多模型的调用。例如,使用基于 Actor-Critic(AC)结构的 PPO 算法,需要在训练时进行 Actor、Critic 两个模型的前向推理和反向传播,以及监督微调模型、奖励模型的多次前向推理。在 ChatGPT 基础的 InstructGPT 的论文中,Actor 和监督微调模型都使用了 1750 亿参数的 GPT-3 系列模型,Critic 和奖励模型则使用了 60 亿参数的 GPT-3 系列模型。

对于如此多的模型参数,想要启动原始 ChatGPT 训练流程,需要数千 GB 的显存开销,显然远超单张 GPU 的容纳能力,常见的数据并行技术也无能为力。但即使引入张量并行、流水并行对参数进行划分,也仍需至少 64 张 80GB 的 A100 作为硬件基础。并且,其中的流水并行由于 bubble 和调度复杂,效率受限,不适合 AIGC 的生成式任务。阶段 3 涉及 4 个模型的复杂强化学习训练流程,进一步给 ChatGPT 的代码复现带来了困难和挑战。

使用 Colossal-AI 低成本复现 ChatGPT

Colossal-AI 以开源方式复现了 ChatGPT 训练的基本流程,包括阶段 1 预训练,阶段 2 的奖励模型的训练,以及最为复杂的阶段 3 的强化学习训练等。

同时,Colossal-AI 通过 ZeRO,Gemini, ?Chunk-based 内存管理等技术,极大地降低 ChatGPT 训练的显存开销,仅需一半硬件资源即可启动 1750 亿参数模型训练(64 卡 ->32 卡),显著降低应用成本。若使用上述相同硬件资源,Colossal-AI 则能以更短时间进行训练,节省训练成本,加速产品迭代。

为了让更多开发者体验复现 ChatGPT 模型,除 1750 亿参数版本外,Colossal-AI 还提供高效的单卡、单机 4/8 卡的类 ChatGPT 版本,以降低硬件限制。

在单机多卡服务器上,即便使用最高端的 A100 80GB 显卡,由于 ChatGPT 的复杂性和内存碎片,PyTorch 最大仅能启动基于 GPT-L(774M)这样的小模型的 ChatGPT。用 PyTorch 原生的 DistributedDataParallel (DDP) 进行多卡并行扩展至 4 卡或 8 卡,性能提升有限。

Colossal-AI 不仅在单卡速度上训练和推理优势明显,随着并行规模扩大还可进一步提升,最高可提升单机训练速度 7.73 倍,单卡推理速度 1.42 倍,还可继续扩展至大规模并行,显著降低 ChatGPT 复现成本。

为了尽可能降低训练成本和上手门槛,Colossal-AI 还提供了在单张 GPU 上即可尝试的 ChatGPT 训练流程。相比于 PyTorch 在约 10 万元的 A100 80GB 上,最大仅能启动 7.8 亿参数模型,Colossal-AI 将单卡容量提升 10.3 倍至 80 亿参数。对于基于 1.2 亿参数小模型的 ChatGPT 训练,最低仅需 1.62GB 显存,任意单张消费级 GPU 即可满足。

此外,Colossal-AI 也致力于降低基于预训练大模型的微调任务成本。以 ChatGPT 可选的开源基础模型 OPT 为例,相比 PyTorch,Colossal-AI 可将提升单卡微调模型容量 3.7 倍(原始计算量显著增大),同时保持高速运行

一行代码快速上手

Colossal-AI 为 Hugging Face 社区的 GPT,OPT 和 BLOOM 等主流预训练模型,提供了开箱即用的 ChatGPT 复现代码。以 GPT 为例,仅需一行代码,指定使用 Colossal-AI 作为系统策略即可快速使用。

使用下列命令,即可快速启动单卡、单机多卡、1750 亿版本训练,并测试各种性能指标(包括最大显存占用、吞吐率和 TFLOPS 等):

背后优化

核心系统 Colossal-AI

复现 ChatGPT 的背后,依赖面向大模型时代的通用深度学习系统 Colossal-AI,可基于 PyTorch 高效快速部署 AI 大模型训练和推理,降低 AI 大模型应用成本。

自开源以来,Colossal-AI 已经多次在 GitHub 热榜位列世界第一,获得 GitHub Star 超八千颗,并成功入选 SC、AAAI、PPoPP、CVPR 等国际 AI 与 HPC 顶级会议的官方教程。除上述优化外,Colossal-AI 还针对 AI 大模型趋势,提供最多样和高效的大规模多维并行分布式解决方案,此前已在 Stable Diffusion、OPT、AlphaFold 等前沿模型上展现卓越优势。

Colossal-AI 与当今主要开源项目同期开源数据对比

Colossal-AI 由加州伯克利大学杰出教授 James Demmel 和新加坡国立大学校长青年教授尤洋领导。相关解决方案已成功在自动驾驶、云计算、零售、医药、芯片等行业知名厂商落地应用,广受好评。Colossal-AI 已成功帮助某世界 500 强企业,开发具备在线搜索引擎能力增强的类 ChatGPT 聊天机器人模型。

低成本微调的 LoRA

Colossal-AI 支持使用低秩矩阵微调(LoRA)方法进行高效微调。LoRA 方法认为大语言模型是过参数化的,其在微调中的参数改变量是・一个低秩的矩阵,可以将其分解为两个更小的的矩阵的乘积,即

。在微调时,固定大模型参数,只调整低秩矩阵参数,从而显著减小训练参数量。在微调之后,进行推理部署之前,只需要将参数加回原有矩阵即可,即,不增加模型的推理延迟。

LoRA 示意图,仅需训练 A、B

减少内存冗余的 ZeRO + Gemini

Colossal-AI 支持使用无冗余优化器 (ZeRO) 来优化内存使用,这种方法可以有效减少内存冗余,并且相比传统的数据并行策略,不会牺牲计算粒度和通信效率,同时可以大幅提高内存使用效率。为了进一步提升 ZeRO 的性能,Colossal-AI 引入了自动 Chunk 机制。通过将运算顺序上连续的一组参数存入同一个 Chunk 中(Chunk 是一段连续的内存空间),可以确保每个 Chunk 的大小相同,从而提高内存使用效率。使用 Chunk 方式组织内存可以保证 PCI-e 和 GPU-GPU 之间的网络带宽得到有效利用,减小通信次数,同时避免潜在的内存碎片。

Chunk 机制

此外,Colossal-AI 的异构内存空间管理器 Gemini 支持将优化器状态从 GPU 卸载到 CPU ,以节省 GPU 内存占用。可以同时利用 GPU 内存、CPU 内存(由 CPU DRAM 或 NVMe SSD 内存组成)来突破单 GPU 内存墙的限制,进一步扩展了可训练模型规模。

通过 ZeRO + Gemini 提升硬件的模型容量

开放协作

尽管此次开源包含了复现 ChatGPT 的完整算法流程和必要软件系统,但对于像 ChatGPT 这样的超大 AI 大模型,想要实际落地应用,还需要数据、算力至少 2 方面的努力。毕竟训练一个 1750 亿参数的 GPT-3 就需要数百万美元算力。因此,长期以来预训练大模型都由少数大型私营科技公司垄断。

好在开源社区已成功进行了新的尝试。例如,完全开放代码、数据集、权重的 1760 亿参数的 BLOOM 模型,共有来自全球 60 个国家、超过 250 个机构,以及超过 1000 名研究人员参与其中,其中包括以个人名义参加的 Meta、谷歌等大厂员工。而前段时间大火的开源图文生成模型 Stable Diffusion,也是由 Stability AI、EleutherAI 和 LAION 等组织共同完成的。

借鉴上述成功模式,该项目也在吸引更多的合作者:无论是个人开发者,还是算力、数据、模型等可能合作方,都有机会参与其中,大显身手,以复现 ChatGPT 为起点,拥抱大模型时代!


ChatGPT是如何进化的 ChatGPT核心能力

chatgpt是什么意思,chatgpt国内能用吗,chatgpt怎么用,chatgpt注册

机器之心发布

机器之心编辑部

火爆全网的 ChatGPT,仿佛开启了第四次工业革命,让微软、谷歌等全球科技巨头打得昏天黑地,引得各路玩家纷纷入局,抢占赛道。

然而由于 OpenAI 没有开源 ChatGPT,如何有效复现 ChatGPT 已成为摆在大家面前的头号难题,急需可靠的开源共建方案。

Colossal-AI 快速跟进,首个开源低成本复现 ChatGPT 完整流程。作为当下最火热的开源 AI 大模型解决方案,Colossal-AI 已收获开源社区 GitHub Star 近万颗,此次开源亮点包括:

  • 开源完整基于 PyTorch 的 ChatGPT 复现流程,涵盖全部 3 个阶段,可实现从预训练模型到 ChatGPT 的蜕变;

  • 体验最小 demo 训练流程最低仅需 1.62GB 显存,任意单张消费级 GPU 即可满足,单卡模型容量最多提升 10.3 倍

  • 相比原生 PyTorch,最高可提升单机训练速度 7.73 倍,单卡推理速度 1.42 倍,一行代码即可使用

  • 对于微调任务,可最多提升单卡的微调模型容量 3.7 倍,同时保持高速运行,仅需一行代码;

  • 提供单卡、单机多卡、1750 亿参数等多个版本,支持从 Hugging Face 导入 OPT,GPT-3,BLOOM 等多种预训练大模型;

  • 收敛验证正在进行中,该项目也在吸引合作者

    版权声明:除非特别标注原创,其它均来自互联网,转载时请以链接形式注明文章出处。