chatgpt是马斯克搞出来的吗 百度推出类似chatgpt的产品
淘宝搜:【天降红包222】领超级红包,京东搜:【天降红包222】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】
了解一下什么是chatgpt chat gpt 国内使用教程
了解一下什么星座,了解一下什么是第五纵队,了解一下什么是新冠病毒,了解一下什么是三A法则OpenAI近期发布聊天机器人模型ChatGPT,迅速出圈全网。它以对话方式进行交互。以更贴近人的对话方式与使用者互动,可以回答问题、承认错误、挑战不正确的前提、拒绝不适当的请求。高质量的回答、上瘾式的交互体验,圈内外都纷纷惊呼。
为什么有如此高的评价?理论支撑是什么?背后的技术原理是什么?待解决的问题和方案有哪些?资本怎么看待这件事?本文的目标是将这些问题详细的给大家讲清楚。
ChatGPT本质是一个应用在对话场景的语言模型,基于GPT3.5通过人类反馈的强化学习微调而来,能够回答后续问题、承认错误、质疑不正确的前提以及拒绝不适当的请求。首先让我们今天的主角ChatGPT来亲自介绍自己。
ChatGPT是什么?既然ChatGPT是语言模型,语言模型是什么?通过强化学习训练,强化学习又是什么?
OpenAI 11月30号发布,首先在北美、欧洲等已经引发了热烈的讨论。随后在国内开始火起来。全球用户争相晒出自己极具创意的与ChatGPT交流的成果。ChatGPT在大量网友的疯狂测试中表现出各种惊人的能力,如流畅对答、写代码、写剧本、纠错等,甚至让记者编辑、程序员等从业者都感受到了威胁,更不乏其将取代谷歌搜索引擎之说。继AlphaGo击败李世石、AI绘画大火之后,ChatGPT成为又一新晋网红。下面是谷歌全球指数,我们可以看到火爆的程度。
国内对比各大平台,最先火起来是在微信上,通过微信指数我们可以看到,97.48%来自于公众号,开始于科技圈,迅速拓展到投资圈等。我最先了解到ChatGPT相关信息的也是在关注的科技公众号上,随后看到各大公众号出现关于介绍ChatGPT各种震惊体关键词地震、杀疯了、毁灭人类等。随后各行各业都参与进来有趣的整活,问数学题,问历史,还有写小说,写日报,写代码找BUG......
OpenAI是一个人工智能研究实验室,目的是促进和发展友好的人工智能,使人类整体受益。OpenAI原是非营利机构,但为了更好地实现产研结合,2019年3月成立OpenAI LP子公司,目的为营利所用。
2019年7月微软投资双方将携手合作,2020年6月宣布了GPT-3语言模型,刷新了人们对AI的认知。GPT系列语言模型让我们不断对通用人工智能(AGI)充满了期待。
OpenAI目标之初就很远大,解决通用人工智能问题,主要涉及强化学习和生成模型。
强化学习最早被认为是实现人类通用智能重要手段,2016年DeepMind开发的AlphaGo Zero 使用强化学习训练,让人类围棋的历史经验成为了「Zero」,标志着人类向通用型的人工智能迈出了重要一步。2019年OpenAI 在《Dota2》的比赛中战胜了人类世界冠军。OpenAI在强化学习有很多深入的研究,Dactyl也是一款OpenAI通过强化强化学习训练能够高精度操纵物体的机器人手,OpenAI Gym是一款用于研发和比较强化学习算法的工具包,所以ChatGPT中使用强化学习也是顺理成章。
生成模型方面,为我们熟知的是GPT-3,这是一个强大的语言模型能够生成人类一样流畅的语言。DellE 2是最近很火的AI绘画根据文本描述生成图片。Codex是和微软合作通过github代码训练而来,可以生成代码和Debug,已经商业化。
作为OpenAI曾经的创始人伊隆・马斯克也发表了对ChatGPT的评价!
看看ChatGPT是怎么介绍自家公司的?
作为一个聊天机器人,我们体验发现相比传统的机器人在连贯性问答中更加流畅自然。微信上已经有很多的小程序可以体验,或者直接讲ChatGPT接入了微信中,下面体验一下已经接入到企业微信的ChatGPT。
1)公司一向注重价值观,第一道题回答对一半,公司规定应第一时间退回,特殊情况无法退回,无论价值多少都需要进行申报,所以ChatGPT应该入职不了我司。第二道经典问题的回答还蛮符合公司正直的价值观的,哈哈。
2)公司协会活动总又人放鸽子,我来问问ChatGPT这些人啥心态。看到帮忙想的理由和放鸽子的人说的一样,我有点怀疑他们的心态了。
3)职场工具人看看能不能通过ChatGPT代劳,可以看到文案写作还是不错的。回答的这个提纲有一点小问题但不影响大局。讲故事编剧本也是不错的,先帮中国足球写好参加世界杯的文案,就是不知道能不能用的上了。
4)身边同事很重视娃的教育,那么从娃娃抓起先看看ChatGPT能不能带娃学习。文化常识题回答正确,数学题这推理能力,我担心娃考不上初中,可以用但是家长给把把关啊!同时也考察了一下他脑筋急转弯怎么样,这个傻瓜没答对。
5)号称编程神器可写代码、修bug,考察一下Leetcode中等难度的都没问题。虽然它自谦不会编程,但根据测试和网友的验证能力确实强。
6)考察一下互联网知识储备,挑战失败!如ChatGPT自己所述,他还有很多局限性比如给出看起来没问题其实挺离谱的答案,例如回答自己公司的成果还夹杂私人感情,把竞争对手DeepMind的AlphaGo功劳都据为己有。
做一个小节,其实网上有特别多有趣的案例,这里篇幅有限只是简单了列举几个。通过体验结合网友的反馈,ChatGPT的确掌握了一些知识体系和回答技巧。我们看到相比传统的聊天机器人,ChatGPT在连贯性问答中更加流畅自然,什么话都能接住。除了好玩的聊天神器外还有很多实用的价值,比如解答专业概念、编程类问题、从日常邮件、写请假条、广告文案等等,都可以通过ChatGPT代劳。看完这些有趣的案例,那么ChatGPT究竟如何实现的,我们接下来将讲解关于ChatGPT的哪些技术原理。
ChatGPT是基于GPT3.5语言模型,人类反馈的强化学习微调而来。本节将对涉及语言模型和强化学习两个重要技术做一个科普,已经熟悉的可直接跳过本节。
语言模型通俗讲是判断这句话是否通顺、正确。数学函数表达为给定前N个词,预测第N+1 个词概率,将概率序列分解成条件概率乘积的形式,这个函数就可以实现语言模型去生成句子。那么是什么样的语言模型如此强大,本小节梳理了深度学习开始的语言模型演技过程,如下图所示:
第一次开始用神经网络做语言模型是2003年Bengio提出的NNLM的网络结构,随着图像领域预训练的取得的突破迅速迁移到NLP领域,有了我们熟知的word2vec,通常做NLP任务句子中每个单词Onehot形式输入,使用预训练好的word embedding初始化网络的第一层,进行下游任务。word2vec的弊端是word embedding静态的,后续代表性工作中ELMo通过采用双层双向LSTM实现了根据当前上下文对Word Embedding动态调整。
ELMo非常明显的缺点在特征抽取器LSTM结构带来的,17年Google在机器翻译Transformer取得了效果的突破,NLP各种任务开始验证Transformer特征提取的能力比LSTM强很多。自此NLP开启了Transformer时代。
2018年OpenAI采用Transformer Decoder结构在大规模语料上训练 GPT1模型横扫了各项NLP任务,自此迈入大规模预训练时代NLP任务标准的预训练+微调范式。由于GPT采用Decoder的单向结构天然缺陷是无法感知上下文,Google很快提出了Encoder结构的Bert模型可以感知上下文效果上也明显有提升。随后2019年OpenAI提出了GPT2,GPT2拥有和GPT1一样的模型结构,但得益于更高的数据质量和更大的数据规模有了惊人的生成能力。同年Google采用了Encoder-Decoder结构,提出了T5模型。从此大规模预训练语言模型兵分三路,开始了一系列延续的工作。
2020年OpenAI提出GPT3将GPT模型提升到全新的高度,其训练参数达到了1750亿,自此超大模型时代开启。技术路线上摒弃了之前预训练+微调的范式,通过输入自然语言当作指示生成答案,开始了NLP任务新的范式预训练+提示学习。由于GPT3可以产生通顺的句子但是准确性等问题一直存在,出现WebGPT、InstructGPT、ChatGPT等后续优化的工作,实现了模型可以理解人类指令的含义,会甄别高水准答案,质疑错误问题和拒绝不适当的请求。
深度强化学习(deep reinforcement learning,DRL)是强化学习一个分支,基于深度学习强大的感知能力来处理复杂的、高维的环境特征,并结合强化学习的思想与环境进行交互,完成决策过程。DRL在游戏场景这种封闭、静态和确定性环境可以达到甚至超越人类的决策水平。比较著名的事件是2017年DeepMind 根据深度学习和策略搜索的 AlphaGo 击败了围棋世界冠军李世石。2018 年OpenAI 团队基于多智能体 DRL推出的OpenAI Five 在Dota2游戏中击败了人类玩家。DRL算法主要分为以下两类:
值函数算法:值函数算法通过迭代更新值函数来间接得到智能体的策略,智能体的最优策略通过最优值函数得到。基于值函数的 DRL 算法采用深度神经网络对值 一、ChatGPT是什么?chatgpt使用攻略 chatgpt详细介绍
chatgpt,chatgpt官网,chatgpt国内能用吗,chatgpt怎么用
我们找到了官方对于这个模型优势解释的paper
使语言模型更大并不能从本质上使它们更好地遵循用户的意图。例如,大型语言模型可能会生成不真实的、有毒的或对用户没有帮助的输出。换句话说,这些模型与其用户不一致。在本文中,我们展示了一种途径,可以通过根据人类反馈进行微调,使语言模型与用户对各种任务的意图保持一致。从一组标记器编写的提示和通过 OpenAI API 提交的提示开始,我们收集了所需模型行为的标记器演示数据集,我们用它来使用监督学习微调 GPT-3。然后,我们收集模型输出排名的数据集,我们使用该数据集通过人类反馈的强化学习进一步微调该监督模型。我们将生成的模型称为 InstructGPT。在对我们的提示分布的人工评估中,1.3B 参数 InstructGPT 模型的输出优于 175B GPT-3 的输出,尽管参数少 100 倍。此外,InstructGPT 模型显示了真实性的提高和有毒输出生成的减少,同时对公共 NLP 数据集的性能回归最小。尽管 InstructGPT 仍然会犯一些简单的错误,但我们的结果表明,根据人类反馈进行微调是使语言模型与人类意图保持一致的一个有前途的方向。
说人话就是:
以往的AI,你进行对话,它是根据你输入的关键词,来给你反馈信息的。你关键词不准确,就得不到想要的结果。(类似你自己去百度、谷歌搜索信息)
而ChatGPT,它更像是个人,你可能表达的不那么准确,但是它在和你的交流当中,会逐渐理解你的真正想说的东西,然后给你反馈信息。“Chat” 聊天对话是他的主要功能,所以被称为ChatGPT。
如果要用一个现实生活中我们熟悉的事物来形象生动地类比ChatGPT的话,我会选择多啦A梦
1.多啦A梦在不断跟大熊相处的过程中,根据大雄的需要,给他提供很多神奇的来自未来的工具
2.他会有底线,希望帮助到大熊往正确的道路发展,不会帮他抄作业,作弊等一系列,不利于他未来发展的事情
3.在不断地交流中,他会不断地熟悉大雄,知道他的兴趣爱好,了解他的性格,通过自适应的底层逻辑,变成最适合大雄的多啦A梦
4.当多啦A梦犯了错误时,他会道歉,会主动承认错误,并予以改正
5.无所不能,能跟大雄聊生活上的任何事情,帮助大雄更好地完成几乎所有他平常要去做的事,甚至只是他想到但不相信自己能做的事情
二、发展史梳理
要了解一件事情,首先要了解这件事情的起因-经过-结果。
我们都知道AI绘画火了,众多的AI模型也纷纷各立门户。
但今天这一款openAI有什么与众不同之处呢?
所以第一部分,我们先要从openAI是怎么突破重围?背后有什么原因,有什么力量把他推起来的呢?
溯源这件事情,我们还是用到搜索指数这个工具。这次我用了【微博指数】【微信指数】【谷歌指数】搜集到了数据,用的【百度指数】和【Twitter指数】都还没有收录,大抵是还是刚刚萌芽就被我们挖掘的缘故吧
1)指数工具看看发展史
①微博指数
由上图可知,微博在六点左右激增,按照亦仁老大发贴的时间,数据可能圈友们是刷起来的hh,所以参考性并不大。
②谷歌指数
我观察到ChatGPT在中国还没有动静,但是在美洲,澳大利亚,欧洲都已经火起来了.关联的词汇中 我们挖掘到openAI,Online chat, Artificial intelligence ,GPT-3等的关联词,第一个应该是公司名,第二三个指的是性质,在线聊天,人工智能,第四个是关联的AI模型。
③微信指数
微信指数就很有意思了
12.1开始火
12.2破5w
12.3回落
12.4破20w
这一次我们得出了一个结论:
不同于羊了个羊的的娱乐性质,这次没有首先在微博上爆火,反而是以公众号为核心,火了起来。火的公众号都是一些科技型公众号,这里我们可以看出做公众号的中,有相当一部分人是喜欢这种高科技,黑科技东西的,微信公众号适合作为一个科技ip的打造地。
2)这件事情爆火,背后的推动力是什么?
上面一部分,我们知道在12.4有一股强有力的力量推动【ChatGPT】的热度上涨
首先我们先从上面挖掘到的公众号的这个异常值开始吧。
首先,题目非常的抢眼,在一位工程师的引诱下ChatGPT写下毁灭人类计划书,并且给了详细的方案,甚至带上了Python的代码!这一系列仿佛电影版的情节,在现实中发生了,那我们接着看。
除了毁灭人类计划,这篇文章透露了更多关于ChatGPT的信息,写小说,写代码,找BUG,写论文,写漫画,谱曲......功能有够强悍的,同时我们还发现了一个点:
“一出在AI圈引发的地震”,AI圈子,想必在那里可以发现更多有关ChatGPT的内容,但我们先把公众号挖掘完。
这篇文章也是在强调ChatGPT的功能强大
这里出现了一个新的网红人物“马斯克”,而且是在很早的12.2号就发表了对ChatGPT的看法,这里不得不提马斯克真是算5G冲浪选手呀,接下来,我们来看看Twitter如今的CEO对此有什么看法吧
12.2
很多人陷入了无限的ChatGPT循环
12.2
发表了自己与ChatGPT的对话
ChatGPT比起别的垃圾(AI)好太多了
ChatGPT好的太可怕了。我们从未遇见如此恐怖而又强大的AI
这是因为ChatGPT并不是左派的原因。纽约时报应该把自己改名成社会正义时报
正如我刚刚了解到的一样,OpenAI用到了Twitter的数据用于训练模型。
需要了解更多关于未来的治理结构
OpenAI作为开源和非盈利性,两者都不成立 (这句话有待揣测)
更重要的是,他们还没有对GPT说些什么(没关注的意思)完全是在车上睡觉了
(觉得大家都应该对ChatGPT引起重视的意思)
称其为世界之树。
可以看出马斯克本人对于ChatGPT报以极大的重视,这么一位科技巨子多关注的东西定然不是寻常物。而且耐人寻味的是,马斯克曾是ChatGPT背后公司openAI的老板。
从上面我们可以看出这事爆火的几点原因:
1.给出毁灭人类的详细计划
2.拥有强大的功能,能改代码,写曲子,写文章的一系列技能
3.号称能取代谷歌
4.科技巨子“马斯克”对此给予了极高的评价,同时作为世界上最大社交平台的老板,他的一举一动都引起了大家的注意
看完一系列的资料,我是存在疑惑点的
openAI公司和马斯克目前到底是什么关系?作为前任老板,这次是否有炒作成分?
三、OpenAI公司背景
1)OpenAI公司介绍
OpenAI是一个人工智能(AI)研究实验室,由营利组织OpenAILP与母公司非营利组织OpenAI Inc所组成,目的是促进和发展友好的人工智能,使人类整体受益。
OpenAI成立于2015年底,总部位于旧金山,组织目标是通过与其他机构和研究者的“自由合作”,向公众开放专利和研究成果。 创始人伊隆・马斯克以及山姆・柯曼的动机是出于对强人工智能潜在风险的担忧。
至2018年,OpenAI 的总部坐落于旧金山的米慎区,与伊隆・马斯克的另一座公司Neuralink在同一办公室大楼。
2019年3月1日成立OpenAI LP子公司,目的为营利所用。
2019年7月22日微软投资OpenAI 10亿美元,双方将携手合作替Azure云端平台服务开发人工智能技术。2020年6月11日宣布了GPT-3语言模型,微软于2020年9月22日取得独家授权。
这家总部位于旧金山的实验室,是 AI 基础科研领域的全球领导者之一。它开发的 GPT 语言生成模型,一次又一次刷新人们对于深度学习能力的认知。OpenAI 原是非营利机构,但为了更好地实现产研结合,用期权留住员工,之前也成立了有限营利的公司。
不过在去年12月,OpenAI 一批早期/核心员工集体离职,在领域内引起了不小的轰动。这次“出 OpenAI 记”并非普通的跳槽,相关离职人员也保持了很长时间的缄默,以至于圈内人士都不知道他们接下来有何打算。
最近,这批 OpenAI 前核心员工终于宣布了他们前所未有的伟大计划:
解决长久以来神经网络的“黑盒子”问题,为研究者们开发能够解释AI真正工作原理的工具。
他们创办了一家新公司 Anthropic,致力于提高 AI 安全和可解释性。这些创始成员相信,“通用人工智能” (artificial general intelligence) 不久后即将到来,而 AI 安全将会成为日最重要的研究方向。
这家新公司也被投资者赋予了极大的期待。据了解,其 A 轮融资已经完成,规模高达1.24亿美元,投资人包括 Skype 创始人 杨・塔林(领投)、埃里克・施密特、达斯汀・莫斯科维兹等。
2)Anthropic公司介绍
Anthropic 到底是一家怎样的机构?它的创始成员都有谁?它在做的事情对于整个 AI 基础和应用领域有何重大意义?让我们走近这家最近刚刚离开隐形状态的全新机构,一探它的真相。
让 AI 更安全、可解释
AI 一直是一个“黑盒子”。尽管人们形容神经网络是按照人脑神经工作原理设计的,它具体怎么工作,输入的数据是如何转化成输出的,具体的原理和各环的作用,一直很难被真正解释。
在一小部分研究者看来,考虑到 AI 正在被应用到越来越高风险的系统当中,比如自动驾驶、医疗诊断、药物发现,甚至军事当中……它的不可解释性将会阻挡技术的真正进步,并且如果被持续忽视的话,甚至可能会引发不可逆转的严重恶果。
不过,自从深度学习在十年前左右取得重要突破,这项技术已经成为了 AI 技术进步的根基。越来越大的模型、更强的算力,让 AI 变得似乎“无所不能”,而不可解释性一直没有被公众看作是大问题――这也是为什么虽然目前 AI 领域内很多人,特别是那些从事应用领域的,并没有关注 AI 的黑盒子问题。
AI 的黑盒子问题:黑盒子是一个算法,能够将数据转变成其它东西。问题在于,黑盒子在发现模式的同时,经常无法解释发现的方法。 图片来源 | Topbots
2015年底成立的 OpenAI,其使命是实现通用人工智能,打造一个能够像人的心智那样,具有学习和推理能力的机器系统。成立以来,OpenAI 一直从事 AI 基础研究,主要以 GPT 语言生成模型(特别是 GPT-3)被人们所熟知。
但其实,增强 AI 的可解释性,让它能够更加安全地应用,也是 OpenAI 的研究方向之一。只不过,这部分工作在名气更大的 GPT-3 的面前,似乎显得没有那么重要。
而在去年年底离职的这一批员工,认为随着模型变大、算力变强,通用人工智能离我们越来越近,在可预见的未来就有可能实现――而在这样的前提下,AI 可解释性和安全性变得无比重要。这批员工,被认为是AI领域的“有效利他主义者”。简单来说,他们不仅认为应该投入重金进行 AI 基础研究让世界变得更好,并且也要注重实际功效。
他们的理念和 OpenAI 并没有本质上的冲突,但是 OpenAI 变得越来越不透明,且逐渐功利化的趋势,令他们感到担忧。一个最直接的例子,就是 OpenAI 尚未解决偏见和安全问题,就把 GPT-3 开发成了商用化的 API,提供给行业里的大公司使用。
最终,这批核心员工在去年年底集体离职。其中不少人,都参与到了Anthropic 公司当中。
从这里看出这家公司曾经被投资人投以众望,而且具有很强大的创始人团队和科研团队。但这样一家被看好的公司为什么却被拆分了呢?不得而知。
但我猜测会有理念不符合的原因,从资料中可知,openAI本来是非盈利性公司,但为了留住员工,采用了期权激励的机制。后来被微软投资,商业化气息更加重了,而且在尚未解决偏见和安全问题,就把前一个产品GPT-3开发成商业化的API,供大公司用。
也许马斯克本人在Twitter上发表的言论很奇怪。对openAI公司像是抱着一种又爱又恨的心态,赞叹他的功能强大,但是有对其非营利性,非开源的行径感到担忧的原因。
想了解ChatGPT主流玩法的朋友直接关注公号“科脑机器人”即可