深度学习ai解释神经网络 openai 神经网络
边策 萧箫 发自 凹非寺量子位 | 公众号 QbitAI
“今天的大型神经网络可能已经初具意识了。”
OpenAI首席科学家Ilya Sutskever在Twitter上撂下这句话，可谓语不惊人死不休。
这下可让AI圈炸开了锅，人工智能、神经科学领域专家的回复滚滚而来。
反击最激烈的就是图灵奖得主、Meta AI首席科学家Yann LeCun。
LeCun对此的第一条回复是这样的：
不同意！（目前的AI）没有达到“稍微有意识”的下限，甚至还没有达到“大型神经网络”的上限。
他还说，如果非要给现阶段的AI下定义，那么：
我认为你需要一种当前网络都不具备的特定类型的宏架构。
见到自家员工和当初创业伙伴被怼，OpenAI联合创始人Sam Altman也亲自下场评论：
OpenAI的首席科学家表达了对一个神秘想法的好奇心和开放性，用的是“可能”一词做前提。而Meta的首席AI科学家却斩钉截铁地说“不”。
下面这句语气略有些嘲讽，似乎是在暗示OpenAI因开放的态度取得了更多成果。
这可能解释了过去5年的很多情况。
推文结尾处，Sam Altman还不忘挖竞争对手墙脚：
尊敬的Meta AI研究人员：我的电子邮件地址是 sama@openai.com。我们正在招聘！
接着，LeCun还拉上了OpenAI另一位联合创始人马斯克，以后者航空与航天技术差异做对比。
一个人可以建造更快的飞机，并打破高度纪录。但如果一个人的目标是进入太空轨道，就必须研究低温罐、涡轮泵等。不要那么华而不实。你可以去问问马斯克。
除LeCun外，其他AI界人士也对OpenAI此番言论口诛笔伐。
知名AI专家、新南威尔士大学教授Toby Walsh插话说：
每次有这种投机性言论放出，我们都需要花好几个月的努力，才能让人们消除疑虑。
DeepMind高级研究科学家这样嘲讽道：
如果这种观点成立的话，那么大片麦田里可能也有一点意大利面。
虽然在Twitter上批评占据了多数，但仍有一些支持OpenAI的言论。
一位来自MIT CSAIL的研究员Tamay Besiroglu表示：
看到这么多著名的机器学习人士嘲笑这个想法，真是令人失望。这让我对他们能够解决未来几十年一些重要问题的能力降低了希望。
他认为，像OpenAI而不是Meta这样的实验室更有可能解决在不久的将来在该领域出现的深刻、奇怪和重要的问题。
另外，这次吵架还有个意外的收获，那就是Sam Altman透露了GPT-4的最新消息。
从他的表述来看，GPT-4很可能是GPT-3的延续。
去年，为OpenAI提供超大型AI芯片WSE-2的公司Cerebras透露，GPT-4约有100万亿个参数，而且还要等上好几年。
回到这场争论风暴的“核心”来看，究竟是什么让Ilya Sutskever发出这样的感慨？
或许从他的经历中可以窥见一斑。
从最初的AlexNet，到后来的AlphaGo，再到见证GPT-3和Codex等模型的横空出世，几乎每一次AI领域的“破圈”技术，都有他参与其中。
Ilya Sutskever本硕博毕业于多伦多大学，曾经是Geoffrey Hinton的学生。
事实上，Sutskever正是AlexNet的作者之一。
2012年，在Hinton老爷子的指导下，他和Alex Krizhevsky共同设计了这个架构，在当年ImageNet挑战赛上夺冠，比第二名错误率低10.8%。
Hinton创办的DNNResearch被谷歌收购后，Sutskever加入谷歌大脑任研究科学家。
他曾经参与开发著名的AlphaGo，成为众多论文作者之一，后者在2016年的围棋比赛中4比1击败了李世h。
在谷歌期间，他还与谷歌大脑的另外两名科学家合作，提出了NLP经典框架之一seq2seq算法。
2015年末，Sutskever离开谷歌，与马斯克、Sam Altman等人共同创立OpenAI。
2018年，在干了两年多研究主管（research director）之后，他成为OpenAI的首席科学家（chief scientist）。
可以说OpenAI从GPT-2研发到GPT-3，从击败DOTA2冠军战队的Rerun到会写代码做游戏的Codex，他都是亲身参与其中的见证者之一。
在他的引领下，OpenAI正在逐渐走向AGI（通用人工智能）的道路。
2021年年初，多模态模型DALL・E和CLIP出现，打通了文字和图像之间的连接道路。
当时OpenAI就提出研究表示，CLIP与人类的思维方式非常相像，让网友直呼AGI的到来比想象中要快更多。
同样是去年，GitHub和OpenAI合作推出自动补全代码工具GitHub Copilot，AI开始get到部分程序员的技能。
而就在今年年初，OpenAI研究的数学AI模型Lean再进一步，加上神经定理证明器后成功解出了两道国际奥数题。
如今OpenAI正在研究百万亿参数大模型GPT-4，或许这也与Sutskever发出的这句感慨有关。
但其实，AGI的道路看起来也没有那么明朗。
至少就在最近，纽约大学助理教授Brendan Dolan-Gavitt发现，200亿参数的大模型GPT-NeoX连最基础的整数算术题都做不对。
GPT-NeoX并非OpenAI官方的模型，而是一个名叫EleutherAI的机器学习小组搞出来的开源大模型（因为GPT-3没开源）。
在Brendan出的100道题目整数加法、减法和乘法中，AI只算对了10道题，虽然其他的答案与正确答案也“差不多”，但毕竟还都是算错了。可见AI并没有真正理解四则运算。
至于“神经网络到底有没有自我意识”这场讨论，网友们同样发表了自己的看法。
有网友认为，这些大佬与其说是在讨论AI有没有意识，不如说是他们在讨论定义是什么：
也有人调侃，深度神经网络进入“玄学”深水区了：
还有网友在这场讨论的评论区放了个机器人的魔性表情包，“AI眉头一皱，意识到事情并不简单”：
对于“神经网络初具意识”这个观点，你认为呢？
参考链接：[1][2][3][4][5][6][7][8]
―完―
@量子位 ・ 追踪AI技术和产品新动态
深有感触的朋友，欢迎赞同、关注、分享三连?'?' ? ?
openai是哪一个公司开发的 对标openai的中国公司
openai公司上市了吗,openAI是什么,opensea是什么公司,openim是哪个公司同花顺（300033）金融研究中心2月8日讯，有投资者向天喻信息(300205)（300205）提问， 你好，董秘！天喻AI团队在2021年IJCB戴口罩人脸识别竞赛中荣获竞赛第一名。除了AiFace智能，天喻在人工智能领域还有其他布局吗，例如在作文评分上能否识别文章为AI所完成的呢？天喻有应用OpenAI技术吗？
公司回答表示，您好，除Ai-Face智能硬件外，公司暂无其他人工智能技术产品。公司目前没有应用OpenAI的技术，谢谢。
点击进入互动平台 查看更多回复信息
ai 计算基本原理 ai技术解读
原标题：奇点前夜还是算力极限？OpenAI史上最大语言模型引争议
“玩GPT-3就像在窥视未来。”――这是人工智能界对目前最大语言模型GPT-3的普遍反应，甚至有分析人士指出，这将是比特币之后又一个影响世界的现象级新技术，而低估者只会后知后觉。
就在上个月，由诸多硅谷大亨联合建立的人工智能实验室OpenAI推出的GPT-3开放了部分API测试资格，希望外部开发者帮助它探索功能，并计划将其转化为商业产品。之后体验者公开的测试结果引起学界和工业界的激烈讨论。
许多测试者发现GPT-3在生成任何类型文本的过程中，创造力和准确率比过往的AI模型有更大突破。有测试者展示了利用GPT-3生成小说和新闻，原本所提供的仅仅只是标题和第一个单词；有测试者利用GPT-3做了UI生成器，仅通过语言描述就能生成UI的各个组件，如Sharif Shameem输入“像西瓜一样的按钮”即完成了网页设计；还有测试者利用GPT-3写SQL查询代码、运维的命令，分析食物营养成分，生成资产负债表；更令程序员担心就业的是，有VR公司的首席技术官在测试过程中偶然发现GPT-3可以用来直接生成代码。
在测试发布前，神经网络之父、深度学习鼻祖、图灵奖获得者Geoffrey Hinton在推特上表示：“将GPT-3的惊人表现推演到未来，可以得出的结论是，生命、宇宙和一切万物的答案只是4.398万亿个参数而已。”但质疑声也同时四起，纽约大学名誉教授Gary?Marcus和计算机系教授Ernest?Davis在《麻省理工科技评论》上发文称“傲慢自大的GPT-3自己都不知道自己在胡说什么。”批评者指出GPT-3的“暴力美学”远非智能。
算力的飞跃式升级
在计算机自然语言处理（NLP）领域，语言模型是重要工具，基本原理是对语句分布概率建模，传统的语言模型需要测试开发者采集大量训练数据进行调优，之后才能应用到下游的具体NLP任务中，调优过程耗时长且代价高昂。但OpenAI所推出的模型仅需要文本交互和给予少量示例，即能完成翻译、问答和文本填空等任务，这源于GPT-3高达1750亿的巨大参数量，是前一代的116倍，效果如同烧钱“暴力”提高AI准确率。
上海交通大学计算机系教授赵海对南方财经全媒体记者表示：“其实它的训练模式很简单，我给你前面一句话，预测下一个词，语料库如果足够大的话，所有组合都已经丢进去了。” 赵海的自然语言处理团队曾在斯坦福大学发起的国际权威机器阅读理解评测SQuAD2.0挑战赛中获得单模型第一的成绩，他认为GPT-3相当于把45T的文本压到一个模型里，数据训练量可以想象成100万个受过良好教育的人终身的阅读量。?
GPT-3的论文长达72页，作者多达31人。根据OpenAI官方信息，所有模型都在微软提供的超级计算机系统上训练，该系统据称拥有超过285000 个 CPU 核心、10000 个 GPU 和每秒 400G 的网络。在超大算力资源的加持下，GPT-3训练一次的费用是460万美元，训练时间为355个GPU年，总成本据悉达到1200万美元。由于代价高昂，论文直接承认出现BUG时无法再重新进行训练。
OpenAI成立于2015年12月，定位为非盈利组织，旨在确保通用人工智（AGI）能让全人类全体获益，而非被少数巨头垄断，创始人包括硅谷钢铁侠埃隆・马斯克，马斯克后来因OpenAI未将模型全部开源而退出。OpenAI去年从非盈利转型为有限盈利，微软已经为OpenAI投资10亿美元，并获得部分技术的商业开发许可。
根据OpenAI的计划，此次开放测试申请可以让外部开发人员帮助他们探索GPT-3的功能，预计今年底会将GPT-3变为商业产品。作为非盈利组织，这一计划遭到部分业内人士指责，OpenAI回应表示商业化是确保后续拥有足够研究资金的方法，并强调：“最终我们最关心的是确保人工智能能够使所有人受益。”
赵海在接受采访时提到，“有一件事情需要澄清，大工业社会科研体系是近代社会才有的。哪怕是全球市场，从自由竞争到垄断，市面上最大的几家公司开始改变游戏规则，先进技术一定会取代落后技术吗？不是，资本控制下以利润为优先的原则开始决定这个技术要进步得有多快。重大技术的转换现在要由许多复杂因素促成。”
之所以选择发布API而不是发布开源模型，OpenAI官方表示主要有三个原因：首先，技术商业化有助于获得后续AI研究工作资金；其次，模型运行仍旧代价高昂，希望API能使小型企业和组织更容易访问其AI系统；最后，API使其能够研究潜在的技术滥用，及时控制有害应用程序，终止API访问，改进工具和流程。
其提到的技术滥用情况，包括骚扰、垃圾邮件、假新闻、内容不道德风险等。Facebook的AI部门主管Jerome Pesenti已经公开指责GPT-3不安全，他用GPT-3生成的一则推文蕴含种族歧视和暴力血腥信息。该语言模型的训练数据来自全球网络，天然布满潜在陷阱。
实用与概念的距离
除了成本，在真正的智能以及实用性方面，GPT-3仍然饱受质疑。
“它向我们展示了一下，规模大到这种程度，模型能变成什么样子，但是这些能力离实用还是很远。”赵海表示。
赵海所在的学界讨论群一度被GPT-3刷屏，他认为从宣传攻势上看，OpenAI已经成功。他分析认为：“一般的话，公司会维持一个常规的生产线，还有一个奢侈品似的高端产品线，高端产品线不是用来赚钱的，只不过证明我们行，品牌是光鲜的，但是真正赚钱的是那种低技术走量的产线。GPT-3其实属于前者，它不见得起什么作用，离主流使用也非常远，属于概念性的产品。或者算不上产品，只是一个概念。”
OpenAI的CEO?Sam Altman也表示：“GPT-3被讨论得太过了，它的确令人眼前一亮，但是它还有很多缺陷甚至有时会犯愚蠢的错误，AI将会改变世界，但GPT-3还只是很早的一瞥，我们还有问题需要解决。”
多位人工智能从业者指出，GPT-3令人震撼的文本生成能力背后靠的是巨大的资源数量，但是最关键的是，它仍然没有语义理解和因果推理能力，数据驱动的机器学习方法难以产生真正理解自然语言的系统。?
即使未来能商用，一位硅谷人工智能网络安全公司CTO对南方财经全媒体记者表示，他并不担心GPT-3会取代程序员真正的技术工作，只会提高工作门槛和效率，“GPT-3的训练语料库可能包含一些网页的代码样本，或者编程教程，未来会被取代的可能是初级的编程任务，比如那些一直依赖StackOverflow论坛和只会复制粘贴代码的搬运工。”?
在商业应用的可能性上，有硅谷投资人认为，即使GPT-3生成的内容60-70%无效，但在个别任务上仍然能生成令人惊艳的文本，值得关注。目前的一个潜在应用是更精准地满足用户的深度搜索需求，未来可能可以演变成结合深度搜索和分析能力的人类智囊，如心理咨询、分析公司等，将重构涉及信息处理分析和创造的行业。
支持GPT-3等自然语言处理模型发展的因素包括算力的提高、高效计算模型涌现、更多高质量的训练数据，他认为这三者都可以预期，比如同等算力的GPU价格如果每八年降低一个数量级，未来的训练成本完全有可能下降数百倍。但有从业者认为，算力已变成巨头的技术高墙，难以企及。
赵海指出，数学作为基础学科已经大幅度超前，现在计算机学科的许多模型在上世纪已经存在，拥有足够算力的单位将占领先机，“其实我们真正需要的是说算力的价格变得可以接受，GPU的普及也就是最近10年的事情，一直卖得很贵。它的成本能降下来的话，没问题，但这里面你还要考虑到一个市场模式的问题，目前GPU基本上被一家以暴利价格垄断了。”
“伟大的想法，伟大的算法，等待着算力降价的那一天。”赵海说。
（作者：南方财经全媒体记者,林芯芯 编辑：洪晓文）
