图片来源@视觉中国

文｜云羽

AI的讨论并非首次，早在AlphaGo战胜人类棋手时，业界便展开了一波关于“AI能代替人类吗”恐慌性的大讨论，但是，在接下来的岁月里，AI还没有跳脱出人类一直以来的理解。我认为主要还是由于这道菜的口味太差。一直到2022年才会有这一次，AI不仅能与人类畅所欲言；能快速解答人类所需10分钟内解答的问题；能够快速检索到人类大概在数小时内就能够采集到的信息；还能让人类在家里就能够欣赏到自己喜爱的电影，音乐以及其他艺术形式。更能创造出令艺术家们惊叹的具有“创造力”的作品。

人工智能公司OpenAI成为这一激烈讨论的中心。其CEO Sam Altman表示：“十年前的传统观点认为，人工智能首先会影响体力劳动，然后是认知劳动，再然后，也许有一天可以做创造性工作。现在看起来，它会以相反的顺序进行。”这场由人工智能引发的讨论，在科技新闻领域已经持续多年。推出ChatGPT，颠覆人类对于AI“侵占”整个人类世界。它通过让机器人在人类无法理解的情况下完成任务来挑战人类的智慧和能力。这段肇始于硅谷AI的宏大叙述，因参与门槛低，很快就闯进了普通人生活中。人工智能的出现让人们看到了一个新时代，即人工智能正在改变我们生活方式和思维模式，也将带来一场前所未有的革命。ChatGPT自2022年11月上线以来，人工智能公司Open AI估值已达到290亿美元。随着越来越多的人加入到这个领域，越来越多的企业开始关注这一技术带来的改变和冲击。科技巨头们如临大敌、AI创业公司纷纷摩拳擦掌、一般人和AI交谈时，玩得很开心。

与此同时，一连串的问题又摆在我们面前：

●生成式AI技术能否掀起与移动互联网媲美的商业新浪潮？

●它能否使当前商业格局发生重大变化？

●生成式AI赛道上，究竟有什么样的商业模式可供发掘？

●中国头部科技企业是否已经捕捉到这新一轮AI浪潮？

●高端芯片被限制中国是否还能开发出属于中国的AI大模型？

腾讯科技与全球科技创新行业专家对话、王煜全，科技投资人、海银资本创始合伙人，据其全年在全球科技产业中的观察和亲自实践，试图解答上述难解问题。在互联网时代，人工智能与人类智慧如何结合？这类问题没有标准答案，但希望通过对行业深度参与者进行多角度的观察，为关心“生成式AI”的广大读者提供参考，带来了一定的启示。

01

AI的产生必然会受到科技巨头们的关注

Q1：为什么生成式AI会受到科技巨头们的重视？

王煜全：第一，AI绘画、ChatGPT和其他应用应运而生，使更多普通用户能利用人工智能。第二，人工智能技术与人类社会的结合也会产生更多新的问题。美国经济学家Diego Comin认为，经济体的实力并不依赖于其先进科技引进的速度，而是要看采用先进科技是否深入。

例如，互联网在不发达国家得到迅速介绍，但在引进互联网之后，使用的比重较小。因为技术本身并没有改变人们生活和工作方式，而是改变了他们的思维模式，行为模式，以及习惯。技术能够促进社会发展的原因，由于科技能的广泛应用，广泛提高效率或带来新技能，若仅为少数人用之，其提升效率或带来新技能都将是微乎其微。现在很多国家都把注意力集中到了人工智能上，因为它能够提高生产力和改善人们生活质量。因此，OpenAI比用户谈论更晚更热地进行商业探讨，较少见到，因此，随后人工智能的话题热度不减，就是自然而然、水到渠成。

其次，生成式AI类应用为未来提供了很大想象空间。目前，国内人工智能技术发展非常迅速，但是真正落地到生活中还存在很大差距，这主要是由于用户和开发者对人工智能产品缺乏深入理解所致。在笔者看来，生成式AI在模式创新方面仍有不少空间，远远达不到高点。因为我们还处在一个不断变化和升级中，而这正是未来人工智能技术所面临的最大挑战。尽管目前有一些AIGC使用方式被探讨，但是，这还远非结束。我们可以看到，随着人工智能技术和商业不断地融合与碰撞，人类社会也发生着翻天覆地的变化。尤其是当年互联网，从早期门户网站、网游、电商，及至现在短视频走红，不断迭代发展。

世界上第一部采用AIGC技术协助制作的商业化动画片《犬与少年》中的动画场景是AI制作的

而且OpenAI这一技术凭借其设计模式，可以进行更加广泛地运用，甚至说要做一个更大、更成功的创业公司，这才是想象的空间。

以前人工智能创业公司及创始人均为人工智能专家，如今已经拥有AIGC,Chat GPT等技术，我们也许渐渐就能找到答案，许多人工智能创业企业的创建者都可能并非技术专家。他可以直接跟人工智能行业的创业者沟通。他可以先有一个idea，那就去找个CTO，帮他搞定，而CTO则更容易找到，由于这些基础技术的发展，帮助他完成任务并非难事。如果你觉得人工智能创业还不容易的话，那么就需要把这个项目做好了，否则很难成功。此时，人工智能领域创业将变得更加积极，即万众创新。在这种背景下，“我”成为了非常重要的一个角色。正因为如此，人们对其进行了热烈讨论，大家会觉得这事距离“我”很近了，除可日常应用外，更重要的是，或许“我”也可以创业，这实际上是在降低创新的门槛，允许更多的人参与进来，将使科技创新加速市场的渗透，能让创新价值得以彰显，这些尤其合理。

Q2：怎么看老牌科技巨头微软与OpenAI合作？

王煜全：首先是减少算力支出：对于Open AI而言，算力的代价非常巨大，所以，其选择与微软的合作，能够显著减少算力支出；如果不合作，那么我们只能把硬件升级到更高的水平才能实现这个目标。二是将来的云计算和人工智能、大数据将被深度融合，而且海量人工智能应用都建立在云上部署，算力亦由云供给。所以，在云上部署一个大规模机器学习系统，必然要有海量的计算能力作为支撑。OpenAI如果想合作，一定会考虑挑选3朵云中的1朵（谷歌云，亚马逊云，微软云等），终于配合了什么人？这就是一个比较大的问题。首先，一定要选择最有合作愿望的人，此前，微软一直在Open AI上进行投入，还显示出愿意进行合作。

三是从今后发展的角度，在三朵云当中，亚马逊云客户类型较为单一，以电商客户为主，而且谷歌开拓商业客户方面也做得并不出色，尽管谷歌DeepMind对人工智能有深入研究，但是商业化落地的效果不是很突出。所以，我们应该把更多的精力放在商业客户上面。微软在商业化方面做到了极致，并拥有一大批企业客户，今天，微软可以做到“三朵云”之后，在于广大企业客户上云里雾里。对于OpenAI而言，它同样是非常重要的，产品与服务能够使顾客最终用得起，付得起，这才是最重要的，能够被广大的用户所采用，然后打开市场就是共赢。

我们还发现OpenAI和微软之间并没有排外。OpenAI的开放API，表示创业者只需要Idea，便可从事有关创作工作了，对于微软而言，它也是一个巨大的突破。回顾微软发展，不是第一个进入互联网行业的人，但凭借全面网络化，却赶上其他互联网企业。值此人工智能大潮的推动，微软的速度还略慢于谷歌云，亚马逊云，但是，目前仍然重新赶上了前一个。现处于三朵云之中，微软隐约有种获胜之势，理由也是直接的，是运用中组合较好。亚马逊是第一个也是谷歌最有技术能力的，但是它们在与应用结合上都没有微软做的那么出色。现在的趋势是融合，而不是简单的叠加。OpenAI集成到其他应用中，将成为必然趋势，将更多的人工智能与其他应用相结合，使更多人能够享受人工智能所提供的便捷，使更多富有创见者加入进来，整体的行情才能更热闹，因此，在应用方面，它是一个很大的扩充。

另一方面微软也很聪明，它在OpenAI上增加了100亿美元的资金投入，但这些投入要求OpenAI经过协作，若获利则先向微软分红，以还清投资，更换一部分股份，如果OpenAI没有赚到钱，那个微软只占原来的股份，无需创业者赔付。这就好比一个人在创业初期，有了一定的资本以后，再去投资，会比投资以前更划算。多赢了一个图案。

02、现在的生成式AI,

有点类似互联网瀛海威时代

Q3：生成式AI方面，是否已经观察到了逐步明晰的商业模式？

王煜全：一些端倪。那时的门户网站基本上都是以个人为中心，门户也是个人用户为主，所以当时的门户主要就是提供一个信息服务平台。如今有点类似于互联网刚开始火爆的那年，那时，有一家叫瀛海威的企业，堪称“启蒙”中国普通民众网络意识之作，很多人随着瀛海威进入互联网的世界。现在看来，这个市场已经进入一个成熟阶段，但是我们还没有完全理解这个概念，也不知道它是否能够真正带来价值。但是瀛海威与门户之间只差了一步之遥，门户真正的商业影响远高于瀛海威。目前有些在中间阶段，大家看的仍然是BBS，起码到不了门户阶段，这意味着也许会出现一个很庞大的新模型，于今明两年问世。

我们概述了原则，未来最大的模式应该不是叫“AIGC”而是叫“AIGS”，由于C（Content）存在局限性，就算AIGC再好也有本事，在C意义上，也许是同组关键词，出了C也差不多，不符合人的个性化需要。所以，我把它叫做“智能化服务系统”，这个系统是要实现用户的个性化需求、让每个用户都成为自己的一部分，从而产生一个新的经济增长点。而真正最重要的价值在于能使其转化为服务（Service），要啥定制啥，如此，每个人所获得的也就不尽相同，每个人的需要都可以得到个性化的满足，也与我们所说的服务规模化时代已经来临不谋而合，在此大规模服务，指的是“人工智能的服务”（而不是人的服务）。因为人工智是可以被复制的“服务规模化个性化”。

高端服务以个性化为特色，第一，“我”给“你”量身打造，因此被称为高端的，并且应该是设计出来，内容应表现出一定复杂度。其次是产品本身必须非常好，这个东西可以让用户体验到很高的价值，这也是高端的一个标准。正如ChatGPT和您的交流一样，正如ChatGPT写的那样，都够复杂度够了解自己。

例如2022年11月28日，26岁的纽约华艺人米歇尔・黄（Michelle Huang）微博微火。在过去几个月里，她和她的朋友们每天都会通过微博分享他们生活中一些有意思的事情。她将10年日记上传到GPT-3，培养出一个AI分身小米歇尔，并且把她们聊天的截图在微博上面，消息一经公布，引起了人们相当大的兴趣，一周的时间点赞量已突破5.1万。在这期间，她还通过这个系统与朋友们进行了互动，获得了不少点赞和评论。聊天内容很治愈，米歇尔・黄把这种体验描述得如同镜子，帮助她重拾许多她身上不曾变过的，还使她找到许多已失去的东西。她说，在她和朋友的生活中，“我们每个人都拥有一个数字化的大脑，这个大脑可以用来管理我们所有的信息和想法，而不是去思考那些事情”。这好比是一个真知己，按理说，知己是能够自我疗愈的，做“我”的毛病，委屈，难处，知己对自己的认识，远远超过了我，那么，将来这个“数字分身”也许会成为服务，而其特色就是“你”以个人资料来养活，你会对自己的个人形成深刻的认识。

用户所需要的从来不是产品，而应该是服务，这是时代的要求，所需服务规模化，由于人工智能的出现，机器人的出现，企业规模化服务能力可以实现个性化，以“我”之能，解“你”之需：怎样能个性化的与客户进行交互，如何在这种个性化互动的进程中，能够提供高端服务，也许将来生成式AI方面具有很大的商业潜力。

Q4：生成式AI在应用方面的探索仍以“科技圈”和具备专业技术者为主，是不是说明普及门槛还相对较高？

王煜全：我想，这并不涉及技术门槛。如果没有足够高的起点和能力，很难达到这个目的。任何事物总有一个过程，技术人员自身也更接近新技术。另一类是那些已经开发出了产品的用户，这部分人群在过去的一段时间里都有一种习惯，那就是不喜欢别人用自己的产品来替换别人的产品。20年前，硅谷一位非常著名的营销专家Jeffrey Moore提出了，提出了“跨越裂谷理论（Crossing the Chasm）”，他将市场上的人群分为5种类型，最领先的那一类人被称为创新者（Innovator）；另一类是早期采用者（Early Adapter），他们尤其愿意申请新产品，采用新产品的两种人群都是高科技产品最早的使用者。

这两种类型的人会对新鲜的东西马上用上，也许此时的产品体验存在较大的缺陷，但他们并不惧怕使用，看准了新功能，新能力。这也正是高科技产品快速发展的原因所在。因此，许多高科技产品一经推出，市场便出现了快速增长，是因为这批用户。

但后一个主流用户却被划分为前期主流、后期主流与拖用户后腿，后三种用户与前两种用户行为习惯截然不同，他不因你有新功能而用你，而是要看看自己的使用体验是否获得了满足，是否惬意。所以说，要想让主流用户使用我们的产品，首先就要了解主流用户的需求。怎样使主流人群使用“你”这个应用程序，这是首要问题。所以，在发展过程中，我们必须要注意，不要让那些主流人群觉得你做得不好。一些高科技公司，取得第一波高速增长时扩产了，其实并没有被主流人群所接受，此时扩产其实会加快企业财务问题的解决，甚至会出现企业破产的现象。

所以说好的CEO，往往都是Early Adopter（早期采用者）。他是互联网时代最重要的创始人之一，在互联网领域已经摸爬滚打多年。他未必能成为创新者，比如，马云并非创新者，互联网并非他所创造，但他却是较早的采用者，他深知，互联网的好处是，“你”可以上网搞电商，不过，他也明白，互联网的弊端在于电商没有信用证明，于是，后来，他就创立淘宝，通过淘宝先学习eBay模式，在实践中，我们发现eBay并未解决诚信问题。于是又提出“第三方支付”模式，将平台作为买方和卖方之间的中间媒介，在这个过程中，买卖双方进行交易并收取佣金，平台负责回收佣金。为解决诚信问题，支付宝应运而生，以平台为第三方的中间人，待买方证实后支付，这种模式就很好地解决了诚信问题。

因此，阿里巴巴之所以能在以后取得成功，并不在于其技术有多领先，但由于其技术应用的应用痛点得到解决，这种情况很平常。现在很多企业都在做一个非常重要的事情――让技术落地。为什么多数人没有“马云”，由于首先接触到科技的，通常都是技术人员，而且多数技术人员都会用到技巧，不会解题，将问题技术转化为推广。

谁能做到？属于非技术使用人群。在他们无法用科技来解决问题的时候，不得不找到解决问题的方法，那时“你”就可以解决问题了，具有普及性的特点，因此，在用户表示由于OpenAI技术并没有特别大众化时，因此，被热烈讨论的首批人士肯定是技术专家，但是，目前已出现大众化苗头，由于许多热烈讨论者不再是技术专家了。

因此，OpenAI旗下ChatGPT已为大众降低了很低门槛，此时市民又不会用了，不在于有没有门槛，但由于多数市民并不知道要跟上前沿科技的步伐，不知作为早期的采用者，不知实时感受运用，只是感觉这远离了“我”的存在，由于技术在一般人看来，容易下意识地以为“搞不懂”，其实，这个问题并不真想不通，而是观念的问题，是心态。

问题将逐步逆转，当有成功的事例出现时，在公众看到应用能够如此运用的真实案例时，做一个非技术人员，同样可以玩技术，多了一批人加入，因此，起码现在觉得不再是什么技术门槛了。

03、一些专家纠缠ChatGPT“有无技术突破”，实际上是揭露无知

Q5:AIGC、Chat GPT、AlphaFold，人们常常把它合在一起讨论，他们能否划入同一类创业方向，是否可以称之为“AI+”？

王煜全：我想是有的。它们是AI能力的输出，当然，AI还有N个功能，可进行文字输出，可进行图片输出，可进行音乐输出，还可进行内容修改，优化内容，因此，生成式AI技术大潮中，将产生各种新的功能，这些特性将作为能力来提供。

任何一项新技术取得突破之后，都必须进行一轮模式创新，使技术突破这一优势得以充分发挥，而模式创新的前提是要解决“技术易于获得”的问题，因此，目前我觉得OpenAI表现得尤其出色。我们现在使用的很多技术是比较成熟的，比如人工智能，大数据等。但是AlphaFold等人也很相似，坦白讲我认为它们确实有欠缺。

OpenAI要使用其云端，就必须与微软谈论合作，但是Google自己也有云，在这一方面，Deepmind具有较大先天优势，并其科研成果先进。如果你想了解什么叫“智能”，就得先了解一下“人工智能”。但能够使普通用户普遍调用的应用程序基本上是不存在的，就连当年围棋高手AlphaGo也应运而生，但是很多人都没有发现DeepMind对推广的贡献，于是兴起了一股生成式AI热，笔者以为，其核心是要看到人工智能在一些功能上取得了新突破。现在我们要做的事情很多，其中一个就是把现有的技术进行整合，将一些功能重新定义为可操作的东西。余下的任务是怎样使功能得到广泛应用，拉动了应用大面积推广。

Q6：有专家认为ChatGPT、GPT-3没有技术创新，最底层还是Transformer语言模型，怎样看待这一认识？

王煜全：当互联网刚刚火起来的时候，还有人认为，互联网并不意味着技术创新，最早的技术创新是Tim Berners-Lee（蒂姆・伯纳斯・李，世界互联网发明者），为公众利用互联网作出贡献。现在看来，这并不能说明创新就是技术进步或新事物出现了。对于大众而言纠结于技术创新没有太多的意义

---

dota人工智能比赛全程 dota2的openai怎么样了

dota人工智能比赛全程回放,dota2人工智能比赛,dota人机大战,dota在线峰会

原标题：OpenAI攻克Dota2；中国机器人足球队三夺“世界杯”冠军 | 一周AI新闻

周末送上来自阿根廷乐队的探戈一曲，世界杯激战正酣，你支持哪个队？

赛事 | 这场“世界杯”上

中国队用机器人夺得冠军

“带球用‘嘴’，争抢靠‘吸’。”

在加拿大蒙特利尔举办的 Robocup 2018（机器人世界杯）比赛中，浙江大学 ZJUNlict 队斩获冠军。

和人类足球赛不同，为考验机器人避障技术，机器人足球赛不许双方发生碰撞，因此“吸球”绝招成制胜关键。机器人“球员”会利用嘴中的两根金属棒击打球，来实现传球和射门。带球则是通过嘴巴将球吸住。

而“球员”的所有行动则是由场外的主教练――“最强大脑”操控。每个机器人顶部有几个色块。摄像头将图像数据传回拥有“最强大脑”的计算机主机，主机根据色块来判定机器人位置、方向和状态，并根据全场形势，及时分析并发出每个机器人下一步动作的指令。

这是浙江大学队第三次夺冠，他们的最终目标可不只是“世界杯”，而是到2050年，开发出完全自主仿人机器人队，能赢得人类足球比赛冠军。

http://www.stdaily.com/guoji/xinwen/2018-06/27/content_684741.shtml

进展 | 人类上百年钻研 AI 几小时复现

斯坦福 AI“重新发现”元素周期表

“那个杀死你无数脑细胞的元素周期表，AI几小时就学会了。”

斯坦福大学的物理学家开发了一种新型的 AI 程序 Atom2Vec，经过仅仅几个小时的学习，它就推测并复现出元素周期表排位。整个学习过程都由 AI 独立完成整，没有人类干涉。

Atom2Vec 通过分析在线数据库的化合物名称列表，首先学会了成功区分不同的原子。随后，无监督学习登场，借鉴 NLP 领域的概念，Atom2Vec 通过每个化合物中原子的搭配规律理解不同原子的属性，按照化学属性分类，最终重建出元素周期表。

《自学几小时，斯坦福AI推测并复现了元素周期表 | 华裔团队研究》

进展 | 攻克 Dota2 OpenAI 击败人类玩家

“OpenAI 将在7月28日举行一场比赛，欢迎观看直播甚至亲临现场。”

当你打游戏的时候，有没有遇到这种情况：自己匹配到的队友或对手大招频出、技能炫得跟开了外挂一样，令自己屡次怀疑人生。除了真正遇到“王者”以外，还有一种可能――它们根本就不是人。

26日，OpenAI 宣布了一个大新闻，OpenAI 的由5个神经网络组成的 OpenAI Five，已经开始击败 Dota 2的业余玩家队伍。早在去年，他们的 AI 在 Dota2 1v1 比赛中就战胜了人类职业玩家 Dendi。

Dota 游戏是一个典型的 AI 难题，它综合了决策周期长，空间大而且敌我双方是在非完全信息下博弈的情况。需要 AI 在不确定的情况下进行推理与规划，涉及多个智能体协作完成复杂的任务，权衡短中长期不同的收益。相比下围棋这样的确定性问题，星际争霸/Dota 的搜索空间要高出10个数量级。

《【攻克Dota2】OpenAI自学习多智能体5v5团队战击败人类玩家》

医疗 | VR 新用途

通过分散注意力帮助病人缓解病痛

“现阶段，VR 疗法仍是一种实验疗法，还需要更多研究为它提供佐证，并确保疗效并非来自安慰剂效应。”

近日，法国一所医院的研究人员设计了一个沉浸式 VR 程序，可透过上述方法，一边帮助用户放松，一边提高承受痛苦能力。

据介绍，整个系统靠一副 VR 眼罩实现，当病人带上眼罩后，就会进入一个虚拟的山坡及日式花园，当他们接受如关节脱臼等治疗时，就会通过令人愉快的声音及画面来分散注意力。

据该医院急症部门主管 Olivier Ganasia 博士表示，未来10年内，VR 技术将会广泛用于医疗方面。

https://www.ithome.com/html/vr/366346.htm

教育 | 清华大学宣布成立人工智能研究院

“又是一年报考季，你有想好去哪所学校吗？”

28日，清华大学成立人工智能研究院，中国科学院院士张钹担任新研究院的院长，图灵奖得主姚期智院士被聘为学术委员会主任，还聘请谷歌 AI 负责人 Jeff Dean 为清华大学计算机学科顾问委员会委员。

据介绍，清华大学 AI 研究院将依托清华大学优势学科，着力打造具有清华特色影响力的基础性、源头性的新高地。

领衔 AI 研究院的张钹院士是计算机科学与技术专家，从事人工智能理论、人工神经网络、遗传算法、分形和小波等理论研究，以及把上述理论应用于模式识别、知识工程、智能机器人与智能控制等领域的应用技术研究。

原文链接：

https://3g.163.com/tech/article/DLCPA1Q200098IEO.html

应用 | 北京首次将人工智能应用于戒毒

“珍爱生命，远离毒品。”

北京首次将 AI 用于戒毒领域，利用机器学习和大数据交互信息，帮助戒毒人员进行心理健康评估、精神卫生诊疗等。

AI 算法的应用将使戒毒人员更好地认知和提升自己，应答精神阻碍，晋升心理健康。

报道称，北京市强制隔离戒毒所每一个新入所戒毒人员，会首先在行为矫治区进行为期一个月的脱毒治疗行为矫治，同时健全病历，以便全面评估健康状况，及时处置突发病情。

事实上，将 AI 技术用于毒品管制，国际上早有先例。在美国，纽约州利用社交网络禁毒的相关算法精准打击毒贩；迪拜则通过 AI 快速检测行李以及人体异物，打击毒品过境或走私行为；在 AI 加持下，掺杂在药物中过境的毒品，也能更加精准地检测出来。

《AI戒毒？没错，北京开始这么干了》返回搜狐，查看更多

责任编辑：

---

自测ai机器学习 openai公布大型神经网络训练技巧

机器智能测试,ai智能测试怎么测试,AI自动化测试,ai智能测试

雷锋网4月7日消息，OpenAI在官网公布了一项最新的研究成果，介绍了一个可以高效学习情感表征的无监督系统，目前能够预测亚马逊评论中的下一个字符。

研究人员采用了线性模型，在一个小型但是被广泛采用的数据集（Standford Sentiment Treebank）上取得了非常高的情感分析准确度：OpenAI得到的准确度为91.8%，而之前最好的是90.2%。这一表现可以匹敌之前的监督系统，而且少用了30~100倍的标记样本。

此外OpenAI表示，其模型的表征还包含了一个独立的“情感神经元（sentiment neuron）”，这个“情感神经元”包含了几乎所有的情感信号。

OpenAI称，“我们的系统在使用极少训练数据的情况下，比起其它同样用Stanford Sentiment Treebank测试的系统有着更好的结果。”

为了达到完全监督学习的效果，OpenAI的模型选取了两个变量来代表标记的样本（绿色和蓝色的线条），每一个变量训练6920个样本（灰色虚线）。OpenAI的L1正则化模型（利用亚马逊的用户评论以无监督的方式进行预先训练）只用了11个标记的样本，其表现就能够与多通道的CNN（卷积神经网络）相匹敌，而使用了232个训练样本之后，其性能甚至达到了非常先进的CT-LSTM Ensembles的水平。

OpenAI称，他们非常惊讶，因为模型学会了一个可以判断的特征，除了预测亚马逊用户评论的下一个字符外，实际上还能引出情感的概念。OpenAI相信，这种现象不是这一模型所特有的，而是一些大型神经网络的一般性质（共性），这些大型神经网络通常被训练用来预测输入中的下一步骤或者下一维度。

雷锋网(公众号：雷锋网)了解到，OpenAI首先利用亚马逊上的8200万条用户评论，训练了一个有4096个单元的乘性LSTM（multiplicative LSTM，简称mLSTM），来预测一小段文本中的下一个字符。团队采用了4块英伟达的Pascal GPU，每小时能够处理12500个字符，训练总共花了一个月的时间。

这4096个单元（其实是浮点数组成的向量）可以看成是模型读取的字符串的特征向量。在训练mLSTM之后，OpenAI将这些单元进行线性组合，通过现有的监督数据学习组合的权重，将原本的模型变成了情感分类器。

在用L1正则化训练线性模型的同时，令人惊讶的是，OpenAI注意到它使用的学习单元其实非常少。进一步挖掘后，研究人员意识到模型中实际上存在着一种可以精准预测情绪值的“情感神经元”。

尽管这一模型仅被训练用来预测文本中的下一个字符，但是模型中的情感神经元却可以将评论归为负面或者正面两类。

和其他类似的模型一样，OpenAI的模型可以用来生成文本；但不同的地方在于，OpenAI可以通过重写神经元的值来控制合成文字的情感。

上图是训练模型生成的合成文本的示例。研究人员先确定情感神经元的值，然后从模型中随机选择样本，以确定评论中的情感。如下图所示，研究人员还通过模型传递前缀“I couldn’t figure out（我搞不清楚）”，然后只选择高度相似的样本。

下图表示情感神经元代表的每个字符的值，红色的为负，绿色为正。其中“best（最好）”或者“horrendous（可怕的）”这样有强烈指示性的词语则会用更深的颜色重点标记。

值得注意的是，在完成句子和短语之后，系统会进行大量更新。例如，在“And about 99.8 percent of that got lost in the film”中，即使“in the film”本身没有任何情绪内容，但是在“lost”之后模型会进行一次负面更新，而在句子结束后还会有一次大的更新。

有标记的数据是机器学习的燃料。收集数据很容易，但是想要大规模地标记数据则很困难。只有在机器翻译、语音识别或者自动驾驶等具有切实效果和回报的领域，大规模地标记数据才是切实可行的。

长久以来，机器学习领域的研究人员一直梦想着开发出能够学习数据集的准确表征的无监督学习算法，希望用很少的标记数据就能够解决问题。OpenAI的研究意味着，在创建具有优秀表征学习能力的系统时，简单地利用大量数据训练大型无监督下一步预测模型（next-step-prediction model）很可能是一种不错的方法。

OpenAI的研究成果代表通用无监督表征学习又向前迈进了一步。研究人员在探索是否可以通过语言建模来学习高质量的表征时意外发现了这一结果，并在经过仔细选择的数据集上扩大了这个现有模型。然而，目前研究人员还不清楚这个潜在的现象的具体成因。

这些结果在长文档的数据上的表现并不是很好。OpenAI猜测，他们的模型难以记住数百乃至数千个时间步长的信息。他们认为，下一步可以尝试采用层次模型（hierarchical model），因为层次模型可以自适应相应的时间尺度。进一步扩展这些模型，还可能进一步提高表征保真度（ representation fidelity ），以及在情感分析和类似任务方面的表现。

当输入文本和评论数据的差别越大时，该模型的表现就越差。值得验证的是，扩展文本样本的语料库能否获得适用于更广泛领域的同等信息量的表征？

OpenAI的研究结果表明，大型的下一步预测模型能够学会出色的无监督表征。利用大规模的视频集训练一个大型的神经网络来预测下一帧画面，可能会得到对目标、场景、动作分类器的无监督表征。

总的来说，理解模型、训练方式、以及数据集的属性是很重要的，因为它很可能会得到同样出色的表征