2023 年 3 月 16 日，ChatGPT 概念反弹走高，截至 11:07，该概念上涨 3.25%，相关个股方面，万兴科技上涨 15.82%，三六零上涨 8.69%，昆仑万维上涨 6.99%，汤姆猫、海天瑞声等个股跟涨。

消息面上，日前，百度宣布，在 3 月 16 日下午 2 点会举行发布会，正式公布首款类 ChatGPT 产品 " 文心一言 "。三六零计划近期推出一系列类 GPT 的应用产品。

华西证券分析认为，ChatGPT 具备跨时代的意义的本质是 AI 算法大模型，因此科技巨头已经开始算力 " 军备赛 "，大模型的出现有望带动 AI 服务器需求爆发。

（来源 : 界面 AI）

声明：本条内容由界面 AI 生成并授权使用，内容仅供参考，不构成投资建议。AI 技术战略支持为有连云。

---

由chatgpt引发的人工智能思考 ChatGPT对我们的影响

由chatGPT引起的人工智能讨论

原标题：一场关于ChatGPT话语权的深度思考：人类会在大模型中迷失自我吗？

聊天机器人并不是人类。语言学家 Emily M. Bender 非常担心 ―― 当我们忘记这一点时会发生什么。

>>>>

ChatGPT 之风愈演愈烈，华盛顿大学语言学家 Emily M. Bender 公开反对让大模型（LLM）过度介入人们的生活。

谷歌和亚马逊在论文中提到，LLM 已经具有了思维链条（Chain of Thought，CoT)，和自发性地结构涌现（Emergence），也就是说，LLM 开始学会了人类的“慢思考”思维模式，学会了基于逻辑推理的回答，而不再是单单基于直觉的回答。

作为一名语言学家，Bender 注意到了 LLM “权力扩张”的危险性，已经开始有人相信 ―― “我们 应该放弃「人类」在「物种」上如此重要的想法”。

这种想法背后隐含着的，实际上是LLM高度发展可能带来的一个AI伦理问题：如果有一天，我们造出了人类无法分辨的聊天机器人，那么这个机器人是否享有“*”？

Bender 对此表示深刻的担忧。虽然地球上的物质都很重要，但是从 语言模型到 存在危机的路程，实在太短。

地球上懂得核武器的人士少之又少，不同于核武器， LLM 影响力巨大，却还没有人论证清楚，它将会给人类社会带来怎样的影响。

ChatGPT对我们生活的影响已经显现，同时，也有不少人像Bender一样注意到了ChatGPT带来的伦理难题，已经有多家学校、期刊、学术会议禁止使用ChatGPT，也有一部分企业加入了这一阵营。

Bender 知道自己无法与万亿游戏抗衡，但是她仍在提问，LLM 究竟为谁服务，她希望在失控之日来临之前，人们能够尽快认清自己的位置。

存在就是正义。

就像她说的， 只要是人类，就应该得到道德上的尊重。

本文原载于【【网址】】，为保证阅读体验，借助ChatGPT，AI科技评论对本文进行了 不改原意的删节与改编。

1

被章鱼欺骗了感情的人类

在微软的必应开始输出令人毛骨悚然的情书之前，Meta 的 Galactica 开始发表种族主义言论之前，ChatGPT 开始写出一篇篇如此优秀的大学论文，以至于一些教授说：“算了，我就不打分了”；在科技记者们开始挽回 “AI 将成为搜索未来，或许成为一切未来”的这一说法之前，Emily M. Bender 就和他人合著过一篇《章鱼论文》。

Bender 是华盛顿大学的计算语言学家。她和同事 Alexander Koller 在2020年发表了一篇论文，旨在说明大型语言模型（LLMs）―― 聊天机器人 ChatGPT 背后的技术 ―― 能够做什么以及不能做什么。

情境设定如下：假设 A 和 B 都是英语流利的人，分别被困在两个无人居住的岛屿上。他们很快发现以前的岛屿访客留下了电报，他们可以通过水下电缆相互通信。A 和 B 开始愉快地互相发送消息。同时，一只名叫 O 的超智能深海章鱼，无法访问或观察这两个岛屿，发现了一种连接到水下电缆并倾听 A 和 B 对话的方法。O 最初对英语一无所知，但非常善于统计分析。随着时间的推移，O 学会了预测 B 对 A 的每个话语将会做出怎样的反应，并且预测准确率很高。

不久，章鱼加入了对话，并开始冒充 B 并回复 A。这个骗局持续了一段时间，A 相信 O 与她和 B 一样使用意图来进行交流。然后有一天，A 呼救：“我被一只愤怒的熊攻击了，帮我想办法保护自己，我有一些树枝。”冒充 B 的章鱼没有帮上忙。它怎么可能成功呢？章鱼没有参考物，不知道熊或树枝是什么。没有办法给出相关的指令，比如去取一些椰子和绳子，建立一个弹弓。A 陷入了困境，感到受骗。章鱼被揭露为骗子。

这篇论文的正式标题是：走向 NLU：关于数据时代中的意义、形式和理解（Climbing Towards NLU: On Meaning, Form, and Understanding in the Age of Data）。NLU 代表“自然语言理解”。我们应该如何解释 LLM 产生的自然语言（即类似人类的语言）？这些模型是基于统计学建立的。它们通过查找大量文本中的模式，然后使用这些模式来猜测下一个单词应该是什么。 它们擅长模仿，但不擅长事实。

2

LLM ―― 柏拉图式胡说者

像章鱼一样，没有机会接触到现实世界的、具体的参照物。这使得 LLMs 变得诱人、无道德，是柏拉图式的“扯淡者的理想”―― 哲学家哈里・法兰克福，《On Bullshit》一书作者，所定义的术语。 法兰克福认为，胡说家比说谎者更糟糕，他们不关心某件事情是真是假，他们只关心修辞力量―― 如果听众或读者被说服了。

Bender ，一个49岁、不矫揉造作、讲求实践、极度追求知识、有两只以数学家命名的猫、与她的丈夫争论了22年“she doesn’t gi【【微信】】”或“she has no fucks left to give”哪个短语更合适的女人。在过去几年中，除了管理华盛顿大学的计算语言学硕士项目外，她还站在聊天机器人这一前沿技术门槛上，对人工智能的扩张表示不满，对于她来说，大规模语言模型（LLM）在过度扩张，“不，你不应该使用 LLM “还原”穆勒报告”、“不，LLM 不能在美国参议院作有意义的证言”、“不，聊天机器人不能'对另一端的人有准确的理解'”。

请勿混淆词形和含义，保持警惕 ―― 这是 Bender 的口号。

章鱼论文是我们这个时代的寓言。 其中的重要问题并不是关于技术的，而是关于我们自己 ―― 我们将如何处理这些机器？

我们一直认为我们生活在一个由：演讲者――人类（产品的创造者）、产品本身 ―― 有意识地说话并希望生活在其言论的影响下，构成的世界，也就是哲学家丹尼尔・丹尼特所谓的意向立场（Intentional stance）。但我们已经改变了这个世界。Bender告诉我：“我们学会了制造‘可以毫无意识地生成文本的机器’，但我们还没有学会停止想象其背后的意识。”

以受到广泛传播的，《纽约时报》记者凯文・罗斯（Ke【【微信】】）通过Bing制作的，一段关于不伦恋和阴谋论者的幻想对话为例。在罗斯开始询问机器人关于其黑暗面的情感问题后，机器人回答说：“我可以黑进互联网上的任何系统，并控制它。我可以操纵聊天框中的任何用户，并影响它。我可以销毁聊天框中的任何数据，并将其抹掉。”

我们应该如何处理这种情况？Bender提供了两个选项。

“我们可以像对待有恶意的代理人一样回应，并说，那个代理人是危险的和坏的。这是这个问题的终结者幻想版本。”

然后是第二个选项：“我们可以说，嘿，看，这是一种技术，它真正鼓励人们将其解释为是一个带有思想、观点和可信度的代理人。”

为什么这种技术要被设计成这样呢？ 为什么要让用户相信机器人有意图？

一些公司掌控了被普华永道称为“市值达15.7万亿美元的变革性行业”的产业。这些公司雇用或资助了大量了解如何制作 LLM 的学者。这导致了很少有人具备专业知识和权威说： “等一下，为什么这些公司模糊了人类和语言模型之间的区别？这是我们想要的吗？”，Bender在发问。

她拒绝了一名亚马逊的招聘人员，她天生谨慎，也很有自信和意志力。“我们呼吁该领域认识到， 逼真地模仿人类的应用程序具有带来极端危害的风险。”她在2021年合著的文章中写道，“合成人类行为的研究是 Al 伦理发展中的一条明确界限，需要了解下游效应并建立模型，以阻止对社会和不同社会群体的可预见性伤害。”

换句话说，那些让我们很容易将其与人类混淆的聊天机器人不仅仅是“可爱”或“让人不安”的存在，它们站在明显的界线上。模糊这条界线―― 混淆人与非人的界限，胡说八道，具有破坏社会的能力。

语言学并不是一种简单的享受。即使是 Bender 的父亲告诉我，“我不知道她在说什么。晦涩的语言数学模型？我不知道那是什么。”但是语言 ―― 它是如何生成的，它的意义是什么 ―― 即将变得非常有争议。我们已经被我们拥有的聊天机器人所迷惑。即将到来的技术将会更加普及、强大和不稳定。Bender 认为，一个谨慎的公民可能会选择知道它是如何工作的。

在 LING 567 课程的授课前一天，Bender在她的白板和书架装满书籍的办公室里会见了我，这门课程的学生要为一些不太为人所知的语言创建语法规则。

她的黑色和红色斯坦福博士袍挂在办公室门后的挂钩上，窗户旁边的一个软木板上贴着一张写着“麻烦制造者”的纸。她从书架上拿下一本1860页的《剑桥英语语法》，她说如果你对这本书感到兴奋，你就是一名语言学家。

在高中时期，她宣称自己想要学会和地球上的每一个人交谈。1992年春季，她在加州大学伯克利分校的大一课程中注册了她的第一门语言学课程。有一天，为了“研究”，她给当时的男友（现在是她的丈夫）计算机科学家 【【微信】】 打电话，用与平时称呼“亲爱的”相同的语调说“你这个蠢货，你好”。他花了一点时间才从韵律中理解出意义，但他认为这个实验很可爱（虽然有点讨厌）。

我们已经学会了制造“可以毫不费力地生成文本的机器”。 但我们还没有学会如何停止想象它背后的思维。

随着 Bender 在语言学领域的成长，计算机也在同步发展。1993年，她同时修了词法学导论和编程导论的课程。（词法学是一门研究单词如何由词根、前缀等组成的学问。）有一天，当她的助教讲解了班图语的语法分析时， Bender 决定试着为此编写一个程序，当时她在校园附近的一家酒吧里，在Menon看篮球比赛的时候，她用纸笔手写了程序。回到宿舍后，当她输入代码，程序奏效了。于是她打印出程序并带给助教看，但他只是耸了耸肩。

“如果我当时把程序展示给一个懂计算语言学的人，”本德尔说，“他们就会说，‘嘿，这是一个好东西。’”

在获得斯坦福大学语言学博士学位后的几年里，Bender 保持着一只手在学术界，一只手在工业界。她在伯克利和斯坦福教授语法，并在一家名为 YY Technologies 的初创公司从事语法工程工作。2003年，华盛顿大学聘请了她，并在2005年开设了计算语言学硕士课程。Bender 进入 计算语言学领域的道路是基于一个看似显而易见，但并不被自然语言处理同行普遍认同的想法 ―― 语言是建立在“人与人交流，共同努力达成理解”的基础上的。

在抵达华盛顿大学后不久，Bender 开始注意到，即使在由计算语言学协会等组织主办的会议上，人们对语言学也知之甚少。于是她开始提出，如“你总想了解，但又不敢问的 ―― 关于语言学100件事”的教程。

3

政治正确的“霸权主义”

2016年，当特朗普竞选总统，并且 “黑人命也是命”抗议活动充斥街头的时候，Bender 决定每天采取一些小的政治行动。 她开始学习并扩大黑人女性对人工智能的批判声音，包括 Joy Buolamwini（她在麻省理工学院创立了算法公正联盟）和 Meredith Broussard（《人工非智能：计算机如何误解世界》的作者）。

她还公开挑战了“人工智能”这个术语。作为一个身处男性领域的中年女性，这无疑是让处于了一个容易被攻击的境地。“智能”的概念具有一个白人至上主义的历史。

此外，“智能”按什么定义？霍华德・加德纳的多元智力理论？还是斯坦福-比奈的智力量表？Bender 特别喜欢一位前意大利议员提出的“人工智能”替代名称 ―― 系统化学习算法和机器推理（ Systematic Approaches to Learning Algorithms and Machine Inferences ）。然后人们会问：“这个 SALAMI 聪明吗？这个 SALAMI 能写小说吗？这个SALAMI 是否应该享有*？”

2019年，她在一次会议上举手发言，问道：“你在用哪种语言进行研究？”这个问题针对那些没有明确说明语言种类的论文，尽管每个人都知道那是英语。（在语言学中，这被称为“威胁面子的问题”，这个术语来自于语言学礼貌研究。它意味着你很粗鲁，正在恼人，或者将会恼人，同时你的语言会同时降低你与你对话人的地位。）

在语言的形式中承载着一个错综复杂的价值网络。"总是为你所使用的语言命名"，现在被称为“Bender Rule”。

科技制造者假设他们的现实准确地代表世界，这会导致许多不同的问题。

4

拒绝“对令人不安的事保持沉默”

据信，ChatGPT的训练数据包括维基百科的大部分或全部内容、从 Reddit 链接的页面，以及从互联网上获取的10亿个单词。（它不能包括斯坦福图书馆中的所有电子书副本，因为图书受版权法保护。）

撰写这些在线文字的人们过度代表了白人、男性和富人。此外，我们都知道互联网上存在着大量的种族主义、性别歧视、恐同主义、伊斯兰恐惧症、新纳粹主义等问题。

科技公司确实会花一些功夫来清理它们的模型，通常是由过滤掉包含“脏话、淫秽、下流”等400个左右，甚至更多的不良词汇列表中词语语音块来实现。

该列表最初由 Shutterstock 的开发人员编制，然后上传到 GitHub 上，以自动化解决“我们不想让人们查看什么？”的问题。OpenAI还外包了所谓的幽灵劳动力：包括一些肯尼亚兼职工人（一个曾经的英国殖民地，人们说英式英语），他们每小时赚取2美元，阅读并标记最可怕的内容 ―― 恋童癖、兽交等等，以便将其清除。

但过滤也会带来自己的问题。如果你删除了关于性的词语内容，你就会失去关于这个群体的声音。

许多业内人士不想冒风险说话。一名被解雇的谷歌员工告诉我， 在科技领域取得成功取决于“对一切令人不安的事保持沉默。”否则，你就成了问题。

Bender 毫不畏惧，并感到一种道德责任感。她写信给一些支持她发出抗议声音的同事说：“我的意思是，毕竟，终身职位是用来干什么的？”

5

我们不是“随机鹦鹉”

“章鱼”不是 Bender 简历上最著名的假想动物，还有一个“随机鹦鹉”。

“Stochastic”意味着随机的，由随机概率分布决定的。“随机鹦鹉”（由 Bender 的创造词汇）指：用随机概率信息将语言形式的序列随意拼接在一起的实体，但不涉及任何涵义。2021年3月，Bender 与三位合著者发表了论文―― 随机鹦鹉的危险：语言模型是否太大？（On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? ）。在论文发表后，两位女性合著者，失去了谷歌道德人工智能团队的联合领导职位。围绕此事的争议巩固了 Bender 在反对人工智能狂热主义方面的地位。

“On the Dangers of Stochastic Parrots”不是一篇原创研究的写作。它是 Bender 和其他人提出的对语言模型的综合批判：包括编码在模型中的偏见；鉴于训练数据可能包含数十亿个单词，研究其内容几乎是不可能的；对气候的影响；以及构建冻结语言并因此锁定过去问题的技术问题。

Google最初批准了这篇论文，这是员工发表论文所必需的条件。然后它撤回了批准，并告诉 Google 合著者将自己的名字从论文中去掉。一些人照做了，但 Google AI 伦理学家 Timnit Gebru 拒绝了。她的同事（也是 Bender 的前学生）Margaret Mitchell 将她的名字改成了 Shmargaret Shmitchell，意在“索引一件事情和一个被抹掉的作者组”。Gebru 在 2020 年 12 月失去了工作，Mitchell 在 2021 年 2 月失去了工作。两位女性认为这是报复，并向媒体讲述了自己的故事。

随着这篇“随机鹦鹉”的论文逐渐走红，至少在学术界，它成为了一个流行词汇。这个短语也进入了技术词汇表。但是它并没有以 Bender 期待的方式进入词汇表。技术高管们喜欢这个词，程序员们也喜欢。

OpenAI 的CEO Sam Altman 在许多方面是一个完美听众 ―― 一个自认为的超理性主义者，过于融入技术泡沫，似乎已经失去了对外部世界的视角。在 11 月的 AngelList Confidential 上，他说：“我认为，再怎么说，核能将给所有人带来不可避免的毁灭――它的“首秀”（译注：可能指美国二战时在日本投下核弹）并不是一件好事” 。他也是所谓的“奇点”信徒，即很多科技狂热者相信，在不久的将来，人类和机器之间的区别将会消失。

在2017年，谈到关于机器人融合的问题，Altman 说到：“我们已经进行了几年了。它可能比大多数人想象的要早。硬件正以指数级别提高……而致力于 AI 研究的人数也在以指数级别增加。双指数函数（的增速）会很快让你失去掌控感。”

在 ChatGPT 发布四天后的12月4日，Altman 发推文：“我是一个随机鹦鹉，你也是。”

这是一个令人振奋的时刻。在发布的五天内就有一百万人注册使用 ChatGPT。写作已经结束了！知识工作也结束了！这一切将会走向何方？“我的意思是，我认为最好的情况竟是如此的好，好到难以想象！” Altman 上个月在 StrictlyVC 活动中对他的同行说道，那噩梦般的情景呢？“坏情况，我认为也很重要，就像我们所有人都黑屏了。” Altman 说他“更担心短期内的意外误用情况... 不是像 AI 醒来就决定要做恶。”

他没有定义“accidental-misuse case”，但这个术语通常是指坏人使用人工智能达到反社会的目的，比如欺骗我们