来源：搜狐科技

原标题：远光 | ChatGPT爆火引发AI应用边界大讨论，美丽新世界还是潘多拉魔盒？

出品 | 搜狐科技

作者 | 梁昌均

编辑 | 杨锦

“ChatGPT就是一个高科技剽窃系统。”美国语言学家诺姆・乔姆斯基认为。这是在广泛认为ChatGPT将带来一场技术革命的浪潮声中，为数不多的刺耳评价。

自ChatGPT诞生以来，由于出色的内容生成能力，它在学生群体广为流行，教育成为最先受到ChatGPT冲击的行业之一。

国外一项对1000多名学生的调查显示，超过89%的学生使用ChatGPT来帮助完成家庭作业。用它来写论文也不错，在文献查询、综述等方面效率很高，最优秀的论文可能就会出自它手。

“对于知识型工作者来说，这就完全等于工业革命。”微软CEO纳德拉评价。但与产业界的热情拥抱相比，教育界和科研圈却希望将ChatGPT拒之门外，中美德英等多个高校禁用ChatGPT，《科学》《自然》等核心期刊也不允许将ChatGPT列为论文“合著者”。

这些机构封杀的理由是该工具会导致学术剽窃等问题，成为作弊的得力助手，同时认为它也不会培养批判性思维和解决问题的能力，是人类一种避免学习的方式。

作为一个堪比互联网的革命性的技术，ChatGPT可能会打开“美丽新世界”的大门。但随着这类AI技术的规模应用，其带来的负面影响可能会比互联网更为显著。

比如，更多的虚假信息、更大规模的数据泄露，更多的人失业……360创始人周鸿t就表示，ChatGPT这类人工智能可能就是毁灭人类的“潘多拉魔盒”。

作为掌握和使用技术的我们，该如何为它的应用设定边界？对技术伴生的问题又该如何解决？这些都是在人工智能发展过程中不得不考虑的问题。

该封杀还是该拥抱？

乔姆斯基关于ChatGPT是高科技剽窃系统的说法，并非完全没有道理。它从已有的海量信息、知识和数据库中构建规则，并通过统计预见的方法重新排列组合，自动生成像人写的文章和内容，以致于人在和它互动时也会产生是在与人交流的幻觉。

但本质上它仍是一个无法自我纠错的冷冰冰的机器，无法理解其自身和人所表达的内容，生成的内容也会失真。正如乔姆斯基所说，它在语言理解和认知方面没有任何价值。

中国社科院科学技术和社会研究中心主任、研究员段伟文在接受搜狐科技专访时表示，研究者对ChatGPT是又爱又怕，因此对教育界或科研圈的封杀行为表示理解，“它有悖于现有的学术规范。”

不过，他本人并不反对学生或科研人员把ChatGPT作为一个工具来使用，关键是现阶段要透明化，从而保证公平，同时要确保使用者有负责任的态度。

“我觉得它也会产生新的学术规范，已经有论文署名ChatGPT，但这会是过渡的方式。”段伟文说，如果大家未来都用它，其实就无所谓，就好像现在都用电脑，但查资料、写论文的时候不会表明是用了电脑。

人工智能企业瑞莱智慧副总裁唐家渝也对搜狐科技评价到，ChatGPT的使用会带来学术作弊和剽窃等问题，也不是每个人都能使用，不公平由此产生。“在找到有效的应对策略之前，在特定领域对其封杀无可厚非。但从长远来看，对ChatGPT的应用不可一刀切。”

作为知识性的生产工具，ChatGPT能帮助人从一些简单、重复、不需要思考或低层次思维的工作中解放出来，在提高效率的同时，也能让人有更多的精力投入到更有创造性的工作中。

比如，科研人员如果善于利用这种工具，找文献、写项目申报书等效率就会很高，能更加聚焦科研和试验本身，在跟它互动的过程中还可能带来创意或创新的启发。

因此段伟文认为，ChatGPT可以和人形成知识劳动的分工，即所谓的人机协同，让机器先来做，人最终要对内容负责，进行审查修订。

“人和机器的相互适应，会是一个动态的调节过程。”段伟文表示，整个科研教育体系和智能化、自动化的技术工具的协同，需要通过理性的讨论，并在具体的实践中去探索有效的方法来尽可能克服它存在的不诚信等弊端。

美丽新世界的“定时炸弹”

比尔・盖茨说，ChatGPT的重大意义不亚于PC和互联网的诞生。在段伟文看来，以ChatGPT为代表的生成式AI，很可能带来一场知识生产方式的革命，甚至会是通用人工智能取得突破的关键路径。

“它不一定是彻底突破，但可能是以往没有预见到的道路，类似于10年前的深度学习。”段伟文称。这意味着它将带来比互联网更为显著的影响，想象中的“美丽新世界”并非完美。

这不仅仅表现在对学术规范的破坏，还包括它可能会成为更强大的谣言生成和传播策源地，并存在更大规模的数据隐私泄漏风险，甚至可能对人类社会和伦理规范带来更猛烈的冲击。

当下，这一切都在渐渐发生。大众当前感受比较突出的是信息误差的问题，它会一本正经“胡说八道”。唐家渝解释称，这是因为数据源头就存在偏差或错误，导致模型学到一些误导性的信息，同时它整合的答案是单一的，不会像搜索引擎一样有多个信源可以让用户交叉验证。

他表示，随着ChatGPT规模应用，还可能产生技术滥用、版权侵权、技术不公平等问题。比如在ChatGPT的能力升级下，内容伪造成本和难度将变得更低，而且也更加难以分辨和追踪。

ChatGPT甚至也会不可避免地成为诈骗的新套路，沦为新的犯罪工具。国外网络安全平台GBHackers就披露，有黑客把ChatGPT包装成“虚拟角色”，让受害人“坠入爱河”，最终进行诈骗。

唐家渝还提到，随着预训练模型所需的数据量越大，涉及到的隐私数据比例可能会更高，但对这部分数据的可控程度却越低。ChatGPT的前一代模型GPT-2就曾发生过隐私泄漏问题，使用特定前缀的提示词，它会给出特定对象的姓名、电话、邮件和地址等信息。

“虽然通过监督指令微调（Instruction tuning）的方式，一定程度上限制了ChatGPT的回答，尽可能保证它不犯和GPT-2一样的错误，但由于其回答输出的不可控性，个人隐私数据泄漏的风险仍然存在。”唐家渝预警到。

在段伟文看来，ChatGPT首先会加剧互联网的虚假信息，以及信息茧房效应。但带来真正的一个根本性变化，就是将来由AI生成的内容要多于完全由人类生成的内容，很可能就不会再有完全由人类自身产生的内容。

“这就会带来知识产权、荣誉权等归属问题，可能就需要订立新的社会契约。”他提到，目前国外已经有很多艺术家来反对ChatGPT，这个过程可能还会导致冲突。

唐家渝还表示，目前ChatGPT的应用没有特别的限制，几乎所有人都能够去使用。这会产生不合理的操作，会对传统的工作生产模式带来严重冲击。

当下，不少人担心ChatGPT类似的技术规模应用将会导致更多的失业，文字工作者、程序员、分析师等数十种职业都将被取代，且这种忧虑比以往更盛。这也“逼”得Open AI创始人山姆・阿尔特曼下场安抚称，ChatGPT不会成为人类的“就业杀手”。

作为互联网有史以来用户增长速度最快的消费级应用，ChatGPT暴露出的这些问题也让它像个“定时炸弹”，而距离爆炸的时刻也越来越近。

技术应用边界在哪？

面对这一系列问题，如何设置技术应用的边界，以及如何预防治理就显得至关重要。

实际上，Open AI在开发大规模语言模型或ChatGPT的时候，在这方面推行了一项重要工程――人机的价值对齐。通过投入大量资金、人力等，让人对信息或内容先行审核来进行人工标注和预训练，这也是ChatGPT能够广为流行的一个重要技术原因。

这使它在特定方面符合了人类的期望，塑造出模型的“人格”，并决定了它回答某些问题的倾向性和方式。如让它做道德或价值观的选择，它表现得特别像“端水大师”，而不会表达绝对或极端的观点，而对于有些无法解决的问题则会直接说不知道。

这背后是创始人的理念起到了决定作用。阿尔特曼认为，人类社会将遭受末日挑战、终极挑战，面临基因编辑、超级通用人工智能等威胁，所以需要防止突破性的技术对人类社会和文明造成颠覆性的破坏。

段伟文认为，Open AI通过推动人机价值对齐工程，使得ChatGPT最终呈现出来的内容，已经解决了很多价值观冲突。但这也有缺点，跟社会价值有关的文字文本，会显得比较平庸化和同质化。这也是ChatGPT被吐槽像是“废话机器”的原因所在。

如果它仅仅是作为协同或辅助的角色，那么人类也许不用太担心，但目前的问题是它可能会全面碾压人类，从而失控。斯坦福大学一项研究就显示，ChatGPT的水平相当于9岁儿童。

那么，它未来是否能够具备人丰富的情感或意识？周鸿t表示，如果进一步训练下去，也许它就能实现自我意识的突破。段伟文认为，机器智能和人类智能是两种不同的智能，存在一个边界，即图灵边界，且它是动态的。

“目前来看，当两者边界发生变化的时候，机器智能往往会挤压某种人类智能，即机器更多地代替了人，这促始一部分人转而发展出新的智能。”段伟文认为，从长远来看，如果人们能主动地培养新的技能，在图灵边界的动态变化中掌握主动权，面对强大的机器智能，人类总是可以调节和适应。

比如大众所担心的职业消亡问题，清华大学计算机系长聘副教授黄民烈就表示，ChatGPT可能会取代很多职业，但未来也会催生很多职业，如AI训练师、工程师等就会很抢手。在职场社区平台脉脉上，AIGC相关岗位近期需求陡增，甚至有企业开出10万月薪挖人。

段伟文表示，人工智能现在就像是一个小孩，如果把握住成长阶段的窗口期，就有可能实现机器向人的价值看齐，按照人的目标去行事。

对于发展和治理的关系，黄民烈认为，技术肯定要继续往前走，但早期应多鼓励。治理也不能粗放，伦理、版权、价值观、法律责任主体等问题都需要去解决，还是要边发展边治理。

唐家渝认为，需要从具体的应用场景、应用需求的角度出发，制定声明、监督、核查等系列管理手段，让ChatGPT更好更可控地辅助人类。

具体来说，要在政策层面建立起对ChatGPT等AI生成内容的管理法规。美国有议员就公开宣称自己“被不受限制和监管的人工智能吓坏了”，呼吁强化对人工智能的监管。

我国此前也出台了《互联网信息服务深度合成管理规定》，明确提出对深度合成服务要提供显著标识、算法机制机理审核、信息发布审核、数据安全等管理要求。

“这些对ChatGPT同样适用，但未来仍需进一步细化规则，明确落地规范。”唐家渝建议，同时也要加强治理工具的开发，结合内容识别、内容溯源等技术手段来保障有效监管。